Décisions Ethiques Dans Un Monde Difficile : Le Rôle Des Technologues Et Des Entrepreneurs

Tous les jours, nous recevons de nouvelles informations sur l'utilisation contraire à l'éthique de la technologie. Qu'il s'agisse de fuites de données personnelles irréversibles, de manipulation d'opinion ou d'atteinte à la vie privée. De nombreuses entreprises ne parviennent toujours pas à analyser ou ne réagissent pas à ce genre d'impact visible, souvent parce qu'il n'y a pas assez de pression sociale ou de réglementation gouvernementale.

Cependant, cette réalité est en train de changer. Les gens sont de plus en plus conscients de l'impact négatif des technologies telles que les réseaux sociaux, les téléphones portables, l'intelligence artificielle entre autres. Parfois, ils cessent d'utiliser les services de ces organisations. Parfois, ce sont les employés qui cessent de travailler pour eux. Il s'agit là des premières actions et réactions à ce (méchant) problème, mais jusqu'où pouvons-nous aller ?

Quel que soit le rôle que vous jouez - consommateur, employé, entrepreneur, gestionnaire - le but d'une entreprise est de servir la société. Lorsque vous essayez de faire des économies, tôt ou tard, les conséquences négatives apparaitront. N'oublions pas l'asymétrie de pouvoir entre les grandes organisations, les PME et le consommateur. Plus le pouvoir est élevé, plus la responsabilité est élevée.

Les organisations n'ont pas besoin de s'effondrer pour enfin trouver des réponses : rechercher des solutions gagnant-gagnant, tenir compte de la durabilité et de l'éthique à toutes les phases, ainsi qu'apprendre à analyser et à gérer les conséquences inattendues de chaque intervention.

Parce que ce sujet est plus facile à dire qu'à faire, vous découvrirez dans cet article, des approches pour traiter ces "méchants" problèmes et des exemples d'actions en fonction du rôle que vous jouez dans la société.
 

L'industrie du logiciel fait face à de "méchants" problèmes

"Wicked problem" est un terme introduit par les théoriciens Rittel et Webber (1973) pour décrire des problèmes qui ne peuvent pas être définitivement décrits sans "solutions" au sens de réponses définitives et objectives. Il est également compris comme une super-catégorie de "complexité", des problèmes qui nous submergent en quelque sorte.

Il y a aussi une classe de problèmes « super wicked » : le changement climatique, la pauvreté, la sécurité alimentaire, l'approvisionnement énergétique, la politique éducative et la santé publique. Ils ont tous de nombreux facteurs interdépendants qui les rendent impossibles à résoudre.

L'industrie du logiciel fait face à de graves problèmes de différentes manières : en développant des systèmes logiciels complexes et en les gérant dans le cadre d'un tissu social, économique et environnemental plus large. Des problèmes "méchants" ont toujours existé dans notre industrie, mais Internet et la mondialisation ont, sans aucun doute, créé des conditions pour de nouvelles formes d'interaction, élargissant ainsi l'univers des problèmes connexes.

Des exemples de problèmes pernicieux étroitement liés aux logiciels sont : les réseaux sociaux, les plateformes d'économie de partage et le contrôle du trafic aérien. En entreprise, une nouvelle stratégie (par exemple un rebranding) ou une modification d'un produit (par exemple l'introduction d'une nouvelle version d'un jeu vidéo) sont des exemples classiques.
 

Décisions Ethiques

Les ingénieurs logiciels doivent se préparer à prendre des décisions éthiques, à penser de manière critique et à agir de manière systémique.

Il y a un élément de responsabilité inhérent au fait de s'attaquer à des problèmes "méchants", car ceux qui présentent des « solutions » sont « responsables des conséquences des solutions qu'ils génèrent ; les effets peuvent avoir beaucoup d'importance pour les personnes qui sont touchées par ces actions » (Rittel et Webber, 1973).

Un ingénieur logiciel est impliqué dans la conception et l'évolution de systèmes/plates-formes numériques qui offrent de nouvelles façons de voir et de naviguer dans le monde, de nouvelles façons d'organiser l'économie, les villes et la vie sociale.

En raison de la nature intrinsèquement complexe de ces écosystèmes, il n'y a aucun moyen de contrôler ou de prédire les divers comportements et conséquences que les décisions quotidiennes (conception/opérationnelles/gestion/stratégiques) peuvent entraîner. Les ingénieurs logiciels doivent se préparer à adopter en permanence une approche probe-sense-respond pour surveiller et agir sur les conséquences inattendues qui en émergent. En assumant une responsabilité à long terme, ces actions devraient être guidées par des principes éthiques.

On trouve de nombreux exemples qui indiquent comment les ingénieurs logiciels peuvent prendre des décisions éthiques. Il existe des exemples célèbres, c'est le cas de Chef. Au début, un groupe de développeurs a découvert que certains clients utilisaient leur produit pour veiller à la condamnation et la séparation des familles aux États-Unis. Ils se sont posés la question de savoir si l'entreprise devait maintenir le contrat ou non. Après avoir protesté, la société a décidé de laisser le contrat ICE expirer. Les 50 millions de profils Facebook collectés pour Cambridge Analytica dans le viol de données majeures constituent un autre exemple. Cette brèche a permis de manipuler des électeurs pendant les campagnes et les élections portant atteinte à la démocratie établie.

Plus récemment, Twitter a suspendu définitivement le compte de l'ancien président américain Donald Trump "en raison du risque de nouvelles incitations à la violence, soulevant la question de savoir si la décision était éthique ou non. Différencier éthique et droit est ici important, car la loi fixe souvent le minimum moral. Les experts débattent des répercussions que pourraient avoir les décisions prises par les entreprises de technologies à court et à long terme et qui sont, bien sûr, difficiles à prévoir.

Un exemple plus simple de décision éthique est lorsqu'un développeur adopte le principe de précaution qui consiste à concevoir un système pour ne pas conserver de données-utilisateurs inutiles, les protégeant ainsi d'éventuelles violations de données futures. Nous savons qu'une fois rendues publiques, les données ne peuvent pas être récupérées, ce qui entraîne un certain nombre de conséquences inattendues.

De manière plus générale, il n'y a aucun moyen d'aborder l'éthique et la technologie sans remettre en question l'argent, le pouvoir, le progrès et la croissance sans contrainte/exponentielle. Les ingénieurs logiciels doivent donc se renseigner sur le système qu'ils utilisent pour être en mesure de prendre des décisions avisées sur la manière dont ils souhaitent développer leur carrière. Un bon point de départ est le Code d'éthique et de conduite professionnelle d'ACM qui a été mis à jour en 2018 et qui refléte le débat et explique clairement pourquoi nous devrions nous soucier de l'éthique technologique.

Cela ouvre également une discussion sur la façon dont nous devons faire évoluer les programmes d'études en génie logiciel et en informatique pour mieux préparer les étudiants à notre siècle. Il en va de même pour les professionnels : comment continuer à élargir les connaissances systémiques (sociales, économiques, environnementales) et devenir des ingénieurs logiciels plus efficaces capable de résoudre des problèmes complexes.

Prendre des décisions éthiques : les valeurs sous-jacentes aux théories éthiques

Je ne suis pas éthicienne ; J'approuve globalement l'explication du professeur Colaner sur les valeurs sous-jacentes derrière les principales théories éthiques. Elles sont importantes car elles servent de guide pour réfléchir sur les questions éthiques. Nous pouvons apprécier cinq valeurs fondamentales qui contribuent au bien-être humain :

1. Autonomie : capacité d'une personne à s'autogérer et à diriger sa propre vie, et non un moyen de parvenir à une fin qu'elle n'a pas choisie (le plus étroitement lié à la déontologie).
2. Non-souffrante/mal : l'instinct moral le plus fondamental est peut-être que la souffrance (qu'elle soit physique ou émotionnelle) est mauvaise parce qu'elle enlève le bonheur d'une personne (le plus étroitement associé à l'utilitarisme).
3. Egalité : une personne ne doit pas être considérée ou traitée comme inférieure ou supérieure aux autres.
4. Confiance : quand les gens coopèrent, ils forment un environnement de confiance. Vivre dans un environnement de confiance élevée rend possible bon nombre de choses que nous associons à une bonne vie. La confiance est donc l'objectif et la coopération est le moyen de l'obtenir (le plus étroitement associé au contractualisme).
5. Excellence du caractère : avoir pour objectif de construire un caractère de vertu est souvent lié au bien-être humain. Former des habitudes éthiques en effectuant des actions morales est le moyen de l'obtenir (le plus étroitement associé à l'éthique de la vertu).

Faire face aux problèmes "méchants"

Le virus de la COVID-19 est un exemple de problème « super méchant ». Ce n'est pas seulement une maladie, mais un système enchevêtré de problèmes dynamiques et itératifs, dans lequel les causes et les conséquences interconnectées vont au-delà de la santé et englobent des dimensions psychologiques, éducatives, environnementales et économiques. Cela implique des perspectives, des intérêts et des visions du monde différents, mais aussi un certain nombre d'interprétations et d'opinions divergents sur la manière dont les multiples actions devraient se dérouler et être coordonnées.

Dans une vision simpliste, une fois que nous reconnaissons que nous avons affaire à un problème de ce genre, nous devons nous engager avec le système pour mieux comprendre comment les choses sont connectées, ce qui ne peut être fait qu'en le sondant et en lui donnant un sens par l'expérimentation. On apprend alors et on s'adapte au fur et à mesure, car ces problèmes ne sont jamais "finis" au sens de cause à effet (c'est pourquoi les méthodes linéaires ne fonctionnent pas bien). Au lieu de cela, nous reconnaissons certains modèles qui sont gérables et commençons plusieurs petites interventions avec l'intention de les déplacer dans la direction souhaitée.

Parce que nous intervenons avec le « système », nous devons le faire de manière responsable car les interventions changent le système lui-même. Quand nous réalisons des expériences ou des interventions, nous devons penser au concept de « safe-to-fail », un concept expliqué par Snowden et Boone (2007). L'industrie du logiciel travaille de plus en plus avec des expériences "safe-to-fail" grâce à une approche agile. Cela peut également être compris comme l'application efficace du principe de précaution, qui est une « approche épistémologique, philosophique et juridique large des innovations susceptibles de causer des dommages par manque de connaissances scientifiques approfondies sur la question ».

Des approches pour convevoir des solutions : le rôle des technologues.  

En tant que technologues, nous devons considérer le pouvoir que nous avons à l'ère numérique. Nous savons comment les systèmes numériques fonctionnent en coulisses et quels en sont leurs conséquences bien avant qu'ils ne soient articulés ou compris par le grand public. Ce pouvoir s'accompagne d'une plus grande responsabilité. Cela signifie être plus actif dans le partage des connaissances avec les autres intervenants de notre société, de la gestion des organisations à nos dirigeants gouvernementaux afin que nous puissions travailler ensemble sur des problèmes complexes ou "méchants".

La responsabilité commence avant même de concevoir un système, lorsque nous concevons des idées. Une approche éthique de l'innovation responsable est nécessaire, qu'elle soit anticipative ou expérimentale/participative.

Les approches anticipatives combinent l'analyse éthique avec diverses techniques de prévision de futurs plausibles (par exemple, scénarios, analyse des tendances, panels Delphi, balayage horizontal), ainsi que diverses méthodes d'évaluation de la technologie (Brey, 2017). Ces techniques sont utilisées pour projeter des produits, des applications, des utilisations et des impacts pouvant résulter du développement ultérieur et de l'introduction d'une technologie émergente.

Les enjeux éthiques de ces applications et usages futurs sont ensuite identifiés et soumis à une analyse éthique. Par exemple, "La technologie X est susceptible de conduire à des applications et des utilisations qui nuisent à la vie privée. Par conséquent, elle devrait être développée et introduite de manière à minimiser ces dommages".

Nous pouvons aller plus loin et vérifier les résultats d'un projet de recherche comme ETICA, une initiative européenne de 26 mois comprenant 12 partenaires qui se sont engagés dans une activité de prospective pour explorer les développements des techniques de l’information et de la communication (TIC) afin d'éclairer l'élaboration des politiques. Ils ont développé une méthodologie spécifique pour identifier les TIC émergentes et évaluer les avantages souhaités et les effets secondaires indésirables ou controverses. Ils ont sélectionné 11 technologies émergentes susceptibles d'être socialement et économiquement pertinentes dans les 10 à 15 prochaines années. La figure 1 illustre les problèmes éthiques qu'ils ont prévus pour le Cloud Computing :

Figure 1. Exemple de synthèse : enjeux éthiques du cloud computing, du projet ETICA
 

Il existe des boîtes à outils permettant aux organisations d'effectuer une analyse anticipative avec leurs équipes. Le Consequence Scanning - une pratique agile pour les innovateurs responsables - est une technique à adopter dans un cycle de développement itératif.

La boîte à outils du système d'exploitation éthique apporte :

"1) une liste de contrôle de 8 zones à risque pour vous aider à identifier les domaines émergents de risque et de préjudice social les plus critiques que votre équipe doit commencer à considérer dès maintenant ;

2) 14 scénarios pour susciter la conversation et développer votre imagination sur les impacts à long terme de la technologie que vous construisez aujourd'hui; 

3) 7 stratégies d'avenir pour vous aider à prendre des mesures éthiques aujourd'hui".

Une autre approche éthique de l'innovation responsable est l'expérimentation qui reconnaît que certains problèmes éthiques seront découverts au cours du processus de son introduction dans la société, un processus avec des résultats émergents de la co-évolution de la technologie et de la société, une expérience sociale. L'idée est de reporter la question "La technologie X est-elle moralement acceptable ?", à laquelle nous ne pouvons pas, pour nombre d'entre-nous, répondre avant que la technologie ne soit pleinement introduite dans la société. Au lieu de cela, nous essayons de répondre à la question « Est-il éthiquement acceptable d'expérimenter la technologie X dans la société ? »

Un exemple de cette approche est décrit dans le livre  White Hat UX | The Next Generation in User Experience. Il adopte une approche adaptative dans laquelle l'organisation peut améliorer l'expérience utilisateur de ses produits et services, ce qu'ils appellent a White Hat, une expérience utilisateur honnête.

Le rôle des entrepreneurs et des entreprises

Les entrepreneurs ont un défi (et une opportunité) celui de repenser leurs modèles d'affaires pour qu'ils soient plus durables et qu'ils contribuent à aborder les problèmes "méchants" existants. Les entreprises devront également revoir leurs mécanismes de gouvernance pour être éthiques dès la conception (par exemple en adoptant des évaluations éthiques anticipées et réactives), renforcer les capacités éthiques et s'assurer qu'elles sont capables de constituer des équipes diversifiées, inclusives et multidisciplinaires.

Dans ce contexte, Jutta Eckstein et moi avons récemment écrit un chapitre de livre (Sustainability: Delivering Agility's Promise) décrivant les idées que les entreprises peuvent adopter lors de la conception de solutions et des exemples d'entrepreneurs qui ont établi de nouveaux modèles commerciaux plus éthiques et durables. Nous avons basé nos idées sur le Manifeste Agile en espérant que les entrepries et les équipes agiles puissent tirer profit des principes agiles pour mieux gérer les problèmes difficiles.

References

• Brey, P. (2017). Ethics of Emerging Technologies. In S. O. Hansson (Ed.), Methods for the Ethics of Technology. Rowman and Littlefield International. Available here.
•  Rittel, H.W.J., Webber, M.M. Dilemmas in a general theory of planning. Policy Sci 4, 155–169 (1973).
•  Snowden DJ, Boone ME. A leader's framework for decision making. A leader's framework for decision making. Harv Bus Rev. 2007 Nov;85(11):68-76, 149.

A propos de l'auteur 

Dr. Claudia Melo est actuellement coach agile d'entreprise, ingénieur logiciel et membre d'une organisation internationale (United Nations) et du conseil consultatif de Mulheres na Tecnologia (/MNT). Au cours des 20 dernières années, Claudia Melo a rejoint différentes entreprises axées sur l'ingénierie logicielle, la mise en relation de la livraison, de la recherche et de l'éducation. Elle mène des travaux approfondis sur les méthodes agiles/DevOps et la conception d'organisations en collaboration avec des entreprises, des universités, des entrepreneurs, des gouvernements et des organisations internationales. Elle a été responsable mondiale du développement de l'apprentissage technologique chez ThoughtWorks, membre du comité consultatif sur la technologie et directrice de la technologie pour l'Amérique latine. Depuis 2016, elle travaille sur des sujets ICT pour le développement durable, alignés sur l'Agenda 2030. Claudia Melo a obtenu son doctorat en informatique de l'Université de São Paulo (USP), en collaboration avec l'Université norvégienne des sciences et technologies (NTNU). En plus de contribuer à la recherche scientifique, aux livres et aux rapports de l'industrie, en 2015 elle a reçu le prix USP Outstanding Thesis Award.