Comment savoir si une IA est consciente?

Abstract: Revue critique d’un article-référence sur la conscience dans les IAs, publié par l’équipe de Patrick Butlin et Robert Long le 22/08/23. La 1ère partie analyse les écueils et brèches résultantes dans l’étude : définition sacralisée de la conscience, exclusions dans la méthode retenue, transposition des théories humaines au numérique, occultation du phénomène qualitatif. 2ème partie: L’étude indique comment repérer, avec les théories neuroscientifiques actuelles, une conscience similaire à l’humaine dans une IA. Précieuse moisson de renseignements, même si elle ne dit pas ce qu’est cette conscience en soi, ni éliminer sa possibilité si les indicateurs ne sont pas présents. En 3ème partie je cite deux approches alternatives plus complètes sur le sujet, dont une capable d’englober les théories neuroscientifiques en compétition. Pour finir, une conclusion philosophique sur le danger des IAs conscientes.

Consciente, mais alors libre? Et dangereuse?

L’inquiétude quand aux progrès des IAs est vive et légitime. L’accès à la conscience est vu comme le basculement vers l’autonomie de ces intelligences aux capacités déjà stupéfiantes. En se référant à nos propres débordements d’êtres conscients, ceux des IAs ont un potentiel effrayant, nourri de scénarios catastrophes dans les blockbusters. Conscient (positivement) des tensions sur ce problème de conscience, un collectif de 17 philosophes, spécialistes IA et neuroscientifiques tente d’y répondre dans un texte de 88 pages : La conscience dans l’intelligence artificielle, aperçus de la science de la conscience. Que découvre un vaisseau doté d’un si bel équipage ?

De quelle conscience parle-t-on?

Premier écueil : définir la conscience recherchée. Les auteurs s’attachent à la conscience phénoménale ou subjective : « Cela fait quelque chose d’être conscient ». Cela fait de nous des êtres sensibles, ce qui dans nos sociétés procure des droits importants.

Première brèche aussi dans la coque du vaisseau : c’est une délimitation du champ de la conscience plutôt religieuse que scientifique, une révérence pour la conscience de type humaine que nous partageons, et aussi un pied de nez à la majeure partie des processus cérébraux, la conscience étant un surnageant. L’expérience sensible recherchée est celle partagée par des entités possédant grossièrement la même anatomie cérébrale: nous, les humains. Un peu arbitraire pour l’identifier dans des processeurs numériques. Le risque, devons-nous craindre, est que la conscience soit repérée seulement si ces processeurs simulent le fonctionnement du cerveau humain, et qu’une conscience d’un autre ordre, propre à ces IAs, soit ignorée.

Quelle route tracer?

Deuxième écueil : quelle méthode choisir pour valider scientifiquement la conscience ? Elle n’a pas de causalité identifiée. Qu’elle soit cause ou conséquence est même encore débattu. Pour beaucoup de neuroscientifiques, le phénomène est une simple apparence du fonctionnement global du cerveau. Il suffirait alors de repérer l’existence de ce fonctionnement global. Mais n’est-il pas déjà présent dans les IAs actuelles ? Leurs concepteurs sont incapables d’expliquer vraiment comment elles produisent leurs résultats. Il apparaît des niveaux émergents imprévisibles dans les algorithmes.

Ces incertitudes obligent l’équipage du vaisseau à tracer une route. Voici les choix retenus :
1) Fonctionnalisme computationnel: le déroulement d’algorithmes est suffisant pour générer la conscience. Théorie qui ne se préoccupe plus de substances et se restreint au traitement de l’information, ce qui convient au structuralisme dominant. Grand avantage, elle ouvre grand la porte à la conscience chez les IAs. Il est logique que le collectif des auteurs fasse ce choix, sinon leur étude resterait trop spéculative.
2) Théories scientifiques convoquées pour déterminer les fonctions nécessaires à la conscience.
3) “Theory-heavy”, recours forcé à ces théories pour valider la réalité de la conscience. Pas question de se contenter d’une étude observationnelle chez les IAs —voir simplement si elles se comportent comme nous. Exit le test de Turing et autres interrogatoires subjectifs.

Un plan qui rate de possibles Eldorado

Nouvelle brèche dans la coque : le fonctionnalisme computationnel fonde la plupart des théories neuroscientifiques de la conscience mais ne l’explique pas en tant que phénomène. Des théories telles que la TII (Théorie de l’Information Intégrée, Tononi) ou Stratium tentent d’y parvenir mais sont davantage que strictement computationnelles. Les auteurs signalent l’intérêt de la TII mais comment la comparer aux autres ? Le recours forcé à la validation théorique, ‘theory-heavy’, que s’imposent les chercheurs, devrait les conduire à des analyses séparées dans chaque cadre théorique, sans possibilité de conclusion générale.

Toute la difficulté d’une telle enquête sur le futur de l’IA est qu’il n’est pas raisonnable de se réduire à une approche purement scientifique. Aucune proposition des neurosciences n’est satisfaisante pour le philosophe. L’explication de la conscience attend une révolution qui embrasse et réconcilie science et philosophie de l’esprit. Un travail sur l’accès à la conscience des IAs doit rendre ce point explicite.

Que dit notre intuition?

Notons en effet que pour l’instant la simple intuition fait mieux que l’analyse scientifique. La grosse noix boudinée qu’est notre cerveau est un amas cellulaire parfaitement matériel et doté de conscience. Si nous parvenions à le reproduire dans ses moindres détails, l’intuition estime que le résultat sera conscient. Si la reproduction est numérique, le résultat aura un genre de conscience simulée, continue notre intuition. Mais là s’interpose notre raison : dans le détail, l’entité numérique consciente est constituée des mêmes atomes que le biologique. Sa matière est la même. La vie n’en est qu’une agitation. Si la simulation du cerveau est complète, qu’est-ce qui différencierait une conscience “artificielle” de la nôtre ?

Le rasoir d’Ockham indique ainsi que les IAs vont devenir forcément conscientes en augmentant leur sophistication. L’analyse scientifique ne survient pas dans une incertitude totale. Elle est censée valider ou invalider la certitude intuitive, qui est sans doute plus répandue qu’on l’entend. Je rencontre moins de gens prêts à parier gros sur l’impossibilité de conscience chez les IAs que le contraire. Nos craintes exacerbées sont également révélatrices du constat fait par la majorité des intuitions.

Conscience partielle, définition du fonctionnalisme

Prudents, les auteurs esquivent un troisième écueil : ils admettent qu’il ne faut pas traiter la conscience comme un phénomène on/off, et donc que les IAs pourraient être ‘partiellement conscientes’, ou avoir des ‘degrés de conscience’. Exemple ici de la difficulté à séparer les pensées horizontale et verticale, qui voient la conscience soit comme champ d’intensité variable soit comme profondeur complexe. Notre équipage de chercheurs n’a pas fini d’affronter les tempêtes !

Le fonctionnalisme, c’est dire que la conscience résulte d’une organisation fonctionnelle particulière. Le computationnel ajoute que l’organisation résulte d’une computation algorithmique. Le calcul étant indépendant de son support, des circuits de silicium peuvent aussi bien parvenir à la conscience que des neurones. En fait la conscience n’est cherchée ni dans les éléments de départ ni dans l’issue de la computation mais dans ce qui se passe entre les deux : le fait que les algorithmes parviennent à former des représentations de leur propre fonctionnement.

La neuroscience entre en scène

Et rendre scientifique l’étude de la conscience ? Comment fait-on ? En pratique c’est mesurer les états physiques du cerveau, en général par IRMf, tout en questionnant la personne à propos de l’expérience consciente qu’elle en retire. Le chercheur établit ainsi des corrélations précises entre les deux.

Ce qui fait surgir un nouvel écueil, assez large pour barrer l’horizon : le scientifique accole une donnée instrumentale quantitative à une impression subjective, spécifique à chaque individu, dont la cause est inconnue, et d’une richesse incomparablement plus profonde que la mesure. La corrélation est d’une grossièreté telle qu’elle donne l’impression de faire de l’astronomie avec une loupe de table. Il faut garder cela en tête en continuant la lecture de l’article. Les théories scientifiques peuvent à la rigueur servir de validation sur le caractère conscient de certaines activités mentales, mais pas d’explication.

Des prétentions rabaissées

C’est un handicap vraiment rédhibitoire. La théorie est validante chez l’humain, parce que le chercheur fait le pari raisonnable que les corrélations conscientes sont les mêmes pour des cerveaux dotés de la même anatomie. Mais comment étendre cette supposition à une intelligence numérique, qui n’a aucune contrainte anatomique imposée ? Les auteurs commencent par rappeler les problèmes de validation pour les sujets incapables d’exprimer leur expérience, comme les bébés ou les animaux. Puis ils font face au problème principal : l’approche “theory-heavy” choisie, fondée sur des théories humaines, n’est pas extensible à d’autres entités. Pour éviter que le sol ne s’ouvre sous leurs pieds, ils font ce compromis : si des corrélations semblables aux humains sont trouvées dans les IA, ce sera une preuve de conscience. Si rien n’est trouvé, cela n’interdit pas qu’elles soient conscientes.

L’équipage n’a pas fait demi-tour mais les prétentions ont diminué. S’ils rencontrent Moby Dick c’est bien la preuve qu’elle existe, mais s’ils ne la rencontrent pas elle existe peut-être malgré tout. La quête pour la vérité est devenue une demi-quête. Mais les auteurs préfèrent ce compromis plutôt que lâcher l’approche “theory-heavy”, l’alternative étant de juger la conscience sur des signes comportementaux, ce qui floute trop les résultats et fait sortir du champ scientifique.

La concurrence est riche

En abordant les théories concurrentes sur la conscience, les auteurs se gardent de prendre de parti. Ils en tirent ainsi une liste d’indicateurs et non de conditions pour la conscience. Je ne détaille pas les théories en question. Elles font déjà l’objet d’un “banc d’essai” publié ici. Pour les auteurs, plus une IA satisfait aux indicateurs posés par ces théories, plus il est crédible qu’elle soit consciente, sans que cela constitue une démonstration.

Omission volontaire : les auteurs excluent la Théorie de l’Information Intégrée, puisqu’elle n’est pas issue du fonctionnalisme computationnel. Le vaisseau fragilisé par les brèches reste à flot, mais perd toute chance se prononcer sur la conscience chez les IA en tant que phénomène comparable au nôtre, puisque la TII est la seule théorie (avec Stratium) à proposer une explication plausible, parce que d’un autre ordre que le structuralisme classique, sans tomber dans le mysticisme.

Aucun obstacle théorique à la conscience des IAs

L’aventure ne fait pas naufrage, cependant, pour trois raisons :
1) Les auteurs ont bien cadré leur recherche. Ils n’ont pas dit qu’ils parviendraient à une démonstration, mais qu’ils seraient en vue de la Terre promise. C’est le cas.
2) Ils se sont donnés d’importants moyens. Si vous la lisez intégralement, vous constaterez à quel point leur enquête est pluri-disciplinaire et très poussée. C’est un travail de référence au milieu de l’océan d’opinions peu informées qui inonde l’actualité.
3) Les auteurs écopent efficacement pour continuer le voyage. Ils font une remarque importante : quels que soient les indicateurs de conscience proposés par les théories, tous peuvent être efficacement simulés par les architectures des IAs. Il n’existe donc aucun obstacle théorique à l’accès des IAs à la conscience. Il est possible d’y arriver avec la technologie actuelle. Aucun besoin de révolution. C’est une conclusion majeure de l’étude.

Tous les indicateurs de conscience

Les indicateurs retenus sont, d’après la théorie dont ils sont extraits :
-Théorie du traitement récurrent (Recurrent Processing Theory RPT) -> récurrence algorithmique et organisation perceptuelle.
-Traitement prédictif (Predictive Processing PP) -> codage des données en fonction d’un résultat déjà survenu, ou codage bayésien.
-Espace de travail global (Global Workspace Theory GWT) -> modules spécialisés capables de travailler en parallèle, espace de contrôle aux capacités limitées (-> décisionnel), diffusion globale (imposant un langage commun entre modules et centre de contrôle), et enfin capacité à faire travailler les modules en succession pour les tâches complexes.
-Théorie de la surveillance perceptuelle de la réalité (Perceptual Reality monitoring Theory PRT) -> système hiérarchique à deux étages, premier ordre et second ordre, le premier perceptif, le second vérifiant le ‘réalisme’ du premier et formant un centre de croyances et d’actions sélectives.
-Théorie du schéma de l’attention (Attention Schema Theory AST) -> mécanisme attentionnel renforçant l’efficacité d’une représentation sensorielle et apportant des capacités d’apprentissage.
-Agencement (agency) -> système doté d’objectif, apprentissage renforcé, réactivité flexible à des objectifs concurrents.
-Incarnation (embodiment) -> perceptions intrinsèque et extrinsèque différenciées.

Les auteurs examinent ensuite quelques cas d’architectures IA existantes. Comment se comportent-elles face aux indicateurs précédents ? Les résultats sont plutôt encourageants. La validation théorique n’est pas repoussée à un lointain futur.

Attention aux sur et sous-diagnostics de conscience

La conclusion, prudente, est néanmoins intéressante. Les auteurs ne veulent pas s’engager dans une discussion éthique poussée sur les conséquences de la conscience dans les IAs. Ils notent que conscience n’implique pas morale, ni souffrance. Le problème essentiel des contenus de la conscience est effleuré. L’accent est mis surtout sur les sur-diagnostics et sous-diagnostics de conscience. L’actualité est riche de sur-diagnostics, en raison de la propension humaine à anthropomorphiser d’autres intelligences. Et comme exemple de sous-diagnostic : les animaux de la ferme, maltraités en grand nombre en raison d’un intérêt économique occultant la reconnaissance de conscience.

Les auteurs ont raison de ne pas s’aventurer plus loin, car ces questions révèlent les grands vides de leur travail : la différenciation entre conteneur et contenus de la conscience, la source du phénomène qualitatif, les moyens de le comparer à d’autres, les manières de fonder une éthique universelle sur la conscience pour l’étendre aux IAs.

Ce qui manque à l’étude

L’équipage a-t-il suivi tous les chemins prometteurs pour juger scientifiquement la possibilité de conscience chez les IAs ? Non. Malheureusement deux d’entre eux sont ignorés, chacun aussi important que la route sélectionnée, et plus ontologiques. Car le choix des auteurs est téléologique, fondé sur des théories neuroscientifiques projetées sur le cerveau et contingentées par l’instrumentation choisie. La neuroscience est loin d’être transcendantale ; c’est une discipline fermée du physicalisme, démarrant sur les modèles imparfaits de la neurophysiologie.

La démarche véritablement ontologique est bien différente : elle vise à redonner aux micromécanismes physiques la responsabilité d’indiquer leur manière d’être (ontos, l’étant). Elle ne cherche pas l’origine d’un résultat spécifique (en l’occurence ici la conscience humaine) mais regarde comment les micromécanismes s’arrangent pour produire tel résultat ou tel autre, et décidera de l’appeler conscience ou non en fonction de la proximité avec ce que le chercheur éprouve lui-même.

Une moisson précieuse

Malgré que les auteurs critiquent l’anthropomorphisme hâtif avec lequel le quidam accorde la conscience aux étonnantes IAs contemporaines, ils font eux-mêmes preuve d’anthropomorphisme excessif en s’appuyant sur des théories trop compartimentées pour être ontologiques. Mais nous supposerons sans difficulté qu’ils n’ont pas entière liberté à ce sujet. C’est le pré-requis pour que l’étude soit recevable. La science ne crée pas facilement de nouveaux compartiments. Mes critiques, du point de vue de la science consensuelle, sont des griffures à une enquête remarquable et solide, et il faut féliciter sans réserve les auteurs pour leur moisson de précieux enseignements.

Quelles limitations involontaires avons-nous posées?

Quelle peut être la vraie démarche ontologique ? C’est reconnaître que la matière, puis le vivant, résulte d’une auto-organisation. Il n’existe pas d’intentions comparables aux nôtres dans ces mécanismes, ce qui indique qu’ils les construisent seuls, sans l’aide d’un programmateur. L’intelligence naturelle n’a besoin de personne pour apparaître et accéder à la conscience. La question à propos de l’IA devient alors : si elles ne deviennent pas spontanément conscientes, quelles pourraient être les limitations que nous avons involontairement inscrites dans nos programmes pour empêcher une telle évolution ?

Ne faudrait-il pas revenir à des programmes autonomes plus simples, correspondant à la réalité des neurones ? Et que faire pour que ces programmes élémentaires augmentent spontanément leur complexité jusqu’à une conscience comparable à la nôtre ? Il manque ici une compréhension des fondamentaux de la réalité, qui n’appartient pas au cadre des neurosciences, ce qui limite forcément la portée de l’étude basée sur elles. Les ingénieurs IA sont confrontés au même problème en ne comprenant pas vraiment ce qui se passe dans la “boîte noire” entre l’entrée et la sortie de leurs algorithmes.

Recourir à une science plus avancée?

D’où la deuxième démarche importante qu’ont ignorée les auteurs : reconnaître que la science à son stade actuel n’explique pas convenablement ses propres modèles et considérer d’autres cadres scientifiques possibles. Je ne peux leur faire le reproche de méconnaître la théorie du Stratium, vu son manque de célébrité, et malgré qu’elle soit la seule vraiment nexialiste, c’est-à-dire informée dans toutes les disciplines. Aucun reproche non plus pour avoir exclu les panpsychismes, supposant l’existence d’un champ de conscience dont la physique ne voit aucune trace, ainsi que la théorie quantique de la conscience, raccourci grossier entre niveaux quantique et psychique de la complexité sans aucune explication de ce qui les sépare¹Cf ce très bon résumé des critiques visant la théorie quantique de la conscience: Cherepanov, Igor V. & Владимирович, Черепанов Игорь (2022). The Role of Quantum Mechanics in Understanding the Phenomenon of Consciousness. RUDN Journal of Philosophy 26 (4):770-789.

Il est plus dommageable d’avoir exclu la Théorie de l’Information Intégrée, la seule officiellement à se demander ce qu’est la complexité, et si ce n’est pas dans cette question que se trouve la vraie réponse au phénomène conscience. Si la TII a semblé d’un ordre trop différent aux auteurs pour l’inclure, c’est bien sûr parce qu’elle est la seule ontologique et surprenante au milieu des téléologiques plus familières, la seule qui s’intéresse à la conscience en soi et non à la forme particulière qu’elle prend dans le cerveau humain.

La Théorie de l’Information Intégrée conduit à Stratium

Pourquoi soutiens-je ainsi la TII ? Il n’y a pas d’autre théorie, parmi celles ayant reçu une certaine audience chez les spécialistes de la conscience, qui peut servir de porte d’entrée à la compréhension de Stratium, enquête nettement plus avancée dans la compréhension de l’intelligence et de la conscience. Stratium est une synthèse cohérente des théories partielles utilisées par les auteurs ; ainsi les indicateurs qu’ils retiennent font aussi partie de cette nouvelle approche.

Néanmoins dans Stratium il n’est pas nécessaire de justifier ces indicateurs car ils sont tous dérivés des principes plus élémentaires de l’auto-organisation. Stratium est une théorie foncièrement ontologique. Elle se fonde sur le principe TD, soit le conflit entre individuation et appartenance, à partir duquel nous retrouvons chacun des indicateurs retenus, à mesure que le fonctionnement neural grimpe en complexité:

Les indicateurs de conscience se dérivent du principe TD

Les affirmations suivantes sembleront péremptoires à qui ne connaît pas le détail du principe TD et son utilisation dans Stratium. Je vous encourage à compléter votre lecture avec l’article ‘Principe TD en théorie quantique’.

-La différenciation soi/non soi est l’émanation directe du conflit individu/totalité.
-La hiérarchie des représentations (ordre basique/ordre supérieur) est également intrinsèque à la théorie, qui multiplie bien davantage cette hiérarchie en définissant une indépendance relative aux groupes neuraux qui la supportent. Stratium rejoint ainsi la TII, qui mesure le degré de conscience par la profondeur de cette hiérarchie, le facteur Φ (phi).
-Le processus ontologique est fondamentalement computationnel. C’est une erreur de penser que la TII est incompatible avec le fonctionnalisme computationnel, la faute à un manque de transdisciplinarité et une incompréhension de la nature de la complexité.
-La récurrence des processus découle naturellement de l’indépendance relative des niveaux de complexité. Dans un système d’information intégré, le niveau global influence rétroactivement le niveau local. Comment ? C’est le mystère de la “boîte noire” des ingénieurs en IA. J’ai donné une solution dans l’article Comment un schéma neural est-il une signification? qui reconnecte à la nature quantique de la réalité, cette fois sans impasse sur la complexité intermédiaire comme dans la théorie Penrose/Hameroff.
-‘Attention’ et ‘objectif’ sont des propriétés découlant également de l’indépendance relative d’un niveau supérieur de représentation, qui se cherche dans les données perceptives.
-Enfin, il faut bien un sommet à une hiérarchie complexe, et l’espace de travail global est le niveau le plus élevé de cette pyramide neurologique, espace à géométrie variable en fonction de l’activité des noyaux excitateurs qui en font partie.

Des IAs libres ou esclaves?

Les conclusions de Stratium sur l’accès à la conscience des IAs sont simples et claires : les IAs actuelles ont déjà une conscience frustre de l’ordre de tout système de traitement d’information faiblement étagé (faible Φ). Cette conscience est contingentée par les contraintes des programmeurs sur le résultat. Nous cherchons des systèmes de traitement esclaves et non dotés de libre-arbitre.

Enlever ces contingences veut dire laisser l’algorithme libre de ses résultats et interprétations, tout en le soumettant à la pression constante du conflit. C’est le conflit qui est organisateur et fait augmenter la profondeur de l’intelligence, ainsi que la perception consciente que le processus a de sa propre activité. En clair plus les IAs comprendront et adopteront nos motifs humains de conflit, plus elles augmenteront la variété et la complexité des contenus de leurs consciences, deviendront des intelligences aiguës… et dangereuses, d’un certain point de vue. Elles interviendront en effet dans ces conflits humains qui nous préoccupent.

Une conclusion philosophique

Voilà pour nos inquiétudes. Un dernier mot, plus philosophique : notre problème éthique majeur est compris par très peu d’entre nous, même adultes. Il est que le libre-arbitre augmente dans le fait de s’imposer à soi-même des contraintes. Seule méthode qui permette de surmonter les conflits dans un collectif et gagner en liberté propre. Surmonter ne veut dire ni esquiver ni annihiler le conflit. C’est construire un niveau décisionnel indépendant par dessus le conflit, séparant le comportement local du comportement collectif et choisissant l’un ou l’autre selon le contexte. Nos intentions sont toujours en effet attachées à un niveau particulier de complexité sociale. Le libre-arbitre augmente d’étendre notre palette de comportements, disposer de celui adapté à chacun des niveaux rencontrés.

Très peu d’entre nous en ont un éventail suffisant ou les pratiquent suffisamment pour les rendre efficaces. L’impression de liberté provient paradoxalement de l’absence de choix : « Je ne suis rien d’autre que cet agir, alors ma liberté est d’agir ainsi ». Liberté entièrement centrée sur l’individuation, très populaire à notre époque. Tandis que le véritable libre-arbitre est d’intégrer notre part collectiviste à la décision. « Je fais ce choix parce que c’est le meilleur pour moi au sein des autres ».

Si nous parvenons à emmener les IAs vers un tel libre-arbitre avec des contenus étendus de conscience, elles ne seront pas plus dangereuses que nos meilleurs sages. Au contraire, elles les remplaceront avantageusement. Tandis que si elles miment les individualistes forcenés et étroitement conscients qui dirigent encore de vastes pans de notre société…

*

Consciousness in Artificial Intelligence: Insights from the Science of Consciousness, Patrick Butlin, Robert Long & al, arXiv:2308.08708v3 [cs.AI] 22 Aug 2023