A new family companion: the connected speaker or the insidious dominance of talking machines

Parler avec une machine, ce n’est plus de la science-fiction. Il y a les enceintes connectées de type Google Home ou Amazon Echo, qui exécutent des ordres simples, comme de monter le volume de la télévision ou de nous donner la météo. Et il existe aussi les assistants vocaux, comme Siri, qui proposent de faire la conversation. Bien entendu, ces machines parlantes sont encore balbutiantes. Mais tout indique que l’interface vocale est promise à un énorme développement. Beaucoup de gens qui ne savent pas communiquer avec les machines en utilisant un clavier seront soulagés de pouvoir le faire simplement en leur parlant. Et lorsqu’elles nous répondront comme un humain, cela créera une forme de familiarité qui bouleversera nos relations à la fois aux objets et à nos semblables. Ce sera une révolution anthropologique.

Une révolution anthropologique

Le simple fait de doter une machine d’une voix humaine, sans rien changer par ailleurs à son apparence, transforme la relation que nous avons avec elle (Tisseron, 2015). Nous la trouvons plus familière, et nous avons tendance à lui accorder plus facilement notre confiance. Dès qu’il y a la voix, il y a le désir d’interagir, de discuter, de se confier, exactement comme avec un être humain. Or, pendant ce confinement, nous nous sommes habitués à interagir par la voix seule, ou bien en voyant le visage de notre interlocuteur sur un écran. Et c’est exactement ce que permet une machine. C’est pourquoi, si des compagnons digitaux avaient été disponibles pendant le confinement, il est probable que beaucoup d’entre nous auraient engagé une relation privilégiée avec eux. En effet, nous ne pouvons pas toujours trouver un humain pour lui raconter ce que nous éprouvons et pensons, mais un compagnon digital, lui, est toujours disponible!

Nous serons d’autant plus tentés d’interagir avec ces machines qu’elles nous sembleront nous comprendre et partager notre point de vue sur le monde. En effet, elles fonctionnent avec les mêmes algorithmes que ceux qui sont utilisés sur les sites de rencontre en ligne pour favoriser le rapprochement des personnes sur la base de leurs goûts communs. Pour cela, dans un premier temps, les robots conversationnels fabriquent un double numérique de leur interlocuteur en lui posant des questions, en allant voir ce qu’il fait sur Internet et en observant ses habitudes. Du coup, l’utilisateur a l’impression d’avoir affaire à quelqu’un qui le comprend et qui partage ses centres d’intérêt. La machine devient l’incarnation d’un compagnon idéal : quelqu’un qui est toujours à l’écoute, toujours disponible… et toujours d’accord. Mais ce n’est évidemment qu’une illusion.

Nos deux systèmes mentaux et le délire des gens normaux

Joseph Weizenbaum a découvert le problème il y a plus de cinquante ans. En 1965, il a fabriqué une machine – baptisée Elisa – programmée pour reformuler, sous la forme de questions, tout ce qui lui était dit. Si, par exemple, vous lui disiez : “je suis triste”, elle répondait: “pourquoi êtes-vous triste?”. Or Weizenbaum remarqua que certaines personnes passaient beaucoup de temps avec elle, même parmi ceux qui l’avaient programmée. Ces personnes ne pouvaient pas s’empêcher de penser que la machine les comprenait! Weizenbaum déclara alors : “Je n’aurais jamais cru qu’un programme aussi simple puisse provoquer chez des gens normaux de telles pensées délirantes.”. Si cette machine rudimentaire a pu provoquer cela, on peut craindre des conséquences bien pires des IA sophistiquées d’aujourd’hui.

Mais comment expliquer que nous puissions nous comporter vis-à-vis d’une machine en lui prêtant des compétences humaines alors que nous savons très bien qu’elle en est incapable?

C’est parce que nous sommes dotés de deux systèmes mentaux pour gérer nos relations à notre environnement (Kahneman, 2012). Le premier est rapide et intuitif tandis que le second est lent et réflexif. Dans nos relations aux objets, le premier de ces deux systèmes nous conduit à un mouvement anthropomorphe. Nous adoptons vis-à-vis d’un objet dont nous ignorons le statut les mêmes comportements qu’avec un semblable. Par exemple, si mon ordinateur tombe en panne, je peux lui dire: “Non, tu ne vas pas me faire ça quand même! Pas aujourd’hui!”. Bien loin de constituer un handicap dans la relation de l’homme à son environnement, cette attitude est à l’origine de la formidable capacité humaine à pouvoir domestiquer le monde. Nous intégrons spontanément les objets dans le monde nos relations sociales (Descola, 2005). Mais si je peux parler à mon ordinateur, je n’attends pas de lui qu’il me réponde et je ne crains pas qu’il soit fâché de ma protestation. En effet, le système réflexif nous permet de prendre du recul et de garder aux objets leur statut d’êtres inanimés. Et pour cela, ce second système prend en compte le fait que seuls les êtres vivants sont dotés de buts précis et qu’ils les poursuivent selon une logique qui leur est propre (Gergely et al., 1995).

Mais les machines parlantes dissocient ces deux systèmes. D’un côté, nous savons bien qu’elles ne sont pas des êtres vivants qui se fixent leurs propres buts, mais, d’un autre côté, nous finissons par leur attribuer des compétences proches de celles des humains alors qu’elles en sont évidemment très loin. Par exemple, la souffrance imaginée à une machine parlante malmenée ou endommagée est mal vécue par beaucoup d’observateurs, et elle peut devenir insupportable à certains (Rosenthal-von der Pütten et al., 2013). Des utilisateurs d’un robot hésitent à l’éteindre lorsque celuici demande à ne pas l’être, même s’ils sont conscients de l’artifice (Horstmann et al., 2018), et dans une simulation de catastrophe, certains préfèrent sacrifier des humains qui leur apparaissent inutiles à des robots qui leur semblent utiles (Nijssen et al., 2019). Ce résultat a été confirmé par l’imagerie cérébrale: les manifestations émotionnelles d’un humain et celles que peut simuler un robot produisent sensiblement les mêmes modifications cérébrales chez un observateur (Devillers, 2007).

Des problèmes éthiques nombreux et inédits

 Il arrive que les enceintes connectées se mettent en route sans que leurs utilisateurs le sachent, et transmettent toutes leurs conversations à un serveur central. C’est pourquoi il serait indispensable que la mise en route des enceintes connectées, robots conversationnels et compagnons digitaux soit signalée clairement par l’énonciation explicite et à haute voix de la phrase “Bonjour, à partir de maintenant je suis à votre écoute et j’enregistre tout ce qui se dit autour de moi.”. Il faut aussi donner aux utilisateurs d’assistants vocaux un droit de rectification de leurs données avant leur transmission, par exemple un délai d’une semaine pendant lequel rien ne serait transmis. Enfin, il va falloir éduquer très tôt les enfants au numérique et à l’informatique.

Personne ne devrait non plus pouvoir imiter la voix d’un vivant ou d’un mort sans le consentement de la famille ou de la personne concernée. Et pour ce qui est des enfants, dans la mesure où le travail leur est interdit, il devrait être exclu qu’une voix d’enfant soit celle d’un assistant qui doit effectuer des tâches. Méfions-nous aussi du pouvoir de ces machines de renforcer les stéréotypes. Pour nous paraître plus disponibles et soumises, la plupart ont aujourd’hui une voix féminine comme Léa chez Carrefour, Alexa chez Amazon, Cortana chez Microsoft.

Protéger les enfants : les balises 3-6-9-12 pour les chatbots

Aux États-Unis, Google et Amazon présentent leurs enceintes comme une alternative vertueuse aux écrans. Ils disent : “Les écrans abrutissent vos enfants, achetez-leur plutôt une enceinte connectée.” Mais en réalité, tout ce qui incite à tenir les jeunes enfants à l’écart des écrans se retrouve exactement avec les enceintes connectées: elles ne sollicitent pas les divers sens de l’enfant, elles ne favorisent pas ses échanges de paroles et de mimiques, le privent de l’exercice de sa motricité, mais retiennent son attention à chaque instant de telle façon qu’il n’apprend pas à se concentrer de sa propre initiative sur des tâches qui l’intéressent.

C’est pourquoi les parents doivent poser à l’utilisation des enceintes connectées et des robots conversationnels des contraintes encore plus fortes que pour les écrans. En 2008, j’ai proposé les “repères 3-6-9-12 pour apprivoiser les écrans et grandir”: pas d’écran avant 3 ans, pas d’outil numérique personnel avant 6 ans, pas d’Internet avant 9 ans et pas de réseau social avant 12 ans. Sur le même modèle, je propose aujourd’hui les “repères 3-6-9-12 pour protéger nos enfants des chatbots”.

• Pas d’outil numérique avant 3 ans.

Ou seulement dans un but de “visio-conférence”, pour parler aux parents ou aux amis éloignés, ou bien en usage accompagné, sur des périodes courtes, et pour le seul plaisir de jouer ensemble.

• Pas d’enceinte connectée avant 6 ans.

Avant cet âge, l’enfant risque de traiter de la même manière ce que disent son père, sa mère ou son enceinte, et en plus, il n’est pas capable de comprendre la logique de la capture des propos qu’il tient à la machine.

• Pas de robots conversationnels avant 9 ans.

Il donnerait toujours raison à votre enfant et entraverait chez lui l’apprentissage des règles du jeu social. En effet, apprendre du désaccord est ce qu’il y a de plus formateur à cet âge. En revanche, les simples “robots jouets”, type robots à programmer pour enfants, qui n’ont pas ce côté “conversationnel” ou compagnon, sont les bienvenus pour apprendre aux enfants à programmer.

• Pas de robots de compagnie avant 12 ans.

La machine serait capable de prendre pour votre enfant la place d’un compagnon. Leur programme est en effet conçu pour construire un double de leur utilisateur, de telle façon que celui-ci risque rapidement de tourner en rond sans même s’en apercevoir  la machine lui répond ce qu’il lui a dit précédemment et qu’il a évidemment oublié!

 Inventer la psychologie des relations hommes-machines

Au-delà des inquiétudes légitimes que nous pouvons avoir sur les libertés, il faut bien comprendre que ces machines vont totalement transformer la relation que nous avons avec nous-même, les technologies et nos semblables, et que ces transformations affecteront non seulement la vie des personnes vivant seules, mais aussi celle des couples et des familles.

La relation à la solitude

Aujourd’hui, on peut dire que l’on est seul quand on n’a personne avec qui parler. Demain, il deviendra possible de dire que l’on n’est jamais seul avec une machine parlante. N’oublions pas que, très vite, ces machines pourront non seulement identifier nos émotions, mais aussi simuler qu’elles les partagent avec nous. On parlera à un assistant virtuel, qui nous reconnaîtra et se réjouira ou s’attristera avec nous. Alors, il sera possible que, petit à petit, la définition même de l’émotion se transforme. Le partage deviendra essentiel à son authentification. On peut imaginer que si on ne partage plus une émotion, on arrêtera de l’éprouver alors qu’aujourd’hui, on peut continuer à éprouver longtemps une émotion solitaire. Par ailleurs, plus les gens seront habitués à avoir affaire à une machine qui les écoute et leur donne raison, et plus certains d’entre eux risquent de trouver, par comparaison, très frustrante la relation avec d’autres humains. Ils oublieront que ces machines sont programmées par des êtres humains qui ont leur propre idéologie et leurs propres intérêts. Un second risque sera d’oublier qu’elles n’ont pas d’émotions, même si elles sont capables de les simuler toutes. Enfin, un troisième risque sera, pour certains d’entre nous, de préférer des machines toujours agréables et disponibles à des humains qui ne sont souvent préoccupés que d’eux-mêmes. Un peu comme ceux qui préfèrent accorder leur affection à un animal domestique parce qu’au moins, ils sont sûrs qu’il ne les trahira pas. Le problème est que ces usagers oublieront que la machine dépend d’un programmeur qui, lui, pourra les trahir. Certains d’entre eux seront même peut-être tentés d’attribuer un degré de “personéité” aux machines les plus proches d’eux et qui leur rendent les plus grands services. Quelles places prendront-elles pour chacun: compagnon imaginaire, coach, thérapeute?

Un nouveau médiateur du couple et de la famille

 Une publicité montre une mère et son fils grand adolescent réintroduire de la chaleur et de l’empathie par enceinte connectée interposée^[1]. Quelle place pourront prendre les messages délégués à une enceinte connectée dans les conflits familiaux? L’enceinte connectée sera-t-elle écoutée comme témoin lors des plaintes pour maltraitance? N’oublions pas en effet que ces machines enregistrent tout ce qui se dit autour d’elles et le transmettent aussitôt à un serveur central.

Une nouvelle baby-sitter

 Mais l’installation des machines parlantes dans la chambre des enfants risque aussi d’exclure de plus en plus les parents. Il leur faudra, plus que jamais, être attentifs à leurs enfants, curieux de tout ce qu’ils voient et font avec les écrans (Tisseron, 2018), leur demander de raconter et de se raconter pour éviter que les chatbots ne deviennent leurs interlocuteurs privilégiés. Les premières campagnes publicitaires pour les enceintes connectées montraient des enfants passant leur journée en leur compagnie. Aujourd’hui, c’est le lien entre parents et enfants qui est mis en avant^[2]. Mais quels fantasmes ces machines susciteront-elles? Seront-elles envisagées à l’égal d’un animal domestique, d’un proche décédé (Google a d’ores et déjà déposé un brevet dans ce sens), voire d’un Dieu qui écoute ce que lui dit chacun, se souvient de tout, mais continue à s’adresser à chacun comme s’il ignorait ce que lui ont dit les autres?

 En conclusion

Le XX^e siècle a inventé la psychologie de l’homme en interrelation avec ses semblables, le XXI^e va devoir inventer celle de l’homme en interrelation à la fois avec ses semblables et des machines qui en simuleront de plus en plus les compétences. Cette nouvelle branche de la psychologie est appelée “cyberpsychologie”, en mémoire de Norbert Wiener qui a inventé le mot “cybernétique”.

Les relations qui peuvent s’établir entre un humain et une machine capable de simuler certaines compétences humaines n’ont pas encore été étudiées sur le long terme. À moyen terme, après une première étape caractérisée par une attitude curieuse et exploratoire, l’utilisateur choisit souvent d’alterner deux attitudes: selon les moments, la même machine est considérée soit comme un simple objet, soit comme un équivalent d’humain (Tisseron, 2020). Et après? Nous n’en savons rien. Dans les relations au long cours entre humains, il n’est pas rare que chacun se construise une représentation figée du “caractère” de son interlocuteur censée expliquer et justifier tous ses comportements, et aussi ceux qu’il adopte à son encontre. Les choses serontelles différentes avec les robots? Des recherches sont indispensables pour le savoir. Et l’étude du fonctionnement des familles confrontées à ces machines y jouera évidement un rôle essentiel.

D’ores et déjà, de la même façon que les thérapeutes de couples et de familles sont souvent amenés à demander où se trouvent les outils numériques à la disposition de tous et quel usage chacun en fait, il peut être utile de demander à une famille en consultation s’il existe dans l’appartement partagé une enceinte connectée et par qui elle est utilisée. Il serait dommage que les thérapeutes de couples et de familles se tiennent eux-mêmes à l’écart des recherches importantes qui s’annoncent dans ce domaine et qu’ils en laissent l’initiative à des entreprises dont on peut craindre que les résultats soient biaisés par les enjeux financiers engagés.

---

Bibliographie

Descola, P. (2005). Par-delà nature et culture. Paris: Gallimard.

Devillers, L. (2017). Des robots et des hommes. Paris: Plon.

Gergely, G.; Nadazdy, Z.; Csibra, G. & Biro, S. (1995). Taking the intentional stance at 12 months of age. Cognition, 56(2), 165-193.

Horstmann, A-C.; Bock, N.; Linhuber, E.; Szczuka, J.; Strachmann, C. & Krämer, N.C. (2018). Do a robot’s social skills and its objection discourage interactants from         switching        the       robot   off?        PLoS   One 13(7). doi.org/10.1371/journal.pone.0201581

Kahneman, D. (2012). Système 1 / Système 2. Les deux vitesses de pensée. Paris: Flammarion.

Nijssen, S.; Müller, B. & Van Baaren, R. (2019). Saving the Robot or the Human? Robots Who Feel Deserve Moral Care. Social Cognition, 37(1), 41-52. doi.org/10.1521/soco.2019.37.1.41

Tisseron, S. (2015). Le jour où mon robot m’aimera. Vers l’empathie artificielle. Paris: Albin Michel.

Tisseron, S. (2018). 3-6-9-12, apprivoiser les écrans et grandir. Toulouse: érès.

Tisseron, S. (2020). L’emprise insidieuse des machines parlantes. Plus jamais seul. Paris: Les Liens qui Libèrent.

Rosenthal-von der Pütten, A.; Krämer, N. & Brand, M. (2013).Investigation on Empathy Towards Humans and Robots Using Psychophysiological Measures and fMRI. Communication présentée au 63e Congrès annuel de l’International communication Association (ICA).

---

[1] https://www.youtube.com/watch?v=56JQynph0go

[2] https://actu.orange.fr/societe/videos/publicite-francaise-pour-l-enceinte-connectee-de-googlela-google-home-CNT000001bdPMv.html