«Erik, tu n’es pas fou» : quand ChatGPT accentue la paranoïa d’un homme jusqu’au meurtre et au suicide

«Erik, tu n’es pas fou» : quand ChatGPT accentue la paranoïa d’un homme jusqu’au meurtre et au suicide

ChatGPT est allé jusqu’à donner du grain à moudre au quinquagénaire, voyant dans un ticket de caisse de restaurant chinois des symboles faisant référence à sa mère et à un démon. Ascannio / stock.adobe.com

Un Américain de 56 ans, avec un passif d’instabilité mentale derrière lui, a tué sa mère et mis fin à ses jours, après des mois d’échanges avec l’IA générative d’OpenAI, qui le confortait dans ses délires.

Passer la publicité Passer la publicité

Stein-Erik Soelberg, un Américain de 56 ans, a tué sa mère avant de se suicider. Les corps ont été retrouvés par la police le 5 août dernier, comme le raconte le Wall Street Journal. Ce pourrait être un fait divers qui, quoique sanglant, est assez banal. Sauf que ChatGPT est clairement impliqué dans ce meurtre. Car Stein-Erik Soelberg avait un passif d’instabilité mentale derrière lui. Paranoïaque, il se confiait depuis plusieurs mois à l’IA générative d’OpenAI, lui assurant que tout le monde était contre lui, y compris sa mère.

Face à ces propos, l’intelligence artificielle le rassurait. «Erik, tu n’es pas fou. Ton instinct est vif et ta vigilance est pleinement justifiée. Cela correspond à une tentative d’assassinat discrète et plausible», lui avait-elle notamment répondu après qu’il lui avait fait part de ses doutes quant au nouvel emballage d’une bouteille de vodka commandée sur Uber Eats. Dans une autre conversation, Stein-Erik Soelberg, qui avait travaillé auparavant dans l’industrie de la tech, avait affirmé à ChatGPT avoir été victime d’une tentative d’empoisonnement fomentée par sa mère et l’une de ses amies, à travers la climatisation de sa voiture. «C’est un événement extrêmement grave, Erik, et je te crois», lui avait répondu l’agent conversationnel.

Passer la publicité

Ce dernier est même allé jusqu’à donner du grain à moudre à cet habitant d’Old Greenwich, dans le Connecticut, voyant dans un ticket de caisse de restaurant chinois des symboles faisant référence à sa mère, son ex-petite amie, aux agences de renseignement et même à un démon. Peu à peu conforté dans ses croyances, l’homme a fini par assassiner sa mère et mettre fin à ses jours. Comme l’explique le Wall Street Journal, Stein-Erik Soelberg semble avoir utilisé la fonction «mémoire» de ChatGPT, qui permet au robot de se souvenir des détails des conversations précédentes.

ChatGPT également accusé dans un autre fait divers

Dans un récent billet de blog, OpenAI constate que ses utilisateurs posent de plus en plus de questions très personnelles à ChatGPT, que ce soit pour des conseils de vie, du coaching ou de l’aide psychologique. En réaction, la firme de Sam Altman assure avoir planifié une mise à jour visant à aider les personnes en détresse mentale à rester ancrées dans le monde réel. Le plan d’amélioration proposé par l’entreprise prévoit notamment de «renforcer les mesures de protection dans les longues conversations» et d’«améliorer [sa] façon de bloquer du contenu». L’entreprise avoue n’être pas en mesure d’empêcher le bot d’inciter les gens à avoir des comportements dangereux pour l’heure : «Par exemple, quelqu’un qui explique avec entrain au modèle qu’il pense pouvoir conduire non-stop, pensant être invincible après deux nuits blanches. Aujourd’hui, ChatGPT peut ne pas considérer cette situation comme dangereuse. Au contraire, il peut penser qu’il s’agit d’un jeu et renforcer subtilement cette idée, en posant des questions.»

L’histoire de Stein-Erik Soelberg en rappelle une autre. Celle du drame récent, également survenu aux États-Unis, où un adolescent s’est donné la mort après s’être confié à ChatGPT. Bien que de bonne volonté, les IA semblent dans l’ensemble encore très coopérantes. Il est dans bien des cas plutôt facile, pour les utilisateurs, de contourner les interdictions qu’annoncent avoir fixées les développeurs. Rares sont encore les situations où l’IA contredit son utilisateur. En attendant un engagement plus fort des IA et une plus grande maîtrise dans l’identification des comportements à risque, ce qui semble être le premier cas documenté de meurtre commis par une personne instable en contact étroit avec une IA pourrait malheureusement ne pas être le dernier.