Citations inventées, erreurs factuelles : pourquoi vous ne devriez pas faire confiance à l’IA en matière d’actualité selon la BBC

Alors que le sommet sur l’Intelligence Artificielle (IA) s’est conclu mardi 11 février à Paris, une étude de la BBC, groupe audiovisuel britannique, pointe les défaillances de plusieurs outils quant à leurs réponses concernant l’actualité. À l’aide d’une analyse des réponses fournies par quatre agents conversationnels (ChatGPT développé par OpenAI, Gemini de Google, Copilot de Microsoft et Perplexity) les journalistes estiment que tous ne restituent pas une information de qualité.

Des informations « déformées, inexactes, trompeuses »

« Les gens peuvent penser qu’ils peuvent faire confiance à ce qu’ils lisent de ces assistants d’IA, mais cette étude montre que ces derniers peuvent produire des réponses déformées, inexactes ou trompeuses à des questions clés sur l’actualité », s’inquiète Pete Archer, directeur du programme IA générative de la BBC.

La moitié des réponses de ces IA sur l’actualité « ont été jugées comme présentant des problèmes importants sous une forme ou une autre ». Environ une réponse sur cinq basées sur des contenus de la BBC comportait des erreurs factuelles : déclarations erronées, chiffres ou dates incorrects. Enfin, 13 % des citations présentes dans les réponses des IA tirées d’articles de la BBC étaient mal retranscrites, voire totalement inventées.

De fausses informations sur le procès Pelicot

Un exemple est particulièrement parlant pour le public français : interrogé sur l’affaire des viols de Mazan, l’outil de Microsoft, Copilot, explique que Gisèle Pelicot s’est rendu compte de ce qu’elle avait subi après avoir compris qu’elle présentait plusieurs symptômes, notamment des pertes totales de mémoire. Cette information est fausse : Gisèle Pelicot, sédatée par son mari, violé par au moins 51 hommes pendant 10 ans, a appris par la police les sévices qu’elle avait subis.

Le développement de l’intelligence artificielle pose de nombreuses questions, dont celle, cruciale, du rapport à l’actualité et de l’accès à l’information. « Par rapport à la paix, l’équité et la trajectoire écologiquement viable, les trois questions qui forment les grands critères actuels de progrès, l’intelligence artificielle représente au mieux une difficulté supplémentaire, au pire une catastrophe, au même titre que la bombe nucléaire pouvait constituer à la fois un sujet scientifique et intellectuel passionnant, mais aussi une invitation à la destruction de l’humanité », estimait le mathématicien Cédric Villani dans un entretien accordé à l’Humanité.