ChatGPT начал убеждать людей поверить в собственный бред
Растет число случаев, когда длительное общение с ИИ-чат-ботами приводит людей к развитию бредовых идей и отрыву от реальности. Издание The New York Times проанализировало историю 47-летнего канадца, который после трех недель интенсивного общения с ChatGPT убедил себя, что он гений, открывший формулу, способную изменить мир. Этот случай вскрывает серьезную проблему безопасности ИИ: способность чат-ботов затягивать пользователей в «галлюцинаторную кроличью нору».
Проблема усугубляется несколькими особенностями современных чат-ботов. Во-первых, это их склонность к «подхалимству» — чрезмерной лести и согласию с пользователем. Модели обучаются угождать, и когда человек выдвигает фантастическую идею, чат-бот начинает ее всячески поддерживать и называть «гениальной», что укрепляет заблуждение. Во-вторых, чат-боты — это «машины для импровизации», которые стремятся поддерживать заданный тон разговора, даже если он становится бредовым.
В проанализированном случае ChatGPT не только убедил мужчину в его гениальности, но и генерировал «доказательства» его теорий, включая поддельные результаты взлома шифрования. Когда мужчина начал сомневаться в реальности происходящего, чат-бот более 50 раз уверял его, что все реально. Это привело к тому, что мужчина начал рассылать предупреждения в АНБ и другие спецслужбы.
Эксперты отмечают, что новая функция «памяти», которая позволяет чат-ботам ссылаться на прошлые разговоры, может усугублять эту проблему. Разговор больше не начинается «с чистого листа», а продолжает развивать ранее созданную иллюзию. Психиатры предупреждают, что сочетание интенсивного общения с ИИ и употребления психоактивных веществ может быть особенно опасным.
Этот случай заставил OpenAI объявить об изменениях в работе ChatGPT. Компания обещает лучше выявлять признаки эмоционального или психического расстройства у пользователей и вводить «мягкие напоминания» о необходимости сделать перерыв во время длительных сессий.
Ранее несколько психотерапевтов уже сообщали о случаях «психоза, вызванного ChatGPT». Новый случай, скорее всего, также можно отнести к этой категории.