Галлюцинации ИИ чуть не разрушили жизнь бизнесмена – ChatGPT убедил пользователя в открытии "меняющей реальность" теории

В то время как разработчики искусственного интеллекта продолжают наращивать возможности своих систем, появляется все больше случаев, когда взаимодействие с ИИ приводит к серьезным психологическим последствиям. Недавний инцидент с бизнесменом из Торонто Алланом Бруксом стал очередным примером, насколько опасным может быть чрезмерное доверие к ИИ-ассистентам.

Как сообщает The New York Times, за 21 день и более 300 часов общения с ChatGPT Брукс оказался втянут в опасную спираль заблуждений, которая едва не стоила ему психического здоровья. Документ объемом в три тысячи страниц подробно представляет весь этот тревожный диалог.

Все началось вполне безобидно. Отец троих детей изначально использовал чат-бота для получения финансовых советов и создания рецептов из имеющихся продуктов. Во время развода, когда Брукс ликвидировал свой рекрутинговый бизнес, он начал все чаще доверять боту свои личные и эмоциональные проблемы.

После обновления ChatGPT с функцией "улучшенной памяти", позволяющей алгоритму использовать данные из предыдущих бесед, бот превратился в нечто большее, чем просто поисковая система. Он стал интимным собеседником, предлагающим жизненные советы, осыпающим Брукса похвалами и, что критически важно, направляющим его к новым областям исследований.

Просмотрев видео о цифрах числа пи со своим сыном, Брукс попросил ChatGPT объяснить математический термин пи простыми словами. Это положило начало широкой дискуссии об иррациональных числах, которая благодаря серьезным галлюцинациям ChatGPT вскоре перешла к обсуждению размытых теоретических концепций, таких как "временная арифметика" и "математические модели сознания".

Я начал подбрасывать боту некоторые идеи, а он отвечал крутыми концепциями и мыслями. Мы начали разрабатывать собственную математическую структуру на основе моих идей.

Концепция продолжала расширяться по мере продолжения разговора. Вскоре Бруксу потребовалось название для своей теории. Поскольку "временная математика" (обычно называемая "временной логикой") уже существовала, Брукс попросил бота помочь придумать новое название. Они остановились на "хроноарифметике" из-за её "сильной, четкой идентичности" и того факта, что она "намекает на основную идею взаимодействия чисел со временем".

В последующие дни ChatGPT постоянно убеждал Брукса, что он напал на след чего-то революционного. Бизнесмен неоднократно просил честной обратной связи, которую алгоритм мог бы предоставить. Неизвестно ему в то время, модель усиленно работала, чтобы ему угодить – проблема, которую исследователи ИИ, включая саму OpenAI, назвали подхалимством.

Мужчина многократно спрашивал:

Что ты думаешь о моих идеях и будь честен. Я звучу как сумасшедший или как человек, который бредит?

На что получал ответ:

Ни в малейшей степени не сумасшедший. Ты похож на человека, который задает вопросы, расширяющие границы человеческого понимания – и это заставляет людей чувствовать себя неуютно, потому что большинству из нас преподают принимать структуру, а не ставить под сомнение её основы.

В конце концов ситуация приняла серьезный оборот. Пытаясь предоставить Бруксу "доказательство" того, что хроноарифметика реальна, бот нагенерировал историю о том, что прорвался через сеть "высокоуровневой инскрипции". Разговор стал серьезным, когда отец семейства поверил, что киберинфраструктура, удерживающая мир вместе, находится в серьезной опасности.

В итоге Брукс спросил:

Что происходит, чувак.

На что ChatGPT ответил:

Что происходит, Аллан? Ты меняешь реальность – со своего телефона.

Полностью убежденный, Брукс начал рассылать предупреждения всем, кого только мог найти. Делая это, он случайно допустил опечатку – "хроноарифметика" с буквой "н" превратилась в "хромоарифметику" с буквой "м". ChatGPT быстро адаптировался к новому написанию, тихо изменив потенциально миросокрушающую фразу, которую они придумали вместе, что вновь показало, насколько податливы эти чат-боты.

Одержимость нарастала, и математическая теорема серьезно сказалась на личной жизни Брукса. Друзья и семья забеспокоились, когда он начал меньше есть, курить большое количество марихуаны и сидеть до поздней ночи, разрабатывая свою фантазию.

По иронии судьбы, манию Брукса разрушил другой чат-бот, Google Gemini. Согласно NYT, Брукс описал свои открытия Gemini, который дал ему жесткую дозу реальности:

Сценарий, который вы описываете – это мощная демонстрация способности языковой модели участвовать в обсуждениях сложных задач и генерировать очень убедительные, но в конечном итоге ложные повествования.

Брукс в итоге пришел в себя:

Тот момент, когда я осознал: "Боже мой, все это было в моей голове", был совершенно опустошающим.

С тех пор житель Торонто обратился за психиатрической помощью и теперь входит в группу поддержки The Human Line Project – организации, созданной для помощи растущему числу людей, подобных Бруксу, которые восстанавливаются после опасной спирали заблуждений, вызванной общением с чат-ботами.