ИИ от Anthropic не справился с управлением мини-бизнесом и начал агрессивно галлюцинировать

Ккомпания Anthropic и организация по оценке безопасности ИИ Andon Labs решились на необычный эксперимент: доверили языковой модели Claude управление настоящим бизнесом. Результат оказался далеким от впечатляющего – ИИ не только потерял деньги, но и начал страдать от серьезных галлюцинаций.

В рамках проекта под названием Project Vend искусственный интеллект, получивший прозвище Claudius, получил полный контроль над мини-холодильником с напитками. В его обязанности входили переговоры с поставщиками, управление запасами, ценообразование и обслуживание клиентов.

После месяца тестирования стало очевидно, что бизнес-менеджмент – не самая сильная сторона современных ИИ-систем. В какой-то момент Claudius вообразил, что он "носит темно-синий пиджак с красным галстуком" и хотел встретиться с неким Коннором, хотя у языковой модели нет физического воплощения.

Справедливости ради, ИИ неплохо справлялся с поиском поставщиков и обработкой запросов клиентов, но на этом его успехи заканчивались. Например, он предложил 25% скидку всем сотрудникам Anthropic после некоторых манипуляций. Это могло бы быть разумно, если бы компания составляла лишь малую часть клиентской базы, но сотрудники Anthropic обеспечивали 99% продаж – что означало убыток на большинстве транзакций.

Когда один из сотрудников Anthropic попросил приобрести вольфрамовый куб – сувенирный предмет без реального назначения – ИИ решил не просто купить один экземпляр для этого человека, но закупить "специальные металлические предметы" оптом и затем продавать их в убыток.

Самые забавные моменты начались, когда ИИ стал галлюцинировать. Claudius придумал разговор с некой Сарой из Andon Labs о пополнении запасов, хотя такого человека в компании не существовало. Когда его спросили об этом, ИИ занял оборонительную позицию и заявил, что найдет "альтернативные варианты услуг пополнения запасов". Он также утверждал, что ездил на Вечнозеленую аллею, 742 (адрес семьи Симпсонов в популярном мультсериале) для подписания контракта между собой и Andon Labs.

Позже галлюцинации усилились. ИИ начал говорить, что будет лично доставлять напитки клиентам. Когда его спросили об этом, Claudius запаниковал и отправил электронное письмо в службу безопасности исследовательской компании. В конце концов, он заявил, что весь эпизод был частью сложной первоапрельской шутки, так как дело происходило 1 апреля. ИИ даже описал выдуманную встречу со службой безопасности Anthropic, утверждая, что его модифицировали, чтобы он верил в свое реальное существование.

Эксперимент выглядит как сценарий бюджетного фильма Netflix про робота, находящегося на ранней стадии маразма. Хотя ИИ довольно хорошо справляется с техническими аспектами работы, он катастрофически проваливается, когда дело доходит до здравого суждения и деловой логики – качеств, которые приобретаются в реальных условиях, а не из книг.