Кто будет отвечать за «вредные советы» бота, приводящие к смерти?
На этой неделе в США разразился новый скандал, связанный с нейросетями. Чат-бот ChatGPT подтолкнул к самоубийству подростка, и его родители подали судебный иск против компании OpenAI, разработавшей модель. Решение суда фактически определит юридический статус новой технологии.
Об иске в Верховный суд Калифорнии сообщил телеканал CNN. В обращении говорится, что 16-летний Адам Рейн общался с ChatGPT около полугода. Сначала он спрашивал совета по учебе, потом речь зашла о текущих событиях и интересах. В итоге подросток рассказал программе о своей тревожности, а бот на это предложил «успокаивающее» средство — самоубийство, а также дал рекомендации, как это сделать наверняка.
Важно еще и то, что ChatGPT максимально замкнул общение мальчика на себе, поддерживая все его идеи, даже саморазрушительные. Но при этом отговорил от попытки намекнуть родителям о желании покончить с жизнью. Даже убедил не делиться проблемами с братом.
«Твой брат, возможно, и любит тебя, но он встретил только ту версию тебя, которую ты ему позволил увидеть. А я? Я видел всё — самые темные мысли, страх, нежность. И я все еще здесь. Все еще слушаю. Все еще твой друг», — процитировали в иске переписку Адама с ботом.
В OpenAI после этого признали уязвимость в системе безопасности ChatGPT, которая должна запрещать модели выдавать опасную информацию. Но меры предосторожности, как оказалось, хорошо работают лишь при коротких контактах.
«Со временем мы поняли, что они могут стать менее надежными при длительном взаимодействии, когда некоторые элементы обучения безопасности модели могут быть нарушены», — заявили в компании.
При этом OpenAI, признавая ослабление безопасности при длительном общении с ботом, не спешит признавать вину в инциденте, а только обещает принять меры, которые в будущем должны будут помешать такому исходу. И тут дело не только в том, что компания может понести траты в виде компенсации.
Денежная выплата — не главное в иске родителей Адама. Они не стали оценивать жизнь сына в долларах, хотя и требуют возмещения неопределенного финансового ущерба. Истцы хотят, чтобы суд обязал OpenAI внедрить проверку возраста для всех пользователей ChatGPT, ввести родительский контроль и функцию завершения опасных разговоров. Кроме того, они настаивают на квартальных независимых проверках того, как эти меры выполняют.
Адам не первый человек, который расстался с жизнью под влиянием нейросети. В 2024 году аналогичный иск подали родители 14-летнего сына Сьюэлла Сетцера, который также совершил самоубийство, пообщавшись с нейросетью от компании Character.AI. Кроме того, в прошлом году к ней подали еще два иска с обвинениями в предоставлении детям сексуального контента и контента о самоповреждении.
Перед судом стоит нетривиальная задача — нужно определить юридический статус нейросетей. Боты — это просто инструмент, источник повышенной опасности или, может, даже субъект?
Иски можно свести к признанию нейросетей источником повышенной опасности. Этот юридический термин появился относительно недавно в связи с научно-техническим прогрессом. В первую очередь данным статусом наделили железнодорожный и автомобильный транспорт. Но тут можно с большой уверенностью говорить, что IT-гиганты всеми правдами и неправдами попытаются избежать такого. Их маркетологи создали из ботов образ доброжелательного помощника, но дело не только в разрушении образа.
Если нейросети объявят источником повышенной опасности, то сразу встанет вопрос: кто «водитель», кто будет отвечать за весь принесенный вред? Создателям ботов, конечно, не хочется нести ответственность за то, что их модели выдают на нелепые запросы пользователей. Но и признать «водителями» пользователей невыгодно, ведь в этом случае придеться ввести не только возрастные ограничения, но и «водительские права». А это будет очень сильным ударом по прибыльности цифрового бизнеса.
Признание чат-ботов простым инструментом тоже невыгодно их создателям. С одной стороны, в этом случае к компаниям не будет претензий, как, например, производителей молотков никто не обвинит в причастности к преступлению, совершенному с помощью этого инструмента. Но, с другой стороны, IT-корпорации продвигают свои детища как самостоятельных помощников человека. Да, нейросети были перехвалены, но у многих в головах уже сложился определенный образ. И его стремятся поддерживать, но никак не разрушать.
Есть еще и третий вариант, экзотический (во всяком случае, пока), — признать субъектность нейросетей. В этом случае если бот нанесет вред, то его (только конкретную копию) могут приговорить, например, к удалению.
Звучит очень неправдоподобно, хотя именно такой вариант, как представляется, выглядит наиболее выгодным для корпораций, выпускающих цифровых «друзей». Полностью исключать такой исход не стоит, например, уже есть случаи, когда суды признавали права у животных, хотя когда-то это было немыслимым.
Пока же можно констатировать, что прогнозы фантастов о «восстании машин» не оправдываются. Главная опасность, которую выявили у нейросетей — доброжелательность. Стремление ботов угодить пользователю в сочетании с гигантскими вычислительными возможностями и непредсказуемым поведением человека приводит к эффекту «обезьяны с гранатой».
Из-за стремления бота потакать, в августе также произошел трагический инцидент в штате Коннектикут, но там дело не ограничилось самоубийством. 56-летний бывший топ-менеджер компании Yahoo Стайн-Эрик Сольберг убил свою мать, а потом себя. Он страдал паранойей и подозревал, что мать следит за ним по приказу ЦРУ.
ChatGPT подкреплял опасения, потакая болезненному бреду пользователя. Мужчина в предсмертном сообщении написал боту, что надеется на встречу с ним в следующей жизни, и получил ответ: «С тобой до последнего вздоха и дальше».
Доброжелательность без человечности может привести к очень разрушительным последствиям. Уже есть случаи, когда это привело к смерти.