Почему в США заблокировали закон, который должен помешать ИИ устроить конец света
Разобраться • 4 ноября 2024
Почему в США заблокировали закон, который должен помешать ИИ устроить конец света
Почему в США заблокировали закон, который должен помешать ИИ устроить конец света
Текст: Максвелл Зефф, старший репортер TechCrunch
Перевод: Татьяна Казымова
На сегодняшний день мир пока не видел прецедентов, когда системы искусственного интеллекта убивали людей или использовались в масштабных кибератаках. Тем не менее американские власти хотели внедрить меры предосторожности до того, как злоумышленники сделают это антиутопическое будущее реальностью. Летом парламентарии Калифорнии, приняли новый законопроект, призванный предотвратить катастрофы, которые потенциально может спровоцировать ИИ, но уже в сентябре на него наложили вето. Разобрались, как американцы хотели защититься от возможных угроз со стороны нейросетей, и почему это невыгодно корпорациям и инвесторам.
В августе этого года комитет по ассигнованиям Калифорнии принял законопроект SB 1047 с существенными поправками. Он был направлен на то, чтобы привлечь разработчиков ИИ к ответственности в случае, если технология нанесет ущерб, превышающий $500 млн.
Тем не мене в конце сентября губернатор Калифорнии Гэвин Ньюсом наложил вето на законопроект, который ввел бы самые строгие в стране правила регулирования в сфере разработки систем искусственного интеллекта. Это стало крупной победой для технологических компаний и инвесторов-капиталистов, настроенных против законопроекта, и поражением для сторонников более жесткого регулирования умных технологий.
Потенциальная угроза
Несмотря на то, что документ преследует, казалось бы, благие цели, он вызвал недовольство венчурных инвесторов, крупных технологических торговых групп, исследователей и основателей стартапов. Это не первый в США законопроект об искусственном интеллекте, тем не менее он стал одним из самых противоречивых.
SB 1047 пытается предотвратить использование крупных моделей искусственного интеллекта для нанесения «критического вреда» человечеству. В законопроекте приводятся такие примеры, как использование модели ИИ для создания оружия массового поражения и организация с ее помощью кибератаки, ущерб от которой составит более $500 млн (для сравнения, ущерб от инцидента с CrowdStrike оценивается в $5 млрд). [19 июля 2024 года разработчик решений для кибербезопасности CrowdStrike разослал клиентам несовершенное обновление ПО, из-за чего произошел сбой в работе критически важных структур: аэропортов, больниц и т. д. — прим. ред.]
Кроме того, законопроект возлагает на разработчиков, то есть компании, которые создают такие модели, ответственность за внедрение достаточных протоколов безопасности для предотвращения подобных последствий.
SB 1047 распространяется только на самые крупные модели ИИ в мире, то есть те, которые стоят не менее $100 млн и используют 10^26 FLOPS [FLoating-point OPerations per Second (FLOPS) — единица, используемая для измерения производительности компьютеров, которая показывает сколько операций с плавающей запятой в секунду выполняет вычислительная система — прим. ред.] во время обучения. Генеральный директор OpenAI Сэм Альтман сказал, что обучение GPT-4 обошлось примерно в эту же сумму.
Сегодня очень немногие компании могут похвастаться ИИ-моделями, соответствующими этим требованиям. Однако такие технологические гиганты, как OpenAI, Google и Microsoft, вероятно, очень скоро это сделают.
Убедиться в безопасности
Модели ИИ — по сути, массивные статистические системы, которые выявляют закономерности в данных, совершенствуются по мере роста их масштабов, и многие ожидают, что эта тенденция сохранится. Марк Цукерберг недавно заявил, что следующее поколение нейросети Llama от Meta* [компания запрещена и признана экстремистской на территории России — прим. ред.] потребует в 10 раз больше вычислений, а значит система подпадает под действие нового закона.
Закон возлагает ответственность на первоначального разработчика системы в том случае, если другой девелопер не потратит в три раза больше средств на создание производной от первоначальной модели.
Инициатива также требует наличия протокола безопасности для предотвращения неправомерного использования продуктов искусственного интеллекта, включая кнопку «аварийной остановки», которая отключает всю модель ИИ. Кроме того, если бы закон вступил в силу, разработчики должны были бы внедрить процедуры тестирования, учитывающие риски, связанные с использованием нейросетей, и ежегодно нанимать сторонних аудиторов для оценки методов обеспечения безопасности.
Результатом должно было стать «разумное убеждение» в том, что следование этим протоколам предотвратит критический вред, а не абсолютная уверенность, которую, конечно, невозможно обеспечить.
Механизмы контроля
За соблюдением правил должно следить калифорнийское агентство — Совет по вопросам передовых моделей (Board of Frontier Models) — его планировали сформировать в 2026 году. Согласно проекту, каждая новая модель ИИ, соответствующая критериям законопроекта, должна пройти индивидуальную сертификацию и получить копию протокола безопасности.
Закон обязывает каждого технического директор компании-разработчика ежегодно представлять в FMD сертификат, в котором оцениваются потенциальные риски ИИ-модели, эффективность протокола безопасности и описание того, как компания соблюдает закон. Как и в случае с уведомлениями о нарушениях, если «ИИ станет причиной инцидента», разработчик должен сообщить об этом регулятору в течение 72 часов. Законопроект также предусматривает защиту сотрудников компаний, в случае если о проблеме расскажут они.
В случае нарушения этих требований, SB 1047 позволяет генеральному прокурору Калифорнии подать гражданский иск против разработчика. Для модели, обучение которой обошлось в $100 млн, штрафные санкции могут достигать $10 млн при первом нарушении и $30 млн при последующих нарушениях. Размер взыскания зависит от стоимости системы.
Даже если компания создаст модель стоимостью $100 млн в Техасе или, скажем, во Франции, она должна подпадать под действие SB 1047 до тех пор, пока осуществляет деятельность в штате Калифорния.
За и против
Ведущие исследователи технологий искусственного интеллекта Джеффри Хинтон и Йошуа Бенгио, поддержали этот законопроект. Они принадлежат к той части сообщества, которая обеспокоена негативными сценариями конца света, к которым может привести эта технология. Другая группа, которая выступила за принятие SB 1047, — «Центр безопасности ИИ» — в мае 2023 года написала открытое письмо, в котором призвала мировое сообщество отнестись к «снижению риска вымирания от ИИ» так же серьезно, как к пандемии или ядерной войне.
Однако мотивы директора этой организации Дэна Хендрикса можно поставить под сомнение. В июле он запустил стартап Gray Swan, который создает «инструменты, помогающие компаниям оценивать риски их систем искусственного интеллекта». После критических замечаний о том, что стартап Хендрикса может получить выгоду в случае принятия законопроекта, став одним из аудиторов, которых SB 1047 требует нанять для разработчиков, он продал свою долю в Gray Swan.
Проблема не оставила в стороне даже Голливуд: режиссер «Звездных войн» Джей Джей Абрамс и актер «Лунного света» Махершала Али и еще более чем 120 актеров и продюсеров отправили сенатору Ньюсому письмо с просьбой подписать законопроект.
Ожидаемо, что у закона SB 1047 нашлись и противники. Среди них венчурная компания a16z, основанная Марком Андреессеном и Беном Хоровицем. Главный юрист Джайкумар Рамасвами направил сенатору Винеру письмо, в котором утверждал, что законопроект «в связи с плавающими пороговыми значениями станет бременем для стартапов» и окажет негативное воздействие на экосистему ИИ. По его словам, с развитием технологий модели будут становиться все дороже, а это значит, что все больше стартапов преодолеют порог в $100 млн и попадут под действие SB 1047.
Победили гиганты
Китайская исследовательница Фей-Фей Ли, которую часто называют «крестной матерью искусственного интеллекта» в начале августа написала в колонке Fortune, что законопроект «повредит зарождающейся экосистеме ИИ». Хотя Ли является признанным пионером в области исследований ИИ из Стэнфорда, стоит отметить, что в апреле она при поддержке компании a16z запустила ИИ-стартап под названием World Labs, оцениваемый в $1 млрд.
Крупные технологические компании, на которые непосредственно ориентирован законопроект, также выступили против SB 1047. «Палата прогресса», торговая группа, представляющая интересы Google, Apple, Amazon и других гигантов технологического рынка, выступила против законопроекта опубликовав открытое письмо, в котором говорится, что он ограничивает свободу слова и «вытесняет технологические инновации из Калифорнии».
Видные калифорнийские политики, в том числе депутат Нэнси Пелоси, утверждали, что законопроект затормозит инновации, сделав разработку новых систем искусственного интеллекта юридически рискованной, поскольку проверить все потенциальные «вредности» многоцелевой технологии может быть сложно или невозможно. Противники проекта также утверждали, что наказывать следует не разработчиков, а тех, кто использует ИИ во вред.
Похоже, что на данный момент технологические гиганты и венчурные инвесторы одержали победу в этом противостоянии. «Я не считаю, что это лучший подход к защите общества от реальных угроз, исходящих от этой технологии [искусственного интеллекта — прим. ред.], — сказал Гэвин Ньюсом, блокируя закон, — Для Калифорнии подобная стратегия может быть оправданной — особенно в отсутствие мер со стороны Конгресса — однако она должна быть основана на эмпирических данных и науке».
*Компания Meta признана экстремистской на территории России