Искусственный интеллект — новое ядерное оружие: о чём предупреждает Генри Киссинджер
Генри Киссинджер написал статью про опасности искусственного интеллекта
Пугающие технологии
В этом году исполняется 78 лет с окончания самой кровопролитной войны в истории, а ещё мирного существования всех сверхдержав. Первую мировую войну и Вторую разделяло чуть больше 20 лет, а вот ожидание третьей, которая уже может уничтожить всё человечество, вылилось в несколько десятилетий Холодной войны. Когда Япония сдалась после атомных бомбардировок Хиросимы и Нагасаки, мало кто предполагал, что де-факто это наложит мораторий на использование ядерного оружия на следующие 70 лет. А ещё мало кто предполагал, что к этому моменту в мире будет всего девять ядерных держав. Под лидерством Америки мы избежали ядерной войны, ограничили распространение ядерного оружия и установили мир между сверхдержавами. Всё это одни из величайших достижений Штатов.
А сегодня мир предстаёт перед вызовами ещё более пугающей технологии — искусственного интеллекта (ИИ) — и в попытках найти какое-то руководство обращается к истории. Станут машины новыми повелителями мира? Оспорит ли ИИ монополию наций на насилие? Даст ли ИИ кому-то из нас возможность разрабатывать смертоносные вирусы, которые убьют столько людей, сколько супердержавы не смогли бы при всём желании? Разрушит ли ИИ нашу систему ядерного сдерживания, которая лежит в основе современности?
Сейчас никто не может ответить на эти вопросы. Но мы исследовали их с группой лидеров в сфере ИИ, и нам представляется, что бесконтрольное развитие этой отрасли может иметь катастрофические последствия для США и всего мира. Так что лидеры государств должны действовать сейчас. Пускай никто из них (и никто из нас) не может в точности прогнозировать будущее, мы поняли достаточно, чтобы принимать тяжёлые решения здесь и сейчас.
Мировым лидерам может помочь опыт ядерного оружия. Он показал, что общие интересы можно найти даже в гонке вооружений, способной убить миллионы людей. США и СССР понимали, что их технологии могут попасть в руки террористам из других стран, так что обезопасили свои арсеналы. А ещё они понимали, что террористы могли получить технологии с подачи либо США, либо СССР. Так что они начали взаимодействовать друг с другом, чтобы этого не случилось.
А как только технологии достигли такого уровня, что ядерные удары одной стороны немедленно спровоцировали бы удары другой, появился термин «Взаимное гарантированное уничтожение». С этого момента державы стали всеми силами избегать крупных столкновений. Лидеры США и Штатов сочли, что их главная обязанность — предотвратить ядерную войну, первой жертвой которой стали бы их народы.
Искусственный интеллект — это не вторая глава ядерной эпохи, а история — это не поваренная книга, откуда можно достать готовый рецепт. Отличий между ИИ и ядерным оружием так же много, как и общего. И тем не менее важно изучить принципы, по которым мир за почти 80 лет так и не увидел прямой войны между сверхдержавами.
К этому моменту в мире всего два лидера в сфере ИИ — это США и Китай. Только у них есть достаточно специалистов, научно-исследовательских институтов и технологий, чтобы разрабатывать самые сложные модели искусственного интеллекта. И только они могут предотвратить сценарий, когда ИИ будет использоваться в самых плохих целях. Джо Байдену и Си Цзиньпину нужно провести саммит — возможно, сразу после их встречи в Сан-Франциско в ноябре — и развёрнуто обсудить там один из самых важных вопросов перед ними сегодня.
Роберт Оппенгеймер, глава Манхэттенского проекта, цитировал «Бхагавад Гиту»: «Я стал смертью, разрушителем миров»
Уроки ядерной эпохи
Когда атомные бомбы уничтожили японские города в 1945 году, ученые, открывшие ящик Пандоры, с ужасом наблюдали за своим творением. Роберт Оппенгеймер, глава Манхэттенского проекта, цитировал «Бхагавад Гиту»: «Я стал смертью, разрушителем миров». Он призывал к настолько радикальным мерам по ядерному сдерживанию, что попал в опалу спецслужб. Об опасностях нового оружия мировые лидеры узнали из манифеста Рассела и Эйнштейна, который в 1955 году подписали 11 крупнейших учёных — не только Бертран Рассел и Альберт Эйнштейн, но и Линус Паулинг и Макс Борн.
Ни президент США Гарри Трумэн, ни его команда не понимали, как новая технология должна вписаться в новый послевоенный миропорядок. Надо ли США сохранять атомную монополию? Возможно ли это? Имеет ли Штатам смысл поделиться своими ядерными наработками с Советским Союзом? Требует ли это оружие новой международной организации, которая стояла бы выше государств? Военный советник Трумана Генри Стимсон (который только что помог победить Германию и Японию) предложил Штатам поделиться атомными бомбами с Иосифом Сталиным и Уинстоном Черчиллем. В его понимании, так можно было бы предотвратить распространение ядерного оружия за пределы троицы.
Ни президент США Гарри Трумэн, ни его команда не понимали, как ядерное оружие должно вписаться в новый послевоенный миропорядок
Трумэн даже создал комитет, который возглавлял госсекретарь США Дин Ачесон. Он должен был проработать предложение Стимсона. Ачесон был согласен со Стимсоном в одном: гонка ядерных вооружений не приведёт к ужасной войне только при одном условии — если атомные бомбы перейдут под контроль международной организации. Это потребует от США поделиться своими секретами с Советским Союзом и другими членами совета безопасности ООН, раскрыть свой арсенал для новой атомной организации и запретить всем остальным странам разрабатывать своё оружие или сооружать нужную для этого инфраструктуру. В 1946 году Труман отправил своего советника Бернарда Баруха в ООН, чтобы обсудить план Ачесона. От предложения категорически отказался представитель СССР Андрей Громыко.
Через три года Советский Союз уже разработал свою бомбу. Мир вступил в эпоху Холодной войны — соревнования между СССР и США за пули, ракеты и, конечно, ядерное превосходство. За последнее шла самая ожесточённая борьба. На своём пике арсеналы сверхдержав достигали 60 тысяч боеголовок. Часть из них были мощнее, чем всё использованное ранее оружие во всех войнах. Эксперты стали обсуждать, положит ли ядерная война конец каждой человеческой жизни на планете.
Госсекретарь США Дин Ачесон настаивал, что США поделился ядерными технологиями с СССР и другими членами совбеза ООН
Десятилетиями Вашингтон и Москва вкладывали триллионы долларов в свои ядерные арсеналы. Даже текущий бюджет США на ядерную индустрию — 50 миллиардов долларов в год. Штаты и Союз достигли небывалых до этого высот ради первенства в этой гонке. Для новых бомб потребовались новые единицы измерения: от килотонн (а один килотонн — это как энергия от тысячи пачек динамита) к мегатонам (это как миллион тонн динамита). А ещё для бомб разработали ракеты, которые могли долететь до другого полушария за 30 минут, спутники, которые могут установить координаты цели в точности до миллиметров, и системы реагирования, которые мгновенно ответили бы ударом на удар. Кто-то надеялся, что эти системы сделают ядерное оружие, как говорил президент Рональд Рейган, «устаревшим и бессильным».
Новое вооружение
Чтобы придать этим процессам форму, аналитики разработали новые концепции. Они описали основные требования для ответного удара. Они создали ядерную триаду — подлодки, бомбардировщики и наземные установки. Если какой-то из этих элементов даст сбой, другие будут готовы для ответа. Они разработали систему защиты от случайного или умышленного пуска. Без нужных кодов ракеты теперь не запустить. Целая компьютерная сеть стала защищать систему управления от взлома. Впоследствии эти разработки помогли в создании интернета. Как говорил футуролог Герман Кан, они «мыслили о немыслимом».
В центре ядерной стратегии оказалась политика сдерживания. Ты сдерживаешь своего соперника, если можешь ответить ему. Тем самым ты лишаешь соперника любой выгоды от возможного удара. Но вскоре стало понятно, что для успешного сдерживания нужно ещё и доверие. Ведь для ответа потенциальной жертве нужна не просто технология, но и желание ею воспользоваться им. В этот процесс стали включать политические механизмы, создавать альянсы и убеждать другие страны не создавать свои ядерные арсеналы.
Во время Кубинского кризиса эксперты подсчитали, что ответ СССР уничтожит 62 миллиона американцев
В 1962 году, когда президент США Джон Кеннеди схлестнулся с советским лидером Никитой Хрущёвым по вопросу ядерных ракет на Кубе, американские спецслужбы провели подсчёты. Выяснилось, что если Кеннеди нанесёт успешный первый удар, то ответ Советов уничтожит 62 миллиона американцев. В 1969 году, когда Ричард Никсон стал президентом, США пришлось поменять свои подходы. Один из наших авторов Киссинджер описал этот процесс так: «Наши оборонные стратегии сформировались в период нашего доминирования. Их нужно пересмотреть из-за новых вызовов. Никакая военная риторика не отменит того факта, что наших ядерных потенциалов хватит для уничтожения человечества. Наш долг — предотвратить ядерную катастрофу».
Настало время ироничного термина «Взаимное гарантированное уничтожение» (ВГУ), который описал Рейган своей фразой «В ядерной войне нельзя победить, так что её не надо развязывать». В мире ВГУ все стали уязвимы. США и Советский Союз пытались оспорить это, но быстро поняли, что это невозможно и теперь нужно восстанавливать отношения между странами. В 1955 году Черчилль заметил с запредельной иронией, что «безопасность будет дитём террора, а выживание — близнецом уничтожения». С пониманием, что их принципиальные различия никуда не делись, и без ущемления своих национальных интересов смертельные враги стали думать, как избежать полномасштабной войны.
Рейган и Горбачев заключили договор о ликвидации ракет средней и меньшей дальности
Один из шагов — скрытые и публичные меры, известные сегодня как «Контроль над вооружениями». Даже до эпохи ВГУ, когда каждая страна делала всё возможное для своего превосходства, они находили общие интересы. Чтобы снизить риски, США и СССР негласно договорились не вмешиваться в страны из сферы своих прямых интересов. Чтобы спасти своих жителей от радиоактивных осадков, они запретили тесты бомб в небе. Чтобы избежать ситуации, когда одна сторона решает атаковать, уверенная, что другая вот-вот собирается это сделать, в 1972 году был подписан Договор о противоракетной обороне. В 1987 году Рейган и Михаил Горбачёв заключили договор о ликвидации ракет средней и меньшей дальности. Переговоры об ограничении стратегических вооружений привели к соглашениям 1972 и 1979 годов, они уменьшили число ракетных установок. Затем последовали договоры об ограничении стратегических вооружений 1991 и 2010 года. Наиболее последовательны США и СССР были в том, что не дало ядерному оружию разойтись в другие страны. В конечном счёте стороны пришли к договору о нераспространении ядерного оружия 1968 года, по которому 186 стран пообещали не разрабатывать свои арсеналы. Так державы предотвратили ядерную анархию.
Взрыв американской бомбы над Нагасаки
Контроль над искусственным интеллектом
Сегодняшние предложения по контролю ИИ отсылают нас к прошлому. Миллиардер Илон Маск требует остановить на полгода все разработки, исследователь ИИ Элиезер Юдковский предложил вообще запретить ИИ, психолог Гэри Маркус считает нужным создание новой международной организации, которая контролировала бы ИИ. Всё это напоминает предложения из прошлого по сдерживанию ядерного оружия. Они не воплотились в жизнь потому, что нарушали суверенитет стран. Ещё ни одна страна в истории, зная, что враг овладел технологией, которая может их уничтожить, отказывался от разработки этой же технологии. Даже близкие союзники США Великобритания и Франция разработали свои программы, лишь согласившись быть под ядерным зонтиком американцев.
Чтобы учесть уроки ядерного прошлого, нужно определить, в чём ИИ принципиально отличается от ядерного оружия. Во-первых, бомбы разрабатывали государства, а над ИИ работает частный сектор. Кадры в Microsoft, Google, Amazon, Meta*, OpenAI и других компаниях напорядок опережают государственные. Более того, между названными гигантами разворачивается настоящая конкурентная борьба. Она способствует инновациям, но вряд ли учитывает национальные интересы.
Во-вторых, ИИ работает в цифровом формате. Ядерное оружие было тяжело разработать, требовались сложнейшие технологии для добычи урана и изготовления бомб. На выходе мы получали конкретный продукт, его количество можно было подсчитать. А если у врага продукт был лучше, это можно было установить. ИИ — это другая история. У него нет физического аналога. Его разрабатывают в лабораториях. За его развитием не так уж легко уследить. Ядерное оружие реально, а ИИ виртуально.
Ядерное оружие реально, а ИИ виртуально
В-третьих, ИИ прогрессирует с такой скоростью, что длительные переговоры здесь уже не к месту. Военные доктрины принимались десятилетиями. А политика по ИИ должна быть определена ещё до того, как ИИ станет частью системы безопасности какой-либо из стран. То есть это должно произойти до момента, как машины начнут принимать самостоятельные решения — некоторые эксперты полагают, что случится это уже на отрезке в пять лет. В кратчайшие сроки нужно обсудить вопрос на национальном, а затем и межнациональном уровне, а также установить новый порядок отношений государства и частного сектора.
К счастью, IT-гиганты, которые сделали США лидером в сфере искусственного интеллекта, понимают свою ответственность не только перед акционерами, но и перед страной и всем человечеством. Многие уже самостоятельно разработали методички, как предотвращать риски, лучше структурировать данные и исключить опасное использование своих ИИ-моделей. Другие же ищут способ, как ограничивать тестирование своих ИИ-моделей и ограничивают облачных провайдеров. Отличным шагом была июльская встреча Байдена с главами семи ИИ-компаний в Белом доме. Там были приняты документы, которые бы гарантировали «безопасность, защиту и доверие.
Как заметил один из наших авторов Киссинджер в своей работе «Эпоха ИИ», важно систематически следить за развитием ИИ, предвещать самые смелые открытия в этой сфере и самые неожиданные области его применения. Пускай США сейчас переживает сильнейший раскол внутри страны со времён гражданской войны, риски бесконтрольного применения ИИ обязывают бизнес и государство действовать сейчас. Все компании с мощностями для разработки новых ИИ-моделей должны создать рабочую группу и проанализировать последствия своих коммерческих операций для стран и всего человечества.
С новым вызовом не справиться в одиночку. Президент и Конгресс должны основать национальную комиссию. Туда должны войти бывшие участники частного сектора, не связанных ни с одной из компаний ныне. Также туда должны войти представители Конгресса, армии и спецслужб. Комиссия должна предоставить гарантии по безопасности. Она должна оценивать технологии, которые позволяют разрабатывать такие ИИ-модели, как GRT-4, тестировать каждую модель них перед выпуском.
И пускай разработка таких мер — задача не из лёгких, у нас есть пример перед глазами — это комиссия нацбезопасности по искусственному интеллекту. Её рекомендации от 2021 года как раз дали импульс и направление армии и спецслужбам в их соперничестве с Китаем в области ИИ.
Байден и Киссинджер должны провести встречу по вопросам ИИ как можно скорее, считает Киссинджер
Две ИИ-сверхдержавы
Даже сейчас, когда США ещё только очерчивает рамки ИИ у себя в стране, можно начинать переговоры в международном поле с единственной другой сверхдержавой в этом секторе. Чемпионы Китая в сфере IT — Baidu (главный поисковик страны), ByteDance (создатели TikTok), Tencent (создатели WeChat) и Alibaba (главный интернет-ритейлер) — прямо сейчас создают свой аналог ChatGPT, пускай китайская политическая система затрудняет им этот процесс. Прямо сейчас у Китая не хватает мощностей для своих нейросетей, но у них есть достаточный потенциал, чтобы заполучить их.
Так что Байден и Си должны как можно раньше встретиться и обсудить, как контролировать сферу ИИ-вооружений. Ноябрьская встреча Азиатско-Тихоокеанского экономического сотрудничества в Сан-Франциско даёт возможность для этого. Каждый из лидеров должен рассказать, как он оценивает риски от ИИ, что его страна делает для предотвращения катастрофы и в чём контролирует свои компании. А чтобы общение по этим вопросам продолжилось в будущем, им нужно создать рабочую группу из американских и китайских специалистов в области ИИ и других участников сферы. Этот подход реализуют в других областях уже без участия государства. Из наших разговоров с представителями обоих государств, мы уверены, что такая коммуникация будет крайне продуктивной.
США и Китай — лишь часть международных обсуждений по ИИ. В ноябре Великобритания примет саммит безопасности в ИИ, планируется диалог в ООН. Каждая страна постарается внедрить ИИ для повышения уровня жизни своих граждан, так что в долгосрочной перспективе понадобится система международного регулирования ИИ. Первый шаг в её становлении — установить самые опасные и катастрофические последствия ИИ. Нужные инициативы могут родиться в результате общения специалистов разных стран, занятых в секторе ИИ, и представителей региональных комиссий — наподобие той, что мы предложили здесь. В результате должна появиться структура, похожая на Международное агентство по атомной энергии.
Если Байден, Си и другие мировые лидеры начнут действовать сейчас, чтобы достойно встретить все вызовы ИИ, как их предки достойно встретили вызовы ядерного оружия, будут ли они так же успешны? С учётом исторических раскладов и сильных противоречий в мире сейчас тяжело дать оптимистичный прогноз. Но тот факт, что мы 78 лет живём в мире между ядерными державами, должен вдохновить нас на достойный ответ вызовам искусственного интеллекта.
*запрещенная в России экстремистская организация
Генри Киссинджер и Грэм Эллисон / Foreign Affairs
Перевод: Артур Валеев