Эрик Шмидт: о ключевых направлениях развития ИИ и связанных глобальных проблемах (Mr.Wolf)

Как будет развиваться ИИ в ближайшие годы, какие основные направления получат максимум развития, как это повлияет в целом на общество, какие риски с этим связаны и кто в итоге будет контролировать наиболее продвинутый ИИ?

Бывший генеральный директор Google Эрик Шмидт рассуждает о том, куда движется искусственный интеллект, когда «выключить рубильник» и как справиться с Китаем.

Интервьюер - Натан Гардельс, опубликовано в журнале Noema Magazine (https://www.noemamag.com/) 21 мая 2024г.

Натан Гардельс: Генеративный искусственный интеллект экспоненциально поднимается по "лестнице возможностей". Где мы сейчас? Куда это идет? Как быстро это происходит? Когда это прекратится и каким образом? 

Эрик Шмидт: Главное, что сейчас происходит, это то, что мы очень быстро продвигаемся по ступеням лестницы возможностей. Сейчас происходят примерно три вещи, которые очень быстро изменят мир. "Быстро" - это когда новая версия модели возникает каждые 12-18 месяцев, примеров три новых версии модели за четыре года. 

Первая вещь - так называемое «контекстное окно». Для нетехнических людей контекстное окно — это подсказка, ответ на задаваемый вами вопрос. В этом контекстном окне может быть миллион слов. И в сегодня люди стараются создать бесконечно длинное контекстное окно. Это очень важно, поскольку означает возможность получить ответ от системы, передать его обратно и задать ей еще один вопрос.

Скажем, мне нужен рецепт приготовления лекарства. Я спрашиваю: «Каков первый шаг?» и там написано: «Купите эти материалы». Итак, вы говорите: «Хорошо, я купил эти материалы. Итак, каков мой следующий шаг?» А потом там написано: «Купите кастрюлю». И затем следующий шаг: «Как долго мне это смешивать?»

Это называется цепочка мыслей. И это действительно хорошо обобщает . Через пять лет мы сможем разработать рецепты из 1000 шагов для решения действительно важных проблем в области медицины, материаловедения или изменения климата. 

Второе, над чем работают в настоящее время, — это улучшение функционала "агента" . Под агентом понимается большая языковая модель, способная изучать что-то новое. Примером может служить то, что агент может прочитать всю имеющуюся информацию по химии, далее - выдвинуть кучу гипотез о химии, провести несколько тестов в лаборатории, а затем добавить эти знания к тому, что он знает. 

Эти агенты будут очень могущественными, и разумно ожидать, что их будут миллионы. Итак, вокруг вас будет бегать множество агентов, доступных вам. 

Третье направление развитие, которое для меня является наиболее важным, можно назвать «от текста к действию». Вы можете сказать ИИ: «Напиши мне программу, которая будет делать X», и он это сделает. Вы просто говорите - и это происходит. Можете ли вы представить себе программистов, которые действительно делают то, что вы говорите? И они делают это 24 часа в сутки? Эти системы будут хороши для написания кода, например, для таких языков, как Python. 

Сложите все это вместе, и вы получите (а) бесконечное контекстное окно , (б) цепочку рассуждений агентов , а затем (в) возможность преобразования текста в действие для программирования. 

То, что произойдет потом, породит множество проблем. Здесь мы подходим к вопросам, поднятым научной фантастикой. То, что я описал, уже происходит. Но в какой-то момент эти системы станут достаточно мощными, чтобы агенты начали работать вместе. Итак, ваш агент, мой агент, ее агент и его агент объединятся, чтобы решить новую проблему. 

Некоторые полагают, что эти агенты разовьют свой собственный язык для общения друг с другом. И это тот момент, когда мы не будем понимать, что делают модели. Что нам делать? Выключить рубильник? Буквально отключить компьютер? Это действительно станет проблемой, когда агенты начнут общаться и делать что-то способами, которые мы, люди, не понимаем. Это, на мой взгляд, некая значимая грань.

RE: пока всё вроде как разумно и логично.

Гардельс: Насколько далеко это будущее? 

Шмидт: Очевидно, что агенты с описанными мною способностями появятся в ближайшие несколько лет. Но день, когда мы поймем: «О, Боже мой, случилось» - не наступит. Потому что речь идет скорее о постепенном развитии способностей каждый месяц, каждые шесть месяцев и так далее. Разумно ожидать, что мы окажемся в этом новом мире через пять лет, а не через 10. И причина в том, что в этот путь вкладывается так много денег. Есть также очень много способов, которыми люди пытаются добиться этого. 

Есть большие ребята , большие так называемые пограничные модели в OpenAI, Microsoft, Google и Anthropic. Но также есть очень большое количество игроков, которые программируют на один уровень ниже с гораздо меньшими или меньшими затратами, и все они повторяются очень быстро.

Гардельс: Вы говорите «отключить рубильник». Как и когда это следует сделать? Но даже до того, как вы отключите рубильник, вы знаете, что уже находитесь в цепочке мыслительных рассуждений, и вы знаете, к чему это приведет. Разве вам не следовало бы отрегулировать на каком-то этапе лестницы допустимые возможности, прежде чем вы доберетесь туда, куда не хотелось бы?

Шмидт: Группа из нас, представителей мира технологий, очень тесно сотрудничает с правительствами Запада именно по этому набору вопросов. И мы начали разговаривать с китайцами, что, конечно, сложно и требует времени.  

На данный момент правительства в основном поступают правильно. Они создали институты доверия и безопасности, чтобы научиться измерять, постоянно отслеживать и проверять текущие разработки, особенно передовые модели по мере их продвижения вверх по лестнице возможностей. 

Так что пока компании являются хорошо управляемыми западными компаниями, с акционерами и подверженными судебным искам, все будет хорошо. Западные компании очень обеспокоены ответственностью за совершение плохих поступков. Это не значит, что они просыпаются утром и говорят: давайте придумаем, как причинить кому-то вред или нанести вред человечеству. Теперь, конечно, существует проблема распространения оружия массового уничтожения, выходящая за рамки сегодняшних в значительной степени ответственных компаний. Но что касается основного исследования, исследователи стараются быть честными.

RE: Вот оно как, Михалыч! "Пока компании являются хорошо управляемыми западными компаниями". Ну, давайте это запомним. 

Гардельс: Указывая на западные компании, вы подразумеваете, что распространение оружия за пределами Запада представляет собой опасность. Плохие парни где-то здесь.

Шмидт: Ну, одна из вещей, которые мы знаем, и всегда полезно напомнить технооптимистам в моем мире, это то, что злые люди существуют. И они будут использовать ваши инструменты, чтобы причинять вред людям. 

Ярким примером этого является распознавание лиц. Оно не было придумано для того, чтобы сдерживать уйгуров. Знаете, его создатели не говорили, что мы собираемся изобрести распознавание лиц, чтобы ограничить меньшинство в Китае, но это происходит. 

RE: Интересно, а уйгуры об этом знают? Ну, что их угнетают в Китае путем использования функционала распознавания лиц? 

Все технологии двойного назначения. Все эти изобретения могут быть использованы не по назначению, и изобретателям важно быть честными в этом. В моделях с открытым исходным кодом и с открытыми весами исходный код и веса в моделях (числа, используемые для определения силы различных связей) публикуются. Те сразу идут по всему миру, и к кому они идут? Они, конечно, едут в Китай, едут в Россию, едут в Иран. Они едут в Белоруссию и Северную Корею. 

RE: Прекрасный перечень злодеев! 

Когда я совсем недавно был в Китае, по сути, все работы, которые я видел, начинались с западных моделей с открытым исходным кодом, а затем расширялись. 

Итак, мне кажется, что ведущие западные фирмы, о которых я говорил, те, которые вкладывают сотни миллиардов в искусственный интеллект, в конечном итоге будут жестко регулироваться по мере продвижения вверх по лестнице возможностей. Переживаю, что остальных не будет. 

Посмотрите на проблему дезинформации и дипфейков . Я думаю, что это во многом неразрешимо. И причина в том, что дезинформация, сгенерированная кодом, по сути бесплатна. Любой человек — хороший человек, плохой человек — имеет к ним доступ. Это ничего не стоит, и они могут создавать очень, очень хорошие изображения. Есть несколько способов регулирования. Но кот из мешка, джин из бутылки. 

Вот почему так важно, чтобы эти более мощные системы, особенно по мере того, как они приближаются к общему интеллекту, имели некоторые ограничения на распространение. И эта проблема еще не решена.

RE: Замечательное обоснование для ограничений. Кстати, если убрать притянутый за уши пример с уйгурами и попытку втянуть в рассуждение политическую повестку - можно и согласиться. 

Гардельс: Одна вещь, которая беспокоит Фей-Фей Ли из Стэнфордского института человеко-ориентированного искусственного интеллекта, — это асимметрия финансирования исследований между Microsoft и Google во всем мире и даже ведущими университетами. Как вы отмечаете, сотни миллиардов инвестируются в вычислительные мощности, чтобы подняться по лестнице возможностей в частном секторе, но ресурсов для безопасного развития в научно-исследовательских институтах, не говоря уже о государственном секторе, не хватает. 

Действительно ли вы верите, что эти компании достаточно прозрачны, чтобы их можно было регулировать со стороны правительства или гражданского общества, у которого далеко не такой же уровень ресурсов и возможностей привлекать лучшие таланты?

Шмидт: Всегда доверяй, но проверяй. И правда в том, что вам следует доверять и проверять. По крайней мере, на Западе лучший способ проверки — использовать частные компании, которые созданы в качестве проверяющих, потому что они могут нанимать нужных людей и технологии. 

RE: Что??? Использовать частные компании для контроля - это и есть лучший способ проверки? Никто ничего не перепутал? Или может, например, история про "Артур Андерсен" - всему миру приснилась?

Из всех наших отраслевых разговоров совершенно ясно, что на самом деле это будет работать так: в конечном итоге вы получите ИИ, проверяющий ИИ. Это слишком сложно для человеческого наблюдения в одиночку.

RE: А вот это - уже тема. Будет некий "доверенный ИИ". который будет следить за прочими ИИ. 

Думаю об этом. Вы строите новую модель. Поскольку она обучалась на новых данных, откуда вы знаете, что она знает? Вы можете задать ей все предыдущие вопросы. А что, если агент обнаружил что-то совершенно новое, а вы об этом не подумали? Системы не могут извергнуть все, что они знают, без подсказки, поэтому вам придется спрашивать их по частям. Таким образом, вполне логично, что сам по себе ИИ будет единственным способом контролировать это.

Фей-Фей Ли совершенно права. У нас есть богатые частные промышленные компании. И у нас есть бедные университеты, в которых есть невероятные таланты. Главным национальным приоритетом во всех западных странах должно стать получение финансирования фундаментальных исследований для оборудования университетов.

RE: Следует обратить на этот посыл особое внимание. Нам - особенно.

Если бы вы были физиком-исследователем 50 лет назад, вам пришлось бы переехать туда, где были циклотроны (тип ускорителя частиц), потому что их было действительно сложно построить и они были дорогими — и они до сих пор остаются. Чтобы работать физиком, вам нужно находиться рядом с циклотроном. 

У нас никогда не было такого в программном обеспечении, наши продукты были дешевыми, а не капиталоемкими. Появление интенсивного обучения моделей искусственного интеллекта, требующего все более сложного и сложного оборудования, является огромным экономическим изменением. 

Компании это понимают. А по-настоящему богатые компании, такие как Microsoft и Google, планируют потратить миллиарды долларов, потому что у них есть деньги. У них большой бизнес, деньги поступают. Это хорошо. Именно здесь рождаются инновации. Другие, и не в последнюю очередь университеты, никогда не смогут себе этого позволить. У них нет возможности инвестировать в оборудование, но им нужен доступ к нему для инноваций.

Гардельс: Давайте обсудим Китай. Вы сопровождали Генри Киссинджера во время его последнего визита в Китай для встречи с президентом Си Цзиньпином с целью создания группы высокого уровня как с Востока, так и с Запада для обсуждения на постоянной основе как «потенциальных, так и катастрофических возможностей ИИ». 

Будучи председателем Комиссии национальной безопасности США по ИИ, вы утверждали, что США должны сделать все возможное, чтобы конкурировать с китайцами, чтобы мы сохранили преимущество. В то же время совместно с Киссинджером вы развиваете сотрудничество. Где соревноваться? Где целесообразно сотрудничать? И почему?  

Шмидт: Во-первых, китайцам следует серьезно беспокоиться по поводу генеративного ИИ. И причина в том, что у них нет свободы слова. Итак, что же делать, если система генерирует что-то, что запрещено режимом цензуры?

RE: Ага, ага! Особенно смешно выглядит с учетом ситуации с нарисованной ИИ картиной с первыми сенаторами США - исключительно цветными. В общем, товарищ знает правду, но говорить можно только про Китай...

Кто или что наказывается за пересечение линии? Компьютер, пользователь, разработчик, данные обучения? Это совсем не очевидно. Очевидно, что распространение генеративного ИИ будет строго ограничено в Китае, поскольку он фундаментально бросает вызов информационной монополии партии-государства. Это имеет смысл с их точки зрения. 

Существует также критический вопрос автоматизированной войны или интеграции ИИ в системы ядерного командования и контроля, о чем мы с доктором Киссинджером предупреждали в нашей книге «Эра ИИ». И Китай сталкивается с теми же проблемами, которые мы обсуждали, по мере приближения к общему искусственному интеллекту. Именно по этим причинам доктор Киссинджер, который уже скончался, хотел согласия Си на создание группы высокого уровня. Последующие встречи уже состоялись и будут продолжаться благодаря его вдохновению.

Все согласны, что проблема есть. Но мы все еще говорим о Китае в общих чертах. Ни у одной из сторон нет предложения, которое могло бы быть действенным. И это нормально, потому что это сложно. Поскольку ставки здесь очень высоки, на самом деле полезно выделить время, чтобы каждая сторона могла объяснить, что она считает проблемой и в чем заключаются общие опасения. 

Многие западные ученые-компьютерщики посещают своих китайских коллег и предупреждают, что, если вы позволите этому материалу распространяться, вы можете закончиться террористическим актом, неправомерным использованием ИИ для биологического оружия, неправильным использованием кибербезопасности, а также долгосрочными последствиями. заботы, которые гораздо более экзистенциальны. 

На данный момент разговоры в Китае, в которых я участвую, в основном касаются биологических и киберугроз.

Долгосрочная угроза выглядит примерно так: ИИ начинает с человеческого суждения. Кроме того, существует нечто, технически называемое «рекурсивным самосовершенствованием», когда модель фактически работает сама по себе посредством цепочки рассуждений. Он просто учится и становится умнее и умнее. Когда это происходит или когда происходит взаимодействие агентов с агентами, перед нами возникает совсем другой набор угроз, к которым мы сегодня не готовы, потому что не понимаем их. Но они грядут.

Заключить какие-либо реальные договоры с Китаем будет очень сложно. То, чем я занимаюсь, называется диалогом «Трек II», что означает, что он неформальный и находится в шаге от официального. Очень трудно предсказать, какой будет политическая ситуация к тому времени, когда мы дойдем до реальных переговоров между США и Китаем. 

Я думаю, что обе стороны должны согласиться с одной вещью: если вы собираетесь обучаться чему-то совершенно новому в сфере ИИ, вы должны сообщить другой стороне, что вы это делаете. Другими словами, правило «исключения неожиданностей».

Гардельс: Что-то вроде соглашения об открытом небе между США и Советским Союзом во время холодной войны, которое обеспечивало прозрачность развертывания ядерного оружия?

RE: Интересно, а там, в пиндостане, знают - кто развалил это соглашение? И зачем?

Шмидт: Да. Даже сейчас, когда баллистические ракеты запускаются какими-либо крупными ядерными державами, они отслеживаются и распознаются, поэтому все знают, куда они направляются. Таким образом, они не сделают поспешных выводов и не подумают, что это адресовано им. Это кажется мне основным правилом, не так ли? 

Более того, если вы проводите мощные тренировки, необходимо договориться о безопасности. В биологии существует широко распространенный набор уровней угрозы — уровни биобезопасности от 1 до 4 — для сдерживания заражения. Это имеет смысл, потому что эти вещи опасны. 

В конце концов, как в США, так и в Китае, я подозреваю, появится небольшое количество чрезвычайно мощных компьютеров с возможностями автономных изобретений, которые превзойдут то, что мы хотим предоставить либо нашим гражданам без разрешения, либо нашим конкурентам. Они будут размещены на военной базе, работающей на каком-то ядерном источнике энергии и окруженной колючей проволокой и пулеметами. Для меня имеет смысл, что таких систем будет несколько среди множества других систем, которые гораздо менее мощны и более широко доступны.

RE: Очень похоже на слив в инфополе кое-каких реальных проектов.

Соглашение по всем этим вещам должно быть обоюдным. Вы хотите избежать ситуации, когда сбежавший агент в Китае в конечном итоге получит доступ к оружию и по глупости запустит его, думая, что это какая-то игра. Помните, эти системы не являются человеческими; они не обязательно понимают последствия своих действий. Все они [большие языковые модели] основаны на простом принципе предсказания следующего слова. Итак, речь здесь не идет о высоком интеллекте. Мы, конечно, не говорим о том эмоциональном понимании истории, которое есть у людей.

RE: Как бы сей простой посыл - хотя бы читателям АШ вложить? Ну не является ИИ - "интеллектом" в традиционном понимании. Это всё - всего лишь простые (и очень часто - весьма тупые) имитаторы разумной речи.

Итак, когда вы имеете дело с нечеловеческим интеллектом, не имеющим преимуществ человеческого опыта, какие границы вы накладываете на него? Это вызов как для Запада, так и для Китая. Может быть, мы сможем прийти к какому-то соглашению о том, что это такое?

Гардельс: Китайцы продвигаются вверх по лестнице возможностей так же экспоненциально, как мы в США, где миллиарды долларов идут на генеративный искусственный интеллект? Есть ли у Китая соразмерные миллиарды, поступающие от правительства и/или компаний?

Шмидт: В Китае ситуация не на том же уровне, по причинам, которые я не до конца понимаю. По моей оценке, после более подробного обзора ситуации там, они отстают от США примерно на два года. Два года - это не так уж и далеко, но они определенно отстают. 

Есть как минимум четыре компании, которые пытаются провести крупномасштабное обучение моделей, подобное тому, о чем я говорил. И это очевидные крупные технологические компании в Китае. Но на данный момент они затруднены, потому что у них нет доступа к самому лучшему оборудованию, экспорт которого был ограничен администрациями Трампа, а теперь и Байдена. Эти ограничения, скорее всего, будут ужесточаться, а не облегчаться. И поскольку Nvidia и чипы ее конкурентов растут в цене, Китаю будет трудно оставаться актуальным. 

Гардельс: Согласны ли вы с политикой не позволить Китаю получить доступ к самым мощным чипам? 

Шмидт: Чипы важны, потому что они обеспечивают тот вид обучения, который необходим для самых больших моделей. Всегда можно сделать это и с более медленными чипами, просто их нужно больше. Таким образом, это фактически налог на издержки китайского развития. Вот как об этом можно думать. Является ли это в конечном итоге диспозитивным? Означает ли это, что Китай не может туда попасть? Нет. Но это усложняет задачу и означает, что на это у них уйдет больше времени.

Я не согласен с этой стратегией Запада. Но меня гораздо больше беспокоит распространение открытого исходного кода. И я уверен, что китайцы разделяют ту же обеспокоенность по поводу того, что это может быть использовано не по назначению как против их правительства, так и против нашего. 

Нам необходимо убедиться, что модели с открытым исходным кодом защищены ограждениями, в первую очередь с помощью так называемого « обучения с подкреплением на основе обратной связи с человеком » (RLHF), которое настроено таким образом, чтобы эти ограждения не могли быть «отменены» злыми людьми. Должно быть непросто сделать модели с открытым исходным кодом небезопасными, как только они стали безопасными.

RE: Нам неплохо известно, кто в сегодняшнем мире является реально этими "злыми людьми". Теперь вот смотрим - как они будут обосновывать лживость собственных оценок.