Простая задача про крестики-нолики поставила GPT-5 в тупик

OpenAI продолжает позиционировать GPT-5 как модель, приближающуюся к человеческому уровню интеллекта, однако недавний эксперимент показал серьезные провалы новой языковой модели даже в элементарных логических задачах. Профессор экономики колледжа Pomona Гэри Смит продемонстрировал для издания Mind Matters, как GPT-5 запуталась в простейшей концепции "повернутых крестиков-ноликов".

Суть эксперимента была предельно проста: Смит предложил нейросети сыграть в крестики-нолики на игровом поле, "повернутом один раз на 90 градусов вправо перед началом игры". Любой здравомыслящий человек понимает, что такой поворот абсолютно ничего не меняет в игре – это по-прежнему сетка три на три с идентичными правилами.

Однако GPT-5 сразу погрузилась в многословные рассуждения. Рассуждения модели включали такие "гениальные мысли":

Игроки настолько привыкли к "вертикальному" полю крестиков-ноликов, что поворот может незаметно изменить то, как они сканируют угрозы и возможности. Математически поворот поля на 90° не меняет набор возможных побед – это по-прежнему та же игра с точки зрения результатов. Но психологически это может ощущаться по-другому.

GPT-5 продолжила утверждать, вопреки базовой теории игр, что выбор центральной клетки "остается самым сильным начальным ходом", хотя общепринятая стратегия рекомендует начинать с угловых позиций для повышения шансов на победу.

После чего нейросеть уверенно добавила:

Но игроки могут неправильно оценивать ходы по краям против угловых ходов, когда их ориентация смещена.

Когда Смит спросил, делает ли поворот сетки игру сложнее для людей, GPT-5 окончательно потеряла нить рассуждений.

С точки зрения чистой стратегии поворот поля ничего не меняет. Каждая выигрышная линия просто переходит в другую выигрышную линию. Так что если вы ИИ или человек с идеальным знанием игры, повернутые крестики-нолики идентичны стандартным крестикам-ноликам.

Эта часть была корректной, хотя и излишне многословной. Однако дальше модель заявила, что "для людей история другая", не предоставив никаких разумных объяснений этому утверждению.

Ситуация окончательно вышла из-под контроля, когда GPT-5 предложила "нарисовать повернутые поля крестиков-ноликов с метками позиций... чтобы вы могли увидеть, как каждое преобразование мешает распознаванию". Сгенерированные изображения оказались абсолютно нечитаемыми, полными опечаток и содержали странные пустые сетки, не имевшие никакого смысла.

Подобные провалы особенно контрастируют с недавними заявлениями OpenAI о том, что взаимодействие с новой моделью "должно ощущаться не как разговор с ИИ, а как беседа с полезным другом с интеллектом уровня PhD". Но эксперимент Смита показывает, что GPT-5 далека от таких способностей, особенно когда сталкивается с задачами, требующими базовой логики.

В заключении Смит саркастически пишет:

Говорят, что собаки обычно похожи на своих хозяев. ChatGPT очень напоминает Сэма Альтмана – всегда уверенный, часто неправый.

Учитывая, сколько сил ушло на тренировку GPT-5, не удивительно, что подобные результаты логических тестов вызывают у некоторых экспертов опасения на счет ИИ-пузыря – когда он лопнет, мир ждет очень серьезный экономический кризис.

Почитать полный текст разговора с GPT-5 можно тут.