Создатели ChatGPT столкнулись с проблемами в развитии ИИ

Создатели ChatGPT и конкурирующих интеллектуальных моделей столкнулись с ограничениями. Это мешает сделать искуственный интеллект (ИИ) еще умнее, пишет Reuters.

Как сообщает агентство 11 ноября со ссылкой на три источника в крупных лабораториях ИИ, если раньше создатели ChatGPT, компания OpenAI, заявляли, что «масштабирование» текущих моделей ИИ за счет добавления большего количества данных и вычислительной мощности будет последовательно приводить к улучшению моделей ИИ, то теперь это перестало работать.

Исследователи, которые развивают ChatGPT и похожие проекты, «столкнулись с задержками и разочаровывающими результатами» в гонке за выпуск большой языковой модели, которая превзойдет GPT-4, существующий уже почти два года, рассказали источники Reuters.

Во-первых «тренировочные прогоны», которые для больших моделей проводятся при одновременном запуске сотен чипов и огромных расходах энергии, из-за сложности системы сталкиваются с аппаратными сбоями, а сам прогон из-за размеров моделей может тянуться месяцами. Во-вторых, такие модели ИИ требуют огромных объемов данных, чтобы учиться. И на сегодняшний момент все легодоступные данные в мире уже загружены и модели ИИ их исчерпали.

Поэтому сейчас исследователи сконцентрировались на том, чтобы научить ИИ анализировать и проверять свои ответы перед выдачей. Модель учат генерировать и оценивать несколько ответов в режиме реального времени, в конечном итоге выбирая лучший. По такому принципу уже работает GPT-4o1 и пытаются идти создатели похожих продуктов.