Только иллюзия мышления: Apple разоблачает преувеличенные возможности крупных языковых моделей
Группа исследователей из Apple опубликовала статью, вызвавшую широкий резонанс, в которой выразила сомнения относительно интеллектуальных способностей современных крупных языковых моделей.
В своей работе эксперты по машинному обучению утверждают, что в индустрии искусственного интеллекта наблюдается тенденция к переоценке возможностей передовых моделей, таких как OpenAI o3, Anthropic Claude 3.7 и Google Gemini.
В частности, под сомнение ставятся заявления компаний, включая OpenAI, об умении их моделей "рассуждать". По мнению команды Apple, эта заявленная способность, активно используемая компанией Сэма Альтмана в маркетинге, является всего лишь "иллюзией мышления".
Примечательно, что Apple часто критикуют за отставание от конкурентов в сфере ИИ. Компания придерживается более консервативного подхода к интеграции этой технологии в свои продукты, и результаты пока остаются неоднозначными.
Исследователи из Apple задаются вопросом, действительно ли передовые модели искусственного интеллекта так хороши в "мышлении", как утверждается. Они указывают на то, что, несмотря на улучшение показателей в тестах на логическое мышление, фундаментальные возможности, масштабируемость и ограничения этих моделей остаются недостаточно изученными.
Проведя эксперименты с использованием "контролируемых сред-головоломок", команда Apple обнаружила, что точность моделей ИИ снижается при достижении определенной сложности задач, пишет futurism.
По мнению исследователей, даже при достаточном объеме обучения модели испытывают трудности с решением задач, превышающих определенный порог сложности, что является результатом "феномена чрезмерного обдумывания".
Уточнения
Иску́сственный интелле́кт (англ. artificial intelligence; AI) в самом широком смысле — это интеллект, демонстрируемый машинами, в частности компьютерными системами.