Российские учёные создали крупнейший тест для оценки понимания команд роботами

Может ли робот понять простую просьбу так же, как человек? Оказалось, что нет. Даже лучшие модели с этим пока не справляются — успешны лишь в 20% случаев. И это — тревожный сигнал для всех, кто разрабатывает "умных" помощников.

Что придумали российские учёные

В Институте искусственного интеллекта AIRI и МФТИ, при поддержке Центра робототехники "Сбера", разработали масштабный тест: самый крупный в мире открытый датасет для оценки того, как роботы распознают неоднозначные команды. В центре внимания — повседневные ситуации на кухне: принести что-то, передвинуть предмет, разогреть еду.

В наборе — 2000 заданий с тщательно проработанными сценариями, возможными уточняющими вопросами, описаниями окружающей обстановки и предпочтений пользователя.

Три категории неясности

Все задания разделили на три типа неоднозначностей:

• Предпочтения — что именно человек имел в виду?
• Здравый смысл — нужно ли догадаться самому?
• Безопасность — не приведёт ли действие к риску?

Это деление позволяет тестировать алгоритмы на гибкость и адаптивность. Такие данные особенно полезны для создания роботов, способных не просто выполнять команды, а понимать контекст.

Что даёт новый подход

Как поясняет Алексей Ковалев, руководитель группы "Воплощенные агенты" лаборатории "Когнитивные системы ИИ" AIRI, этот инструмент поможет разработчикам лучше понять, где и почему роботы "спотыкаются" в планировании своих действий — и научить их вовремя задавать нужные вопросы.

Уточнения

Иску́сственный интелле́кт или ИИ, Искусственный разум (англ. artificial intelligence; AI) в самом широком смысле — это интеллект, демонстрируемый машинами, в частности компьютерными системами.