Благодаря новому ИИ роботы обрели способность рассуждать, как люди

Nvidia анонсировала Cosmos Reason — генеративную модель искусственного интеллекта (genAI), которая помогает роботам принимать решения, анализируя окружающую среду с «человеческим» уровнем рассуждений.

Что делает Cosmos Reason особенной?

Cosmos Reason относится к классу языковых моделей зрения (VLM — Vision Language Model). В отличие от обычных моделей ИИ, которые обрабатывают только текст или изображения, VLM анализируют видео и графические данные, понимают происходящее и делают выводы. Это позволяет роботам действовать в сложных и непредсказуемых ситуациях.

«Мы хотим, чтобы роботы думали так, как это делают люди, и принимали решения с простым здравым смыслом», — пояснил Преподобный Лебаредян, вице-президент Nvidia по Omniverse и технологиям моделирования.

Модель «легкая» по меркам ИИ — 7 миллиардов параметров — и может работать не только в роботах, но и в камерах наблюдения, светофорах, промышленном оборудовании.

Примеры применения:

• Автоматизация мониторинга дорожного движения и городской безопасности.
• Контроль промышленных объектов и складов.
• Анализ и проверка видео в реальном времени.

Лебаредян отмечает: «Каждое интеллектуальное устройство IoT, которое может видеть, от камер до светофоров, каждого домашнего или промышленного робота, будет уметь рассуждать перед принятием решения».

Как это работает ?

Представьте, что робот видит сцену и «понимает» ее: он может определить, что для приготовления тоста нужны тостер, масло и тарелка, на которой можно подать еду. Cosmos Reason связывает такие элементы в логическую цепочку, даже если никогда раньше не встречала подобную ситуацию.

В основе робототехники обычно два направления:

• VLM — понимает инструкции и строит план действий.

• язык зрения — отвечает за быстрое реагирование и «мышечную память» робота.

Cosmos Reason объединяет эти возможности, добавляя способность к более глубоким рассуждениям, включая оценку физических взаимодействий и мотивов участников сцены.

Доступность и оборудование

Модель с открытым исходным кодом уже доступна для скачивания на GitHub, но работает только на оборудовании Nvidia. Компания предлагает для работы Cosmos Reason компьютер Jetson Thor DGX для роботов, а также новые графические процессоры RTX Pro 6000, 4000 и 2000 на архитектуре Blackwell. Cosmos Reason входит в линейку продуктов Nvidia Omniverse — платформы для создания цифровых копий реальных объектов. Эти виртуальные модели используются, в том числе, для генерации синтетических данных, на которых обучаются системы ИИ.

Созданный ИИ может стать основой для нового поколения роботов, способных действовать в реальном мире почти как люди — адаптироваться к неожиданным ситуациям, работать в сложных условиях и принимать решения на основе логики и контекста, а не только по заранее прописанным правилам.