Революция в обучении ИИ: российские учёные создали первую открытую виртуальную среду для быстрого дообучения
В области искусственного интеллекта существует множество задач, которые пока остаются нерешенными. Например, управление автономными автомобилями и беспилотными летательными аппаратами (БПЛА) остается сложной задачей, несмотря на значительный прогресс в этой области. Нередко автономные транспортные средства совершают ошибки, такие как нарушение скоростного режима или непонимание сигналов других транспортных средств.
Однако учеными разработана новая виртуальная среда для быстрого дообучения ИИ, которая может помочь решить эту проблему. Представленная среда, которая называется XLand-MiniGrid, позволяет тренированному ИИ выполнять триллион взаимодействий с обучающей средой всего за три дня.
Это достижение стало возможным благодаря тому, что XLand-MiniGrid разработана на основе технологии JAX для разработки высокопроизводительных программ. В результате она может выполнять миллиарды операций в секунду, что позволяет ученым использовать готовые датасеты для обучения, а не проводить его каждый раз с нуля.
Контекстное обучение с подкреплением (In-Context Reinforcement Learning, или In-Context RL) — сравнительно новое направление в области ИИ. Этот подход позволяет моделям быстро адаптироваться к новым задачам, отталкиваясь от подсказок и контекста, без длительного обучения с нуля.
Такая технология особенно востребована в областях, где требуется практически мгновенная адаптация к принципиально новым условиям, например, в персонализированных рекомендациях для покупателей интернет-магазинов или управлении роботами и автономными автомобилями.
XLand-MiniGrid — это открыта виртуальная среда для дообучения ИИ, которая находится в открытом доступе и выложена на GitHub. Это означает, что исследователи могут использовать ее для своих исследований и создавать новые модели ИИ. Кроме того, среда позволяет менять условия обучения ИИ прямо в процессе работы, что упрощает моделирование вариативных задач разного уровня сложности.
Научная статья о XLand-MiniGrid уже принята на крупнейшую международную конференцию в области ИИ — NeurIPS 2024. Представление состоится с 10 по 15 декабря в Ванкувере, Канада. Ранее среду уже использовали в целом ряде исследований ученых из крупных зарубежных центров, разрабатывающих искусственный интеллект.
Создание XLand-MiniGrid стало возможным благодаря совместным усилиям исследователей из научной группы AI Alignment и лаборатории исследований искусственного интеллекта T-Bank AI Research. Отныне у исследователей есть уникальный шанс создавать более надежные и легко адаптирующиеся модели ИИ.
Уточнения
Нейро́нная сеть (нейросе́ть) — математическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации биологических нейронных сетей — сетей нервных клеток живого организма.