Эта система позволит роботам делать уборку без помощи человека
Чтобы разработать систему OK-Robot, исследователи из Нью-Йоркского университета и Meta* протестировали робота Stretch от Hello Robot в 10 комнатах в пяти домах. Stretch состоит из модуля на колесах, высокого шеста и выдвижной «руки».
Фото в тексте: Hello Robot
Исследователь сканировал обстановку с помощью Record3D — приложения для iPhone, которое снимает 3D-видео, используя лидарную систему телефона, и передает его роботу.
Затем система OK-Robot «просматривала» кадры видео, используя ИИ для обнаружения объектов с открытым исходным кодом. В сочетании с другими моделями это помогло роботу идентифицировать объекты в помещении, например игрушечного дракона, тюбик зубной пасты и колоду игральных карт, а также стул, стол и мусорное ведро.
Затем команда дала роботу указание: взять определенный предмет и переложить его в другое место. Stretch справился с этим в 58,5% случаев, а в менее загроможденных комнатах — в 82% (исследование еще не прошло рецензирование).
В системе OK-Robot использовались модели, не настроенные конкретно для этого проекта. Поэтому когда робот не находил нужный объект, он просто останавливался. Это одна из причин, почему он лучше справлялся в более опрятных помещениях: чем меньше объектов, тем меньше у него шансов запутаться и больше пространства для навигации.
У готовых моделей с открытым исходным кодом есть как плюсы, так и минусы, рассказывает Леррел Пинто, доцент кафедры информатики Нью-Йоркского университета, который был одним из руководителей проекта.
«С одной стороны, робот просто работает, и не нужно предоставлять ему дополнительные обучающие данные об окружающей обстановке, — говорит Пинто. — С другой стороны, он может только взять предмет и переложить его в другое место. Не получится попросить его открыть ящик, потому что он умеет выполнять только эти две задачи».
Если добавить в OK-Robot модели распознавания голоса, исследователи смогут давать роботу инструкции, просто разговаривая с ним. Так будет легче экспериментировать с доступными наборами данных, утверждает Махи Шафиулла, аспирант Нью-Йоркского университета и один из руководителей исследования.
«В сообществе робототехников распространено мнение, что дома — это сложно, роботы — это сложно, и совершенно невозможно объединить их, — говорит Шафиулла. — Я думаю, что когда люди поверят, что домашние роботы возможны, в этой области начнется активная деятельность».
* Meta и входящие в нее Facebook и Instagram признаны экстремистскими организациями, деятельность которых запрещена в РФ.
Фото на обложке: Frame Stock Footage /
Telegram-канал, чтобы быть в курсе последних новостей и событий!