Apple выпустила нейросеть Ferret, в которой запросами являются изображения

Apple запустила собственную нейросеть Ferret. Модель определяет находящиеся на картинке предметы или объекты и отделяет их рамками. Затем идентифицированные объекты принимаются в качестве запроса, а ответ предоставляется в текстовой форме.

Пользователь может выделить на картинке, например, животное и попросить нейросеть рассказать о нем. Также можно задать запрос по другим объектам на снимке и попросить текстовый ответ.

Apple опубликовала код Ferret на GitHub в октябре. Внимание разработчиков в сфере искусственного интеллекта нейросеть получила только сейчас. Apple не выпускала официальных анонсов о выходе Ferret.