Пост №6084355

Попытка создать офис "сотрудников" состоящий только из нейронок

В Carnegie Mellon University (частный исследовательский университет в Питтсбурге) провели занятный эксперимент (https://futurism.com/professors-company-ai-agents): собрали фейковую IT-компанию, где все сотрудники — ИИ-агенты от OpenAI, Google, Meta, Anthropic и Amazon. Назвали всё это TheAgentCompany.

Агентам выдали роли: менеджеры, аналитики, кодеры и кинули реальные задачи: навигация по файловым директориям, виртуальный тур по новому офису, написание отзывов о производительности сотрудников на основе собранной обратной связи, взаимодействие с другими "сотрудниками" через корпоративный чат и т.д.

Результаты -- полный провал. Самый «трудолюбивый» агент (Claude 3.5) справился аж с 24% задач, сжигая по шесть баксов на одну задачу в среднем. Google Gemini сделал 11%. Amazon Nova Pro — 1.7%.

Отдельный занятный момент: нейросети всё ещё плохо борются с самообманом. Например если нейронка пытается найти человека в чате, но не ходит его, то может просто переименовать другого юзер в нужного.