Развеян миф о продуктивности: программисты с ИИ тратят больше времени на работу
Пока главы технологических гигантов обещают, что генеративный ИИ (genAI) «повысит продуктивность и создаст новые рабочие места», опыт пользователей — особенно разработчиков — говорит об обратном. Новое независимое исследование показало: genAI может не ускорять работу, а наоборот, замедлять ее. Это особенно заметно в сфере, где ИИ якобы особенно силен — программировании.
Согласно исследованию METR (некоммерческая AI-лаборатория), опытные разработчики с открытым исходным кодом (в среднем с 10-летним стажем) не только не стали быстрее с помощью ИИ-инструментов (например, Cursor Pro и Claude 3.5), но и показали на 19% худшие результаты по времени выполнения задач по сравнению с теми, кто работал без ИИ.
Разработчики думали, что сэкономили время — опрошенные полагали, что ускорились на 20%, — но это оказалось иллюзией. Самая сильная задержка возникала на коротких задачах (до шести часов), где разработка с помощью ИИ увеличивала общее время завершения.
Почему так произошло?
Время уходило на «подсказки» (prompts) — общение с моделью, попытки добиться нужного результата.
Код часто приходилось переписывать: модели выдавали неверные решения, дублировалась логика, появлялись уязвимости, неэффективные конструкции.
Качество кода было ниже — это не раз подчеркивали участники. Один из них, Доменик Деникола (Google), был удивлен, насколько слабо AI справляется с реальными спецификациями.
Ситуация — не единичный случай. Согласно отчету Google DORA 2024, код, созданный с помощью genAI, часто требует переработки и не может быть отправлен в продакшн без доработок. Более того, команды, использующие такие инструменты, сообщали о новых типах багов.
Как выразился один из пользователей на Reddit:
«ИИ может написать 80% кода за пару минут, но потом я трачу часы, чтобы все это почистить. Без ИИ я быстрее».
Интересно, что этот эффект подтверждается и на практике. На недавнем чемпионате мира по программированию, где участники — человек и ИИ — решали одинаковые задачи, человек победил с отрывом в 9,5%, доказав, что в реальной разработке пока побеждает мышление, а не автогенерация.
В результате создается ощущение, что genAI пока лучше работает как «черновой помощник», но не как полноценный замена экспертизы.
Как заметил технический писатель Каустубх Саини: «ИИ-вибрация производит разработчиков, которые могут генерировать код, но не могут понимать, отлаживать или поддерживать его. Когда этот код ломается — они беспомощны».
И такая проблема касается не только программирования.
Во многих других сферах, от журналистики до маркетинга, заметно снижение качества материалов — тексты, сгенерированные ИИ, наполнены неточностями и шаблонной подачей. Иногда это звучит убедительно, но лишь до тех пор, пока вы не разбираетесь в теме.
Таким образом, несмотря на впечатляющие обещания корпораций, генеративный ИИ пока не заменяет экспертов — и, возможно, не должен. Он может быть полезен как вспомогательный инструмент, но требует осторожного применения и постоянного контроля со стороны человека.