Опытные программисты растеряны: ИИ не ускоряет работу, а замедляет
Редакторы кода, использующие искусственный интеллект, стремительно вошли в обиход в сфере разработки программного обеспечения, получив широкое применение у таких крупных игроков, как Amazon, Microsoft и Google.
Однако, недавнее исследование выявило, что инструменты на основе ИИ могут снижать эффективность работы некоторых разработчиков.
Согласно исследованию, проведенному компанией Model Evaluation & Threat Research (METR), опытным программистам, использующим ИИ для написания кода, требовалось на 19% больше времени для решения поставленных задач, чем их коллегам, обходившимся без генеративного ИИ.
Интересно, что даже после завершения работы участники не могли адекватно оценить свою продуктивность. В среднем, разработчики, применявшие ИИ, полагали, что их продуктивность выросла на 20%.
В исследовании METR приняли участие 16 разработчиков, имеющих многолетний опыт работы с крупными репозиториями с открытым исходным кодом. Участники были случайным образом разделены на две группы: одна использовала ИИ для написания кода, другая — нет.
Программисты, работающие с ИИ, могли выбирать, какой именно инструмент использовать. Большинство предпочли Cursor с Claude 3.5/3.7 Sonnet, сообщает Business Insider.
Исследование показало, что разработчики, не использовавшие ИИ, тратили на активное кодирование на 10% больше времени. В то же время, те, кто использовал ИИ, более чем на 20% увеличили время, затрачиваемое на проверку работы ИИ, ввод команд, ожидание ответа или бездействие.
Нейт Раш, исследователь из METR, отметил, что был удивлен отрицательным результатом, так как ожидал увидеть положительные показатели продуктивности.
Исследование подчеркивает, что инструменты на основе ИИ имеют важные ограничения, по крайней мере, на данном этапе развития.
Исследователи METR предполагают, что замедление производительности может быть связано с чрезмерным оптимизмом: до начала работы разработчики ожидали, что ИИ сократит время на 24%.
Также опытные разработчики могут быстрее выполнить задачу самостоятельно, если они хорошо с ней знакомы. ИИ может быть недостаточно надежным для создания чистого и точного кода. Разработчики приняли менее 44% сгенерированного ИИ кода и потратили 9% времени на его доработку.
Уточнения
Иску́сственный интелле́кт или ИИ (англ. artificial intelligence; AI) в самом широком смысле — это интеллект, демонстрируемый машинами, в частности компьютерными системами.