+11 голос |
Розробники, що займаються аналізом коду, при вимірюванні ключових показників програмування не бачать значних переваг від використання AI-інструментів. Обіцяне підвищення продуктивності не досягає мети – якщо воно взагалі існує.
Нещодавнє дослідження, яке мало на меті виміряти продуктивність використання AI-асистенти кодування, не виявило жодних суттєвих переваг. Щобільше, згідно з дослідженням Uplevel, використання GitHub Copilot також призвело до появи на 41% більше помилок.
У дослідженні вимірювався час циклу pull request (PR), тобто час на злиття коду в репозиторій, і пропускна здатність PR, тобто кількість об'єднаних pull requests. Воно не виявило значних покращень для розробників, які використовують Copilot.
В Uplevel, використовуючи дані своїх клієнтів, порівняли результати роботи близько 800 розробників, які використовували GitHub Copilot протягом трьох місяців, з їхніми результатами за три місяці до переходу на Copilot.
Окрім вимірювання продуктивності, дослідження Uplevel розглянуло фактори вигорання розробників і виявило, що GitHub Copilot не допоміг і тут. Кількість робочого часу, проведеного в неробочий час, зменшилася як у контрольній групі, так і в тестовій групі, які використовували інструмент для кодування, але вона зменшилася більше, коли розробники не використовували Copilot.
За словами Метта Хоффмана (Matt Hoffman), менеджера з продуктів та аналітика даних компанії Uplevel, дослідження було викликане цікавістю до заяв про значне підвищення продуктивності праці після того, як асистенти кодування зі штучним інтелектом стали повсюдним явищем. Опитування GitHub, опубліковане в серпні, показало, що 97% інженерів програмного забезпечення, розробників і програмістів повідомили, що використовують помічників для кодування зі штучним інтелектом.
Представник GitHub не прокоментував дослідження Uplevel, але вказав на нещодавнє дослідження, згідно з яким розробники змогли писати код на 55% швидше, використовуючи асистента кодування.
Команда Uplevel також проводила своє дослідження, очікуючи побачити певний приріст продуктивності, зазначив Хоффман. «Гіпотеза нашої команди полягала в тому, що ми думали, що час PR-циклу зменшиться, – зазначив він. – Ми думали, що вони зможуть писати більше коду, і ми навіть думали, що рівень дефектів може знизитися, оскільки ви використовуєте ці інструменти штучного інтелекту, щоб допомогти вам переглянути свій код ще до того, як ви випустите його у світ».
Хоффман визнає, що може бути більше способів виміряти продуктивність розробника, ніж час циклу PR і пропускна здатність PR, але Uplevel розглядає ці показники як надійний показник результативності розробника.
Крім того, Uplevel не пропонує організаціям припинити використовувати помічників для кодування, оскільки ці інструменти швидко розвиваються. Необхідно лише уважно стежити за тим, що генерується: чи робить помічник те, що ви від нього очікуєте.
Багато розробників зазначають, що зрозуміти та налагодити код, згенерований AI, стає все складніше, а пошук та усунення несправностей стає настільки ресурсомістким, що простіше переписати код з нуля, ніж виправити його.
Багато аналітиків вважають, попередні припущення, начебто асистенти кодування замінять цілі команди розробників, а не просто спростять їх роботу – є нереалістичними.
Про DCIM у забезпеченні успішної роботи ІТ-директора
+11 голос |