AI знижує продуктивність досвідчених програмістів?

METR провів дослідження впливу AI-інструментів на продуктивність досвідчених розробників, які працюють зі зрілими проєктами з відкритим вихідним кодом. Результати виявилися несподіваними – продуктивність знизилася на 19%, хоча самі учасники вважали, що AI прискорив їхню роботу на 20%.

Методологія була максимально суворою: 16 розробників з великих open-source проєктів виконували 246 завдань, випадковим чином розподілених на категорії «з AI» і «без AI». У середньому проєкти мали вік понад 10 років і містили більш як мільйон рядків коду.

Основні проблеми: AI-генерований код не відповідав «високим стандартам проєктів», розробники витрачали багато часу на перевірку і виправлення коду (приймали тільки 39% генерацій), часто доводилося писати код наново після кількох невдалих спроб з AI.

Дослідження показало, що сучасні AI-інструменти добре працюють із невеликими, чітко визначеними, «зеленопольними» проєктами. Але погано справляються з великими кодовими базами, де потрібне глибоке розуміння контексту і неявних знань про проєкт.

Важливий висновок: навіть коли розробники працювали на 19% повільніше з AI, вони суб'єктивно відчували прискорення на 20%. Це ставить під сумнів достовірність багатьох звітів про ефективність AI-інструментів, заснованих на самооцінці.

Утім, цілком можливе й інше пояснення – досвідчені розробники вимагали переробляти код, коли він їм не підходив за стилем або був, на їхню думку, недостатньо ефективним, ігноруючи його реальну роботу. У цьому разі може вийти, що в реальному житті навіть без AI «досвідчені розробники» витрачають на виконання завдання на 39% більше часу і зусиль (з AI вони прискорилися на 20%, але все одно повільніше на 19%), ніж це реально необхідно.

AI знижує продуктивність досвідчених програмістів?

Стратегія охолодження ЦОД для епохи AI