| 0 |
|
Дуже цікаве дослідження впливу прогресу LLM на професійну ефективність. У ньому взяли участь понад 500 фахівців (консультанти, аналітики даних, менеджери), які виконували профільні завдання з використанням однієї з 13 моделей різної потужності.
Ось що, коротко, виявилося.
Економічний ефект прямо залежить від технічних параметрів моделей. Кожен рік розвитку фронтир-моделей скорочує час виконання завдань в середньому на 8%. Десятикратне збільшення обсягу обчислень (при ізоляції впливу інших факторів) під час навчання призводить до скорочення часу виконання завдання на 6,3%. При цьому прогрес забезпечується як збільшенням потужностей (на 56%), так і якісно, зміною алгоритмів і даних.
У процесі експерименту учасники отримували винагороду, яка збільшувалася залежно від оцінки якості виконання завдань. Виявилося, що використання будь-якої моделі підвищує базовий заробіток за хвилину на 81,3%, а з урахуванням бонусів за якість – на 146%.
При цьому завдання, не пов'язані з використанням агентів – тобто, умовно, одноходові завдання, – показали приріст заробітку на $1,58/хв. Аналогічний показник для agentic-завдань помітно скромніший – лише $0,34/хв.
Але найдивовижніше, що людям краще не втручатися. Якість відповідей моделей лінійно зростає зі збільшенням обчислювальної потужності. Топові моделі демонструють оцінки вище 6,0 з 7 (надлюдський рівень). А участь людини у виконанні завдання, хоча і покращує результати слабких моделей, але потужні моделі в середньому отримують середню оцінку (4,3 бала). Тобто, AI від людей тупішає.
Автори досліджень навмисно рандомізують моделі (і навіть їх не згадують), щоб виключити вплив конкретних LLM і зробити загальні висновки. Але вони й так цікаві.
Про вплив LLM на професійну ефективність
Стратегія охолодження ЦОД для епохи AI
| 0 |
|
