Про нещодавній реліз DeepSeek і так звану китайську AI-революцію, чим усе це може закінчитися, а точніше навпаки – початися. Отже, минулого тижня китайський AI-проєкт DeepSeek представив свою нову, так звану модель міркування (reasoning model), під кодовою назвою R1. Насправді компанія не перший рік відома своїми AI-моделями, і буквально тільки в грудні вони представили V3. То була звичайна модель, тобто така, що не міркує, але саме на її базі побудовано R1.

З випуском R1 DeepSeek опублікувала статтю – які методи вони використовували і як змогли домогтися таких результатів. А стандартні тести – математичні та інші, показують, що модель R1 здебільшого працює приблизно на рівні флагманської о1 від OpenAI, а то й не гірше о1 Pro. За моїми першими враженнями все не зовсім вже так добре. Однак DeepSeek дають абсолютно безплатний доступ до своєї моделі, наприклад, через вебінтерфейс. Крім того, доступ через API у них у рази дешевший, ніж з о1. У той час, як OpenAI о1 Pro взагалі недоступна через API.

Ба більше, DeepSeek ще й нібито серйозно заощадили при створенні своєї моделі R1. Якщо про OpenAI відомо, що вони витрачають мало не сотні мільйонів доларів на одне навчання моделі, а в Meta – вартість навчання LLAMA 405B склала близько 60 млн дол., то в DeepSeek навчання однієї з моделей нібито обійшлося в 5,6 млн дол.

Причому оскільки це китайська компанія, і вона підпадає під обмеження в галузі експорту, доступу до новітніх прискорювачів Nvidia у них немає. Тому тренували вони свій AI чи то на A100 (передостання модель), чи то на H800 (вдвічі урізана спеціально для китайського ринку H100). Загалом, не дуже зрозуміло, на чому саме вони тренувалися, але всі впевнені, що DeepSeek це обійшлося в якісь зовсім смішні гроші.

Тепер кілька слів про модель R1. Reasoning-моделі будуються на базі наявних звичайних мовних LLM. У цьому випадку за основу взято V3. Також у статті описується методика навчання, що тривало два місяці. І для цього DeepSeek використовували розробки, які вже так чи інакше реалізовано в інших моделях для міркування на кшталт тієї ж o1.

Шляхом чого ж заощадили в DeepSeek? Стандартний процес донавчання AI-моделі міркувати включає кілька ресурсомістких процесів. Тому що, як правило, використовується тонке налаштування моделі (fine-tune). Причому supervised fine-tune (SFT) технічно виглядає приблизно так. Велика кількість людей ретельно готують набір даних (data set) для налаштування моделі, щоб вона спеціалізувалася і вчилася міркувати. У модель впроваджують так званий Chain Prompting – уміння будувати ланцюжки міркувань. Плюс використовується процес RLHF (Reinforcement Learning with Human Feedback), коли система, навчаючись на датасеті, отримує ще й зворотний зв'язок від людей, і це або асесори, або анотатори, які оцінюють результат роботи моделі. Таким чином, система, отримуючи ці оцінки в процесі навчання, починає будувати залежності, вчиться розуміти взаємозалежності й будувати більш правильні ланцюжки міркувань. Крім того, вона вчиться ще й процесу анотації – оцінки своїх висновків. Тому що надалі, на етапі інференсу (тобто коли настає час застосування цієї моделі), вона генерує якусь кількість способів вирішення і сама ж їх оцінює, наскільки вони близькі до ідеального.

Заощадили в DeepSeek на тому, що вони спочатку навчили модель під назвою R1.0, у якій жодного human feedback не було в принципі, і жодного SFT також. Тобто етап fine-tuning був відсутній. Вони просто взяли модель і піддали її reinforcement learning – змусили її будувати ланцюжки міркувань і якось їх собі оцінювати.

Модель, як зазначається в статті, показувала нестабільні стартові стани. Оскільки спочатку вона не вміє формулювати відповіді й правильно будувати ланцюжки, то видає досить багато абсурдних ідей і неправильно їх оцінює. Потім уже модель починає більш-менш навчатися і якось приходити до тями. Щоб уникнути проблеми холодного старту без навчальної частини, вони використовували R1. Це ніби похідна модель, тобто наступна стадія розвитку. R1 все-таки навчена на якомусь мінінаборі правильних міркувань. Тобто етап SFT все ж таки був присутній, але дуже невеликий.

Грубо кажучи, це як різниця між few-shots learning, коли ви даєте кілька прикладів, і повним fine-tuning. Єдине, чим некоректне таке порівняння, це те, що few-shots не призводить до перебудови ваг моделі. А тут все-таки є деяке донавчання на невеликій кількості прикладів. Внаслідок чого модель принаймні навчається, який вигляд має мати ланцюжок, що треба виділяти тегами thing, і після цього вона починає навчатися успішніше.

Що стосується вартості, повторюся, публічних даних на цю тему немає. Але зрозуміло, що виключення з процесу великої кількості людей, які займаються розробкою великого датасету й анотуванням результатів, тобто тим самим human feedback, уже сильно спрощує процес.

Крім того, очевидно, розробники застосували велику кількість якихось дрібних оптимізацій. Виглядає, звісно, як прекрасна технологічна казка, коли розробників поставили в складні умови. Але голь на вигадки хитра і вони вдало викрутилися.

Насправді складно зрозуміти скільки в цьому правди. Але треба згадати, що самі ці хлопці до 2023 року, здається, були підрозділом розробки одного китайського хедж-фонду, який створив на основі AI модель для популярного останніми роками квантрейдингу. І ось у них був, так би мовити pet-project. І можливо це також частково пояснює результат. Тому що в подібних розробках дуже важливі різні дрібні оптимізації. У книзі Майкла Ювіса Flash Boys про HFT (High Frequency Trading) наводяться приклади, коли кабель з одного ЦОДа в інший прокладався так, щоб він весь час йшов прямою лінією – втрата навіть однієї наносекунди може позначитися на прибутках хедж-фондів, що займаються HFT. Приблизно такі й тут можуть бути рівні оптимізації, шляхом яких вдалося «зрізати кути» і домогтися досить хороших результатів без значних вкладень. У всякому разі, на перший погляд, модель працює не гірше за найкрутішу модель, яку довго навчали на дуже дорогому залізі. Тим паче з урахуванням чуток, що майбутня GPT-5, під кодовою назвою Orion, уже двічі невдало проходила період тестового навчання, який триває 6 місяців і вже обійшовся в 500 млн дол. А тут ось така чудова модель, яка за малу частку цих усіх шалених витрат уже навчена і на вигляд працює непогано.

Є звісно свої обмеження. Наприклад, думає вона китайською, плюс впізнає англійську. Тому якщо поставити запитання якоюсь іншою мовою, є шанс отримати у відповідь суміш букв та ієрогліфів. Системі на це все начхати. Для неї ієрогліф – це приблизно як деякі люди активно англіцизми в мові використовують. Так ось ця модель висловлюється – сумішшю мов. Але при цьому страждає також якість відповідей, якщо запитання ставити не англійською. Хоча англійською вона відповідає досить непогано, якщо порівнювати та запитувати одне й те саме в OpenAI o1 Pro і власне R1. При цьому o1 Pro думає в рази довше, ніж R1. Однак, мабуть, і краще, тому відповіді часто детальніші та зрозуміліші.

У чому ще полягає, так би мовити, революція DeepSeek? Це модель із відкритими вагами. Багато хто каже, що вона open-source. Але ні, вона все-таки open-weight. Тому що китайці не відкривають ні навчальну вибірку, ні код, який навчає і який відповідає за inference. Тим часом її дійсно можна завантажити. Вона, щоправда, дуже велика, у неї 671 млрд параметрів. Це багато. Щоб запустити R1 у себе, знадобиться побудувати кластер із приблизно восьми супердорогих чипів Nvidia, щоб вистачило відеопам'яті. Модель побудована за принципом mixture of exports. Тобто у неї всередині є якісь сабсети, які спеціалізовані на тій чи іншій тематиці. І є умовний гейт, тобто такий load balancer, який визначає, до якого типу запитань належить ваше, і надсилає відповідний сабсет, підіймає необхідну кількість параметрів – 37 млрд одночасно, здається. Це дає змогу дещо зменшити апетити моделі – цілком її в пам'яті тримати, потрібно окремий ЦОД будувати. А так вона може поміститися в такий собі кластер із восьми комп'ютерів із дуже дорогими відеокартами.

І тут зручно, що її можна використовувати через API. Причому у DeepSeek зараз акція на V3 – практично наполовину знижена ціна. Але і на R1 ціна теж сильно дешевша, ніж на о1 через API.

Але крім цього, DeepSeek ще розробили архітектуру, яка дає змогу дистилювати моделі. Дистиляція (distillation) – це такий цікавий спосіб... Взагалі, мені здається досить символічним і значущим той факт, що досить велика кількість речей у навчанні AI-моделей нагадує людське навчання. Ось, наприклад, той самий різнінг – це фактично реалізація «не поспішай відповідати, сядь, подумай, і потім відповідай». Коли людина думає, вона розглядає якусь кількість варіантів і вибирає з них найкращий. Те ж саме робить модель.

До речі кажучи, хлопці на Hugging Face розробили таку схему, коли думають ніби дві моделі. Маленька думає вголос, а потім потужніша (вони використовували LLAMA), оцінює відповіді. Це настільки нагадує шкільне навчання... Як у школі казали, не мовчи, міркуй вголос. А вчитель оцінює процес. Тут також. І результат у підсумку виходить кращим, ніж якби молодша модель сама навчалася на цьому датасеті. Так ось із distillation приблизно той самий принцип. Є умовно модель-учитель і модель-учень. Учитель отримує запити та дає на них відповіді, ніби генерує ланцюжки міркувань. А молодша модель за ними вчиться, імітує їх, наслідує і в результаті працює, звісно, не так добре, як учитель, але втрати якості відносно невеликі, умовно 8-10%. При цьому модель виходить набагато меншою.

Ось таким чином DeepSeek викотили відразу дистильовані моделі, побудовані на також відкритих Qwen і LLAMA. Причому від 1,5 млрд до 70 млрд параметрів. І ось це вже розмір моделі, яку можна запустити на великій кількості пристроїв. Під модель на 1,5 млрд достатньо сучасного iPhone. А модель на 14 млрд параметрів запускається, наприклад, на Mac із 32 ГБ пам'яті. Звісно, ще застосовується квантилізація, зменшується кількість бітів на токен. Звичайно, в результаті ще знижується якість. Але все це стає доступним просто тут. Без витрат на API, без будь-якої мережевої затримки тощо. Ви повністю зберігаєте privacy. І, строго кажучи, вам для великої кількості локальних завдань не потрібна вся міць моделі. Для code completion, для підказок якихось, якогось оброблення текстів, вам справді буде достатньо 7 млрд або 14 млрд параметрів.

Це ще одна революційна зміна. Тому що проблема переходу до комодитизації AI, або там консумеризації, тобто переходу до того, що AI буде скрізь доступний на якихось базових пристроях. Я вже колись писав, що питання буде не в тому, наскільки добре працюватимуть найпередовіші моделі, а в тому, наскільки добре будуть виконуватися завдання базовими моделями на будь-якому пристрої (годиннику, телефоні тощо). І ось виходить, що таким ось чином з'являється досить потужна модель і прямо у вашому комп'ютері. І це дуже важливо.

Ринок на це відреагував дуже цікаво. Минулого четверга DeepSeek представили модель R1, у п'ятницю публіка обережно її пробувала, а на вихідних найактивніші ентузіасти зчинили буквально істерику, ажіотаж. І в понеділок усе це обернулося падінням NASDAQ на кілька відсотків, падінням великої кількості акцій технологічних компаній. У сумі на трильйон з гаком доларів зменшилася капіталізація провідних гравців. Одна лише Nvidia втратила майже 600 млрд дол. капіталізації. Особисті статки Дженсена Хуанга, засновника Nvidia, зменшилися на 13 млрд дол.

Впали акції компаній, так чи інакше пов'язаних із виробництвом чипів. Навіть, що дивно, з електроенергією. Тобто ось лідери за втратами, це, зокрема, компанії на кшталт Constellation Energy, Talon Energy, які збиралися вже будувати нові АЕС або там нові реактори для ЦОДів.

Логіку людей, які розпродають акції, частково зрозуміти можна. Ось, нам же показали приклад, що для прийнятного результату не потрібно всіх цих мільярдних інвестицій. За 5 млн всього можна навчити модель, на яку OpenAI витрачає 100 млн. Але, повторю, скільки насправді коштувало навчання тієї чи іншої моделі DeepSeek, не відомо. І я б навіть сказав, що ми про це ніколи не дізнаємося. Тому що є такий важливий фактор, як Комуністична партія Китаю. Крім DeepSeek є ще маса китайських компаній, які активно інвестують в AI та з досить непоганими результатами. І на всі ці китайські компанії так чи інакше має вплив китайський уряд і КПК. Як цей фактор вплинув у цьому випадку невідомо. Однак DeepSeek не хоче обговорювати, наприклад, на кого з реальних людей схожий Вінні-Пух. Мені він запропонував поговорити краще про математику, логіку і стартапи.

Загалом я можу зрозуміти дещо панічну реакцію ринку AI, який останнім часом активно накачують грошима. Однак мені в цьому контексті ближчою є позиція Сатьї Наделли (CEO Microsoft), який коментуючи всю цю ситуацію, нагадав про так званий парадокс Дживонса. Англійський вчений, економіст Вільям Дживонс жив наприкінці XIX століття. Він намагався пояснити цікавий ефект, який стався в Англії. Тоді було винайдено паровий двигун Ватта, який став щаблем технологічної революції – він був набагато ефективнішим і давав змогу з меншої кількості вугілля добути більше енергії. Так ось у результаті не відбулося скорочення споживання вугілля. Навпаки, все активізувалося, з'явилася велика кількість застосувань для цього двигуна, як очікувалося. Ось це ось здешевлення технології та збільшення її ефективності, яке призвело до вибухового зростання її використання, отримало назву парадокс Дживонса. Економіст пояснював це двома моментами. Перший – збільшення ефективності помітно розширює можливості для застосування нової технології. А далі настає загальне економічне зростання, яке також сприяє збільшенню виробництва тощо. У результаті вся економіка просто розвивається екстенсивно.

Якщо згадати історію розвитку інтернету, то можна помітити багато схожого. 20 років тому інтернет продавався по гігабайтах, причому зовсім недешево. Я пам'ятаю, коли на рівні споживача один гігабайт трафіку коштував $75. Відтоді швидкості істотно зросли, вартість гігабайта взагалі ніким не рахується. Точніше тільки мобільні оператори зараз якось рахують гігабайти, здебільшого щоб лімітувати навантаження на мережу. І пропонують при цьому великі пакети на порядки більше, ніж це було 20 років тому. Але це не призводить до скорочення використання інтернету. Навпаки, інтернет став абсолютно природним і загальнодоступним. Ніяких додзвонів з модема і 56Kbps. Щойно швидкість інтернету і вартість одиниці інформації перестала бути стримувальним фактором, споживання зросло не просто стрибкоподібно, а злетіло. І ми тепер не замислюючись усе робимо в інтернеті.

І цей ось парадокс, він насправді чудово пояснює, що станеться далі з AI, коли він стане істотно дешевшим. Тільки за останні два роки вартість використання технології AI вже стала значно дешевшою, з кожною новою, більш досконалою моделлю. Зараз уже ніхто не рахує ціни за тисячу токенів, усі за мільйон вказують. Приблизно в тисячу разів зменшилася вартість генерації одного токена через API. І якщо на все, що відбувається, подивитися саме в такому ключі, все це призводить тільки до ширшого використання. Тож я б сказав, що це ніякий не крах ринку AI, а скоріше невелике охолодження. А далі все піде тільки за висхідною.

До слова про нібито дешевизну розробки DeepSeeker. Ми постійно чуємо, як OpenAI, Anthropic та інші провідні розробники приділяють багато уваги безпеці AI. Китайські компанії це схоже, взагалі, не цікавить. Можливо, зараз вони економлять на безпеці. Але далі, вибачте, доведеться це приводити до якихось стандартів. Інакше через кілька років ми отримаємо той самий AGI, у якого немає ні найменшого уявлення про те, чого не можна робити щодо людства.

Загалом, усе найцікавіше тільки починається.

Китайська AI революція з DeepSeek R1

OpenAI представила попередню версію AI-агента Operator, який може самостійно виконувати завдання в інтернеті, використовуючи власний браузер для перегляду сторінок, кліків і скролінгу. Поки доступно тільки в США для передплатників ChatGPT Pro за $200 на місяць.

Агент побудований на основі моделі «Computer-Using Agent», яка об'єднує можливості GPT-4o з розпізнавання зображень з просунутим механізмом міркувань через навчання з підкріпленням. Operator може «бачити» інтерфейс через скріншоти і взаємодіяти з ним як звичайний користувач, без необхідності в спеціальних API.

Загалом, це аналог Computer Use від Anthropic. Але впадає в око виражена утилітарність – компанія підкреслює, що співпрацює з DoorDash, Instacart, Uber та іншими компаніями, явно прагнучи показати очевидні юзкейси для ChatGPT, як асистента для абсолютно побутових питань. Ймовірно, і з точки зору інтерфейсу воно більш дружнє і його можна використовувати без особливих хитрощів. Почекаємо, коли доїде до нас.

**

За анонсами OpenAI Operator дещо загубився запуск Anthropic нової функції для свого API. Citations дає змогу Claude підкріплювати свої відповіді посиланнями на конкретні речення та уривки з вихідних документів. Це має зробити відповіді AI більш перевіреними і надійними і виключить випадки, коли LLM, відповідаючи на питання про зміст документа, дає відповідь з «іншого знання», якого немає у вихідному документі.

Цікаво, що внутрішні тести показують поліпшення точності цитування на 15% порівняно зі звичайними запитами. Функція вже доступна через API Anthropic і Google Cloud Vertex AI для моделей Claude 3.5 Sonnet і Haiku.

Серед перших клієнтів – Thomson Reuters, що використовує Claude у своїй платформі CoCounsel для юристів, і Endex, що застосовує AI для фінансових досліджень. За даними Endex, використання Citations знизило кількість помилок у джерелах з 10% до 0% і збільшило кількість посилань на 20%.

Важливо, що Citations не потребує складного промпт-інжинірингу та додаткової розробки – система автоматично обробляє завантажені документи (PDF і текстові файли), розбиває їх на речення і включає точні цитати у відповіді.

AI-агент від OpenAI може сам виконувати повсякденні завдання

Google об'єднує AI-чатбот Gemini з підписками Workspace і підвищує ціни. Раніше компанії платили додатково $20-30 за користувача на місяць за доступ до Gemini в Gmail, Docs та інших сервісах, тепер ці функції будуть включені в базові тарифи.

Інтеграція включає бічну панель Gemini в Gmail і Drive, допомогу з написанням текстів, розумні відповіді, резюмування, створення зображень, поліпшене автозаповнення в таблицях та інші AI-функції. Користувачі також отримають доступ до Gemini Advanced з моделлю 1.5 Pro.

Google пояснює це тим, що AI стає фундаментальною зміною в організації роботи, тому нелогічно виділяти його в окрему підписку. Заодно компанія підрізає конкурентів, які продовжують брати додаткову плату за AI-функції.

Ціни на всі тарифи зростуть «на пару доларів на місяць». Наприклад, Business Standard з Gemini раніше коштував $32 ($12 за Workspace +$20 за Gemini) за користувача, тепер буде $14 – лише на $2 більше базового тарифу без AI. Нові ціни набувають чинності з 15 січня для нових клієнтів і з 17 березня для наявних.

Google демпінгує на AI

Meta продовжує радикальну перебудову під нову політичну реальність – Марк Закерберг оголосив про припинення роботи з незалежними фактчекерами й перехід на систему громадських нотаток, схожу на Community Notes в X.

Компанія також спростить політики модерації контенту, сфокусувавшись на «серйозних порушеннях» на кшталт наркотиків, тероризму та експлуатації дітей. За словами Закерберга, наявна система модерації «припускає занадто багато помилок і зайвої цензури».

Команду з модерації контенту переміщують із Каліфорнії до Техасу, а до ради директорів увійшов Дана Вайт з UFC, давній прихильник Трампа. До цього повідомлялося про заміну Ніка Клегга, керівника з глобальної політики, на Джоеля Каплана, республіканського політика.

Чинна система фактчекінгу, запущена 2016 року, включала понад 90 організацій, які перевіряли контент 60 мовами.

Цікаво, а українських волонтерів перестануть банити у Facebook?

**

The Verge вирішили розібратися, чому Meta відмовляється від програми незалежної перевірки фактів саме зараз – за два тижні до інавгурації Трампа, – і згадали про лист Брендана Карра, члена FCC, якого Трамп уже назвав своїм кандидатом на главу комісії, що його той направив Meta, Google, Apple і Microsoft ще в листопаді, одразу після перемоги Трампа на виборах.

Карр, відомий як «захисник свободи слова», звинуватив технологічні компанії в участі в «картелі цензури» і пригрозив «широкомасштабними діями» з боку нової адміністрації. Хоча його повноваження щодо регулювання Section 230 вельми спірні (особливо після нещодавнього рішення Верховного суду щодо доктрини Шеврона), навіть спроби такого регулювання можуть створити серйозні проблеми для Meta.

Це класичний приклад «jawboning» – м'якого тиску держави на приватні компанії, проти якого республіканці раніше активно виступали. Трамп уже приписав собі заслугу за зміни в політиці Meta. При цьому сам факт такого листа однозначно показує, що Meta просто слухняно поступається перед погрозами майбутнього уряду.

Іронія в тому, що Meta у своєму обґрунтуванні рішення скаржиться на тиск уряду (натякаючи на адміністрацію Байдена) – але лист Карра робить цю скаргу просто смішною. Хоча що дивного? Ми ж бачили, як Ілон Маск, який влаштував дивне шоу під назвою Twitter Files навколо статті New York Post про ноутбук Хантера Байдена, на порядок швидше за своїх попередників заблокував можливість поширення у своїй соцмережі посилання на досьє J.D.Vance – і продовжив розпинатися про прихильність до свободи слова.

Цікаво, ми коли-небудь ще почуємо про те, що в соцмережах Meta виявлено російських ботів?

Чому Meta відмовляється від незалежної перевірки фактів?

**

А я продовжую збір на автомобіль для підрозділу безпілотних систем ВМС України, де служить мій племінник. Зібрали приблизно половину від необхідних 130 тис. грн, давайте доберімо решту.

• Paypal — [email protected]
• Монобанк — https://send.monobank.ua/jar/8Agk3Rr4xn
• Приват 5523245800262113
• BTC — 343ypLkZqqdppEehJxGGLrWFZQ6TckdfUu
• ETH — 0x621398403993a0Dde05DF9612166A73D7B246855
• USDT (TRC20) — TJkSAAmZfJpDQqp3JQ6PwACU2bvJTxdBDf
• USDT (ERC20) — 0x621398403993a0Dde05DF9612166A73D7B246855

Одна з думок щодо AI полягає в тому, що штучний інтелект так добре вміє писати тексти, що його можна натренувати в потрібному стилі – і він буде писати за вас ну точно, як ви. Я б назвав це популярною хибною думкою – хоча AI у вигляді GPT-моделей справді добре генерує тексти, все ж таки натренувати його під чийсь специфічний стиль не так вже й просто.

Однак я спробував. І хочу розповісти, що саме вийшло.

Багато років я регулярно пишу чимало текстів. Це були пости в блог, тексти для сайтів, останніми роками – пости в телеграм-каналі. Ідея перекласти генерацію текстів на комп’ютер мене, звісно, зацікавила давно, але довго залишалася радше теоретичною – цікаво було б зробити, але практично це рішення без проблеми. Мені не так вже й складно писати тексти, та й мої коментарі в телеграм-каналі складно реалізувати тренуванням моделі.

Однак з часом проблема (для вирішення) почала вимальовуватися. Річ у тім, що переважна більшість вихідних новин для телеграм-каналу існує англійською. Я вільно (і навіть швидко) читаю нею, але кілька разів стикався з тим, що упускаю важливі деталі, а то й не вловлюю суть новини під час такого побіжного сканування. Це призводить до зайвих витрат часу – перечитати, для вірності якісь фрагменти перекласти перекладачем, перевірити ще раз за іншими джерелами – загалом, це стає роботою. Я спробував скористатися AI якраз для перевірки – беру текст новини, текст написаного коментаря, віддаю в AI (ChatGPT або Claude) з проханням оцінити відповідність коментаря новині. І, хоча результат мені сподобався, кількість механічних рухів остаточно підвела до думки, що ось якраз це треба починати автоматизувати.

Перевірка гіпотези

Перш ніж займатися розробкою якогось автоматизованого рішення, я вирішив зайнятися перевіркою гіпотези, що система взагалі здатна навчитися писати в моєму стилі.

Перш ніж продовжувати, я хочу зробити невеликий disclaimer. Усе, що я описую, не є промисловим рішенням, і ви навряд чи зможете підійти для вирішення реальних завдань. Крім того, чимала частина мого інтересу до розв'язання проблем має дослідницький характер. Так само, коли AI пише мені той чи інший код, я часто обмежуюся простим копіюванням коду в проєкт і копіюванням помилки в чат – мені корисніше розібратися, як він розбирається з помилкою і що в підсумку виходить, ніж швидко розв'язати проблему.

Але я не буду тут описувати те, як програмує AI – будемо розв'язувати проблему вищого рівня.

Отже, я хочу якимось чином натренувати модель, щоб вона писала тексти в моєму стилі. Існує кілька різних підходів для цього:

• fine-tune вихідної моделі. У цьому разі моделі дають датасет, на підставі якого модель донавчається, змінюючи вихідні ваги, а кінцева модель має знання для вирішення специфічно ваших завдань;
• використання адаптерів – невеликих модулів, які навчаються під ваше завдання, а надалі, отримавши запит, перезадають його в оригінальну модель, отриману відповідь модифікують відповідно до своєї логіки, і повертають моделі;
• few-shots learning, коли моделі разом із запитом передається кілька прикладів розв'язання аналогічних завдань.

Адаптери я відхилив відразу – мені хотілося використовувати моделі OpenAI або Anthropic, а адаптери вимагають доступу до самої моделі. Fine-Tune доступна для OpenAI – можна натренувати, наприклад, gpt-4o. Anthropic не дозволяє використовувати fine-tune, але наполегливо рекомендує використовувати few-shots learning. Тому природно було спробувати два найпростіші для реалізації варіанти та порівняти результат.

З few shots learning все було просто – десяток пар «Текст новини – коментар до неї» можна набрати вручну, запит скласти нескладно, тим більше, що в Anthropic є навіть оптимізатор для них.

З fine tune виникла проблема. Річ у тім, що моделі потрібен датасет у розмірі кількох сотень прикладів. Якщо з коментарями у мене все було гаразд – архів телеграм-каналу становить близько 5 тисяч коментарів, – то з текстами новин складніше, вони знаходяться в інтернеті та це ще пів біди. Головна полягає в тому, що вони часто перебувають за пейволом, і їх неможливо дістати через публічні сервіси або якимось локальним роботом. Тож у проєкті з'явився підпроєкт – збір навчальної вибірки.

Ось тут настав час підключити AI – ми почали писати робота, який з архіву каналу візьме кілька сотень URL-адрес джерел, сходить моїм настільним браузером за цими адресами, виділить контент новини та збереже його в базу. Не можу сказати, що це було просто – наприклад, спочатку AI написав робота, який запустив Chrome у headless-режимі, скинув усі куки – зрозуміло, що скрізь він отримав або повідомлення про підписку, або капчу, оскільки в такому режимі Chrome повідомляє, що ним керує робот. Після виправлення всіх таких проблем рішення вийшло не дуже стабільним, але за вихідні робот все ж набрав близько 700 проіндексованих сторінок. Ще один, написаний AI, скрипт підготував навчальну вибірку і я відправив результат в OpenAI.

Скажу відразу – результат був сумнівним. Навіть технічні параметри – training loss і validation loss – показували, що модель або не збалансована, або перенавчається. Коли ж я спробував дати їй новину для коментаря, результат виглядав зовсім не моїм, більше нагадуючи якогось хвацького ютубера.

Результат роботи Claude 3.5 з десятком прикладів був набагато якіснішим. Можливо, fine-tune з кількома тисячами прикладів дав би результат трохи кращий, але проблема збору вибірки мене сильно бентежила. Крім того, виникала б і проблема донавчання при додаванні нових прикладів.

Таким чином, було зрозуміло – вибираємо Claude, даємо йому приклади, отримуємо відповідь. Залишається це автоматизувати.

Автоматизуємо процес

Отже, процес вручну спочатку виглядав так – я читаю новину, хочу написати про неї, переходжу в телеграм-клієнт, пишу коментар, додаю посилання, натискаю «відправити». Додаємо використання AI й отримуємо досить складну послідовність:

1. Я читаю текст новини в браузері. Мені треба написати до неї коментар;
2. Я копіюю текст новини як промпт у Claude 3.5 Sonnet, де також задано кілька прикладів парами «news/comment», і прошу написати коментар до новини;
3. Отриманий коментар я модифікую на свій розсуд;
4. Готовий текст коментаря і вихідний текст новини я надсилаю в ChatGPT для оцінки відповідності коментаря і новини. (Це потрібно для перевірки, що я не викинув нічого важливого і що цього ж не зробив Claude);
5. Залежно від результату я або редагую коментар, або відправляю його в телеграм-канал у форматі «текст коментаря посилання».

Claude досить швидко створив React-застосунок, який давав змогу ввести текст новини та ввести коментар. І ми почали нарощувати функціональність. Надіслати текст новини разом із прикладами в API Claude виявилося найпростішим. Але ж я хотів автоматизувати – тобто треба було автоматично витягти текст новини.

Так з'явилося розширення для браузера, яке витягувало текст новини та відправляло його в React-застосунок. Це стало окремим проєктом, де в підсумку ми прийшли до використання бібліотеки Readablity і прописування окремої обробки для деяких сайтів.

Потім ми повернулися до React-застосунку. Він уже вмів отримати текст новини та URL, відправити приклади та запит до Claude, отримати коментар. На наступному кроці ми додали запит до GPT-4o для оцінки результату.

Зовсім непомітно, мало не за своєю ініціативою Claude, який писав код, додав функціональність управління прикладами. Щоправда, тут ми трохи застрягли – додаток регулярно відмовлявся видаляти приклади під час додавання нових. Це виглядало нераціональним – насправді, приблизно після 12-15 прикладів ефективність збільшення кількості прикладів різко падає, а передавати 20 прикладів коштує додаткових грошей. Але через якийсь час ми це побороли.

Покращувати можна нескінченно – я паралельно запропонував v0.dev намалювати інтерфейс для застосунку, і вийшло модно та сучасно. Виклавши застосунок в інтернет – щоб не залежати від локально запущеного застосунку, – логічним було додати авторизацію. Додати надсилання коментаря прямо в телеграм-канал було просто частиною початкового задуму, а ось копіювання його в буфер обміну я додав, щоб негайно постити нотатку в вебдзеркало каналу.

Підсумок

Загалом, після приблизно місяця використання з періодичним виправленням багів і незручностей процес виглядає так:

• я читаю новину на сайті й вирішую написати коментар;
• натискаю кнопку на панелі браузера, вона відкриває нову вкладку з додатком, де у вихідному табі відкрито вихідний текст новини;
• після натискання кнопки «Generate comment» минає певний час і в іншому табі з'являється заготовка коментаря;
• я правлю коментар – зазвичай видаляю частину дрібних деталей і додаю пару фраз реально свого коментаря;
• після натискання кнопки «Evaluate comment» у третьому табі з'являється оцінка відповідності коментаря новині. Спочатку GPT помічав, що автор не витримує суворого тону, коли я вказав, що автору властивий іронічний підхід, він став скаржитися, що в коментарях недостатньо іронії;
• якщо мені все подобається, я натискаю кнопку «Send to Telegram» і копіюю текст у буфер обміну для надсилання у вебдзеркало;
• якщо мені здається, що коментар характерний для мого стилю, я натискаю кнопку «Save example» і застосунок зберігає поточну пару до файлу прикладів. Їх можна переглянути в четвертому, останньому, табі, видалити якийсь із них, якщо хочеться.

Є ще один спосіб доопрацювання моделі – дати їй можливість пошукати за історією постів, щоб писати коментар не тільки з огляду на текст новини та приклади стилю, а й з огляду на попередні коментарі на схожу тему або зі згадкою компаній чи особистостей. Моделі це вміють – викликати функції, зокрема пошук, і використовувати результат. Пошук ми вже написали, залишається тільки під'єднати його до застосунку. Що цікаво – AI під час теоретичного обговорення проявляє чималий ентузіазм і запевняє, що якість коментарів помітно підвищиться.

Але мені поки й так добре.

Як AI пише мені тексти

Цікавий огляд коментарів на тему запуску OpenAI o3. Модель показує разючі результати – наприклад, 88% у тесті ARC-AGI проти 32% в o1, і 25% у складному математичному тесті, де інші моделі не набирали більш як 2%.

Щоправда, ця продуктивність досягається ціною величезних обчислювальних витрат – понад $1000 на одне завдання проти $5 в o1. На повному тесті ARC-AGI o3 low використала ресурсів на $10000 і набрала лише на 12% менше балів, ніж o3 high, що використала в 172 рази більше обчислювальних ресурсів (ціну їм ще не склали).

Це порушує питання про практичне застосування таких моделей – навряд чи o3 стане повсякденним інструментом як GPT-4. Швидше за все, це буде спеціалізований інструмент для складних завдань, доступний тільки організаціям з великими бюджетами. OpenAI вже пропонує тариф $200 для версії o1 pro (яка дійсно дуже круто працює) і навіть ходять чутки про певний тариф Ultra з вартістю до $2000.

Утім, індустрія бачить великий потенціал у цьому підході – масштабуванні обчислень під час генерації відповіді. Джек Кларк з Anthropic вважає, що у 2025 році прогрес AI прискориться навіть порівняно з 2024 роком завдяки комбінації традиційного масштабування і test-time scaling. А виробники спеціалізованих AI-чіпів, як Groq або Cerebras, можуть зробити такий підхід доступнішим.

Яким чином далі підвищувати продуктивність AI?

Великий текст у Wall Street Journal описує ситуацію з розробкою в OpenAI й, зокрема, повідомляє, що розробка GPT-5 під кодовою назвою Orion йде повільніше, ніж очікувалося. Це пов'язано з проблемами, основні з яких – брак даних для навчання і технічні складнощі з архітектурою моделі. Після 18 місяців роботи та щонайменше двох масштабних тренувальних прогонів, кожен з яких обійшовся приблизно в пів мільярда доларів, результати все ще не виправдовують величезних витрат.

Щоправда, за результатами тестового навчання отримана модель видавала результати кращі, ніж нинішні публічні моделі OpenAI. Але вони були все ще недостатньо хороші, щоб відповідати переходу від GPT-4 до GPT-5 за критеріями компанії.

OpenAI намагається розв'язати проблему даних, наймаючи фахівців для створення нового контенту (тобто буквально програмісти, наприклад, пишуть код для розв'язання тих чи інших завдань, щоб на цьому контенті навчати модель) і, використовуючи синтетичні дані від своєї моделі o1, але процес йде повільно.

Публічно компанія поки ніяк не коментує плани щодо Orion.

А я ось що думаю. Якщо показана днями o3 начебто вже перевершує людей, а там усередині ще навіть не Orion, то що ж ми побачимо, коли в умовній o5 з'єднаються Orion з іще більш просунутими роздумами?

Даних для навчання AI вже не вистачає

Google набрав хід і дивує своїми запусками в галузі AI – компанія показала наступні версії своїх моделей для генерації відео та зображень – Veo 2 та Imagen 3, а також представила новий експериментальний інструмент Whisk.

Veo 2 демонструє дивовижні результати у створенні відео, краще розуміє фізику реального світу і нюанси людських рухів. Модель також розуміється на кінематографії – може працювати з різними жанрами, об'єктивами та спецефектами, створюючи відео з роздільною здатністю до 4K і тривалістю в кілька хвилин. При цьому вона рідше «галюцинує» зайві деталі на кшталт додаткових пальців.

Щоправда, поки що він доступний тільки в застосунку VideoFX, який доступний лише за інвайтами. Утім Google обіцяє, що протягом тижня кількість користувачів додатка збільшиться.

Imagen 3 тепер створює яскравіші та композиційно вивіреніші зображення, краще слідує промптам і може працювати в різних художніх стилях – від фотореалізму до аніме. Модель уже доступна в ImageFX більш ніж у 100 країнах.

Новий інструмент Whisk дає змогу використовувати зображення як промпти для візуалізації ідей. Він комбінує Imagen 3 з візуальними можливостями Gemini – останній автоматично створює детальний опис завантажених зображень, який потім використовується Imagen 3 для створення нових варіацій.

Утім, Whisk нам не доступний, тож почекаємо все відразу пробувати.

Google дивує AI-новинками

Google вирішив втрутитися у відносини Microsoft і OpenAI та просить FTC (Федеральну торгову комісію) розірвати ексклюзивну угоду між компаніями. За нею OpenAI може розміщувати свої сервіси тільки в хмарі Azure, а Microsoft отримує 20% виручки OpenAI.

Google та Amazon теж хотіли б розміщувати моделі OpenAI у своїх хмарах, щоб їхнім клієнтам не доводилося додатково використовувати Microsoft Azure. Деякі компанії, як-от Snap та Intuit, уже були змушені почати використовувати Azure саме через те, що хотіли працювати з технологіями OpenAI.

FTC проводить широке розслідування діяльності Microsoft, включно з відносинами з OpenAI, але поки незрозуміло, чи призведе воно до якихось конкретних дій. Керівництво FTC майже напевно зміниться на початку майбутнього року, а для Microsoft це не перше розслідування – тож процес буде нешвидким. Щоправда, ми ж пам'ятаємо, що є ще й Ілон Маск, який явно не проти засмутити відносини конкурентів свого xAI, використовуючи позицію близького радника Трампа. Тож нічого певного, звісно, сказати не можна.

Усі хочуть заробити на OpenAI

Amazon Web Services представила доволі незвичний сервіс – фізичні локації Data Transfer Terminal, куди клієнти можуть прийти зі своїми носіями даних і завантажити інформацію в хмару AWS на швидкості до 400 ГБіт/с. Поки що відкрито тільки дві точки – в Нью-Йорку і Лос-Анджелесі.

Процес організовано наступним чином. Клієнт бронює час через консоль AWS, приходить у зазначену будівлю (яка, до речі, жодним чином не орендована з метою безпеки), там його проводять у спеціальну кімнату з обладнанням для завантаження даних.

Задоволення не з дешевих, між іншим, – $300 на годину за завантаження в американські дата-центри AWS і $500 – в європейські. Причому платити доведеться за весь час використання і щонайменше – за той час, який було заброньовано.

Нагадує старий анекдот про вантажівку з компакт-дисками. Втім, нещодавно хтось фіксував рекорд з переміщення інформації, спорудивши штангу з купи SSD-дисків і піднявши її. Враховуючи скільки часу займає ривок штанги, а всього там були залучені диски на петабайти, то швидкість вийшла цілком собі рекордна.

Файли в хмару вантажівками?