Meta продовжує радикальну перебудову під нову політичну реальність – Марк Закерберг оголосив про припинення роботи з незалежними фактчекерами й перехід на систему громадських нотаток, схожу на Community Notes в X.

Компанія також спростить політики модерації контенту, сфокусувавшись на «серйозних порушеннях» на кшталт наркотиків, тероризму та експлуатації дітей. За словами Закерберга, наявна система модерації «припускає занадто багато помилок і зайвої цензури».

Команду з модерації контенту переміщують із Каліфорнії до Техасу, а до ради директорів увійшов Дана Вайт з UFC, давній прихильник Трампа. До цього повідомлялося про заміну Ніка Клегга, керівника з глобальної політики, на Джоеля Каплана, республіканського політика.

Чинна система фактчекінгу, запущена 2016 року, включала понад 90 організацій, які перевіряли контент 60 мовами.

Цікаво, а українських волонтерів перестануть банити у Facebook?

**

The Verge вирішили розібратися, чому Meta відмовляється від програми незалежної перевірки фактів саме зараз – за два тижні до інавгурації Трампа, – і згадали про лист Брендана Карра, члена FCC, якого Трамп уже назвав своїм кандидатом на главу комісії, що його той направив Meta, Google, Apple і Microsoft ще в листопаді, одразу після перемоги Трампа на виборах.

Карр, відомий як «захисник свободи слова», звинуватив технологічні компанії в участі в «картелі цензури» і пригрозив «широкомасштабними діями» з боку нової адміністрації. Хоча його повноваження щодо регулювання Section 230 вельми спірні (особливо після нещодавнього рішення Верховного суду щодо доктрини Шеврона), навіть спроби такого регулювання можуть створити серйозні проблеми для Meta.

Це класичний приклад «jawboning» – м'якого тиску держави на приватні компанії, проти якого республіканці раніше активно виступали. Трамп уже приписав собі заслугу за зміни в політиці Meta. При цьому сам факт такого листа однозначно показує, що Meta просто слухняно поступається перед погрозами майбутнього уряду.

Іронія в тому, що Meta у своєму обґрунтуванні рішення скаржиться на тиск уряду (натякаючи на адміністрацію Байдена) – але лист Карра робить цю скаргу просто смішною. Хоча що дивного? Ми ж бачили, як Ілон Маск, який влаштував дивне шоу під назвою Twitter Files навколо статті New York Post про ноутбук Хантера Байдена, на порядок швидше за своїх попередників заблокував можливість поширення у своїй соцмережі посилання на досьє J.D.Vance – і продовжив розпинатися про прихильність до свободи слова.

Цікаво, ми коли-небудь ще почуємо про те, що в соцмережах Meta виявлено російських ботів?

Чому Meta відмовляється від незалежної перевірки фактів?

**

А я продовжую збір на автомобіль для підрозділу безпілотних систем ВМС України, де служить мій племінник. Зібрали приблизно половину від необхідних 130 тис. грн, давайте доберімо решту.

• Paypal — [email protected]
• Монобанк — https://send.monobank.ua/jar/8Agk3Rr4xn
• Приват 5523245800262113
• BTC — 343ypLkZqqdppEehJxGGLrWFZQ6TckdfUu
• ETH — 0x621398403993a0Dde05DF9612166A73D7B246855
• USDT (TRC20) — TJkSAAmZfJpDQqp3JQ6PwACU2bvJTxdBDf
• USDT (ERC20) — 0x621398403993a0Dde05DF9612166A73D7B246855

Одна з думок щодо AI полягає в тому, що штучний інтелект так добре вміє писати тексти, що його можна натренувати в потрібному стилі – і він буде писати за вас ну точно, як ви. Я б назвав це популярною хибною думкою – хоча AI у вигляді GPT-моделей справді добре генерує тексти, все ж таки натренувати його під чийсь специфічний стиль не так вже й просто.

Однак я спробував. І хочу розповісти, що саме вийшло.

Багато років я регулярно пишу чимало текстів. Це були пости в блог, тексти для сайтів, останніми роками – пости в телеграм-каналі. Ідея перекласти генерацію текстів на комп’ютер мене, звісно, зацікавила давно, але довго залишалася радше теоретичною – цікаво було б зробити, але практично це рішення без проблеми. Мені не так вже й складно писати тексти, та й мої коментарі в телеграм-каналі складно реалізувати тренуванням моделі.

Однак з часом проблема (для вирішення) почала вимальовуватися. Річ у тім, що переважна більшість вихідних новин для телеграм-каналу існує англійською. Я вільно (і навіть швидко) читаю нею, але кілька разів стикався з тим, що упускаю важливі деталі, а то й не вловлюю суть новини під час такого побіжного сканування. Це призводить до зайвих витрат часу – перечитати, для вірності якісь фрагменти перекласти перекладачем, перевірити ще раз за іншими джерелами – загалом, це стає роботою. Я спробував скористатися AI якраз для перевірки – беру текст новини, текст написаного коментаря, віддаю в AI (ChatGPT або Claude) з проханням оцінити відповідність коментаря новині. І, хоча результат мені сподобався, кількість механічних рухів остаточно підвела до думки, що ось якраз це треба починати автоматизувати.

Перевірка гіпотези

Перш ніж займатися розробкою якогось автоматизованого рішення, я вирішив зайнятися перевіркою гіпотези, що система взагалі здатна навчитися писати в моєму стилі.

Перш ніж продовжувати, я хочу зробити невеликий disclaimer. Усе, що я описую, не є промисловим рішенням, і ви навряд чи зможете підійти для вирішення реальних завдань. Крім того, чимала частина мого інтересу до розв'язання проблем має дослідницький характер. Так само, коли AI пише мені той чи інший код, я часто обмежуюся простим копіюванням коду в проєкт і копіюванням помилки в чат – мені корисніше розібратися, як він розбирається з помилкою і що в підсумку виходить, ніж швидко розв'язати проблему.

Але я не буду тут описувати те, як програмує AI – будемо розв'язувати проблему вищого рівня.

Отже, я хочу якимось чином натренувати модель, щоб вона писала тексти в моєму стилі. Існує кілька різних підходів для цього:

• fine-tune вихідної моделі. У цьому разі моделі дають датасет, на підставі якого модель донавчається, змінюючи вихідні ваги, а кінцева модель має знання для вирішення специфічно ваших завдань;
• використання адаптерів – невеликих модулів, які навчаються під ваше завдання, а надалі, отримавши запит, перезадають його в оригінальну модель, отриману відповідь модифікують відповідно до своєї логіки, і повертають моделі;
• few-shots learning, коли моделі разом із запитом передається кілька прикладів розв'язання аналогічних завдань.

Адаптери я відхилив відразу – мені хотілося використовувати моделі OpenAI або Anthropic, а адаптери вимагають доступу до самої моделі. Fine-Tune доступна для OpenAI – можна натренувати, наприклад, gpt-4o. Anthropic не дозволяє використовувати fine-tune, але наполегливо рекомендує використовувати few-shots learning. Тому природно було спробувати два найпростіші для реалізації варіанти та порівняти результат.

З few shots learning все було просто – десяток пар «Текст новини – коментар до неї» можна набрати вручну, запит скласти нескладно, тим більше, що в Anthropic є навіть оптимізатор для них.

З fine tune виникла проблема. Річ у тім, що моделі потрібен датасет у розмірі кількох сотень прикладів. Якщо з коментарями у мене все було гаразд – архів телеграм-каналу становить близько 5 тисяч коментарів, – то з текстами новин складніше, вони знаходяться в інтернеті та це ще пів біди. Головна полягає в тому, що вони часто перебувають за пейволом, і їх неможливо дістати через публічні сервіси або якимось локальним роботом. Тож у проєкті з'явився підпроєкт – збір навчальної вибірки.

Ось тут настав час підключити AI – ми почали писати робота, який з архіву каналу візьме кілька сотень URL-адрес джерел, сходить моїм настільним браузером за цими адресами, виділить контент новини та збереже його в базу. Не можу сказати, що це було просто – наприклад, спочатку AI написав робота, який запустив Chrome у headless-режимі, скинув усі куки – зрозуміло, що скрізь він отримав або повідомлення про підписку, або капчу, оскільки в такому режимі Chrome повідомляє, що ним керує робот. Після виправлення всіх таких проблем рішення вийшло не дуже стабільним, але за вихідні робот все ж набрав близько 700 проіндексованих сторінок. Ще один, написаний AI, скрипт підготував навчальну вибірку і я відправив результат в OpenAI.

Скажу відразу – результат був сумнівним. Навіть технічні параметри – training loss і validation loss – показували, що модель або не збалансована, або перенавчається. Коли ж я спробував дати їй новину для коментаря, результат виглядав зовсім не моїм, більше нагадуючи якогось хвацького ютубера.

Результат роботи Claude 3.5 з десятком прикладів був набагато якіснішим. Можливо, fine-tune з кількома тисячами прикладів дав би результат трохи кращий, але проблема збору вибірки мене сильно бентежила. Крім того, виникала б і проблема донавчання при додаванні нових прикладів.

Таким чином, було зрозуміло – вибираємо Claude, даємо йому приклади, отримуємо відповідь. Залишається це автоматизувати.

Автоматизуємо процес

Отже, процес вручну спочатку виглядав так – я читаю новину, хочу написати про неї, переходжу в телеграм-клієнт, пишу коментар, додаю посилання, натискаю «відправити». Додаємо використання AI й отримуємо досить складну послідовність:

1. Я читаю текст новини в браузері. Мені треба написати до неї коментар;
2. Я копіюю текст новини як промпт у Claude 3.5 Sonnet, де також задано кілька прикладів парами «news/comment», і прошу написати коментар до новини;
3. Отриманий коментар я модифікую на свій розсуд;
4. Готовий текст коментаря і вихідний текст новини я надсилаю в ChatGPT для оцінки відповідності коментаря і новини. (Це потрібно для перевірки, що я не викинув нічого важливого і що цього ж не зробив Claude);
5. Залежно від результату я або редагую коментар, або відправляю його в телеграм-канал у форматі «текст коментаря посилання».

Claude досить швидко створив React-застосунок, який давав змогу ввести текст новини та ввести коментар. І ми почали нарощувати функціональність. Надіслати текст новини разом із прикладами в API Claude виявилося найпростішим. Але ж я хотів автоматизувати – тобто треба було автоматично витягти текст новини.

Так з'явилося розширення для браузера, яке витягувало текст новини та відправляло його в React-застосунок. Це стало окремим проєктом, де в підсумку ми прийшли до використання бібліотеки Readablity і прописування окремої обробки для деяких сайтів.

Потім ми повернулися до React-застосунку. Він уже вмів отримати текст новини та URL, відправити приклади та запит до Claude, отримати коментар. На наступному кроці ми додали запит до GPT-4o для оцінки результату.

Зовсім непомітно, мало не за своєю ініціативою Claude, який писав код, додав функціональність управління прикладами. Щоправда, тут ми трохи застрягли – додаток регулярно відмовлявся видаляти приклади під час додавання нових. Це виглядало нераціональним – насправді, приблизно після 12-15 прикладів ефективність збільшення кількості прикладів різко падає, а передавати 20 прикладів коштує додаткових грошей. Але через якийсь час ми це побороли.

Покращувати можна нескінченно – я паралельно запропонував v0.dev намалювати інтерфейс для застосунку, і вийшло модно та сучасно. Виклавши застосунок в інтернет – щоб не залежати від локально запущеного застосунку, – логічним було додати авторизацію. Додати надсилання коментаря прямо в телеграм-канал було просто частиною початкового задуму, а ось копіювання його в буфер обміну я додав, щоб негайно постити нотатку в вебдзеркало каналу.

Підсумок

Загалом, після приблизно місяця використання з періодичним виправленням багів і незручностей процес виглядає так:

• я читаю новину на сайті й вирішую написати коментар;
• натискаю кнопку на панелі браузера, вона відкриває нову вкладку з додатком, де у вихідному табі відкрито вихідний текст новини;
• після натискання кнопки «Generate comment» минає певний час і в іншому табі з'являється заготовка коментаря;
• я правлю коментар – зазвичай видаляю частину дрібних деталей і додаю пару фраз реально свого коментаря;
• після натискання кнопки «Evaluate comment» у третьому табі з'являється оцінка відповідності коментаря новині. Спочатку GPT помічав, що автор не витримує суворого тону, коли я вказав, що автору властивий іронічний підхід, він став скаржитися, що в коментарях недостатньо іронії;
• якщо мені все подобається, я натискаю кнопку «Send to Telegram» і копіюю текст у буфер обміну для надсилання у вебдзеркало;
• якщо мені здається, що коментар характерний для мого стилю, я натискаю кнопку «Save example» і застосунок зберігає поточну пару до файлу прикладів. Їх можна переглянути в четвертому, останньому, табі, видалити якийсь із них, якщо хочеться.

Є ще один спосіб доопрацювання моделі – дати їй можливість пошукати за історією постів, щоб писати коментар не тільки з огляду на текст новини та приклади стилю, а й з огляду на попередні коментарі на схожу тему або зі згадкою компаній чи особистостей. Моделі це вміють – викликати функції, зокрема пошук, і використовувати результат. Пошук ми вже написали, залишається тільки під'єднати його до застосунку. Що цікаво – AI під час теоретичного обговорення проявляє чималий ентузіазм і запевняє, що якість коментарів помітно підвищиться.

Але мені поки й так добре.

Як AI пише мені тексти

Цікавий огляд коментарів на тему запуску OpenAI o3. Модель показує разючі результати – наприклад, 88% у тесті ARC-AGI проти 32% в o1, і 25% у складному математичному тесті, де інші моделі не набирали більш як 2%.

Щоправда, ця продуктивність досягається ціною величезних обчислювальних витрат – понад $1000 на одне завдання проти $5 в o1. На повному тесті ARC-AGI o3 low використала ресурсів на $10000 і набрала лише на 12% менше балів, ніж o3 high, що використала в 172 рази більше обчислювальних ресурсів (ціну їм ще не склали).

Це порушує питання про практичне застосування таких моделей – навряд чи o3 стане повсякденним інструментом як GPT-4. Швидше за все, це буде спеціалізований інструмент для складних завдань, доступний тільки організаціям з великими бюджетами. OpenAI вже пропонує тариф $200 для версії o1 pro (яка дійсно дуже круто працює) і навіть ходять чутки про певний тариф Ultra з вартістю до $2000.

Утім, індустрія бачить великий потенціал у цьому підході – масштабуванні обчислень під час генерації відповіді. Джек Кларк з Anthropic вважає, що у 2025 році прогрес AI прискориться навіть порівняно з 2024 роком завдяки комбінації традиційного масштабування і test-time scaling. А виробники спеціалізованих AI-чіпів, як Groq або Cerebras, можуть зробити такий підхід доступнішим.

Яким чином далі підвищувати продуктивність AI?

Великий текст у Wall Street Journal описує ситуацію з розробкою в OpenAI й, зокрема, повідомляє, що розробка GPT-5 під кодовою назвою Orion йде повільніше, ніж очікувалося. Це пов'язано з проблемами, основні з яких – брак даних для навчання і технічні складнощі з архітектурою моделі. Після 18 місяців роботи та щонайменше двох масштабних тренувальних прогонів, кожен з яких обійшовся приблизно в пів мільярда доларів, результати все ще не виправдовують величезних витрат.

Щоправда, за результатами тестового навчання отримана модель видавала результати кращі, ніж нинішні публічні моделі OpenAI. Але вони були все ще недостатньо хороші, щоб відповідати переходу від GPT-4 до GPT-5 за критеріями компанії.

OpenAI намагається розв'язати проблему даних, наймаючи фахівців для створення нового контенту (тобто буквально програмісти, наприклад, пишуть код для розв'язання тих чи інших завдань, щоб на цьому контенті навчати модель) і, використовуючи синтетичні дані від своєї моделі o1, але процес йде повільно.

Публічно компанія поки ніяк не коментує плани щодо Orion.

А я ось що думаю. Якщо показана днями o3 начебто вже перевершує людей, а там усередині ще навіть не Orion, то що ж ми побачимо, коли в умовній o5 з'єднаються Orion з іще більш просунутими роздумами?

Даних для навчання AI вже не вистачає

Google набрав хід і дивує своїми запусками в галузі AI – компанія показала наступні версії своїх моделей для генерації відео та зображень – Veo 2 та Imagen 3, а також представила новий експериментальний інструмент Whisk.

Veo 2 демонструє дивовижні результати у створенні відео, краще розуміє фізику реального світу і нюанси людських рухів. Модель також розуміється на кінематографії – може працювати з різними жанрами, об'єктивами та спецефектами, створюючи відео з роздільною здатністю до 4K і тривалістю в кілька хвилин. При цьому вона рідше «галюцинує» зайві деталі на кшталт додаткових пальців.

Щоправда, поки що він доступний тільки в застосунку VideoFX, який доступний лише за інвайтами. Утім Google обіцяє, що протягом тижня кількість користувачів додатка збільшиться.

Imagen 3 тепер створює яскравіші та композиційно вивіреніші зображення, краще слідує промптам і може працювати в різних художніх стилях – від фотореалізму до аніме. Модель уже доступна в ImageFX більш ніж у 100 країнах.

Новий інструмент Whisk дає змогу використовувати зображення як промпти для візуалізації ідей. Він комбінує Imagen 3 з візуальними можливостями Gemini – останній автоматично створює детальний опис завантажених зображень, який потім використовується Imagen 3 для створення нових варіацій.

Утім, Whisk нам не доступний, тож почекаємо все відразу пробувати.

Google дивує AI-новинками

Google вирішив втрутитися у відносини Microsoft і OpenAI та просить FTC (Федеральну торгову комісію) розірвати ексклюзивну угоду між компаніями. За нею OpenAI може розміщувати свої сервіси тільки в хмарі Azure, а Microsoft отримує 20% виручки OpenAI.

Google та Amazon теж хотіли б розміщувати моделі OpenAI у своїх хмарах, щоб їхнім клієнтам не доводилося додатково використовувати Microsoft Azure. Деякі компанії, як-от Snap та Intuit, уже були змушені почати використовувати Azure саме через те, що хотіли працювати з технологіями OpenAI.

FTC проводить широке розслідування діяльності Microsoft, включно з відносинами з OpenAI, але поки незрозуміло, чи призведе воно до якихось конкретних дій. Керівництво FTC майже напевно зміниться на початку майбутнього року, а для Microsoft це не перше розслідування – тож процес буде нешвидким. Щоправда, ми ж пам'ятаємо, що є ще й Ілон Маск, який явно не проти засмутити відносини конкурентів свого xAI, використовуючи позицію близького радника Трампа. Тож нічого певного, звісно, сказати не можна.

Усі хочуть заробити на OpenAI

Amazon Web Services представила доволі незвичний сервіс – фізичні локації Data Transfer Terminal, куди клієнти можуть прийти зі своїми носіями даних і завантажити інформацію в хмару AWS на швидкості до 400 ГБіт/с. Поки що відкрито тільки дві точки – в Нью-Йорку і Лос-Анджелесі.

Процес організовано наступним чином. Клієнт бронює час через консоль AWS, приходить у зазначену будівлю (яка, до речі, жодним чином не орендована з метою безпеки), там його проводять у спеціальну кімнату з обладнанням для завантаження даних.

Задоволення не з дешевих, між іншим, – $300 на годину за завантаження в американські дата-центри AWS і $500 – в європейські. Причому платити доведеться за весь час використання і щонайменше – за той час, який було заброньовано.

Нагадує старий анекдот про вантажівку з компакт-дисками. Втім, нещодавно хтось фіксував рекорд з переміщення інформації, спорудивши штангу з купи SSD-дисків і піднявши її. Враховуючи скільки часу займає ривок штанги, а всього там були залучені диски на петабайти, то швидкість вийшла цілком собі рекордна.

Файли в хмару вантажівками?

За даними Financial Times, Telegram повідомив інвесторам, що затримання Павла Дурова французькою поліцією не мало «істотного впливу» на роботу компанії.

І судячи з фінансових показників, це схоже на правду – виторг за перше півріччя 2024 року збільшився на 190% до 525 млн дол., а прибуток склав 335 млн дол.

Цікаво, що значну роль у цьому зіграли криптоактиви – їхня вартість зросла з 400 млн дол. наприкінці минулого року до 1,3 млрд дол. Плюс компанія заробила 225 млн дол. на ексклюзивній угоді з використання Toncoin для оплати реклами малими бізнесами (хоча з 1 жовтня ця угода закінчилася).

Реклама і підписки теж зростають – рекламна виручка подвоїлася до 120 млн дол., а premium-підписки принесли 119 млн дол. проти 32 млн дол. рік тому. Хоча експерти попереджають, що з рекламою можуть виникнути проблеми через звинувачення в недостатній модерації контенту.

Тобто теоретично компанія з 50 осіб може за підсумками року вперше показати прибуток. Знову ж таки, ми пам'ятаємо, що один користувач коштує компанії 70 центів витрат на рік. Про досягнення 1 млрд поки що не повідомлялося. Тож витрати не повинні перевищити 700 млн дол. Але мене бентежить ось це перетікання криптовалют по балансу – виглядає так, ніби ми спілкуємося в хобі-проєкті міжнародної фінансової компанії.

Telegram – хобі-проєкт міжнародної фінансової компанії?

Ілон Маск і Вівек Рамасвамі активно підбирають персонал і планують роботу майбутнього міністерства урядової ефективності. Як повідомляють, до роботи також залучені Марк Андреєсен, Тревіс Каланік, співзасновник Palantir Джо Лонсдейл, хедж-мільярдер Білл Екман та інші.

Андреєсен виступає як ключовий парламентер з можливими кандидатами.

Маск також активно залучає до планування роботи міністерства топ-менеджерів своїх компаній.

Загальна мета, заявлена для міністерства, – перегляд усіх державних витрат і різке їх скорочення.

Дивлячись на склад учасників, нескладно припустити, що часто скорочення піде шляхом «А давайте ось тут усіх звільнимо і скасуємо і подивимося, що зламається».

Власне, ми це вже бачили на прикладі Twitter. Та власне і Uber, заснований Каланіком, виник з ідеї «Візьмімо, кого завгодно, дамо йому замовлення пасажирів, а ніяких регуляцій роботи громадського транспорту дотримуватися не треба».

У випадку з DOGE буде кумедніше – адже робота всіх держорганів визначена чинними законами, скасувати або змінити які може тільки Конгрес і Сенат. Там є процедури, яких треба дотримуватися. А якщо обійти їх указами президента, то укази оскаржуються в судах, як уже було з указами Трампа за попереднього президентства.

Маск прийде – порядок наведе?

Мін'юст США планує звернутися до судді Аміта Мехта з пропозицією винести рішення, яке зобов'яже компанію Google продати свій браузер Chrome. Крім цього, Мін'юст також запропонує вжити заходів щодо AI та операційної системи Android, а також зобов'язати Google запровадити ліцензування даних пошуку та AI. При цьому пропозиції щодо Android можуть містити вимоги поширення Android у відриві від пошуку і Google Play.

Суддя в серпні ухвалив рішення про зловживання Google своїм панівним становищем на ринках браузерів і операційних систем в інтересах свого становища на ринку інтернет-пошуку і тепер чекає на пропозиції щодо конкретних заходів, які необхідно вжити щодо Google. Після оголошення пропозицій Мін'юсту Google отримає можливість представити заперечення, після чого буде ухвалено підсумкове рішення. Слухання планується на квітень, а підсумкове рішення буде винесено в серпні 2025 року. Утім, найімовірніше його буде оскаржено, і якісь серйозні зміни ми побачимо навіть не наступного року.

Але пропоновані заходи дуже серйозні, погодьтеся.

Google розділять на частини?