AMD GAIA - проєкт із відкритим вихідним кодом для запуску локальних LLM на Ryzen AI NPU

Компанія AMD запустила новий проєкт із відкритим вихідним кодом під назвою GAIA (вимовляється /ˈɡaɪ.ə/) - застосунок, що використовує можливості нейропроцесора Ryzen AI для запуску приватних і локальних великих мовних моделей (LLM).

GAIA - це застосунок для генеративного AI, призначений для запуску локальних приватних LLM на ПК з ОС Windows і оптимізований для апаратного забезпечення AMD Ryzen AI (процесори AMD Ryzen AI 300 Series). Така інтеграція забезпечує більш швидке та ефективне опрацювання даних, тобто низьке енергоспоживання, при збереженні локальності та безпеки даних. На ПК з Ryzen AI GAIA взаємодіє з NPU і iGPU для безперешкодного запуску моделей, використовуючи SDK Lemonade (LLM-Aid) від ONNX TurnkeyML з відкритим вихідним кодом для виведення LLM. GAIA підтримує різні локальні LLM, оптимізовані для роботи на ПК з Ryzen AI. Популярні моделі, як-от Llama і похідні Phi, можна адаптувати для різних сценаріїв використання, як-от запитання та відповіді, узагальнення і складні завдання міркування.

Існує дві версії GAIA:
1) GAIA Installer працює на будь-якому ПК з Windows, однак продуктивність може бути нижчою.
2) Гібридний інсталятор GAIA - пакет оптимізовано для роботи на комп'ютерах із Ryzen AI та використовує NPU та iGPU для підвищення продуктивності.

Однією з відмінних рис GAIA є його конвеєр агента Retrieval-Augmented Generation (RAG). Цей конвеєр об'єднує LLM з базою знань, даючи змогу агенту отримувати релевантну інформацію, міркувати, планувати й використовувати зовнішні інструменти в інтерактивному середовищі чату. Це дає змогу отримувати точніші відповіді з урахуванням контексту.

Наразі агенти GAIA мають такі можливості:
Просте завершення запиту: Немає агента для прямої взаємодії з моделлю для тестування та оцінки.
Chaty: чат-бот LLM з історією, який бере участь у розмові з користувачем.
Clip: агентний RAG для пошуку на YouTube і агент запитань і відповідей.
Joker: простий генератор жартів, що використовує RAG для створення гумору для користувача.

Наразі в розробці перебувають додаткові агенти, і розробникам пропонується створювати та додавати в GAIA свої власні агенти.

Lemonade SDK надає інструменти для вирішення специфічних для LLM завдань, як-от видавання підказок, вимірювання точності та обслуговування в різних режимах виконання (наприклад, Hugging Face, ONNX Runtime GenAI API) і апаратних засобах (CPU, iGPU і NPU).

Lemonade представляє вебсервіс LLM, який взаємодіє з додатком GAIA через REST API, сумісний з OpenAI. GAIA складається з трьох ключових компонентів:
1) LLM Connector - з'єднує вебінтерфейс сервісу NPU з конвеєром RAG на основі LlamaIndex.
2) Конвеєр RAG на основі LlamaIndex - містить у собі механізм запитів і векторну пам'ять, яка обробляє і зберігає відповідну зовнішню інформацію.
3) Вебсервер агента - підключається до користувацького інтерфейсу GAIA через WebSocket, забезпечуючи взаємодію з користувачем.

GAIA виступає в ролі агента на базі штучного інтелекту, який отримує та обробляє дані. Він векторизує зовнішній контент (наприклад, GitHub, YouTube, текстові файли) і зберігає його в локальному векторному індексі. Коли користувач надсилає запит, відбувається такий процес:
1) Запит надсилається в GAIA, де він перетворюється на вектор вбудовування.
2) Векторизований запит використовується для вилучення релевантного контексту з індексованих даних.
3) Отриманий контекст передається до вебсервісу, де він вбудовується в підказку LLM.
4) LLM генерує відповідь, яка передається назад через вебсервіс GAIA і відображається в користувацькому інтерфейсі.

Цей процес гарантує, що користувацькі запити будуть доповнені відповідним контекстом перед обробкою LLM, що підвищує точність і релевантність відповіді. Остаточну відповідь доставляють користувачеві в режимі реального часу через користувацький інтерфейс.

Локальний запуск LLM на NPU дає кілька переваг:
- Підвищена конфіденційність, оскільки жодні дані не повинні залишати комп'ютер. Це усуває необхідність відправляти конфіденційну інформацію в хмару, що значно підвищує рівень конфіденційності та безпеки даних, забезпечуючи при цьому високопродуктивні можливості AI.

- Зменшення затримок, оскільки нема потреби зв'язуватися з хмарою.

- Оптимізована продуктивність NPU, що дає змогу прискорити час відгуку та знизити енергоспоживання.

Запуск GAIA на NPU призводить до підвищення продуктивності в завданнях, специфічних для AI, оскільки він призначений для обчислювальних навантажень. Починаючи з Ryzen AI Software Release 1.3, з'явилася гібридна підтримка розгортання квантованих LLM, що використовують як NPU, так і iGPU. Завдяки використанню обох компонентів, кожен із них може застосовуватися в тих завданнях і операціях, для яких він оптимізований.

Така система може бути корисною галузям, де потрібна висока продуктивність і конфіденційність, наприклад охороні здоров'я, фінансам і корпоративним додаткам, де конфіденційність даних має вирішальне значення. Вона також може застосовуватися в таких галузях, як створення контенту й автоматизація обслуговування клієнтів, де генеративні AI-моделі стають незамінними. Нарешті, це допоможе галузям, де немає Wi-Fi, надсилати дані в хмару й отримувати відповіді, оскільки вся обробка виконується локально.

Комп’ютерний розум: генеративний штучний інтелект у рішеннях AWS