Персональне AI-«залізо»: територія тотального компромісу

Почну з кінця, тобто з висновку: у сучасній ІТ-індустрії немає більш штучно зарегульованого та сегментованого напряму, ніж ринок персонального апаратного забезпечення для роботи з відкритими (Open-Source) нейромережами.

Поки класичний ринок ПК балансує між спадом продажів і захмарними цінниками на компоненти, локальне розгортання AI-моделей на домашньому залізі взагалі вперлося в глуху стіну. Перш ніж переходити до розбору конкретних платформ і компонентів, зафіксуємо базові тези, на яких ґрунтується цей огляд. Кожна з них тягне на окремий матеріал, але без розуміння цих ввідних тверезо оцінити домашні рішення неможливо: «Золотого стандарту» для домашнього AI не існує. Абсолютно будь-яке рішення сьогодні - це компроміс за швидкістю, обсягом або ціною. Головна причина - жорстка політика чипмейкерів, які захищають надприбутки свого серверного B2B-сегмента та штучно урізають специфікації споживчих карт.

Для AI вирішальною є не просто пам'ять, але також її пропускна здатність. Локальним LLM потрібен величезний масив швидкої пам'яті (RAM+VRAM). Якщо звичайний софт та ігри задовольняються 16–32 ГБ стандартної RAM та 16 ГБ VRAM, то інференс нейромереж упирається не тільки в об’єм, а й у швидкість прокачування ваг моделі: повільна пам'ять перетворює навіть топовий процесор на генератор пари токенів за секунду.

Локальні моделі та хмарні API - два різні всесвіти. Робота «на землі» вимагає розуміння квантування, контекстних вікон, офлоадингу шарів і керування KV-кешем, тоді як хмарні агенти ховають всю фізику процесу за абстракцією REST API.

Linux залишається єдиним середовищем для серйозної роботи. Запустити базовий чат через зручну оболонку можна і на Windows, але повноцінний production-стек, високоефективні рушії інференсу (vLLM, SGLang), Triton-ядра та інструменти донавчання вимагають нативного оточення Linux і глибокого розуміння низькорівневих бібліотек.

Моделі до 12B параметрів - це утилітарні асистенти, а не мислителі. Вони без проблем стартують на сучасному ноутбуці, але їхня межа - точкова автоматизація, сумаризація та прості скрипти. Справжні аналітичні та інженерні можливості починаються вище.
Робочий діапазон «серйозного» локального AI - від 27B до 120B параметрів. Залежно від формату квантування (від 4-bit до 8-bit) такі сітки вимагають від 20 до 100+ ГБ чесної, швидкої пам'яті.

32 GB VRAM/UMA - сучасний вхідний поріг. Усе, що менше - жорстке обмеження як за розміром контекстного вікна, так і за вибором архітектур.

Ноутбуки не призначені для важких AI-навантажень. Тривалий інференс і тим паче fine-tuning тримають кремній під 100% навантаженням десятками хвилин і навіть годинами. Ультрабуки та ігрові лептопи неминуче йдуть у температурний і фазовий тротлінг. Реальна альтернатива - стаціонарні робочі станції, кластери або кастомні компактні barebone/mini-PC системи.

Розібравшись із правилами гри, перейдемо до заліза: споживчі та професійні GPU, багатокарткові зв'язки, архітектури з уніфікованою пам'яттю (UMA) та нішеві апаратні прискорювачі.

Ігрові відеокарти: золота клітка CUDA та стіна VRAM
Донедавна дискретний GPU залишався безальтернативним інструментом для локального інференсу. Для першого занурення у світ Open-Source LLM споживча відеокарта досі виглядає очевидним вибором: завдяки екосистемі NVIDIA CUDA практично будь-який фреймворк запускається «з коробки» без танців із компіляцією. Здавалося б, еволюція кремнію мала б розширювати горизонти для домашніх розробників, але реальність прямо протилежна: сьогодні класичний споживчий GPU як інструмент для локального AI зайшов у глухий, штучно створений кут.

Інференсу необхідна не просто висока пропускна здатність пам'яті (з цим у GDDR6X та GDDR7 на широких шинах усе чудово), а й сам фізичний обсяг буфера. І саме тут розгорнулася інженерна катастрофа.

Увесь основний споживчий стек NVIDIA та AMD жорстко обмежений “смішним” за мірками AI обсягом у 16 ГБ (а в масовому сегменті - і зовсім 8–12 GB). Єдиний актуальний флагман на 32 GB - RTX 5090 - позиціювався як наддорогий «титан» із загороджувальним ритейл-цінником далеко за $5000, який нещодавно й зовсім зняли з виробництва заради перекидання дефіцитного кремнію в серверний сегмент. Попередній флагман із 24 GB (RTX 4090) також давно пішов в історію, а його вторинний ринок відчутно перегрітий. Ще доступна на вторинці класика в особі RTX 3090 (24 ГБ) архітектурно застаріває: покоління Ampere не підтримує нативні обчислення у FP8, не кажучи вже про мікроформати FP4, що стають галузевим стандартом стиснення ваг без деградації інтелекту моделі. Працювати буде повільно, а грітися - відчутно.

Спроба обійти обмеження обсягу «в лоб» - встановивши пару флагманських відеокарт для отримання 48–64 ГБ VRAM у домашніх умовах перетворюється на інженерне жахіття: теплопакет і габарити. Два прискорювачі з апетитом по 450–600 Вт кожен вимагають кіловатних блоків живлення та викидають гігантський обсяг тепла всередину корпусу. Масивні 3,5-слотові системи охолодження з осьовими вентиляторами на стандартних материнських платах перекривають одна одній приплив повітря, викликаючи миттєвий температурний тротлінг. Випуск карт із турбінними кулерами (blower-type), здатними викидати розпечене повітря назовні, вендори для лінійки GeForce цілеспрямовано згорнули.

Починаючи з архітектури Ada Lovelace, фізичний місток NVLink у споживчому сегменті ліквідовано як клас. Якщо за простого послідовного розподілу шарів (Pipeline Parallelism) із цим ще можна жити, то справжня паралельна робота (Tensor Parallelism у тому ж vLLM), що потребує постійної синхронізації між чипами на кожному шарі, цілком лягає на системну шину PCIe. На десктопних платформах два слоти в кращому разі ділять процесорні лінії в конфігурацію x8/x8 (а на багатьох платах другий слот і зовсім заведений через чипсет в обмеженому режимі x4), перетворюючи шину даних на пляшкове горло та зрізаючи продуктивність паралельних рушіїв інференсу.

Робочим компромісом для ентузіастів залишається встановлення пари “холодних” карт середнього класу по 16 ГБ (на кшталт зв'язок RTX 4060 Ti / 5060 Ti 16GB або аналогічних рішень на шині 128 біт). Але тут користувач упирається у скромну ПЗП самих карт (288–448 ГБ/с проти 1000–1790 ГБ/с у флагманів) й все ті ж накладні витрати шини PCIe.

Чекати порятунку від наступного покоління відеокарт теж безглуздо. Виробники не стануть канібалізувати продажі професійних рішень. До кінця 2027–2028 років базовий споживчий масив так і залишиться в діапазоні 16–24 ГБ пам'яті. Нові тензорні блоки та перехід на PCIe 6.0 потішать геймерів, але для інженерів локального AI не змінять абсолютно нічого: без чесних гігабайтів на борту обчислювальна потужність GPU для завдань AI просто марна.

Професійні відеокарти: крило від «Боїнга»
Якщо споживчий сегмент штучно замкнений у тісних межах 16 ГБ, то ринок професійних робочих станцій пропонує саме те, про що мріє будь-який ML-інженер: гігантські буфери пам'яті, турбінне охолодження та повноцінну апаратну підтримку обчислень зниженої точності. Але тут користувача зустрічає інший бар'єр - загороджувальний фінансовий поріг.

Хоча формально професійні адаптери стартують від 16–24 ГБ, як ми визначилися, наш мінімальний поріг для комфортної роботи - від 32 ГБ і вище. У цьому сегменті присутні рішення від Intel, AMD та NVIDIA. Моделі рівня AMD Radeon AI PRO R9700 (32 ГБ) або старші карти Intel Arc Pro, на перший погляд, виглядають привабливо: їх можна знайти в коридорі $2000–2500. На тлі свіжої NVIDIA RTX PRO 4500 (32 GB GDDR7 з ECC) на архітектурі Blackwell, за яку просять близько $5000 залежно від доступності, альтернативи здаються розумною покупкою.

Однак за спробу заощадити на «червоному» або «синьому» кремнії доведеться платити часом і нервами інженера. Справа не в абстрактних програмах, а в низькорівневому софтовому стеку. Повноцінна екосистема локального інференсу та донавчання намертво забетонована під CUDA. Запуск високопродуктивних рушіїв на кшталт vLLM або SGLang на AMD через стек ROCm (HIP) на архітектурі RDNA 4 досі пов'язаний із пошуком обхідних шляхів для непідтримуваних квантів, ручним збиранням кастомних ядер і нестабільністю версій бібліотек. З Intel ситуація ще драматичніша: за межами базового інференсу через OpenVINO змусити сучасні архітектури моделей віддавати максимум швидкості на Arc Pro практично неможливо. Менший цінник на вході нівелюється важким «софтовим податком».

Якщо 32 ГБ - це мінімальна база, то справжній комфорт починається з обсягу 48 ГБ і вище. У цей буфер вільно заходить «важка» щільна (dense) модель калібру 26–32B у форматі FP8, залишаючи достатній запас під контекст і глибокий KV-кеш. У лінійці Blackwell за цю планку відповідає RTX PRO 5000 (48 ГБ). Але цінник таких плат сягає близько $10000, що моментально викреслює їх із категорії персонального використання.

Для безкомпромісних завдань існують флагмани: RTX PRO 5500 (84 ГБ) та ультимативна RTX PRO 6000 на 96 ГБ GDDR7 з 512-бітною шиною і пропускною здатністю під 1,8 ТБ/с. Монстр на 96 ГБ дозволяє без агресивного стиснення, у чесному форматі FP8 без втрати точності крутити важковагові 70B-моделі просто на робочому столі. Проте в українському ритейлі вартість однієї такої карти перевалює за шалені $27000. Серйозно розглядати її для дому безглуздо - це бюджет купівлі нового авто з автосалону.

Щобільше, купівля топового професійного прискорювача (а тим паче зв'язки з кількох штук) викриває ще одну проблему - податок на супутню платформу. Карти з енергоспоживанням у 600 Вт не можна просто вставити у звичайний домашній ПК. Щоб утилізувати їхній потенціал, потрібна повноцінна HEDT-основа: процесор рівня AMD Threadripper, материнська плата з чесними лініями PCIe 5.0, багатоканальний масив оперативної пам'яті DDR5 RDIMM, серверний блок живлення та корпус із продуманим наскрізним продувом. У результаті фінальний кошторис домашньої станції легко відлітає за межі розумного.

До якого висновку ми приходимо? Класичний формат дискретних відеокарт у формфакторі PCIe для важкого AI переживає свою лебедину пісню. Уся індустрія зміщується в бік закритих серверних суперчипів і пропрієтарних модулів високої щільності. Для персонального ж користувача традиційні GPU зайшли в глухий кут: ігрові карти задушені обсягом пам'яті, а професійні - загороджувальним цінником і важким інфраструктурним податком.
Тому в наступній частині матеріалу ми звернемося до альтернативних архітектур, які намагаються розв'язати проблему не грубою силою цінника, а іншим підходом до організації пам'яті - UMA-систем і спеціалізованих процесорів.

Як безпечно перейти до системного та керованого використання ChatGPT Business