>Entry

Великі мовні моделі (LLM) сьогодні - це не лише про мільярди параметрів і глибоке навчання, а й про складні виклики масштабування інференсу. Реальний світ вимагає від них швидких відповідей у режимі реального часу для тисяч користувачів одночасно, і щоб задовольнити ці вимоги, доводиться залучати дедалі більше графічних процесорів, оптимізувати пам’ять, шукати компроміси між затримкою й пропускною здатністю, а подекуди й розподіляти одну модель на кілька GPU - гуртом, бо інакше ніяк

NVIDIA H200 – передовий графічний процесор з тензорними ядрами для прискорення генеративного штучного інтелекту, великих мовних моделей (LLM) та високопродуктивних обчислень (HPC). Зроблений на архітектурі NVIDIA Hopper, він має 141 гігабайт (ГБ) пам'яті HBM3e зі швидкістю 4,8 терабайта за секунду (ТБ/с) — майже вдвічі більше, ніж у попередника H100, з більшою у 1,4 рази пропускною здатністю пам'яті

Аналітики не вигадують майбутнє, вони виявляють тенденції. Дані стають все більш децентралізованими. За оцінками Gartner, у 2025 році 75% усіх даних буде створюватися за межами традиційних центрів обробки чи хмар. Насамперед це пов’язано з дорожнечею хмарних обчислень, проблемами з продуктивністю та затримкою. Як результат, ІТ-адміністратори та керівники відчувають «хмарний жаль», прагнуть зменшити свою залежність від постачальників послуг і повертаються до власних потужностей

Microsoft розпочала поставки Windows Server 2025, пропонуючи розширену безпеку, покращену продуктивність, гнучкість роботи з хмарою. Відповідно вимогам часу нова ОС пристосована під найскладніші робочі навантаження, включаючи АІ та машинне навчання

AMD освоює нові серверні ніші із завидною сталістю. До процесорів основної серії EPYC 9004 нещодавно додались бокові пагони – 8004 та 4004. Серія EPYC 4004 призначена для високопродуктивних серверів початкового рівня – колишньої царини Intel Xeon E

HDD з серверів пішли, а сліди залишилися. Два з трьох типів інтерфейсів SSD (SATA, SAS, PCIe) використовують набори команд ATA та SCSI часів «механіки». Новіший набір інструкцій для PCIe під назвою NVMe був розроблений спеціально для накопичувачів на флеш-пам’яті