Статьи
Гуртом на LLM. Масштабуємо інференс
Великі мовні моделі (LLM) сьогодні - це не лише про мільярди параметрів і глибоке навчання, а й про складні виклики масштабування інференсу. Реальний світ вимагає від них швидких відповідей у режимі реального часу для тисяч користувачів одночасно, і щоб задовольнити ці вимоги, доводиться залучати дедалі більше графічних процесорів, оптимізувати пам’ять, шукати компроміси між затримкою й пропускною здатністю, а подекуди й розподіляти одну модель на кілька GPU - гуртом, бо інакше ніяк
- Збираємо полігон на NVIDIA H200 NVL • [19 мая]
- Покращена продуктивність NVMe-сховища в Microsoft Windows Server 2025 • [19 января]
- Повстанці початкового рівня • [18 декабря 2024 г.]
Блог
Андрій Тищенко • 27 июля
Про складності продажу серверів початкового рівня
Кажуть, продавати сервери початкового рівня заважають три причини:
Переїзд потенційних замовників у хмару; Конкуренція з боку вторинного ринку серверів; Звичка використовувати ПК як сервер
[Комментариев: 4] Читать далее >
Андрій Тищенко - Все записи блога
Блиц-опрос
Как развивается рынок внешних СХД?
Стремительно набирающие популярность технологии виртуализации приводят в числе прочего к росту спроса на внешние системы хранения данных. О тенденциях развития этого рынка в Украине рассказывают ведущие поставщики
