Новый инстанс AWS Inf1 снизит стоимость умозаключений ИИ в облаке

Во вторник, на re:Invent в Лас-Вегасе Amazon Web Services анонсировала Inf1, облачный инстанс, предназначенный для выполнения логических умозаключений (inference) моделей искусственного интеллекта. Представлявший эту новинку CEO AWS Энди Джесси (Andy Jassy), заявил, что Inf1 это самое дешёвое на сегодняшний день облачное предложение для данной категории рабочих нагрузок ИИ.

«Он будет иметь меньшую задержку, в три раза более высокую пропускную способность и до 40% более низкую стоимость за экземпляр по сравнению с прежним самым низкозатратным экземпляром для умозаключений в облаке, G4, основанном на чипе Nvidia», — сказал Джасси.

Этой новости предшествовали релиз сервиса Elastic Inference и объявление о планах выпуска чипа Inferentia AI. В инстансах Inf1 также будет использоваться процессор Inferentia, продукт израильской фирмы Annapurna Labs, которую AWS поглотила в 2015 году.

Экземпляры Inf1 доступны уже сейчас. Они будут интегрироваться с PyTorch, MXNet и TensorFlow. Со следующего года Inf1 начнут применяться для машинного обучения вместе с инстансами EKS и с Amazon SageMaker.

Кроме того, вчера Джесси сообщил новые подробности о Graviton2 — 7-нанометровом, 64-разрядном чипе, который составит конкуренцию в датацентрах процессорам Intel X86. По словам главы AWS, Graviton2 будет иметь в четыре раза более высокую производительность и на 40% лучше — ценовую эффективность, чем предложение Intel. Graviton 2 обеспечит функционирование инстансов M6G, R6G и C6G.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365