Постачальник інфраструктури для центрів обробки даних Nutanix випустила GPT-in-a-Box.
Як наголошують у компанії, це «інструментарій для компаній, які хочуть запустити проекти штучного інтелекту і машинного навчання, не ризикуючи своїми даними або бюджетом».
Nutanix описує нову пропозицію як повностекову, програмно-визначену платформу для штучного інтелекту, яка включає всі елементи, необхідні для побудови інфраструктури, готової до роботи зі штучним інтелектом. Вона включає в себе послуги, які допоможуть організаціям визначити розмір і налаштувати апаратну і програмну інфраструктуру для підтримки кураторського набору великих мовних моделей з використанням популярних операційних фреймворків штучного інтелекту і машинного навчання з відкритим вихідним кодом на хмарній платформі Nutanix. Клієнти можуть придбати інфраструктуру, готову до роботи зі штучним інтелектом, для точного налаштування та запуску генеративних моделей GPT, включаючи LLM.
"Додатки зі штучним інтелектом є новими і вимагають інших міркувань щодо продуктивності, ніж традиційні додатки, - заявив Лі Касвелл (Lee Caswell), старший віце-президент з маркетингу продуктів і рішень Nutanix, в електронному листі з коментарями. - Наприклад, обладнання для розробки великих мовних моделей може суттєво відрізнятися від обладнання, яке найкраще підходить для запуску штучного інференсу. Аналогічно, різні робочі процеси програмного забезпечення АІ можуть вимагати різної продуктивності, скажімо, між обробкою природної мови і додатком для відеоаналітики".
Анонсована пропозиція орієнтована на компанії, які хочуть почати працювати зі штучним інтелектом, але стурбовані питаннями інтелектуальної власності, дотримання нормативних вимог і конфіденційності. Вони також намагаються вирішити, як найкраще підтримати адміністраторів машинного навчання та спеціалістів з аналізу даних, а також зважають на ризик того, що витрати можуть вийти з-під контролю.
McKinsey & Co. повідомила, що кібербезпека, дотримання нормативних вимог, конфіденційність і зрозумілість моделей є основними ризиками і стримують організації від інвестування в AI. Наголошується, що з 2019 року не було помітно зменшення жодного з цих ризиків. "Існують також міркування щодо великих початкових інвестиційних витрат на АІ, які можуть зупинити ініціативи в галузі АІ та ML, - сказав Касвелл. - Ми пропонуємо послугу, яка допоможе клієнтам оптимізувати свою інфраструктуру з метою збереження конфіденційності, управління та безпеки даних".
Рішення, що презентоване, включає хмарну інфраструктуру Nutanix, сховище файлів і об'єктів, гіпервізор Nutanix AHV і платформу Kubernetes з прискоренням графічних процесорів. А також сервіси, які допомагають користувачам визначити розмір кластера і розгорнути фреймворки глибокого навчання і MLOps з відкритим вихідним кодом, сервер виводу і кураторський набір великих мовних моделей, включаючи Llama2, Falcon LLM і MosaicML.
Стратегія охолодження ЦОД для епохи AI