Как выбирают инструмент?

Человек принимает решения двумя полушариями: правое реагирует на рекламу, моду, «силу бренда», левое включает логику и анализ –  основной интерфейс  думающего труженика. Сравнивать сложные системы между собой помогает бенчмаркинг (от benchmark – исходная отметка, зарубка). В любом деле есть свои наборы тестовых метрик.

Взять графические ускорители, с помощью которых решают задачи искусственного интеллекта, анализа данных и HPC. Какое программно-аппаратное обеспечение нужно под компьютерное зрение, поиск и распознавание объектов, распознавание речи, персонализацию пользовательского опыта? Соответствующее. NVIDIA рекомендует бенчмарк MLPerf от консорциума лидеров в области AI. Его миссия заключается в «создании честных и полезных бенчмарков» для сравнительной оценки сервисов в задачах обучения и инференса, в сценариях, отражающих современное состояние индустрии.

Получается, есть нечестные и бесполезные метрики? Они такими и будут - если ими пользоваться не по назначению. В народе давно прижился термин «попугаи» для бессодержательных характеристик чего бы то ни было. Вероятно, корни его уходят в сказку Григория Остера, где «рост» удава равнялся 38 попугаям (5 мартышкам, 2 слонятам). И хотя регулярно появляются обзоры тестовых утилит вроде этого, уместными оценочные программы делает только отраслевая экспертиза и соответствие потребностям определенных сегментов рынка.

Нет лучше тестового инструментария, чем прикладное программное окружение, которым собираешься пользоваться. Мы сами, продавая профессиональные рабочие станции, всегда удерживаем заказчиков от разглядывания интернет-витрин любимых ими вендоров. Невозможно выбрать хороший инструмент без погружения в обстоятельства дела. Образец системного подхода показывает команда Puget Systems, специализация которой – кастомное производство высокопроизводительных компьютеров. Они опираются на популярные приложения по созданию контента, проектированию, научным расчетам, машинному обучению, разработке игр, дополненной реальности и тестируют потенциальные компоненты рабочих станций этими конкретными приложениями. Их сайт полон рекомендациями, сравнительными оценками и выводами о вкладе в производительность отдельных подсистем. Берем пример.

Новый трудовой год начнем с традиционного тоста  – «За экспертизу!».

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365