| 0 |
|
Один из лидеров отрасли потокового видео, Netflix использует машинное обучение повсеместно: в анализе сценариев фильмов, в оптимизации производственных графиков, прогнозировании оттока зрителей, в ценообразовании, переводе и оптимизации своей гигантской сети распространения контента.
Библиотека на языке Python под названием Metaflow, об открытии исходных кодов которой Netflix сообщила на днях, создана для ускорения внедрения моделей машинного обучения. Она позволяет оценивать продуктивность прототипов модели на ранних стадиях разработки, заблаговременно выявлять и устранять проблемы. В феврале Netflix объявила, что Metaflow помогла ей сократить среднее время развёртывания с четырех месяцев до семи дней.
Использующим её аналитикам Metaflow позволяет выражать бизнес-логику средствами Python и освобождает их от инженерных аспектов разработки, таких как определение иерархии объектов, управление пакетами, контроль версий и использование малопонятных прикладных программных интерфейсов (API), не имеющих прямого отношения к их работе. Metaflow также может использоваться с популярными библиотеками Python, включая PyTorch, Tensorflow и SciKit Learn.
Netflix является одним из крупнейших клиентов Amazon Web Services (AWS), поэтому неудивительно, что Metaflow поддерживает взаимодействие со многими службами AWS, включая сервисы неструктурированного хранения, вычисления и машинного обучения. Например, возможность Metaflow сохранять образы кода и всех данных в хранилище Amazon S3, позволяет быстро масштабировать модели, реализовывать автоматическое управление версиями, безопасно контролировать и восстанавливать работу библиотеки.
Metaflow комплектуется высокопроизводительным клиентом S3, который способен загружать данные со скоростью до 10 ГБ в секунду — на порядок величины быстрее, чем раньше, обеспечивая ускорение итераций циклов разработки. В апреле Netflix объявила, что применяет Metaflow для «расширения границ Python», позволяет использовать «распараллеленный и оптимизированный код Python для извлечения данных со скоростью 10 Гб/с, обработки в памяти сотен миллионов точек данных и управления вычислениями на десятках тысяч процессорных ядер». Кроме того Metaflow интегрирована с платформой контейнерных вычислений AWS Batch.
Netflix утверждает, что Metaflow на AWS помогает разработчикам добиться значительного ускорения разработки на лэптопах, благодаря более глубокому доступу к вычислительным ресурсам, предоставляемым в облаке. Metaflow позволяет легко переключаться между локальным и удаленным режимами выполнения, не требуя изменений в коде или библиотеках для каждого состояния, что, в свою очередь, должно облегчить устранение неполадок.
Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365
| 0 |
|
