Открытый инструментарий Ludwig упростит глубокое обучение

12 февраль, 2019 - 12:35

Экспериментировать с искусственным интеллектом (ИИ) станет проще: инструментарий с открытым кодом Ludwig, созданный Uber на базе фреймворка TensorFlow, позволит тренировать и испытывать модели ИИ без необходимости заниматься программированием.

Согласно информации Uber, Ludwig предоставляет набор ИИ-архитектур, которые можно комбинировать, получая полную модель для каждого сценария использования. Чтобы начать обучение, нужны лишь файл табличного набора данных (например, CSV) и файл конфигурации YAML, в котором указано, какие из столбцов первого файла являются входящими параметрами, а какие являются исходящими целевыми переменными. Если указано более одной исходящей переменной, Ludwig учится предсказывать всех их одновременно.

Новые определения моделей могут содержать дополнительную информацию, в том числе предварительную обработку данные для каждой функции в массиве и параметры обучения. Модели, обученные в Ludwig сохраняются для последующего использования с новой информацией.

Для каждого типа данных новый инструментарий предоставляет кодеки, устанавливающие соответствие между «сырыми» данными и тензорами (структурами данных линейной алгебры). Это позволяет даже не искушённым в нюансах глубокого обучения новичкам тренировать модели для решения таких задач, как классификация текста, классификация объектов, аннотирование изображений, маркировка последовательности, регрессия, моделирование языка, машинный перевод, прогнозирование временных рядов и ответы на вопросы.

Дополнительно, Ludwig предоставляет набор утилит командной строки для обучения, тестирования моделей и получения прогнозов; визуальные инструменты для оценки моделей и сравнения их прогнозов. Для распределённого обучения Ludwig способен использовать фреймворк Uber Horovod, поддерживающий параллельную работу многих видеокарт и компьютеров.

Ludwig стал кульминацией двухлетней работы Uber по оптимизации прикладного использования систем ИИ. Компания сообщила, что уже применяет этот набор инструментов для внутренних задач, таких как извлечение информации из водительских прав, определение точек интереса во время разговоров между водителем-партнёром и его попутчиками, прогнозирования сроков доставки еды и многого другого.

Открытый инструментарий Ludwig упростит глубокое обучение