Rosetta извлекает текст из миллиарда изображений в день

Общаясь в социальных сетях люди используют множество изображений. Для Facebook, насчитывающей более 2 млрд активных пользователей в месяц, количество публикуемых ими фото, картинок и мемов действительно велико.

Все эти изображения необходимо оперативно проверять на наличие в них текста: отчасти для того, чтобы включать их в релевантные результаты фотопоиска, отчасти, чтобы препятствовать распространению содержимого, нарушающего контентную политику соцсети.

В Facebook с этими задачами справляется крупномасштабная система машинного обучения под названием Rosetta.

В основе Rosetta лежит технология оптического распознавания символов, способная регулярно обрабатывать огромные объёмы контента — её Facebook пришлось создавать самостоятельно.

По данным этой соцсети, Rosetta ежедневно извлекает в реальном времени текст из более, чем миллиарда изображений и видеокадров.

В новом сообщении своего блога компания Facebook объясняет как работает эта технология. Сначала обнаруживаются прямоугольные зоны внутри картинок, где потенциально содержится текст. Затем к ним применяется свёрточная нейронная сеть — она распознаёт и транскрибирует всё, что написано в этих областях, в том числе на языках, не использующих латинский алфавит, таких как арабский или хинди. Для обучения этой системы Facebook применяет аннотированные людьми или роботами изображения, имеющиеся в публичном доступе.

Rosetta уже используется различными командами в Facebook и Instagram для индексации дополнительного контента и для цензурирования этих платформ. Компания продолжает наращивать количество языков, понимаемых системой, и улучшать способности Rosetta по извлечению текста из видео.

Facebook также объявила, что её службы автоматического перевода пополнились 24 новыми языками, включая сербский, белорусский, маратхи, сингальский, телугу, непальский, каннада, урду, пенджабский, камбоджийский, пуштунский, монгольский, зулу, коса и сомалийский. Качество перевода для них пока невысокое, но компания планирует постоянно работать над его повышением и над дальнейшим расширением списка доступных языков в этих сервисах.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365