Популярные технологии машинного обучения базируются на неверных предпосылках

Согласно новому исследованию, один из широко используемых алгоритмических подходов к моделирования сложных сетей является изначально ущербным. «Нельзя сказать, что эти методы дают вам абсолютный вздор. Возможно, в них есть какая-то информация, но её не так много, как принято считать», — заявил «Сеш» Сешадри (C. «Sesh» Seshadhri), доцент Инженерной школы Баскина Калифорнийского университета в Санта-Круз (UC Santa Cruz).

Сешадри является первым автором статьи, опубликованной 2 марта в Трудах Национальной Академии Наук (PNAS), в которой оценивались методы «малоразмерного внедрения», используемые при подготовке входных данных для машинного обучения.

Применительно к социальным сетям, методы внедрения преобразуют абстрактные понятия, наподобие позиции конкретного человека в сети, в набор координат точки в геометрическом пространстве, пригодный для алгоритмического использования.

«Также важно, чтобы преобразование это осуществлялось в пространство с низкой размерностью, т.е. чтобы список чисел, представляющих каждого человека, был относительно небольшим», — пояснил Сешадхри.

Вместе с коллегами он математически продемонстрировал, что в процессе внедрения теряются значительные структурные аспекты сложных сетей. «Мы говорим, что любой метод внедрения, который дает вам небольшой список чисел, обречён на неудачу, потому что низкоразмерная геометрия просто недостаточно выразительна для социальных сетей и других сложных сетей», — утверждают они.

Авторы подтвердили свой вывод эмпирически, протестировав несколько методик внедрения на различных видах сложных сетей. Они продемонстрировали, что многие социальные треугольники — связи между тремя людьми, представляющие структуру сообщества, теряются в процессе внедрения. «Похоже, что вся эта информация, именно то, что вы хотели найти, теряется при создании этих геометрических представлений», — сказал Сешадхри.

Принимая во внимание растущее влияние машинного обучения на нашу жизнь, Сешадхри настаивает на необходимости тщательной проверки принципов, лежащих в основе моделей, и важности понимания того, что они могут, и что не могут делать.

Стратегія охолодження ЦОД для епохи AI