Евро 2016 − Наука и жизнь

Месяц большого футбола позади. Многое произошло так, как и предполагалось. Многое пошло совершенно непредсказуемо. Вот как была осуществлена и чем закончились одна из наиболее совершенных попыток в истории футбола «рассчитать» победителя.

Поучительная история о Predictive Analytics с прологом и эпилогом

Пролог. Blue Yonder

IDG Connect еще в начале июня написала: «Франция выиграет Евро 2016, говорит бывший ученый CERN, который применил для расчетов тот же самый алгоритм, который он использует, чтобы успешнее продавать товары в розницу». Далее в кратком изложении без кавычек.

Сегодня все говорят о больших данных и аналитике. Machine learning и другие формы искусственного интеллекта (Artificial Intelligence, AI) начинают использоваться в самых различных отраслях. Например, в ритейле расчеты определяют ассортимент и необходимое количество товаров.

Однако бывший разработчик адронного коллайдера и основатель компании прогнозирующей аналитики (predictive analytics) Blue Yonder, немецкий профессор доктор Михаэль Файндт (Prof. Dr. Michael Feindt), предлагает иной подход. Чтобы подтвердить свою точку зрения, он использовал свою систему, чтобы предсказать победителя футбольного чемпионата Евро 2016.

Только время подтвердит или опровергнет его точку зрения, но пока он проанализировал все данные 36 тыс. футбольных матчей с 1873 г., чтобы вычислить вероятность победы каждой команды. Его вердикт − победа Франции.

«Мы используем исторические данные, чтобы предсказать то, что произойдет завтра», − сказал в интервью Файндт, − «Футбол - хороший пример, потому что за очень долгий период времени правила не изменялись. Поведение игроков также не менялось, таким образом, это − чисто статистическая проблема. Поскольку результаты расчетов основываются на большой выборке данных и вероятности, можно не включать специфические особенности игры каждого отдельного футболиста».

Профессор доктор Михаэль Файндт – ум, который лежит в основе деятельности Blue Yonder. В ходе многих лет научных исследований в CERN он разработал предиктивный алгоритм NeuroBayes. Михаэль Файндт также преподает в немецком Karlsruhe Institute of Technology (KIT) и читает лекции в Data Science Academy

Файндт сказал, что это − хорошая иллюстрация того, что Blue Yonder делает в ритейле, предлагая «решения как обслуживание» (Decisions-as-a-Service). Персонал Blue Yonder насчитывает всего 170 человек. Его штаб-квартира расположена в Карлсруэ, Германия, с офисами в Гамбурге, Лондоне и, с недавнего времени, − в Далласе.

Сайт Blue Yonder никак не связан с футболом, если не считать фанатских блогов профессора Файндта. Но раздел «Solution» было бы интересно почитать и отечественным ритейлерам

Главная клиентская база компании находится в розничных продажах, поскольку у ритейлеров есть постоянная потребность в управлении затратами. Кроме того, «ритейл продает продукты одинаково каждый день в течение многих лет, т.е., у нас есть много данных, которые можно обрабатывать», − говорит Файндт.

Компания работает над многочисленными проектами в других областях, таких, как оптимизация транспортировки, но в настоящее время основные усилия прилагает все же в ритейле.

Первый шаг, который делает Blue Yonder, когда начинает работать с клиентом, − создание прогнозирующей аналитики (predictive analytics). Это означает, что, основываясь на накопленных данных, она создает начальный набор вероятностей для различных результатов. Итоги расчетов выглядят очень просто − например, оказывается, что магазин имеет 20%-ную вероятность необходимости запаса в 20 синих джемперов и 21%-ную вероятность необходимости в 25 синих джемперах, и т.д.

На втором шаге, − предписывающей аналитики (prescriptive analytics), − компания может предоставить управляющему магазином анализ затрат, приложенный к различным сценариям, чтобы выбрать самый эффективный вариант в отношении затрат.

Это − то, за что компания получает свои деньги, и не следует преуменьшать значимость таких расчетов. Файндт говорит, что «очень многие компании не знают своей функции стоимости (cost function), и это влияет на затраты тем больше, чем крупнее компания».

Согласно опыту Blue Yonder, вы получаете различные ответы о том, что важно, в зависимости от того, у кого вы спрашиваете. Например, у менеджера по продажам совсем другие цели, чем у менеджера по закупкам. Это вынуждает ритейлеров думать и принимать решения на более высоком уровне, вплоть до CEO.

Файндт рассматривает эту систему как часть более широкого улучшения всех процессов сверху вниз. После того, как «принципы Файндта» начинают применяться в компании, качество ее данных быстро улучшается. И, в свою очередь, когда данные улучшаются, можно принять лучшее стратегическое решение, более того − полностью автоматизировать этот процесс.

Файндт полагает, что не следует бояться этого постепенного процесса автоматизации. «Некоторые рабочие места изменятся, но стратегические решения останутся за людьми», − говорит он. − ««Повседневные решения могут быть автоматизированы, но все равно они будут управляться и проверяться людьми».

Файндт не уверен в том, когда именно это станет обычной бизнес-практикой, но считает, что «экономика неизбежно пойдет этим путем, а те, кто будет ждать слишком долго, проиграют в конкурентном преимуществе». Но давайте о футболе.

Кто выиграет Евро 2016?

В изложенном ниже содержании блогов компании (от первого лица) за последний месяц нужно сделать поправку на то, что Blue Yonder ведет основной бизнес в Великобритании, а сам Файндт, естественно, болеет за Германию. Поэтому больше внимания он уделил сборным, относящимся к этим странам.

3 июня. Согласно статистике…

У Евро 2016 (10 июня – 10 июля) имелось 94 млрд. возможных исходов, согласно результатам 51 матча турнира. Мы сделали некоторые предсказания, основанные на алгоритмах и науке данных (data science) о том, кто выиграет чемпионат.

На основе загруженных данных алгоритм рассчитывает вероятность победы команды, которая выиграла или проиграла свои предыдущие матчи. Мы использовали метод Монте-Карло*, чтобы смоделировать 1 млн. полных турниров, согласно вероятностям победы команд в матчах между собой, а также вероятность победы каждой команды на этом турнире.

* Моделирование Монте-Карло, или моделирование вероятности, является техникой, традиционно используемой в физике и финансовом секторе, чтобы вычислить и понять воздействие риска и неуверенность в финансовом и проектном менеджменте, расчете цен и других прогнозных моделях (forecasting models).

Невозможно предсказать со 100%-ной уверенностью, кто выиграет турнир этого года, поскольку такие предыдущие шоки, как, например, победа Греции над Португалией в финале Евро 2004, показали, что результаты могут иногда быть полностью непредсказуемыми. Однако возможно сделать некоторые предположения на основе расчета вероятностей.

8 июня. Победит Франция

Наш Advanced Machine Learning Algorithm предсказал победителя − команду Франции. Она имеет домашнее преимущество и шансы на победу 34,1%, − спустя шестнадцать лет после их последнего триумфа в 2000 г. Это почти в три раза больше, чем у их самого близкого конкурента − сборной Испании, которой алгоритм дал только 13,4%.

Расчеты показывают, что английская команда стартует мощно, и с вероятностью 56,7% войдет в число 16 лучших команд. Ее выход в четвертьфинал вероятен на 62,7%, а в полуфинал − на 36,7%. Однако возможности достижения финала падают до 21,2%, а шансы на победу составляют только 11%.

В течение турнира профессор Файндт будет повторно вычислять вероятности, основанные на результатах каждой проведенной игры.

9 июня. Португалия только шестая с мизерными шансами

Британская «Дейли Миррор» опубликовала начальную таблицу шансов на победу первой десятки команд. «Забудьте предсказания, сделанные  осьминогом-экстрасенсом», − написала она. − «Согласно расчетам профессора Файндта, лучшие шансы на победу в Евро 2016 у следующих команд».

Начальная таблица шансов оказалась весьма неточной. В полуфиналы вышли Франция (1), Германия (4), Португалия (6) и Уэльс, который вообще не вошел в первую десятку

11-14 июня. Первый тур в группах. Шансы Уэльса увеличились

Прошли первые из больших игр, которые принесли некоторые неожиданности. Обновленные расчеты показывают следующее.

- Франция, скорее всего, выиграет турнир и имеет вероятность на победу 34,1%.

- У Испании шансы на победу 13,4%.

- Англия имеет только 11% вероятности на победу в турнире, но 56,7%, что они выиграют групповой этап, и 93,3%, что войдут в число 16 лучших. У Англии больше шансов выиграть турнир, чем у Германии (9,8%).

К сожалению, для других стран Великобритании шансы незначительны. У Уэльса − всего 0,14% вероятности выиграть чемпионат, а у Северной Ирландии шансы не более 0,04%. На начальных этапах были неожиданны победа Уэльса над Словакией (2-1) и ничья России и Англии (1-1), добытая Россией уже в дополнительные минуты.

Мы включили обновленные данные в наш алгоритм, чтобы видеть, как изменились вероятности. В целом было несколько изменений, но это не воздействовало на важнейшие предсказания.

У Уэльса была вероятность победы 29%, и поражения − 47%. Ничья Англия - Россия была предсказана с вероятностью 29%. На победу у Англии была более высокая вероятность перед игрой − 47,7%. Гол России внес значительную поправку в расчеты. Как и предсказал алгоритм, выиграли свои игры следующие команды.

==========================================
Пара команд                                  Счет    Вероятность
==========================================
Франция – Румыния                        2-1         68,1%
Польша – Северная Ирландия   1-0          63,0%
Испания – Чешская Республика  1-0          59,0%
Германия − Украина                       2-0          58,9%
Швейцария − Албания                    1-0          52,1%
==========================================

Вероятности у Хорватии и Турции были почти равны − соответственно 37,5% и 31,5%. Но фаворитом все же была Хорватия, которая и победила 1-0. Так же предсказанная игра Ирландии против Швеции закончилась 1:1 (Вероятности: 37% - Ирландия, 28% - ничья, 35% - Швеция). Наконец, Италия победила 2-0, несмотря на почти равные шансы с Бельгией − 36% и 32% соответственно.

Основываясь на новой информации, валлийские поклонники особенно будут рады услышать, что вероятность Уэльса выйти из группы увеличилась с 29% до 76%, а вероятность достижения четвертьфиналов − с 8% до 25%.

Шансы Германии были незначительно улучшены их победой над Украиной 2-0, а ее шансы стать победителями группы увеличились с 52,6% до 75,9%. Ничего не изменилось в вероятностях у предполагаемых победителей турнира. У Франции остается лучшая позиция с 35%-ными шансами.

Аналогичным образом рассчитывались и корректировались вероятности и прогнозы после каждого следующего тура в групповых турнирах и одной восьмой, описание которых мы опускаем.

Как видно, публикации появлялись на сайте компании только после прохождения очередной стадии чемпионата. Интересно − делали ли ставки профессор Файндт и сотрудники Blue Yonder на тотализаторе? Если так, то они, конечно, кое-что заработали за счет своей науки.

30 июня. Неожиданности и предсказания перед четвертьфиналами

Профессор Файндт продолжает считать вероятности. Раунд перед четвертьфиналами не был слишком интересным или захватывающим. Немцы могут гордиться своим прекрасным взаимодействием в команде. Они заслуженно победили в одной восьмой Словакию 3-0. Итальянцы проделали самую внушительную работу против действующих европейских чемпионов, Испании 2-0.

И затем − неожиданное расстройство всех прогнозов! Кто до начала турнира мог подумать, что крохотная Исландия доберется до четвертьфиналов? Но команда играет в большой футбол и, хотя вероятность, что они выиграют чемпионат, остается маленькой для скандинавов, они, конечно, покорили сердца болельщиков.

Другие большие неожиданности в одной восьмой:

Исландия - Англия 2-1 (Прогноз: Исландия 13,6%, послематчевые пенальти 19,1%, Англия 67,.3%).
Италия - Испания  2-0 (Прогноз: Италия 21,7%, послематчевые пенальти 31,5%, Испания 46,8%).

Но даже с такими ошибками, четвертьфиналы прошли почти точно так, как ожидалось. Мы отслеживаем качество наших предсказаний по методике Brier score − методике классификации, которая измеряет точность вероятностных предсказаний. При этом не учитываются пенальти, которые назначаются по ходу игры и послематчевые серии.

Предсказания четвертьфиналов

Верными оказались следующие предсказания. Франция − без вариантов, Германия и Португалия − очень трудные победы, но в соответствии с рассчитанной вероятностью. Уэльс − неожиданный результат.

Вероятности состава полуфинальных пар

Бельгия – Португалия    и    Германия – Франция        20,2%
Бельгия – Польша          и    Германия – Франция        17,5%
Бельгия – Португалия    и    Италия – Франция             12,7%
Бельгия – Польша          и    Италия – Франция             11,1%

Германия выйдет в полуфинал с вероятностью 61,3%. Противостоящая ей команда в полуфиналах − Франция (90,1%) или Исландия (9,9%). Вероятность того, что Германия дойдет до финала − 24,6%. Если она все же выйдет в финал, то ее противником будет Бельгия (38,3%), Португалия (26,9%), Польша (22,2%) или Уэльс (12,5%).

Наибольшая вероятность сработала и здесь. Предсказания оказались весьма точны, если не считать, что Бельгию заменил Уэльс. В полуфиналах Португалия довольно спокойно победила Уэльс 2-0. Немцы весьма сомнительно проиграли французам, забившими им те же два безответных гола, − хотя весь матч давили и перебегали их по статистике матча.

Итак, финал − Португалия – Франция. Безусловные фавориты − французы. Португалия пересчитана и переместилась с шестого места на четвертое. Она более чем вдвое увеличила свои шансы на победу в финале. Но они все равно в пять раз меньше, чем у французов. Ждем финальной игры.

Путь Португалии к финалу был, в общем, попроще, чем у Франции. Но… поле ровное, мяч круглый…

Эпилог. После финала

Португалия победила в финале Францию 1-0, и ей уж точно никто не подсуживал. Криштиану Роналду окончательно вошел в пантеон великих. Думается, что результаты финала фанаты и специалисты будут обсуждать еще долго. Оставим им подробный «разбор полетов».

Отметим только, в рамках нашей тематики, что не все будущие достижения, согласно профессору Файндту, можно свести к простой статистике, − какой бы объемной не была выборка данных. От людей, − по крайней мере, в футболе, − зависит очень многое. Что и показали португальцы, которые уже десять лет не выигрывали у французов в официальных встречах. С чем их и поздравляем.

Отметим также, что это никак не умаляет значимость «алгоритма Файндта». Наверное, он будет лучше справляться с бездушными предметами продажи, которые хорошо подчиняются математическим зависимостям. С людьми, как мы видим, все несколько сложнее.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365