Олимпиада: Не стреляйте в пианиста

Итак, зимняя Олимпиада 2014 г. закончилась. Ну что ж, мы лишний раз убедились, что прогнозы — дело неблагодарное, даже если их делают те, кто считает себя специалистами в анализе данных и использует широко разрекламированные методики Data Mining. Но так ли это?

Сочи 2014. Биатлон. Эстафета. «Золотая» сборная Украины

В конце концов, если прогноз неточен, это качественная характеристика, которая говорит лишь о том, что прогноз не соответствует конечному результату на 100%. Но давайте более подробно рассмотрим прогнозные и реальные количественные итоги Олимпиады в Сочи. Прежде всего, не прибегая к изощренным методам аналитики, простым глазом можно отметить следующее.

Прогноз относительно точный:

1. Прогноз определил 27 стран, которые получат медали. Реально их получили 26 из них, за исключением Эстонии. Попадание 96,3%.

2. В первой пятерке — три команды из прогноза (60%). В десятке — 7 из 10 (70%).

3. В последней пятерке — три команды из прогноза (60%). В десятке — 5 из 10 (50%).

Прогноз «плохой»:

1. Прогнозируемый победитель (США) оказалась только на четвертом месте. Замечание: Хотя медали определены почти точно (28 из 29), разница между первым ожидаемым и четвертым итоговым местом воспринимается, конечно, гораздо болезненнее, чем, например, между 21 и 24. То же можно сказать и о Германии (шестое место вместо второго). Но, согласитесь, это касается скорее национальной гордости, чем собственно спорта.

Менее явные выводы:

1. Первые пять команд завоевали 136 медалей (прогноз 111) — 122,5%; первые десять — 204 (прогноз 181) — 112%. Весьма точно.

2. Последние 15 команд (более половины!) получили почти точно предсказанное количество медалей — 85 из 90.

Оценки: недо-, точные и пере-

Напомню, что аналитическая компания Discovery Coprs. делала прогнозы и мы пытаемся оценить именно точность прогнозов, а не успешность выступления той или иной команды.

Постараюсь избежать всяких спекуляций и натяжек при рассмотрении следующей построенной мною производной таблицы, в которой показано процентное отношение завоеванных медалей к прогнозируемым. Таблица в определенной степени может характеризовать усилия, приложенные странами при подготовке к Олимпиаде в четырехлетнем цикле. Полная таблица:

Как нам не жаль :), оставим в таблице только команды, получившие более 10 медалей, поскольку иначе случайные факторы могут оказать слишком большое влияние на процентные показатели. Рассмотрим сокращенные группы подробнее.

Лидеры (более 120%)

Четыре из этих пяти команд входят в итоговую пятерку общего зачета. Это – команды, которые наиболее существенно улучшили свои результаты по сравнению с прогнозом, причем почти в том же порядке. Исключением является Австрия. Она не такая крупная северная страна, как Россия и Канада и, если не считать горнолыжных дисциплин, не такая «зимнеолимпиадная», как Норвегия и Нидерланды, которые издавна славятся равнинными лыжниками и конькобежцами соответственно. Поэтому приз «За наибольший прогресс», безусловно, следует присудить Австрии.

Стабильность – признак мастерства (100 +/- 20%)

Следует обратить внимание, что это все — весьма стабильные, хорошо развитые страны. У них высок доход на душу населения в год и ровный, предсказуемый уровень успехов. Надежные команды, хорошо делающие свое дело. Согласно количеству медалей и вполне ожидаемо самыми сильными среди них являются сборные США и Германии.

Провальная группа (менее 80%)

Здесь показательнее разделить девять стран, ожидания от которых оправдались менее всего, на две категории. В первую отнесем более сильные, «зимнеолимпиадные» страны. Очевидно, что здесь только Япония, так сказать, «сохранила лицо». Для остальных это просто провал, а хуже всех положение у Китая, которому напророчили аж 22 медали.

Вторую категорию составят малые страны Европы и далекий Казахстан. У Хорватии и Словакии, возможно, много более насущных дел, чем Олимпиада — хотя от них никто чудес и не ожидал. Традиционно не слишком слабый Казахстан всегда являлся поставщиком молодых талантов еще для СССР. А вот для Эстонии это просто катастрофа, хотя, конечно, могут быть серьезные факторы, которые прогноз не учел.

Заключение

Конечно, серьезным анализом приведенные выше выкладки назвать нельзя. Толкований результатов может быть множество. Мы ориентируемся только на вершину айсберга, не учитывая множество сопутствующих факторов. Неожиданностей на Олимпиаде хватало, и каждая из них могла быть вызвана самыми разными причинами. Кроме этого, успех можно оценивать, например, только золотыми медалями. Или считать очки за попадание в первую десятку по каждой дисциплине. И т.д., и т.п. Результаты в каждом случае будут разные.

Тем не менее, определенный вывод относительно самой методики, использованный Discovery Coprs., сделать можно. Data Mining работает. Повышать точность прогноза можно чуть ли не до бесконечности, вводя все новые факторы. Очевидные ограничения – стоимость модели может превысить фактическую пользу от нее, а слишком большое время построения сделает ее просто неактуальной.

Несмотря на потуги придворных жонглеров данными, каждый из которых слегка жульничает в пользу своей страны, основной вопрос, который мы хотели прояснить, следующий – можно ли с помощью Data Mining получить хоть какую-то пользу?

Ответов два. Нет, если иметь в виду игру на тотализаторе и точное предсказание исхода событий (иначе лотереи потеряли бы всякий смысл:). Да, если нужно выявить общие закономерности, чтобы затем использовать их при принятии решений.

Применительно же к большому спорту и престижу страны напоследок мне хочется вспомнить одну историю 60-х гг. Я читал ее очень давно и сейчас даже не смог найти источник в сети. Но смысл одного эпизода запомнился навсегда, поскольку совершенно отличался от привычного нам тогда подхода: «победи или умри»!.

В матче СССР-Бразилия наш защитник вышел против Пеле готовый на все, и просто не давал ему играть. Спустя какое-то время Пеле пожал плечами и ушел с поля, невзирая на международную значимость встречи. Он хотел играть в футбол, а не в войну.

О, спорт! Ты – мир!