`

СПЕЦИАЛЬНЫЕ
ПАРТНЕРЫ
ПРОЕКТА

Архив номеров

Как изменилось финансирование ИТ-направления в вашей организации?

Best CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Александр Черников

Олимпиада: Не стреляйте в пианиста

+33
голоса

Итак, зимняя Олимпиада 2014 г. закончилась. Ну что ж, мы лишний раз убедились, что прогнозы — дело неблагодарное, даже если их делают те, кто считает себя специалистами в анализе данных и использует широко разрекламированные методики Data Mining. Но так ли это?

Олимпиада: Не стреляйте в пианиста

Сочи 2014. Биатлон. Эстафета. «Золотая» сборная Украины

В конце концов, если прогноз неточен, это качественная характеристика, которая говорит лишь о том, что прогноз не соответствует конечному результату на 100%. Но давайте более подробно рассмотрим прогнозные и реальные количественные итоги Олимпиады в Сочи. Прежде всего, не прибегая к изощренным методам аналитики, простым глазом можно отметить следующее.

Прогноз относительно точный:

1. Прогноз определил 27 стран, которые получат медали. Реально их получили 26 из них, за исключением Эстонии. Попадание 96,3%.

2. В первой пятерке — три команды из прогноза (60%). В десятке — 7 из 10 (70%).

3. В последней пятерке — три команды из прогноза (60%). В десятке — 5 из 10 (50%).

Прогноз «плохой»:

1. Прогнозируемый победитель (США) оказалась только на четвертом месте. Замечание: Хотя медали определены почти точно (28 из 29), разница между первым ожидаемым и четвертым итоговым местом воспринимается, конечно, гораздо болезненнее, чем, например, между 21 и 24. То же можно сказать и о Германии (шестое место вместо второго). Но, согласитесь, это касается скорее национальной гордости, чем собственно спорта.

Менее явные выводы:

1. Первые пять команд завоевали 136 медалей (прогноз 111) — 122,5%; первые десять — 204 (прогноз 181) — 112%. Весьма точно.

2. Последние 15 команд (более половины!) получили почти точно предсказанное количество медалей — 85 из 90.

Оценки: недо-, точные и пере-

Напомню, что аналитическая компания Discovery Coprs. делала прогнозы и мы пытаемся оценить именно точность прогнозов, а не успешность выступления той или иной команды.

Постараюсь избежать всяких спекуляций и натяжек при рассмотрении следующей построенной мною производной таблицы, в которой показано процентное отношение завоеванных медалей к прогнозируемым. Таблица в определенной степени может характеризовать усилия, приложенные странами при подготовке к Олимпиаде в четырехлетнем цикле. Полная таблица:

Олимпиада: Не стреляйте в пианиста

Как нам не жаль :), оставим в таблице только команды, получившие более 10 медалей, поскольку иначе случайные факторы могут оказать слишком большое влияние на процентные показатели. Рассмотрим сокращенные группы подробнее.

Лидеры (более 120%)

Олимпиада: Не стреляйте в пианиста

Четыре из этих пяти команд входят в итоговую пятерку общего зачета. Это – команды, которые наиболее существенно улучшили свои результаты по сравнению с прогнозом, причем почти в том же порядке. Исключением является Австрия. Она не такая крупная северная страна, как Россия и Канада и, если не считать горнолыжных дисциплин, не такая «зимнеолимпиадная», как Норвегия и Нидерланды, которые издавна славятся равнинными лыжниками и конькобежцами соответственно. Поэтому приз «За наибольший прогресс», безусловно, следует присудить Австрии.

Стабильность – признак мастерства (100 +/- 20%)

Олимпиада: Не стреляйте в пианиста

Следует обратить внимание, что это все — весьма стабильные, хорошо развитые страны. У них высок доход на душу населения в год и ровный, предсказуемый уровень успехов. Надежные команды, хорошо делающие свое дело. Согласно количеству медалей и вполне ожидаемо самыми сильными среди них являются сборные США и Германии.

Провальная группа (менее 80%)

Здесь показательнее разделить девять стран, ожидания от которых оправдались менее всего, на две категории. В первую отнесем более сильные, «зимнеолимпиадные» страны. Очевидно, что здесь только Япония, так сказать, «сохранила лицо». Для остальных это просто провал, а хуже всех положение у Китая, которому напророчили аж 22 медали.

Олимпиада: Не стреляйте в пианиста

Вторую категорию составят малые страны Европы и далекий Казахстан. У Хорватии и Словакии, возможно, много более насущных дел, чем Олимпиада — хотя от них никто чудес и не ожидал. Традиционно не слишком слабый Казахстан всегда являлся поставщиком молодых талантов еще для СССР. А вот для Эстонии это просто катастрофа, хотя, конечно, могут быть серьезные факторы, которые прогноз не учел.

Олимпиада: Не стреляйте в пианиста

Заключение

Конечно, серьезным анализом приведенные выше выкладки назвать нельзя. Толкований результатов может быть множество. Мы ориентируемся только на вершину айсберга, не учитывая множество сопутствующих факторов. Неожиданностей на Олимпиаде хватало, и каждая из них могла быть вызвана самыми разными причинами. Кроме этого, успех можно оценивать, например, только золотыми медалями. Или считать очки за попадание в первую десятку по каждой дисциплине. И т.д., и т.п. Результаты в каждом случае будут разные.

Тем не менее, определенный вывод относительно самой методики, использованный Discovery Coprs., сделать можно. Data Mining работает. Повышать точность прогноза можно чуть ли не до бесконечности, вводя все новые факторы. Очевидные ограничения – стоимость модели может превысить фактическую пользу от нее, а слишком большое время построения сделает ее просто неактуальной.

Несмотря на потуги придворных жонглеров данными, каждый из которых слегка жульничает в пользу своей страны, основной вопрос, который мы хотели прояснить, следующий – можно ли с помощью Data Mining получить хоть какую-то пользу?

Ответов два. Нет, если иметь в виду игру на тотализаторе и точное предсказание исхода событий (иначе лотереи потеряли бы всякий смысл:). Да, если нужно выявить общие закономерности, чтобы затем использовать их при принятии решений.

Применительно же к большому спорту и престижу страны напоследок мне хочется вспомнить одну историю 60-х гг. Я читал ее очень давно и сейчас даже не смог найти источник в сети. Но смысл одного эпизода запомнился навсегда, поскольку совершенно отличался от привычного нам тогда подхода: «победи или умри»!.

В матче СССР-Бразилия наш защитник вышел против Пеле готовый на все, и просто не давал ему играть. Спустя какое-то время Пеле пожал плечами и ушел с поля, невзирая на международную значимость встречи. Он хотел играть в футбол, а не в войну.

О, спорт! Ты – мир!

+33
голоса

Напечатать Отправить другу

Читайте также

Не, конечно можно найти относительные "попадания" каких-то слабых оценок, типа первой десятки и пр. Проблема лишь в том, что того же наверняка можно было достичь и без всякого "серьезного" датамайнинга.
Если перевести в практическую плоскость, то в тотализаторе на таких прогнозах не заработаешь ;)

Не, конечно можно найти относительные "попадания" каких-то слабых оценок, типа первой десятки и пр. Проблема лишь в том, что того же наверняка можно было достичь и без всякого "серьезного" датамайнинга.

Каждый задним умом крепок ;)

Если перевести в практическую плоскость, то в тотализаторе на таких прогнозах не заработаешь ;)

Перечитайте статью еще раз. Так как раз это и написано ;)

как бы да, "как раз это", слово тотализатор присутствует. но:

"Тем не менее, определенный вывод относительно самой методики, использованный Discovery Coprs., сделать можно. Data Mining работает."

где же? ведь не вскрыта ни одна закономерность, кроме того, что "всегда сравнительно хорошо выступающие команды скорее всего сравнительно хорошо выступят и на этот раз". или вы увидели что-то более глубокое? ;)

дело в том, что сам прогноз к спорту большому и малому ни малейшего отношения не имеет. просто уж больно красивая была бы иллюстрация. посему "работает" следует понимать как "приносит деньги". а тут уж увы.

Это вам так кажется. Как по мне автор все хорошо разложил по полочкам. Задавайте вопросы что не понятно? Постараюсь разжевать...

или вам кажется, что мне кажется? ;)

На этот вопрос у меня ответа нет ;)
PS. Ниже пишут что вы хороший математик. Попробуйте сформулировать ваш вопрос более математически.

да я не вижу предмета для спора.
и к Саше ни малейших претензий нет - интересные посты, с удовольствием читал и следил. вот и в комментариях он ссылку хорошую привел, вывод автора: удельно (в пересчете на население и ВВП) на зимних олимпиадах лучше выступают маленькие северные страны - и без всяких глубоких исследований :)

Добрый день всем.
Игорь Дериев, безусловно, прав. Как профессиональный математик он отлично знает, как именно нужно ворочать данными. Что же касается вскрытия закономерностей, то уверен, что этим занимаются очень серьезно, и в каждом виде спорта по отдельности, где учитывается практически все, включая мозоли и простуды участников, а также их генеалогическое древо и положение комет в момент старта :)

Предлагаю читателям добавить к обсуждению еще один "газетный" анализ от вашингтонской The Atlantic: "Did Russia Really Win the Sochi Medal Count?"

http://www.theatlantic.com/international/archive/2014/02/did-russia-real...

А на фотке-то - "серебряная" сборная России.

:))))

Сорри, не сильны в спорте. Устранили ошибку.

Вот теперь порядок.

ЗЫ. Хорошо что жовто-блакытный от двухглавого отличить смогли ;)

Да, и о методиках анализа данных, которые применяла Discovery Corps. Вот описания по олимпиадам в Лондоне и Сочи. Делайте выводы.

http://www.discoverycorpsinc.com/predicting-the-olympic-medal-c/

http://www.discoverycorpsinc.com/winter-olympic-medal-predict_1/

 
 
IDC
Реклама

  •  Home  •  Рынок  •  ИТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Сети  •  Безопасность  •  Наука  •  IoT