`

СПЕЦІАЛЬНІ
ПАРТНЕРИ
ПРОЕКТУ

Чи використовує ваша компанія ChatGPT в роботі?

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Автономное принятие решений, машинное обучение и ИИ

+11
голос

Стивен Бробст (Stephen Brobst), технический директор Teradata и бывший советник президента Обамы, рассказал об «Автономном принятии решений, машинном обучении и искусственном интеллекте: что все это значит и почему это должно нас волновать?» на hub.berlin — одном из самых важных технологических и бизнес-фестивалей для разработчиков цифровых технологий в Европе.

Автономное принятие решений определяется как процесс, в котором лица, принимающие решения, имеют возможность распознавать проблему или выбирать цель и принимать решения для устранения проблем или достижения цели по собственному желанию или на основе своих собственных взглядов.

Автономное принятие решений, машинное обучение и ИИ

Свое выступление Стивен Бробст начал с замечания, что сегодня мы окружены обещаниями, что собирается дать ИИ организациям, правительству, обществу. Его цель — помочь слушателям понять, каковы обещания и какова реальность. Сегодня в этой области можно увидеть огромное количество рекламы, и докладчик хотел бы обсудить реальное положение дел.

Прежде всего, нет ИИ без данных. Проблема в том, что лица, принимающие решения, работают с огромным объемом данных, и они тратят 90% времени на их сортировку, поиск выбросов, выяснению, какие данные являются существенными и т. п. Они, на самом деле, не тратят время на принятие решений, они тратят свое время, потопая в море данных. Поэтому обещание автоматизации принятия решений введет алгоритмические приложения, которые помогут идентифицировать шумовые сигналы, определяя, что является важным для решения, которое нужно принять. Это очень многообещающе, но какова реальность? Есть человек из Gartner, которого зовут Алекс Линден (Alex Linden), у которого позаимствован этот слайд.

Автономное принятие решений, машинное обучение и ИИ

Стивен Бробст демонстрирует цикл шумихи вокруг ИИ

Может быть, вы знаете, что есть фреймворк, который Gartner представил для цикла шумихи вокруг чего-то. По мере того как внедряются новые технологии, люди хотят верить, что эти технологии могут спасти их мир, они ищут серебряную пулю. По мере того как новая технология внедряется, консультанты будут говорить, да, это является ответом производителей, желающих продавать продукты, и вы будете медленно, иногда быстро, карабкаться на пик преувеличенных ожиданий. Технология, которая будет делать все, и она будет готовить вам кофе утром, и она является неиссякаемым источником, так как она бесплатна. Great, yes! А затем, что случается? Вы пытаетесь это проверить и осознаете, что консультанты снова вам наврали, производители наврали, и все обрушивается в бездну несбыточных иллюзий. Вы говорите, эта технология плохая, консультанты плохие, выгоним их всех прочь. Это является в той или иной степени задачей для Hadoop. У нас есть обещания, что Hadoop решит все мировые проблемы. Эти обещания снова терпят крах. Значит ли это, что Hadoop является плохой технологией? Нет! Это значит, что ваши ожидания были преувеличенными. Нет технологии, которая решит все ваши проблемы. Поэтому, необходимо понимание, какие проблемы можно решить с помощью той или иной технологии. Затем вы достигаете того, что называется платом продуктивности. Вам не нужно выбрасывать Hadoop из ваших ЦОД, вы просто должны использовать его для подходящих приложений, а не пытаться делать с ним все. ИИ как бы снимается с дорожки выше пика завышенных ожиданий. Это значит, что вы двигаетесь к очень большому краху в этот провал иллюзий. Цель доклада — переместить слушателей с этого пика преувеличенной шумихи на плато продуктивности с надеждой сделать это без головной боли.

Возьмем, прежде всего, ИИ. Давайте посмотрим ему в лицо. ИИ является маркетинговым термином. Это значит все и ничего одновременно. ИИ является большим зонтиком, и можно поместить множество вещей под этот зонтик. Каждый продукт теперь имеет ИИ в своих описаниях. Далее докладчик остановился на использовании технологий ИИ в узкой области принятия решений, прогноза и классификации. Речь не идет о робототехнике, о персональных ассистентах, об обработке естественного языка. Это все вещи, которые можно поместить под зонтиком ИИ, но сегодня они не являются темой этой лекции. Темой являются принятие решений, прогноз и классификация. Это обычно называют добычей данных, или интеллектуальным анализом данных. Но добыча данных — это уже не круто. Этот термин уже не используется. В моде термин «машинное обучение» (МО).

Что же 95% людей делает с МО. Это в точности та же математика, которая использовалась для добычи данных в течение десятилетий. Значит ли, что нет ничего интересного в этом? МО не приводит к изменению математики. Оно означает автоматизацию. Обучение автоматизируется. То есть, в старые времена слова «добытчик данных» ранее использовались для специалистов по данным (data scientist). Они строят модели для прогнозирования. Производительность прогностических моделей будет снижаться со временем. И затем, если вы располагаете хорошими специалистами по данным, вы выполняете мониторинг, вы видите, что производительность снижается, вы настраиваете свою модель, вы вводите новые особенности, меняете коэффициенты, снова поднимаете производительность и по мере того как вы разворачиваете модель, производительность вновь снижается. Это подобно зубьям пилы. Посредством МО этот процесс автоматизируется, производительность удерживается на верхнем уровне без необходимости ручного вмешательства специалистов по данным. Это инновация и МО.

Далее выступающий сфокусировался на оставшихся 5% людей, о которых говорил Алекс Линден из Gartner. Они относятся к глубокому обучению. Таким образом, когда говорят об ИИ в контексте прогнозирования принятия решений, нужно говорить о многослойных нейронных сетях, которые позволят взять входные данные и выполнить преобразование этих данных в скрытые слои нейронной сети, что позволит увидеть нелинейные отношения между входными и выходными данными. Когда можно ввести этот метод, это позволит иметь дело с данными более высокой размерности, позволит более эффективно иметь дело с «грязными» нечеткими данными. Если, к примеру, пытаться определить мошенничество, то мошенники будут преднамеренно скрывать свое поведение, не предоставляя вам полных данных, накладывая шум на данные, и линейные математические модели не будут подходить для выяснения, какое поведение является мошенническим, а какое нет. По мере того как будут внедряться алгоритмы глубокого МО, будет ощущаться преимущество в повышении способности прогнозирования. Таким образом, глубокое обучение имеет множество применений во многих различных индустриях. Для примера можно взять здравоохранение. Берем рентгеновский снимок и делаем обучение по нему с подходящим набором для тренировки. Можно обучить, как сделать диагноз пневмонии более эффективно, чем это делает врач-специалист. Врач делает около 4% ложных диагнозов в зависимости от ситуации. ПО глубокого обучения будет давать ложные диагнозы в 2% случаев, что в два раза лучше. Нужно помнить, что компьютер может превосходить человека. Это требует хороших наборов для обучения, наборов без смещения, потому что если взять все наборы для тренировок в университетском госпитале из базы белых студентов из высшего общества, то получится смещение, и теперь, когда применить это обучение к более неоднородной популяции, то правильный результат не будет получен. Нужно уделять огромное внимание источнику данных, используемых для тренировки. Но если все сделать правильно, выйти за рамки обучения с супервизором и перейти к непрерывному обучению без супервизора, можно получить лучшие результаты. Можно подумать, что это замечательно, если нужно сделать распознавание образов на множестве экземпляров. Можно распознать автомобиль BMW, когда он проезжает мимо, можно распознать кошку в видео на YouTube. Но если этим не интересоваться, то все еще есть интересная технология, потому что большинство из нас, давайте смотреть правде в глаза, не работает с данными изображения. Мы работаем с неинтересными типами данных транзакций, ориентированных на запись (record oriented transaction). В качестве одного примера из этих неинтересных наборов данных можно привести поток транзакций по кредитным картам. Каждая такая транзакция имеет метку времени, места, где эта транзакция была выполнена, сумму, код категории продавца, у которого делается покупка, к примеру, ювелирный магазин или компьютерный магазин. Имеется временная последовательность этих транзакций. Можно взять эти транзакции, они представляют биты закодированных значений. Можно отразить эти биты в изображение, математически, алгоритмически, и эти биты, которые описывают транзакцию, становятся пикселями изображения, математически сконструированного согласованным методом. Теперь можно посмотреть на изображение мошеннической транзакции и увидеть, что оно выглядит иначе, чем изображение настоящей.

Автономное принятие решений, машинное обучение и ИИ

Настоящая (слева) и мошенническая транзакции

И глядя на них, можно увидеть различие в этих двух изображениях. Вероятно, нельзя сказать без указателей, какое из них мошенническое, а какое нет. Но можно ясно увидеть, что они различны. Многослойная нейронная сеть будет понимать, основываясь на тренировочных наборах множества транзакций, которые являлись мошенническими, и множества настоящих. И можно будет классифицировать поток транзакций, ориентированных на запись или нативных, используя библиотеки ПО, доступные сегодня в открытых источниках, виртуально без модификации этого ПО. Это было сделано в крупной организации финансового сервиса в Европе. Перед тем, как они развернули эти методы, они использовали относительно традиционную основанную на правилах систему, и они обнаружили только 40% мошеннических действий. Но, конечно, даже худший случай каждого мошенничества, который они обнаружили, это 99 ложноположительных срабатываний. Что это значит? Предположим, что у кого-то первое свидание, и он пытается произвести впечатление на женщину. Он ведет ее в очень дорогой ресторан, не такой, в какой он обычно ходит. Он получает счет, дает официанту свою кредитную карточку. Тот возвращается и говорит, извините, ваша карточка не авторизуется. Да, обычно этот посетитель не ходил в этот ресторан. Он не смог произвести впечатление на первом свидании. Посетитель звонит в службу поддержки клиентов, истерично кричит кому-то на другом конце, чтобы разрешили эту транзакцию, тратя деньги на этот звонок. Это ложноположительное срабатывание оказало огромное отрицательное влияние на клиента и на его бизнес. Ситуация становится хуже, потому что мошенники становятся умнее. Имеется намного больше транзакционной активности, осуществляемой без карточки, к примеру, е-коммерция и другие вещи, которые означают, что алгоритмы не так эффективны при использовании этих базированных на правилах систем. Поэтому, когда заменяют базированные на правилах системы, которые можно видеть как красные точки на графике, где результаты были истинно положительные и ложноположительные, разными типами алгоритмов, то синяя кривая является классическим МО на линейных математических моделях, которые, кстати, все еще намного лучше, чем базированные на правилах системы, используемые многими банками. Но если перейти к глубокому обучению, которое показано как зеленая кривая сверху, то получим намного лучшие результаты, чем с помощью базированных на правилах системах или классического МО.

Автономное принятие решений, машинное обучение и ИИ

Улучшение предотвращения мошенничества с помощью глубокого обучения

Отлично, все очень довольны этим. Но вот пришло GDPR, и одно из разъяснений то, что каждое решение должно быть объяснимо. Это черный ящик, как это можно объяснить? Если посмотреть на Advanced Research на области линейной и локально интерпретируемой модели и других методов прямо сейчас, то можно объяснить для каждого решения (на основе решения), почему оно было сделано. Таким образом, хотелось бы, чтобы слушатели не думали о технологии глубокого обучения только как о возможности сделать лучшие прогнозы, она также нужна, чтобы создать прозрачность, как эти решения были сделаны. Это намного труднее с глубоким обучением, чем с традиционными линейными моделями, и этот метод и объяснения локально интерпретируемой модели все еще является исследованием, это является академической областью.

Отлично, глубокое обучение — это замечательно. Давайте пойдем дальше. Глубокое обучение является ответом. А какой вопрос? Если посмотреть на Apple, eBay, Facebook и т. п., то они не используют глубокое обучение для всех прогнозов. Они используют комбинацию поверхностного и глубокого обучения. Не имеет смысла использовать многослойные нейронные сети для прогноза с вероятностью 99,999%, что 2 + 2 = 4. Есть более дешевая математика, чтобы сделать это. Это простой пример, но, фактически, имеется множество прогнозов, для примера, продукты для перекрестных продаж. Эти линейные математические модели хорошо работают. Поэтому не нужно думать, что глубокое обучение вводится, чтобы сделать лоботомию всего, что известно в прошлом о том, как использовать линейные модели и заменить их глубоким обучением. Оно дорогое, не столь прозрачное, как поверхностное обучение. Таким образом, использование комбинации поверхностного и глубокого обучения согласованным методом может дать наилучшие результаты, более окупающийся эффект, большую прозрачность и большую прогнозируемость. Нужно использовать комбинацию этих методов. Значит ли это, что машины могут думать? Ответ — нет! Алан Тьюринг, блестящий английский математик, задал намного более уместный вопрос — могут ли машины делать то, что можем делать мы (как мыслящие создания)? И ответ — да, иногда. Таким образом, предположим, что решения, которые принимает человек в течение нескольких секунд, ПО глубокого обучения вместе с традиционными методами поверхностного обучения будут способны сделать лучше, быстрее и дешевле, чем человек.

Как было упомянуто ранее, врач совершает ошибки в 4% случаев. ПО глубокого обучения ошибается в 2% случаев. Если человек и ПО работают вместе, ошибки делаются в 0,5% случаев. Не нужно думать об ИИ как о необходимой стратегии замены человека, нужно думать как о дополнительном интеллекте. ИИ может заменить человека в определенных случаях, но если думать о принятии лучших решений, то очень часто лучшие решения получаются, когда человек и машина работают вместе, а не когда ПО заменяет человека. Чтобы быть успешным, нужно фокусироваться на узком ИИ, очень узких тактически операционных решениях. ИИ не будет помогать разрабатывать лучшую стратегию для компании или правительства. Он не подходит для разработки политики. Может ли он помочь политикам или людям, принимающим стратегические решения, сделать правильные решения? Конечно, но нельзя отказываться от стратегического мышления любого типа в пользу алгоритмов ИИ. Узко тактическое решение, подобное выбору полосы движения автомобиля, или определения, является ли эта транзакция мошеннической или настоящей, эти виды вещей появляются там, где можно быть успешным, используя ПО глубокого обучения.

Что же нужно вынести из этой лекции? Прежде всего, алгоритмы глубокого обучения очень прожорливы по отношению к данным. Нужны большие наборы данных для обучения, разнообразие в этих наборах и нужно уделять большое внимание, чтобы не ввести смещение в этом наборе, чтобы не получить непреднамеренное ограничение в тех решениях и прогнозах, которые делаются. Глубокое обучение нужно продолжать, чтобы оценить на протяжение следующих пяти—восьми лет, был ли правильный ответ сегодня неправильным для двух лет. Возвращаясь в ранние дни, SAS был золотым стандартом. Затем забыли о SAS, и стандартом статистических вычислений стал R. Перестали использовать R, стандартом стала библиотека машинного обучения Apache Spark. Каждые два года появляется новая технология. Таким образом, нужно построить собственный способ мышления, который вы знаете. Можно подождать восемь лет, пока все стабилизируется, но вы окажетесь вне игры. Вы должны предусмотреть в вашей архитектуре способность расширяться, иметь запас ресурсов и продолжать прогрессировать. И помните, глубокое обучение — это не ответ на все проблемы. Нужно понимать, что наилучшие результаты даст совместное использование глубокого обучения с традиционным машинным обучением.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365

+11
голос

Напечатать Отправить другу

Читайте также

Для тех, кому больше заходит в виде движущихся картинок со звуком, есть возможность воспринять это всё в динамике: https://www.youtube.com/watch?v=BAhNcvNCCNk

 

Ukraine

 

  •  Home  •  Ринок  •  IТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Мережі  •  Безпека  •  Наука  •  IoT