На этой неделе, в рамках мероприятия Architecture Day 2020, корпорация Intel поделилась первыми техническими подробностями конструкции своего будущего 10-нанометрового процессора. Предназначенный для использования в ноутбуках Tiger Lake, по заявлению ведущего чипмейкера, обеспечит величайший скачок производительности в рамках процессорной архитектуры Intel за всё время её существования. Компания также поделилась информацией о готовящихся к выходу графических картах для центров обработки данных.

Раскрывая эту информацию, компания хочет показать, что инвестиции в методологии проектирования следующего поколения помогут ей справиться с любыми производственными проблемами, вроде тех, что недавно побудили отложить запуск 7-нм продуктов на шесть месяцев.

Tiger Lake — это усовершенствованная версия предыдущих серийных 10-нанометровых чипов Intel для лэптопов. Хотя они выполняли за один такт на 10-20% больше инструкций, чем 14-нанометровые предшественники, получаемый за счёт этого прирост быстродействия почти нивелировался из-за более низкой тактовой частоты ядер.

Новая линейка Tiger Lake имеет повышенную тактовую частоту и уже в полной мере реализует потенциал роста производительности, обеспечиваемый новым уровнем детализации. Кроме того, Intel переключила эти процессоры на транзисторы новой конструкции, ставшие, по её словам, на 17–18 процентов быстрее.

Компания заявляет, что достигнутый «промежуточный» (в пределах одного уровня детализации) прирост быстродействия является величайшим в её истории. Сравнимые улучшения до сих пор давал только более масштабный полный перевод конструкции микросхем на новый техпроцесс.

Одним из технологических новшеств в Tiger Lake является интегрированный блок обработки графики. Он базируется на архитектуре Xe-LP, о которой также впервые было рассказано на этой неделе, и которая должна обеспечить чистую графическую производительность на 50%, чем в прежних процессорах Intel для портативных ПК.

Интегрированный чип Xe-LP — лишь один из представителей новой линейки GPU. Помимо комплектующих для потребительской техники в неё входит высокоуровневый вариант для датацентров, Xe-HP, образцы которого уже доступны. Intel сообщила, что он имеет первый в отрасли многомодульный (multi-tile) дизайн, т.е. совмещает в одном GPU до четырех отдельных чипов, и содержит ядра, оптимизированные для вычислительных задач искусственного интеллекта. Один модуль Xe-HP способен транскодировать 10 полных потоков 4K на скорости 60 кадров в секунду. При обычных вычислениях (FP32) производительность GPU достигает 40 терафлопс (вдвое больше, чем у лучших GPU на рынке).

«Xe-HP — это первая в отрасли многомодульная, хорошо масштабируемая, быстродействующая архитектура GPU, обеспечивающая петафлопную производительность для задач ИИ и сравнимую со стоечными серверами — при работе с мультимедиа», — сказал старший вице-президент Intel Раджа Кодури (Raja Koduri).

В графических ускорителях Xe-HP, как и в Tiger Lake, применяются транзисторы, основанные на новой технологии 10nm SuperFin. Они характеризуются 5-кратным увеличением ёмкости, снижающим напряжение, и уменьшенным на 30% электрическим сопротивлением, благодаря которому микросхемы могут работать на более высокой частоте.

Согласно отчёту 2020 Data Breach Report корпорации Verizon, человеческие ошибки, и, в первую очередь, ошибки настройки конфигураций, занимают второе место среди самых распространённых причин нарушений безопасности. Однако два новейших исследования, представленные на днях провайдерами информационной безопасности Accurics и Orca Security, демонстрируют растущие риски ошибок конфигурации и называют их самой большой угрозой, с которой сталкиваются пользователи в облаке.

Accurics обнаружила, неправильно сконфигурированные службы облачного хранения в 93 процентах проанализированных ею облачных развёртываний. Большинство из них имели по меньшей мере одну «дыру» в сетевой безопасности, возникшую из-за неверно настроенных правил маршрутизации. В результате этого частные подсети, обычно используемые для защищённых коммуникаций между приложениями и базами данных, оказались открытыми для Интернета.

Эти свидетельства Accurics перекликаются с выводами Orca Security. По её сведениям, более 80 процентов организаций имеют не менее одной общедоступной рабочей нагрузки, под управлением операционной системы с истёкшим периодом технической поддержки, либо не получавшей обновлений безопасности последние 180 дней. Почти каждая вторая пренебрегает установкой актуальных патчей хотя бы на один из своих веб-серверов — именно такая небрежность стала главной причиной массовой утечки конфиденциальных данных из агентства кредитной отчётности потребителей, Equifax, три года назад.

Генеральный директор Orca, Ави Шуа (Avi Shua) считает, что большинство компаний всеми силами стараются поддерживать хорошую ИТ-гигиену, однако «всегда есть области, находящиеся за пределами видимости их радара».

Расширению эпидемии конфигурационных ошибок благоприятствует плохое понимание основ настройки политик доступа в сочетании с наивной верой в то, что облачные провайдеры сами позаботятся о полной безопасности клиентов.

Лишь за первую половину прошлого года Risk Based Security зарегистрировала 149 случаев неправильной настройки облачных баз данных и сервисов, которые в совокупности привели к раскрытию более 3,2 миллиардов приватных записей.

Один из типичнейших инцидентов, имевший место осенью прошлого года в компании CenturyLink, демонстрирует целый комплекс ошибок, вызванных небрежностью и некомпетентностью. Утечкой 2,8 млн клиентских записей обернулась ошибка конфигурирования облачной сети, в результате которой база данных MongoDB оставалась открытой для доступа из Интернета в течение 10 месяцев. На эту ошибку наложилось существование неадминистративной учётной записи с чрезмерными привилегиями идентификации и управления доступом. С такими админами не нужны никакие хакеры: ведь эта база даже не была зашифрована.

Впрочем, от шифрования не будет никакой пользы если криптографические ключи не спрятаны в надёжном месте, а этим грешили 72% клиентов фирмы Accurics. Аудит их безопасности показал, что незащищенные идентификационные данные часто хранились в файлах конфигурации в программных контейнерах, в которых размещается множество общедоступных приложений.

Orca обнаружила, что 44% исследованных организаций используют рабочие нагрузки с выходом в Интернет, которые содержат секреты и идентификационные данные, включая текстовые пароли и ключи прикладных программных интерфейсов (API), которые могли использоваться киберпреступниками для проникновения в защищённые компьютеры, а оттуда — во внутренние сети. Четверть клиентов Orca не защитили многофакторной аутентификацией облачные аккаунты, обладающие суперадминистративными или root-привилегиями.

Криворукие администраторы это лишь часть проблемы, ведь в целях снижения нагрузки на провайдеров ИТ и более быстрого удовлетворения потребностей, бизнес-пользователям всё чаще разрешают самостоятельно запускать собственные облачные сервисы.

Accurics сообщила, что в 90% исследованных организаций пользователи могли вносить изменения в действующую облачную инфраструктуру. Изменения политики управления доступом были отмечены в 82% внедрений, и почти половина пользователей создавали новые облачные экземпляры.

По прогнозам Gartner 99 процентов отказов облачной безопасности в течение следующих пяти лет будут обусловлены ошибками пользователей. Таким образом, человеческий фактор имеет неплохие шансы превратиться из основной практически в единственную угрозу облачной безопасности.

В новой статье, учёные из Корнельского университета  (штат Нью Йорк) обнаружили связь злободневного вопроса о надёжности алгоритмов шифрования с фундаментальной математической концепцией, служащей для определения и количественного измерения случайности.

«Наш результат не только показывает, что криптография имеет естественную «материнскую» проблему, но также демонстрирует глубокую связь между двумя совершенно отдельными областями математики и информатики – криптографией и алгоритмической теорией информации», – отметил Рафаэль Пасс (Rafael Pass), профессор компьютерных наук в Cornell Tech.

«Если вам удастся придумать алгоритм решения ограниченной во времени проблемы колмогоровской сложности, то вы можете взломать все криптохранилища, все схемы шифрования, все цифровые подписи, – популярно пояснил полученные результаты Пасс. – Но если не существует алгоритма, эффективно решающего эту проблему, вы можете получить одностороннюю функцию, а значит, обеспечить надёжное шифрование, цифровые подписи и всё такое».

Понятие ограниченной по времени колмогоровской сложности было введено в 1980-х годах. В элементарном изложении это минимальная длина кода программы, генерирующей заданную строку цифр за определённый промежуток времени. Она принимается как мера информативности (или случайности) этой строки.

На десять лет раньше, в поисках более надежных методов шифрования, исследователи пришли к концепции односторонних функций. Такие математические функции легко вычисляются для любого входного значения, однако найти по значению функции её аргумент практически невозможно с точки зрения теории сложности вычислений.

Разрыв между сложностью решения прямой и обратной ей функции, определяет её криптографическую эффективность. Проблема состоит в том, что теоретикам пока не удавалось доказать, что односторонние функции существуют.

В своей статье, которая будет представлена в ноябре на Симпозиуме IEEE по основам компьютерных наук, Пасс и его соавтор, аспирант Яньи Лю (Yanyi Liu), показали, что односторонние функции существуют, если ограниченная по времени колмогоровская сложность является вычислительно трудной. Хотя этот вывод является теоретическим, он имеет далекоидущие практические следствия для обеспечения безопасности конфиденциальных данных в сети Интернет.

Отчет о состоянии веб-безопасности, опубликованный на этой неделе по результатам масштабного исследования, проведенного Rapid7, показывает, что, несмотря на отдельные улучшения, в системе защиты Интернета остаются зияющие дыры.

Веб-сайты продолжают использовать менее безопасный протокол HTTP вместо новой опции с шифрованием, а многие организации держатся за устаревшие, уязвимые версии программного обеспечения, в некоторых случаях не обновлявшиеся с 2006 года.

Не может не вызывать обеспокоенности статистика, гласящаяся, что более 3 миллионов онлайновых баз данных по-прежнему обслуживают незашифрованные запросы, а почти 3 миллиона сетевых маршрутизаторов и коммутаторов работают с незашифрованными, печально известными своей уязвимостью, соединениями Telnet.

Авторы на 165 страницах отчёта ранжировали страны и отрасли в соответствии с относительной безопасностью их интернет-соединений. По совокупности критериев, таких как «общая поверхность атаки»и, количество уязвимых IPv4, SMB, SQL Server и Telnet, а также уязвимости из списка Common Vulnerabilities and Exposures (CVE), рейтинг возглавили США, Китай, Южная Корея, Великобритания и Германия.

Из ведущих компаний наибольшей опасности подвергаются работающие в областях финансовых услуг, телекоммуникаций, розничной торговли, а наименьшей – те, что занимаются недвижимостью, профессиональными сервисами, ресторанным и гостиничным бизнесом.

В отчёте говорится, что, несмотря на общие улучшения, компаниям в любой отрасли предстоит ещё много работы над кибер-гигиеной.

Оптимистичный вывод отчёта озвучил Тод Бирдсли (Tod Beardsley), директор по исследованиям Rapid7. Он отметил, что «по крайней мере структурно, в отношении протоколов и сервисов, Интернет, кажется, движется в правильном направлении».

Кроме того, авторов исследования в хорошем смысле шокировало то, что «глобальные бедствия, связанные с болезнями и рецессией, и неопределенность, которую они порождают, похоже, не оказали ощутимого влияния на фундаментальную природу Интернета». Впрочем, они не исключают того, что в полной мере последствия пандемии проявятся с некоторым опозданием.

С первых дней компьютерной эпохи и до нашего времени практически все вычисления производились процессорами, отделенными от памяти. В приложениях, интенсивно работающих с данными, на коммуникации между памятью и процессором может уходить больше времени, чем на сами вычисления.

Проблема сейчас актуальна как никогда по причине широкого распространения нейронных сетей, которые требуют большого числа перемножений векторов на матрицы. Использование для этого традиционных процессоров приводит к неоправданным затратам времени и энергии. Кроме того, обеспечиваемая ими цифровая точность в данном случае оказывается совершенно излишней: нейронные сети отлично работают если перемножения выполняются аналоговым способом с невысокой точностью.

Учесть все эти соображения постаралась группа исследователей из международного научно-производственного центра наноэлектроники и цифровых технологий imec в городе Лёвен (Бельгия). Разработанная ими архитектура Analog in Memory Computing (AiMC) свободна от «узкого места фон Неймана» (термин, введённый Тьюринговским лауреатом Джоном Бэкусом в 1977 г.), так как выполняет параллельные аналоговые вычисления непосредственно в ячейках статической оперативной памяти (SRAM).

На этой неделе imec вместе со своим промышленным партнёром в области машинного обучения — компанией GLOBALFOUNDRIES (GF), анонсировала аппаратную демонстрацию нового чипа для приложений искусственного интеллекта (ИИ), получившего название Analog Inference Accelerator (AnIA).

Устройство, построенное на архитектуре AiMC и платформе GF 22FDX, изготовлено на 300-мм технологической линии завода GF Fab 1 в г. Дрезден (Германия). 22FDX использует технологию полностью обеднённого кремния на изоляторе (FD-SOI) с детализацией 22 нм, чтобы обеспечивать выдающуюся производительность при рабочем напряжении до 0,5 В и сверхнизком токе статической утечки 1 пА/мкм.

AnIA показал исключительное снижение динамического потребления энергии при выполнении вычислений для соответствующим образом оптимизированных глубоких нейронных сетей. В тестовых испытаниях вычислительная эффективность чипа достигала 2900 тераопераций в секунду на 1 ватт энергии (TOPS/W). По этому показателю AnIA в 10-100 раз превосходит цифровые акселераторы, тем самым делая возможным локальное выполнение распознавания образов в миниатюрных датчиках и других устройствах границы, которые в настоящее время выгружают задачи машинного обучения на удалённые серверы ЦОД.

«Успешный запуск в производство AnIA знаменует важный шаг вперёд к валидации Analog in Memory Computing (AiMC), — утверждает Дидерик Веркест (Diederik Verkest), программный директор imec по машинному обучению. — Эти многообещающие результаты побуждают нас к дальнейшему развитию этой технологии с прицелом на 10 000 TOPS/W».

Министерство торговли США в середине этого месяца заявило, что разрешает американским фирмам сотрудничать с Huawei в работе над стандартами – набором спецификаций и правил, определяющих функционирование важнейших технологий следующего поколения, таких как мобильные коммуникации 5G.

Huawei была внесена Министерством торговли США в чёрный список (иначе называемый Entity List) Правил экспортного контроля (EAR) в мае 2019 г. Американским предприятиям было запрещено вести бизнес с китайским техногигантом, а на то, чтобы продавать ему продукцию, требовались особые лицензии.

Однако, внесение в черный список также создало неопределённость в отношении того, допустимо ли американским фирмам участвовать в совместном с Huawei обсуждении стандартов и состоять в общих с ней организациях. Без их вовлечения в процесс создания стандартов, перед американскими технологическими компаниями всерьёз встаёт риск утраты конкурентоспособности на мировых рынках.

На то, чтобы уяснить, это, а также, что слишком резкие меры, предпринятые в целях защиты национальной экономики и безопасности, могут возыметь прямо противоположный эффект, властям США потребовалось больше года.

Сейчас мы живём в мире технологий, в стандартизации которых первую скрипку играли американские и европейские технологические компании. Однако, кто скажет решающее слово в определении стандартов нового поколения технологий – 5G-коммуникаций или тех же транспортных средств с автономным управлением – уже не так очевидно.

С другой стороны, амбиции Китая вполне однозначны: не ограничиваясь разработкой собственных внутренних стандартов, он стремится расширить свое участие на международном уровне. Ранее получил известность масштабный 15-летний план «Китайские стандарты 2035», в котором формулируются цели Пекина по установлению глобальных стандартов для технологий следующего поколения. Существенное место в реализации плана отводится Huawei, учитывая вес этой компании в ключевых отраслях от телекоммуникаций до мобильных телефонов и облачных вычислений.

«Соединённые Штаты не уступят лидерство в глобальных инновациях, – прокомментировал поправку министр торговли США Уилбур Росс (Wilbur Ross). – наш Департамент намерен решительно защищать интересы национальной безопасности и внешней политики США, поощряя промышленность США всеми силами продвигать американские технологии в качестве международных стандартов».

О том, что для компаний из США крайне важно остаться «на борту», сказала Наоми Уилсон (Naomi Wilson), старший директор по азиатской политике Совета индустрии ИТ (ITI). Она приветствовала поправки Министерства торговли, ослабляющие запреты на сотрудничество в работе над стандартами, отметив, что в прежнем виде они ставили американские фирмы в «стратегически невыгодное» положение.

«Если их вынудят уступить свое место таким компаниям как Huawei, от этого не выиграет никто, кроме Китая, – заявила Уилсон в интервью. – Последнее, что мы хотим увидеть, это непреднамеренные последствия, которые негативно повлияют на конкурентоспособность американских компаний».

Она также отметила, что речь не идёт об абсолютном доминировании, но о сохранении конкуренции как движущей силы для инноваций в следующем поколений технологий.

Обычно системы искусственного интеллекта готовят для выполнения одной ограниченной функции, однако, API, первый коммерческий продукт когда-то неприбыльного стартапа OpenAI, может работать в разных амплуа, демонстрируя уровень компетентности, сопоставимый с однозадачными алгоритмами ИИ.

С этим продуктом, представленным вчера, OpenAI рассчитывает создать самую гибкую языковую систему ИИ общего назначения всех времён. Для этого, последние несколько месяцев компания занималась перекачиванием невероятных объёмов данных из Википедии, Интернета и множества книг в свою языковую модель.

Эти текстовые данные – триллионы слов, проанализированные суперкомпьютером компании Microsoft, образовали тот базис, который делает ПО API необыкновенно эффективным в переводе с одного языка на другой, написании новостей, очерков и поэм, в ответах на любые вопросы.

Работать с API очень просто, для этого в серии вопросов и ответов системе надо дать системе понять, чего от неё хотят, или скормить ей несколько абзацев для создания законченной статьи на ту же тему. При этом, ПО можно настраивать для получения более буквальных или более творческих результатов.

Пока продукт проходит закрытое тестирование, участие в котором возможно только по приглашениям. Таким образом, OpenAI хочет контролировать, как люди используют её технологии, выявлять и предотвращать злоупотребления.

На сегодняшний день эту технологию применяет Casetext для улучшения правового поиска, MessageBird – для обслуживания клиентов, Quizlet – для создания учебных материалов, а стартап Latitude с помощью API добавляет фэнтезийности в сценарий ролевой игры AI Dungeon.

Предполагается, что в конечном итоге API станет общедоступным.  «Я не знаю точно, сколько времени это займет, – предупредил исполнительный директор стартапа, Сэм Альтман (Sam Altman). – Мы предпочитаем лучше опоздать, чем наломать дров в спешке. Мы будем делать ошибки и учиться на них».

В прошлом году, представляя языковую систему GPT-2,  OpenAI предупредила, что эта технология может быть слишком мощной и привести к тому, что в Интернете появится ещё больше спама и фальшивых новостей. Подобные предостережения ещё более справедливы в отношении API, которое основано на следующей, в 100 раз более мощной системе GPT-3 и некоторых дополнительных языковых моделях.

Иронию ситуации отметил и Орен Эциони (Oren Etzioni), генеральный директор Алленовского института искусственного интеллекта – OpenAI сама предупредила, что её исследовательская технология слишком опасна для широкого использования, но затем улучшила её в 100 раз и превратила в продукт.

«Мы и не думаем, что сможем вот так сразу всё сделать правильно, – оппонирует критике Грег Брокман (Greg Brockman), соучредитель и технический директор OpenAI. – Тем не менее, лучше экспериментировать с такими технологиями сейчас, пока их еще можно контролировать, а извлечённые уроки применить к становящемуся всё более мощным искусственному интеллекту».

Инцидент с Джорджем Флойдом (George Floyd), вызвавший волну глобальных протестов против расовой дискриминации, закономерно породил афтершоки в уже давно подвергающейся нападкам активистов индустрии распознавания лиц.

Проблемы «алгоритмической дискриминации» получили широкую огласку с выходом в 2018 г. совместной статьи Джоя Буоламвини (Joy Buolamwini) из MIT Media Lab и Тимнита Гебру (Timnit Gebru) из Microsoft Research. Эта пара исследователей дотошно подсчитала, что большинство систем распознавания ошибаются гораздо чаще (на десятки процентов) при попытках классифицировать по фотографии пол людей с темным цветом кожи.

Кажется вполне естественным, что со снижением яркости точность категоризации должна падать, однако New York Times тогда не замедлила привлечь внимание публики к тому, что причиной тут может быть тенденциозный подбор тренировочных данных, используемых для обучения интеллектуальных алгоритмов.

И вот, с нынешним обострением расовых противоречий, крупнейшие провайдеры систем распознавания лиц, один за другим, решили отложить непопулярные технологии в долгий ящик, то есть, до принятия законов, регламентирующих правильное их использование.

Застрельщиком инициативы стала корпорация IBM, которая 8 июня заявила, что прекращает разрабатывать и продавать собственную технологию распознавания лиц из-за потенциального нарушения последней прав человека и приватности, а также из предвзятости рекомой технологии в отношении ряда факторов, таких как возраст, этническая принадлежность и раса. Спустя пару дней примеру IBM последовала AWS. Она объявила годовой мораторий на использование полицией платформы Amazon Rekognition.

Последним из крупных игроков этого сегмента, в прошлый четверг сказала своё слово Microsoft. «Мы не продаем нашу технологию распознавания лиц отделам полиции США сегодня, и не будем продавать её пока не будет принят строгий общенациональный закон, основанный на правах человека», – процитировала её газета Washington Post.

Директор IDC, Майк Джуд (Mike Jude), считает, что действия этих крупных компаний преследуют цель продемонстрировать добрую волю в условиях регуляторного кризиса, охватившего Европу и США. Тем более, что это решение мало ущемляет их бизнес, чего не скажешь о сотрудничающих с полицией небольших провайдерах подобных услуг, например, Idemia и DataWorks Plus.

Однако вместо снижения напряженности, действия IBM, AWS и Microsoft Research могут возыметь противоположный эффект. Их могут воспринимать (и уже воспринимают) как признание компаниями своей вины и подтверждение уже не потенциальной, а фактической опасности этих технологий.

Мэтт Кейгл (Matt Cagle), адвокат Американского союза гражданских свобод в Северной Калифорнии, сказал: «Когда сами производители распознавания лиц отказываются продавать эту технологию надзора, потому что она настолько опасна, законодатели больше не могут отрицать угрозы нашим правам и свободам».

Когда мировые экономики в конечном итоге выйдут из разрушительной стагнации, вызванной пандемией коронавируса, миллионы сидевших дома устремятся на рабочие места. Но там многие из них обнаружат, что им приходится конкурировать или работать рядом с машинами. Проблема растущей автономности роботов становится всё более злободневной, что находит отражение в повышенном внимании к известным антагонистам самой идеи независимо думающих и действующих механизмов.

Среди этих «новых луддитов» не последнее место занимает доктор компьютерных наук Мэрилендского университета Бен Шнайдерман (Ben Shneiderman). Он уже несколько десятков лет находится в оппозиции к таким оптимистам искусственного интеллекта, как Элон Маск, предостерегая от слепой автоматизации задач с помощью компьютеров. Он утверждает, что полностью самостоятельные машины, это шаг в неверном направлении, и, что для технологической индустрии будет опасной ошибкой следовать по пути растущей автономности роботов.

Отстаивать свою точку зрения, заключающуюся в том, что роботы должны сотрудничать с людьми, а не заменять их, доктор Шнайдерман, известный пионерскими разработками в области взаимодействия человека с компьютером, начал в 1982 г. Тогда при его участии была организована Конференция по человеческим факторам в компьютерных системах.

Однако конфликт идей автономности и сотрудничества возник гораздо раньше, практически сразу с появлением интерактивных компьютерных технологий. Ещё в 1962 году в окрестностях Стэнфорда были одновременно созданы две лаборатории. Стэнфордскую лабораторию искусственного интеллекта создал Джон Маккарти (John McCarthy), автор самого термина «искусственный интеллект», с целью разработать за десять лет думающую машину. Ему в противовес другая легенда ИТ, Дуглас Энгельбарт (Douglas Engelbart) – изобретатель компьютерной мыши – учредил Центр исследований дополняющих технологий для экспериментов с новыми инструментами и методами совместной работы и обработки информации. Он же противопоставил концепции ИИ «увеличение интеллекта» (Intelligence Augmentation).

 Доктор Шнейдерман призывает отказаться от одномерного подхода, в соответствии с которым  автоматизация неизбежно должна развиваться от машин с ручным управлением к системам, работающим без вмешательства человека.

На состоявшейся в этом году в Финиксе (штат Аризона) конференции по автономным системам, Шнайдерман назвал вопиющим примером высокой степени автоматизации при низком человеческом вмешательстве систему улучшения полётного контроля, MCAS, которую считают виновницей двух катастроф  Boeing 737 Max. «Конструкторы настолько были уверены, что их автономная система не сможет выйти из строя, – написал он в неопубликованной, но получившей широкую известность статье, – что её существование не было описано в руководстве, и пилоты не были обучены тому, как переходить на ручное управление».

Проблемы одномерного вектора развития по мнению Шнайдермана состоят не только в риске создания небезопасных машин, но и в освобождении людей от моральной ответственности за действия автономных системам, начиная от автомобилей и заканчивая высокотехнологичным оружием.

В качестве альтернативы, он предагает «двумерную» модель, допускающую совмещение человеческого контроля с высоким уровнем автоматизации. За несколькими исключениями, такими как автомобильные подушки безопасности и стержни регуляторы мощности ядерного реактора, по его мнению, целью конструкторов автоматизированных систем должно стать расширение компьютерными средствами возможностей самих людей. Он также считает необходимой мерой оснащение каждого робота подобием «чёрного ящика», регистратора полётной телеметрии, устанавливаемого в авиалайнерах.

Идеи, исповедуемые Шнайдерманом созвучны концепции «кентавра», изначально родившейся в шахматной среде, где полностью автономные шахматные компьютеры неизменно проигрывали связке из компьютера и человеческого игрока. Позднее, влиятельным сторонником подхода «кентавр» в отношении систем вооружения и, соответственно, противником «роботов-убийц» стал Роберт Уорк (Robert O. Work), заместитель министра обороны при Обаме и Трампе,

Популяризатором «гуманистического» или «ориентированного на человека» ИИ выступает и Джилл Пратт (Gill Pratt), руководитель Исследовательского института компании Toyota, где работают над созданием Guardian – системы «суперпродвинутой помощи водителю».

Шнайдерман также напоминает, что от применения автономных систем отказались ВВС США, Национальное управление по аэронавтике и исследованию космического пространства (NASA) и Совет по оборонным наукам (Defense Science Board) комитет гражданских экспертов, консультирующий Министерство обороны США по вопросам науки и техники.

Позиция 72-летнего Шнайдермана находит поддержку в научной и инженерной среде. Критикуются, в основном, отдельные аспекты «двумерного» подхода. Так, Мисси Каммингс (Missy Cummings), директор Лаборатории человека и автономии в Университете Дьюка (штат Северная Каролина), уточнила, что уровень сотрудничества должен быть прямо пропорционален степени ненадёжности конкретной системы и серьезности последствий ошибок её ИИ.

Компьютерные баги остаются на слуху уже 75 лет, с того дня когда программист Грейс Хоппер (Grace Brewster Murray Hopper) обнаружила источник неполадок в работе Harvard Mark II — бабочку, замкнувшую контакты.

За прошедшее с тех пор время «жучки» стали причиной множества происшествий, зачастую, имевших катастрофические последствия. В 80-х ошибка программиста привела к гибели как минимум, пяти пациентов, проходивших курс лучевой терапии на не вовремя забарахлившей установке Therac-25. В 1962 г., как сейчас полагают, из-за допущенной опечатки при вводе кода, едва начавшись, бесславно закончилась на дне Атлантики миссия посланного к Венере космического зонда Mariner 1.

Стартап Coralogix, предлагающий SaaS-платформу мониторинга программных процессов, утверждает, что на каждые 1000 строк кода приходится, в среднем, 70 ошибок. При этом, на исправление каждой из ошибок уходит в 30 раз больше времени, чем заняло написание самого кода. Только в США на выявление и устранение багов, по оценкам Coralogix, ежегодно тратится 113 млрд долл.

Из сказанного понятно то повышенное внимание, с которым было встречено недавнее заявление компании Microsoft. Она анонсировала успешное создание модели машинного обучения, которая способна точно идентифицировать особо опасные недоработки безопасности в 97 случаях из 100.

В докладе, опубликованном онлайн, Скотт Кристиансен (Scott Christiansen), старший менеджер программы безопасности Microsoft сообщил: «Мы обнаружили, что, сочетая модели машинного обучения с опытом экспертов, можем значительно улучшить выявление и классификацию проблем безопасности».

Ещё более впечатляющую эффективность — 99% — модель Microsoft, демонстрирует определяя, представляет ли найденная ошибка риск для безопасности.

В основу новой системы обнаружения багов Microsoft заложила два статистических алгоритма. Один, под названием частотность терминов — обратная частотность документов (TF-IDF), ведёт поиск в больших собраниях документов по ключевым словам и вычисляет релевантность результатов. Другой — модель логической регрессии (логит) — определяет вероятность возникновения определённого события.

В первую очередь программа разделяет ошибки на безопасные и представляющие угрозу. Затем, для второго класса проблем следует уточнение степени риска с распределением на под-категории: критических, важных и незначительных угроз.

По словам Кристиансена, Microsoft поставила перед ними задачу, создать систему, которая максимально приблизилась бы по точности выявления ошибок к эксперту безопасности.

«Каждый день разработчики ПО видят длинный список функций и ошибок, которые необходимо устранить, — говорит Кристиансен. — Специалисты по безопасности пытаются помочь, используя автоматизированные инструменты для распределения ошибок по приоритетности, но слишком часто инженеры тратят время на ложные срабатывания или упускают критическую уязвимость безопасности из-за ошибочной классификации. Для решения этой проблемы, команды по аналитике данных и безопасности собрались вместе, чтобы исследовать, как тут может пригодиться машинное обучение».

Модель вобрала в себя почти 20 лет исторических данных Microsoft о 13 миллионах программных продуктов и ошибок. Она также постоянно переучивается с учётом новой информации, проверенной экспертами безопасности компании: ведь каждый месяц в репозиториях GitHub и AzureDevOps добавляется почти 30 тысяч свежих ошибок, генерируемых 47 тысячами разработчиков Microsoft.

В конечном итоге Microsoft планирует выложить результаты этой работы с открытым исходным кодом на GitHub.