Тут в середине июля вся околокомпьютерная пресса взорвалась очередной сенсацией: AI прошел тест на наличие самосознания и роботы действительно стали разумными. Правда, разработчики осторожно говорят только об «ограниченном самосознании в узких, хорошо определенных областях». Что произошло на самом деле?

Гуманоидный робот (не обманывайтесь – чучело человека, которому куда-то там вставили компьютер с соответствующей программой) решил классическую загадку, называемую «тестом мудрецов» и сказал открытым текстом, что знает, как ее решить.

Таким образом, вдруг, неожиданно для специалистов, возник вопрос, насколько в реальности мы близко к выпуску робота, обладающего самостоятельным сознанием (conscious robot)?

Зомби вызывали?

Что произошло

В лаборатории робототехники, что расположена на восточном берегу реки Гудзон в Нью-Йорке, трем маленьких роботам гуманоидного вида задали упрощенный вариант логической задачи о трех мудрецах и их колпаках. В классическом виде она выглядит следующим образом.

Три мудреца спорят, кто из них умнее. Приходят к четвертому и просят их рассудить. Тот говорит: – У меня в мешке пять колпаков. Три черных и два белых. Я надену на каждого из вас по колпаку таким образом, что вы не будете видеть цвет своего, но будете видеть цвет колпаков ваших соперников. Кто первый скажет, какой на нем колпак, – тот и самый умный. Он надевает на каждого черный колпак, два белых остаются в мешке. Через какое-то время один из мудрецов говорит: «На мне черный колпак». Вопрос: как он догадался?

Размышление здесь основано на наблюдении фактов и дедукции. «Я вижу два черных колпака… Если бы на мне был черный колпак, то… Если бы на мне был белый колпак, то…». Попробуйте продолжить сами.

В эксперименте все было еще проще. Двум из трех роботов экспериментаторы нажатием кнопки как бы дали «таблетку онемения» (dumbing pill), которая заставила их замолчать. Но ни один из них «не знал», кто еще в состоянии говорить. Это было именно то, что они должны были сами определить.

Не имея возможности решить проблему, роботы при повторении эксперимента всякий раз говорили: «Я не знаю». Но тот, кто имел возможность слышать собственный голос, все-таки понял, что заставили замолчать не его.

Следующая фраза, пожалуй, войдет в историю как «Поехали!» и «Это маленький шаг для человека, но огромный для человечества». Робот сказал: «Sorry, I know now! I was able to prove that I was not given a dumbing pill», в смысле «Теперь я знаю! Я смог доказать, что именно мне не отключали речь!»

Он самостоятельно сделал формальный математический вывод и сохранил его в памяти, чтобы доказать, что он понял, как можно решить задачу. Это – первый случай в истории, когда робот прошел классический тест, называемый «загадкой мудрецов».

В общем, это очень несложный тест, который говорит только о наличии «предгорий сознания» (foothills of consciousness), но, например, обезьяны на такое вообще не способны.

Эксперимент показал, что роботы, – в данном случае это были стандартные модели Nao, – могут решать логические задачи, требующие элемента самосознания, то есть идентификации самого себя. Это – важный шаг к созданию машин, которые понимают их место в мире.

Что такое Nao (или уже «кто такое»?)

Спецификация Nao довольно скромна.

Селмер Брингсйорд

Тест разработал и управлял роботами в ходе эксперимента Селмер Брингсйорд (Selmer Bringsjord) из нью-йоркского Rensselaer Polytechnic Institute

Он говорит, что, проходя много тестов подобного уровня, очень узконаправленных, роботы постепенно создадут свой репертуар способностей, которые в принципе, могли бы быть полезными людям.

Можно только приветствовать такой здравый подход, – вместо того, чтобы заламывать руки и страдать по поводу того, смогут ли машины когда-либо быть такими же самосознательными как люди, Брингсйорд стремится демонстрировать определенные, ограниченные, но работоспособные и применимые практически примеры искусственного сознания.

Этот эксперимент продолжает активно обсуждаться философами, которые пока пришли к следующему выводу: эта работа, которая будет представлена в августе на конференции RO-MAN в Кобэ (Kobe, Japan), впервые выдвигает на первый план «темные воды искусственного сознания» (murky waters of artificial consciousness).

Прохождение «теста мудрецов» требует некоторых очень человеческих черт. Но роботы Брингсйорда могут только казаться сознательными в этом конкретном случае, поскольку они как бы оценивают собственное состояние и делают то, что у людей называется «умозаключение».

Но говорить о более широкой и глубокой разумности (broader and deeper intelligence), свойственной людям, конечно, не приходится. Роботы Nao действительно могут пройти «тест мудрецов», но пока не имеют никакой надежды распознать, есть ли у них собственные ноги.

Брингсйорд говорит, что пока главной причиной того, что у роботов не может быть более широкого и глубокого сознания, является то, что они просто не могут обрабатывать в реальном времени соответствующие объемы данных.

Например, технически камеры Nao могут захватить больше данных, чем человеческий глаз. Однако роботостроители пока понятия не имеют, как «сшить» всю эту информацию вместе, чтобы построить связную картину мира.

Тест также в очередной раз поднимает вопрос о том, что означает для людей наличие самосознания, или «личного опыта сознательной мысли» (first-hand experience of conscious thought).

Совершенно неясно пока, как, например, преодолеть разницу между человеческим восприятием восхода солнца как эмоционального явления и просто наличием нейронов зрительной зоны коры головного мозга, которые физически воспринимают восход солнца.

Соответственно, без этого роботы – не более, чем «философские зомби» (philosophical zombies) способные к эмуляции сознания, но в действительности вовсе не обладающие им.

Размышления о самосознании и самоосознании

Подобные исследования, пусть не слишком широко и активно, ведутся также в других научных организациях.

Например, Nico, исследовательский робот в Йельском университете, смог распознать в зеркале собственную руку (2012)

Специальное ПО распознавания лиц для маленького робота Qbo было разработано так, чтобы он смог «узнать» себя в зеркале (2011)

Оба эти эксперимента – этап в более широких исследованиях того, как животные понимают, что морда, которую они видят в зеркале, является их собственной. Только самые умные животные нашей планеты – дельфины-касатки, слоны, сороки, дельфины, несколько обезьян (и люди) способны на это.

Любопытно отметить, что успехи робототехники таковы, что даже вызывают определенный теологический интерес. В прошлом году креационистская южная евангелистская Семинария (creationist Southern Evangelical Seminary) в Северной Каролине купила робот Nao, чтобы провести самостоятельные исследования относительно того, могли бы роботы в своем развитии закончить тем, что заменили бы людей.

Все-таки не следует умалять описанное выше достижение. Закон Мура работает, вычислительная мощность растет, алгоритмы совершенствуются. Как было сказано еще две тысячи лет назад, «увидишь более сего» (Иоан. I, 51).

Нет, нет. Все в порядке. Линус Торвальдс, которому под новый, 2015 г. исполнилось 45 лет, находится в прекрасной форме и не собирается покидать проект. Далеко не каждому человеку выпадает в жизни такая роль – быть центральной движущей силой общемирового проекта. Но все-таки? Что будет, если Линус однажды захочет уйти?

Что, если?..

Это – достаточно серьезный вопрос. Но может ли уход Линуса из проекта негативно повлиять на Linux или замедлить его развитие? Об этом в середине июня рассуждал в своей статье на ресурсе ITWorld IT-журналист Свапнил Бхартия (Swapnil Bhartiya). Он более десяти последних лет наблюдает за развитием Linux и стал уже чуть ли не биографом и летописцем самого Линуса.

Совсем неплохо, что рядом с Торвальдсом есть этакий «доктор Ватсон», Свапнил Бхартия, – который, возможно, оставит потомкам описания героических дней и трудов Линуса

Линус Торвальдс (Linus Torvalds), несомненно, на сегодня – один из самых влиятельных «гиков» в мире. Изначально написанное им ПО используется в почти каждом аспекте нашей жизни, часто без всякого вмешательства с нашей стороны.

Однако инерция мышления зачастую приводит к тому, что, когда мы слышим слово Linux, то думаем о тех древних ОС с командной строкой, которые мы попробовали еще лет десять назад, – и оставили за ненадобностью.

Тем не менее очень многое вокруг нас, у чего только есть хоть какая-то вычислительная мощность, давно приводится в действие Linux. Это может быть маршрутизатор Интернет или принтер, который запускает Linux каждый раз, как вы отсылаете документ на печать.

Это – кофеварка, первое устройство, которое встречает вас утром; ваш Android-телефон; читалка Kindle; Amazon Fire TV; Netflix; Facebook; фондовая биржа и банки; дроны и суперкомпьютеры. Короче говоря, Linux вездесуща. Это проникновение Linux в нашу жизнь и наша зависимость от нее удивительны, и очень интересно, как эта технология будет развиваться дальше.

Отец наш Столлман… Забавный и немного ироничный портрет с сайта Trisquel. Кстати, отсюда можно скачать не слишком известный, но любопытный и вполне современный дистрибутив «Trisquel 7.0 LTS GNU/Linux – fully free operating system for home users, small enterprises and educational centers». Разрядность 32 и 64 бита. Около 90 тыс. загрузок на сегодняшний день. 50 встроенных языков. Русский присутствует. Попробуйте

Исходный код Linux был выпущен под лицензией GNU GPL v2, предложенной отцом движения бесплатного ПО Ричардом М.Столлманом (Richard M.Stallman, aka RMS). Эта лицензия и модель разработки позволяют людям свободно получать исходный код и вносить изменения в него. Изменения могут быть применены даже к основному коду. В результате само ядро Linux продолжает улучшаться и становиться все более полезным для огромного диапазона применений.

Линус как менеджер

Как известно, Linux – Open Source проект, и он всегда разрабатывался удаленно, фактически по электронной почте. Отсылаемый код должен сопровождаться соответствующими пояснениями о своей необходимости, и затем Линус сообщает по телефону автору, будет ли он принят. Он – последняя инстанция в Linux. Прежде, чем говорить о том, что произошло бы с Linux, если бы Линус прекратил ею заниматься, нужно понять, что делает Linux особой ОС, отличающейся от других систем.

В традиционной разработке ПО у компаний всегда есть определенное видение того, что они в итоге хотят сделать. Это «видение», как правило, вырабатывается первыми руководителями и затем спускается до уровня линейных менеджеров разработки. В отличие от такого, «правильного», подхода, у Linux принципиально НЕТ видения того, куда должен двигаться проект Linux.

Сам Линус говорит по этому поводу, что в мире есть сотни компаний и людей, у которых есть собственное видение того, куда они должны двигаться, используя Linux. Линус всегда вмешивается в происходящее, когда такие компании или люди посылают изменения. Обычно он отвечает примерно так: «Это может иметь смысл для вас, но нет никаких причин делать именно так, – потому что это не имеет смысла ни для кого больше.

В одном из интервью (еще 2011 г.) он сказал: «Одной из основных составляющих моей работы является говорить «нет». Однако я не «человек нет» во всех случаях». Время от времени он соглашается на изменения, но так, чтобы, в то время как они решают проблему той или иной компании, они также были полезны всем остальным.

Рассмотрение массового принятия Linux в таком количестве разнообразных случаев использования побуждает Линуса гарантировать, что изменения, предложенные одной стороной, не навредят кому-либо еще. Это – то, что делает Linux действительно революционным проектом. Согласно Линусу, «Мы не распределяем просто усилия по написанию кода. Мы также распределяем усилия по видению, и я думаю, что это одинаково важно».

Посмотрите вокруг, и вы найдете тот же самый Linux, используемый компаниями для того, чтобы создать их собственные «великие видения». Посмотрите на Amazon, Google, Facebook, Netflix, Spotify, Red Hat и многие другие компании. То же самое, единственное, сертифицированное Линусом ядро, и совершенно различное видение его применимости. Разумеется, даже если развитие ядра полагается на одного парня, то, что компании могут сделать с ним, на самом деле не зависит от него вообще. От него зависит развитие самой Linux.

Linux без Линуса

Можно, конечно, задаться вопросом, что произойдет с Linux, если Линус вдруг заскучает с ней или захочет сделать что-то еще. Подобный вопрос был задан во время недавнего интервью Bloomberg с Линусом. Ничего необычного или особенного в этом нет. Его задают едва ли не с того времени, как Linux стала заметной в мире IT.

«Развитие ядра Linux в большой степени зависит от вас. Как вы планируете организовать/ реорганизовать ядро, так, чтобы проект продолжил развиваться без вас, – в случае, если Вы решите, например, уделять больше времени своей собственной жизни и семье?», – спросили аналитики Bloomberg.

Линус на такие вопросы обычно отвечает примерно так, – «Я давно занимаюсь Linux, и вполне понимаю, что сейчас проект гораздо более крупный и значимый для мира, чем лично я. Да, я глубоко вовлечен в Linux, и оказываю довольно большое ежедневное влияние на него. Возможно, я являюсь неким решающим центром в том, что касается ядра, но я бы уже не сказал, что Linux «зависит в большой степени» от меня.

Таким образом, если бы я прекратил заниматься Linux, то люди, конечно, заметили бы это. Но есть тысячи людей, так или иначе вовлеченных в разработку и совершенствование ядра, и целый ряд лидеров сторонних разработок, которые могли бы заменить меня с минимальным переходным беспорядком».

Нужно согласиться с тем, что это – основная сила модели разработки Open Source. В этом – и сила Linux, которая уже не принадлежит одному человеку, но стала общемировым достоянием.

Как говорит сам Линус, – «The show must (and will) go on».

Как говаривал Козьма Прутков, – «Зри в корень». В чем реальная проблема, которая уже проявляет себя? Началось взаимное проникновение двух обширных групп технологий, AI и IoT. Эксперты в различных областях промышленности пока не видят причин бояться последствий этого, но «люди беспокоятся».

«Если мы сможем извлечь пользу из AI и ее связи с другими технологиями так, чтобы это было плодотворно и благоприятно для человечества, я думаю, что вот это и будет настоящая фантастика»

Ян Пирсон (Dr.Ian Pearson), футуролог

Этот блог не был бы написан, если бы группа главных технических лидеров и ученых, включая Стивена Хокинга и Стива Возняка, не издала 28 июля новое строгое предупреждение нашей цивилизации против разработки «роботов-убийц».

Это, безусловно, важная и нужная инициатива. Она фактически повторяет движение ученых в 60-х годах прошлого века против применения ядерного оружия. Однако сейчас, по отношению к AI, положение не то чтобы сложнее и опаснее, но несколько запутаннее.

Страхи глобальные и локальные

Прежде всего, давайте разделим «AI-страхи» на две области. К глобальному, ложному страху относится страх перед искусственным интеллектом типа Skynet. Такая система по определению имеет органы чувств в виде самых различных датчиков и сенсоров, и также средства воздействия на окружающую среду в виде различных исполняющих устройств и механизмов (кадр из фильма, 1984).

К локальным реальным страхам следует отнести тех самых «роботов-убийц», которые типично действуют в ограниченном трехмерном пространстве, выполняя определенные заданные миссии, но принимая решения самостоятельно. Ученые говорят сегодня о запрещении именно таких локальных систем, прекрасно понимая, что Skynet – это для кино.

Однако большинство «почтенной публики» до сих пор находится под впечатлением именно Skynet, как нового жестокого киберправителя планеты. Любопытно, что системы типа тех, с которыми боролся Робокоп, беспокоят людей почему-то гораздо меньше (кадр из фильма, 1987).

Мне казалось, что двух предыдущих публикаций серии «Кто боится AI?» было вполне достаточно для описания ситуации в данной области. Однако мировая пресса, особенно нетехническая, явственно чувствуя запах жареного, – если хотите, «предсенсации», – снова подняла целую (и, в общем, пустопорожнюю) волну публикаций о страхах, связанных с AI.

Однако нашлось несколько человек, которые постарались рассмотреть происходящее без стонов и спекуляций по поводу «машинного апокалипсиса». Я бы хотел присоединиться к разумному мнению технического фриланс-журналиста Энди Мика (Andy Meek), который по этому поводу написал 24 июля в The Guardian статью под совсем не сенсационным, сухим техническим названием – «Connecting Artificial Intelligence with the Internet of Things».

И это, по сути, очень точное отражение того, чего именно сейчас боится средний обыватель (по крайней мере, в США). Потому что для него война идет где-то далеко, а террористов, безусловно, переловит полиция. Но вот если у него не открывается электронный дверной замок или кто-то хакнул его новенькую «Теслу», вот это – настоящая беда, с которой нужно бороться всему миру. Это – явный признак несовершенства современных AI/ IoT систем.

Что же касается систем вооружений с элементами AI, то их появляется все больше, и еще больше разрабатывается в секретных лабораториях. Этот процесс (по крайней мере, разработки) остановить вряд ли возможно. И довольно глупо рассуждать о таких системах журналистам, которые слабо разбираются в предмете и вообще не имеют доступа к рабочим материалам и планам военных.

Поэтому я предпочел бы выделить «роботов-убийц» в отдельную тему, которую каждый может смаковать на основании Google Images в меру своего желания. А рассмотреть только реальную на сегодня составляющую гипотетических «страхов общего применения» типа Skynet, – и закрыть эту тему.

Вот в кратком изложении, без кавычек, содержание точки зрения Энди Мика на происходящее.

Необходимость интерфейса

Элон Маск и Билл Гейтс говорят о том, человечество как бы флиртует с предполагаемым глобальным бедствием. Другими словами, мы имеем цифровую версию мифа об Икаре, – в нашем случае искусственный интеллект выполняет роль солнца, которое в конечном счете обожжет наши крылья.

Но даже в том случае, если с этим согласны «широкие массы» (которым всегда нужно только дать понятную идею и соответствующие лозунги), то находится достаточно рассудительных, самостоятельных умов, которые вовсе не так уж и встревожены.

Один из них – Джон Андеркоффлер (John Underkoffler), – СЕО компании Oblong Industries. Он более известен как парень, который создал футуристический человеко-машинный интерфейс, основанный на жестах.

Том Круз в роли детектива Джона Андертона в фильме Minority Report (2002)

Он основал свою компанию в 2006 г. как первый шаг к реализации идей интерфейса, показанного в Minority Report. Безусловно, он в числе тех, кто знает, где кончается научная фантастика и начинается хайтек-действительность. В результате сегодня его компания продает то, что описывает как «коммерческую версию компьютеров из Minority Report».

Согласно прогнозу Cisco, количество связей в сети IoT к 2020 г. составит около 50 млрд. Эти связи образуют совершенно новую вселенную онлайн-устройств. И они нарушают, или того хуже, разрушают привычные устои нашей жизни. Вот в чем, оказывается, главный страх – люди на самом деле боятся не восстания роботов, а примитивного подглядывания за ними в ванной.

Именно поэтому, как человек со здоровой психикой, Андеркоффлер не видит никакой причины бояться заполненного машинами будущего. Вместо этого он считает, что просто есть некоторые основные вопросы, которые нуждаются в рассмотрении до того, как отдавать их на откуп AI. Это, собственно, к тому, что если есть миллиарды онлайн-устройств, то, видимо, требуется и соответствующий интерфейс для доступа к ним и интерактивного общения с ними.

«А мы пока впустую волнуемся по неправильным поводам и не задаем правильных вопросов для решения истинных проблем», – сказал Андеркоффлер.

Artificial Stupidity

Профессор Ник Бостром (Nick Bostrom), директор Future of Humanity Institute Оксфордского университета, составил и привел в своей книге «Superintelligence: Paths, Dangers, Strategies» (2014) вот такую любопытную «шкалу интеллектуальности».

Конечно, можно спорить о реальном удалении «рекурсивно самосовершенствующегося AI» от белковых существ, также как о минимальной разнице интеллекта Эйнштейна и «неотесанной деревенщины». Однако бесспорно то, что группа белковых в силу своей неторопливой эволюции интеллектуально практически статична, а вот AI может свободно двигаться по шкале и будет все быстрее уходить вправо, увеличивая разрыв.

Однако профессор Санджэй Сарма (Sanjay Sarma) – директор направления цифрового обучения (digital learning) в MIT и пионер RFID, разрабатывавший основные технические понятия и первые стандарты в этой области, говорит следующее.

Если у меня есть проблемы, то я стараюсь их правильно определить и правильно решить. Меня не слишком беспокоят системы, настолько интеллектуальные, что они превосходят людей. Я гораздо больше волнуюсь по поводу «искусственной глупости». (Artificial Stupidity).

Я беспокоюсь о том, что мы строим системы искусственного интеллекта, которые «слишком умны наполовину» (too smart by half). Они способны вытворить что-то действительно очень тупое, – например, организовать каскадную серию событий (cascading series of events), которая в итоге приводит к идиотскому решению управляющего компьютерами AI об отключении электроэнергии в городе, штате или целой стране. В относительно небольшом масштабе и на короткое время это уже случалось.

Другой пример – плохо разработанная система, которая легко взламывается внешним вмешательством «плохих парней» и вызывает хаос. То есть, я более обеспокоен, что мы создаем изначально несовершенные системы, которые неумышленно ставят под угрозу и нашу частную жизнь, и нашу безопасность.

В общем, это неизбежно, поскольку все и всё несовершенны. Мы определенно движемся к этому и первая большая компьютерная катастрофа – только вопрос времени. И тогда обвинение будет выдвинуто AI. Люди же обязательно скажут – «мы здесь ни при чем», – чтобы избежать наказания.

До сих пор все большие IT-системы были основаны на ясном и простом понимании их архитектуры. Типичный пример – WWW, жестко основанная на гиперссылках. Теперь же у нас нет ясного архитектурного понимания того, что представляет из себя всемирная сеть IoT, управляемая AI.

Возможно, пока расхожие разговоры об AI вообще бессмысленны, потому что мы вовсе не имеем настоящего AI. Например, Machine Learning Systems (MLS) не имеют ни малейшей возможности для принятия решений по управлению окружающим нас миром (decision to manipulate the surrounding world)

Системы, которые мы строим сегодня, не имеют никаких алгоритмов для изменения самих себя. Машина с элементами AI для сортировки почты никогда самостоятельно не примет решения превратиться в машину для уничтожения человечества. Диапазон ее функциональности жестко задан и никогда не меняется.

Заключение будет кратким

Не секрет, что сегодня большинство из того, что разработчики называют AI, в практическом отношении является безнадежным мусором. Так что прежде, чем пугаться, давайте действительно, как говорит Андеркоффлер, научимся задавать правильные вопросы, – в частности, по отношению к системам AI.

Это – один из основных принципов здравого подхода и, вообще, построения здравого мира, – для того, чтобы спокойно и счастливо жить в нем. Мира, где люди являются определяющей и руководящей силой, – и могут взять на себя полную ответственность за этот мир, изменяя его в лучшую сторону.

Как написал в комментариях один из читателей, – «Самая последняя вещь, которую я хотел бы сделать с моим холодильником, это дать ему какую бы то ни было степень интеллекта или соединить его с интернетом. Это, в конце концов, просто холодильник».

Что же касается страхов, то давайте остановимся на том, что применение «настоящего» AI (которого пока нет) ожидается прежде всего в тех случаях, когда решение без «человеческого фактора» оказывается более эффективным. Вот тогда, возможно, и проявится «проблема Skynet».

В последнее время часто можно слышать толки о том, что проект Hadoop остановился в своем развитии. Недавний отчет Gartner назвал спрос на Hadoop «довольно анемичным», а ряд блоггеров указали на «слабый темп восприятия Hadoop в корпоративном мире». Так ли это? Или просто ума не хватает?

В целом − проблема есть. Она заключается в том, чтобы получить реальную ценность от Hadoop. Для этого нужно точно знать, что вы собираетесь делать с ним и сопутствующим ПО.

Так, некоторые предприятия затрудняются при масштабировании задач, которые они хотели бы решать с помощью Hadoop. Другие все еще экспериментируют без ясных целей, что приводит к совершенно бесполезным, умозрительным проектам.

Но если вы хотите видеть, как выглядит успешное широкомасштабное развертывание Hadoop, трудно подобрать лучший пример, чем Yahoo!.

Ресурс InfoWorld провел специальное интервью с несколькими старшими технологами Hadoop в Yahoo, чтобы выяснить, какие уроки можно извлечь из гигантского развертывания Hadoop в компании.

Уместен ли здесь эпитет «гигантский»? Насколько в действительности велика инфраструктура Hadoop в Yahoo!?

Согласно Сумиту Сингху (Sumeet Singh), старшему директору Yahoo! по облачным и Big Data платформам, в компании, по состоянию на июнь 2015 г., задействовано 43 тыс. серверов почти в двух десятках системах YARN с MapReduce и 600 петабайт данных в распределенной файловой системе HDFS. Все это обеспечивает персонализацию доступа, мобильную работу с системой (и коммуникации вообще), а также рекламу и медиа.

Базовый набор (framework) Apache Hadoop состоит из следующих модулей:

• Hadoop Common − библиотеки и утилиты, используемые в других модулях;
• Hadoop Distributed File System (HDFS) − распределенная файловая система, которая сохраняет данные на относительно недорогих компьютерах общего назначения (commodity) в кластере;
• Hadoop YARN − платформа управления ресурсами в кластере, отвечающая за работу пользовательских приложений;
• Hadoop MapReduce − программная модель для обработки данных в системах большого масштаба.

Но этим базовым набором мир Hadoop далеко не ограничивается.

Hadoop − это не только…

Yahoo! занимает первое место в мире по степени распространения сопутствующих технологий из состава постоянно растущего семейства Hadoop.

Вот так примерно выглядит только основная экосистема Hadoop. Ниже перечислены наиболее актуальные на сегодня технологии, связанное ПО и инструментальные средства

Согласно Тиму Тулли (Tim Tully), руководителю разработок в Yahoo!, компания хранит шесть петабайт метрик на 5 тыс. узлов HBase, чтобы привести в действие Flurry Analytics только лишь для одной мобильной аналитики.

Для интерактивной аналитики в реальном времени и на уровне событий Flurry использует развитый внутренний язык запросов поверх Spark, все более популярного инструмента для обработки данных непосредственно в оперативной памяти (in-memory processing). Что здесь есть что?

HBase − это Open Source, нереляционная, распределенная СУБД, написанная на Java.

Flurry − основанная в 2005 г. компания, которая разрабатывает и продает платформы для анализа взаимодействия с покупателями с мобильными приложениями, решения для управления встроенной в приложения рекламой, а также сервис для внедрения монетизационных структур в мобильные приложения.

Apache Spark − Open Source структура для кластерных вычислений, разработанная в AMPLab университета Беркли.

Для мобильной аналитики Yahoo! сейчас находится в процессе замены HBase ПО Druid, Open Source, ориентированной на столбцы, in-memory СУБД. Фактически, Druid − это движок запросов реального времени. В Yahoo! он уже работает, − на обычных компьютерах, с оперативной памятью от 192 до 256 ГБ.

Движение к обработке данных in-memory на сегодня, возможно, самая мощная тенденция в мире баз данных, но еще больше − именно в сфере Hadoop. Особенно это касается исследовательской аналитики (exploratory analytics), свойственной Flurry.

Платформа YARN

Другая Hadoop-история наших дней в исполнении Yahoo! − управление ее озером данных объемом 600 ПБ.

Платформа YARN связывает ресурсы Hadoop с распределенной файловой системой и сама выполняет множество операций по обработке данных

Львиная доля операций по обработке данных теперь перенесена на платформу YARN, которая сама по себе является очень существенным улучшением ранних версий Hadoop.

Yahoo! была первой компанией, которая развернула YARN в большом масштабе. Модернизация до YARN, которая началась в 2011 г., позволила Yahoo! стремительно улучшить использование ее Hadoop-ресурса.

Все же для приложений аналитики, которые требуют итеративности и интерактивности, Yahoo! предпочитает использовать Spark для каждого кластера YARN. Добавьте сюда еще 3 тыс. серверов, на которых работает Storm для «почти оперативной» (near-real-time) обработки событий.

Apache Storm − это распределенная вычислительная структура, написанная на языке Clojure, или попросту «процессор событий».

Различие между Hadoop и Storm в том, что Storm обрабатывает события соответственно времени, в то время, как Hadoop или Spark обрабатывают целую партию событий за один раз. Разумеется, партия может быть большой, маленькой, или крохотной (microbatch). В последнем случае обработка, конечно, приближается к принципам Storm, но окончательно таковой не становится.

Storm действительно предназначен для обработки «шторма событий» и есть много случаев такого его использования, особенно в рекламе реального времени с обратной связью. Yahoo! − главный спонсор Apache Storm Community. Впрочем, Yahoo была также ранним спонсором Spark, когда она разрабатывалась в Беркли.

Экосистема Hadoop

Список технологий в семействе Hadoop продолжает расти. Как Yahoo! приходит к решению о необходимости добавления новой функциональности в общую вычислительную среду? Это далеко не тривиальный вопрос для компании, работающей в масштабе Yahoo. Каждая подобная инвестиция должна возвращаться по крайней мере с обеспечением гарантии безопасности нового ПО, многопользовательского режима его работы и возможности масштабирования.

Yahoo! также зависима от того, что Сингх назвал «тремя основными транспортными средствами» (three primary vehicles) − Pig, Hive/HCatalog и Oozie.

В наибольшей степени это касается технологии Apache Pig, которая фактически стартовала в Yahoo!, где и продолжает доминировать в настоящее время. Примерно 50-60% всей обработки сегодня производится с помощью ПО, написанного как скрипты Pig.

В то время как Pig обеспечивает скриптовые способности, Hive дает SQL абстракцию, а HCatalog − репозиторий метаданных (metadata repository) для всех приложений.

Наконец, Oozie − планировщик технологического процесса (workflow scheduler), который в Yahoo! используется для создания почти 70% расписаний проектов (schedule jobs).

Yahoo также − главный пользователь Tez, ПО, которое устраняет ряд неэффективностей MapReduce, включая излишнюю загрузку дисков. Согласно Сингху, «Tez работает как MapReduce, чувствует себя подобно MapReduce, но при этом не является MapReduce».

Это не слишком понятно, но можно обратиться к внешним проявлениям изменений. Обработка становится намного более быстрой, чем в MapReduce, иногда на порядок. Кроме этого, появляется возможность предсказания времени выполнения. В Yahoo! с MapReduce на Tez уже перемещены почти 60% рабочей нагрузки SQL на Hadoop. К концу 2015 г. эта цифра должна составить 100%.

О подходе «с кондачка»

Вернемся к интервью InfoWorld. Аналитики ресурса сделали вывод, что экосистема Yahoo! кажется им «сложной на грани подавляющего», − что говорить о тех, кто не знаком с предметом.

Второй вывод − компании не должны небрежно входить в сферу Hadoop и его многих спутников, если они всерьез намереваются получать существенную дополнительную ценность. Для этого необходимы знания, опыт и сами эксперты в данной области.

Итоговый вывод − если проект останавливается, или, по крайней мере, освоение Hadoop замедляется, то дело вовсе не в Hadoop, а в том, что компания не смогла грамотно использовать его.

22-23 июня в Сан-Франциско прошла конференция DockerCon 2015, где было сделано несколько интересных анонсов, отражающих текущее состояние «контейнеризации» ИТ и устремления самой компании. Их содержание ясно показало, что Docker начали серьезно воспринимать крупнейшие глобальные разработчики.

Участников DockerCon встречал 3D-логотип Docker, выполненный из Lego

Несмотря на очень успешную двухлетнюю историю, Docker все еще числится в стартапах. На вопрос, чем занимается основанная в 2013 г. компания, обычно отвечают примерно так: «Она ответственна за ускорение контейнерной технологической революции во всем мире».

Это также означает, что Docker попала во всемирное колесо индустрии ПО, отработать назад уже не может, и должна теперь, в свою очередь, очень серьезно относиться к решению поставленных самой себе задач. Мы же отнесемся к Docker уже как к «взрослой» компании и постараемся дать объективную сводку наиболее интересных событий и анонсов, которые были сделаны на DockerCon 2015.

VMware и Project Bonneville

Прежде всего, VMware, технологиям которой, собственно, и противопоставляют контейнеры, вовсе не выглядит побежденной. На конференции она объявила о начале фазы "технологического ознакомления" с Project Bonneville, который позволит компаниям, работающим в виртуализационном ПО VMware vSphere, запускать приложения, упакованные в контейнеры Docker, на виртуальных машинах (Virtual Machines, VM).

Project Bonneville позволит инженерам выбирать определенные контейнеры из библиотеки Docker Hub и затем управлять ими на виртуальных машинах с помощью специального механизма в vSphere, получившего название Instant Clone.

Подход Bonneville заключается в том, что контейнер − это VM, и VM − это контейнер. Нет никакого различия, никакой инкапсуляции и никакой специальной виртуализации. Вся необходимая контейнерная инфраструктура за пределами VM содержится в контейнерном хосте.

Таким образом, VMware, разработав собственное ПО, дающее доступ к контейнерным технологиям своим традиционным пользователям,  выступает не антагонистом, а партнером Docker.

Бета-версия Project Bonneville ожидается в третьем квартале.

Слайд из презентации VMware показывает, как средства Project Bonneville интегрируются с виртуализационным ПО vSphere

Кроме того, в рамках Project Bonneville VMware объявила о предварительном технологическом просмотре гипервизора AppCatalyst, который позволит разработчикам копировать облачную окружающую среду на свои локальные компьютеры для тестирования приложений.

VMware также показала, как можно осуществлять микросегментацию для обеспечения безопасности в контексте контейнеров Docker с ПО виртуализации сети NSX.

Docker и CoreOS

Docker и CoreOS на конференции совместно объявили, что они (вместе с несколькими ведущими ИТ-компаниями) работают над новой инициативой сообщества Linux (Linux Foundation), получившей название Open Container Project.

В отличие от многих Linux Distro, среда CoreOS четко позиционируется как Linux для развертывания серверных инфраструктур

Идея, которую сегодня разделяют все, − и пользователи, и поставщики, − заключается в том, что пора договориться о стандартной среде исполнения (runtime) поставляемых в контейнерах приложений, форматах образов контейнеров и о предотвращении ненужной фрагментации растущего "контейнерного рынка".

Главными игроками на этом рынке сегодня являются такие серьезные компании, как Amazon Web Services, Apcera, Cisco, EMC, Fujitsu, Goldman Sachs, Google, HP, Huawei, IBM, Intel, Joyent, Mesosphere, Microsoft, Pivotal, Rancher Labs, Red Hat, VMware, − и всем им хотелось бы иметь единые базовые правила игры.

Docker помог популяризировать использование контейнеров Linux как легкую альтернативу виртуальным машинам. До сих пор многие предприятия запускали целый пул приложений на каждом из их физических серверов. CoreOS предложила специально минимизированный дистрибутив операционной системы, ориентированный на инсталляции в кластерных (или, если использовать термины внешних наблюдателей, "облачных") вычислителях, и на фундаментальность контейнерного механизма развёртывания ПО.

Комитеты по стандартизации в данной области формировались уже несколько раз, поскольку в «контейнерный спектр» добавляются все новые технологии. «Цель стандартизации состоит в том, чтобы получить действующее соглашение по некоторым механизмам низкого уровня. Образно говоря, мы договариваемся о ширине рельсов, − так, чтобы все могли сосредоточиться на разработке более мощного двигателя», − сказал Бен Голуб в интервью VentureBeat.

Это − прежде всего ответ на запросы пользователей. Они говорят, что сделали крупные инвестиции в Docker и контейнеризацию главным образом потому, что не хотят волноваться о том, будут ли они в состоянии иметь способность к взаимодействию между различными инструментами, различными операционными системами и различными облаками.

Как получится в реальности, сможет ли комитет по стандартизации уменьшить контейнерный хаос, покажут ближайшие год-два.

Portworx

Стартап Portworx, специализирующийся в области контейнерных систем хранения данных (Container Storage), принес в мир ИТ понятие SDS (Software Defined Storage) для Linux-контейнеров. На DockerCon 2015 компания объявила, что получила первые 8,5 млн. долл. начального финансирования.

К контейнерной технологии, как простой альтернативе традиционным виртуальным машинам, сегодня обращается все больше компаний. Пользуясь растущим спросом, продолжают появляться стартапы, решающие различные проблемы, связанные с незрелой еще контейнеризацией.

Так, Socketplane (уже купленный Docker) и Weaveworks сосредотачиваются на контейнерной организации сети. Twistlock работает над контейнерной безопасностью. StackEngine имеет дело с контейнерным мониторингом. Теперь к ним добавилась Portworx, которая, наряду с ClusterHQ, работает в области систем хранения данных для контейнеров (data storage for containers).

Portworx пока фактически разработала ПО, которое обеспечивает поблочное хранение данных для контейнеров, − в публичной облачной инфраструктуре или внутреннем on-premise корпоративном центре данных компании-клиента, − но ее видение и амбиции простираются гораздо дальше, в область построения полных облачных Docker-инфраструктур. Предварительный просмотр ПО Portworx станет доступным в августе.

Один из экранов пользовательского интерфейса Portworx

Уже известно, что ПО Portworx будет распространяться вместе с ClusterHQ по модели Open Core, с платными проприетарными расширениями. «В текущий момент самый большой вызов для нас − если кто-то разворачивает контейнеры в структуре «VM-centric», которую мы считаем избыточной», − написал в своем блоге CEO компании Гу Рао (Gou Rao).

Рао и еще два соучредителя компании ранее работали в Dell, которая приобрела их стартап Ocarina Networks в 2010 г. (персонально Майкл Делл является официальным инвестором компании). Portworx запустилась в 2014 г. В ней сейчас работает восемь человек, а через год, как планируется, их количество возрастет до двадцати.

Container Engine и Container Registry от Google

Google сообщила на конференции, что расширила доступность нескольких своих облачных сервисов для того, чтобы работать с приложениями, упакованными в контейнеры.

• Google Container Engine, средство для развертывания контейнеров и управления ими в облачной архитектуре Google, миновало альфа-стадию и предлагается тестерам уже в бете.
• Бета-стадия уже закончена для Google Container Registry, средства сохранения образов контейнеров (Docker Container Images). Это ПО уже официально доступно.
• Google также сделала несколько твиков для Container Engine, которая основана на быстро развиваемом Google Open Source ПО для управления контейнерами (open-source container management software) Kubernetes, которое развертывает контейнеры в публичных облаках с избыточностью (multiple public clouds).

Объявлены цены на Container Engine − 15 центов в час для «стандартного» кластера со 100 постоянно управляемыми виртуальными машинами. Бесплатным будет «базовый кластер» (basic cluster) максимум с пятью узлами виртуальной машины и без постоянного управления.

Кстати, сама Google неоднократно указывала, что уже в течение нескольких лет запускает свои внутренние приложения именно в контейнерах, а не на более традиционных виртуальных машинах.

Уже общепризнано, что Kubernetes очень хорошо работает на любой инфраструктуре, но руководитель облачных разработок Google Крэйг Маклаки (Craig McLuckie) говорит, что на Google Cloud Platform «это работает чрезвычайно хорошо»

Таким образом, аналитики приходят к выводу, что Google стремится стать еще более значительным игроком на рынке публичных облачных решений, чем сейчас. Тем временем другие ведущие облачные провайдеры, − Microsoft, IBM и Amazon Web Services, − также активно работают в направлении развития контейнерных стратегий.

Но в целом широкая поддержка контейнеров − только одно из нескольких направлений, в которых конкурируют эти облачные провайдеры. Цена и географическая доступность остаются важными. Говорят, что в будущем (поскольку контейнер становится все более широко принятой "единицей развёртывания ПО" в компьютинге), основанное на облаке контейнерное хранение и управление станут не просто желательными, но уже необходимыми.

IBM как реселлер ПО Docker

IBM объявила на конференции, что является первым реселлером Docker Trusted Registry, как части ПО для построения внутренних датацентров компаний-клиентов (on-premises data centers). Docker, в свою очередь, объявила о доступности Docker Truster Registry версии 1.1. Теперь IBM будет предлагать это ПО своим клиентам в интеграции с инструментальным ПО IBM UrbanCode и PureApplication System.

Docker не является открытием и откровением для IBM, ее облачные структуры хорошо дополняются ПО от Docker

IBM также объявила о доступности IBM Containers, облачного сервиса, предназначенного для развертывания приложений в контейнерах на PaaS-платформе IBM Bluemix. IBM запустила IBM Containers в бета-версии в декабре 2014 г.

Docker открывает разработчикам доступ к последним разработкам своей контейнерной технологии в новых экспериментальных релизах ПО, которые обновляются ежедневно. Организация сети и плагины томов хранения − первые компоненты, которые будут проверены в этих релизах. Экспериментальные релизы Docker можно найти здесь.

Microsoft показывает, как создать приложение с Docker одновременно и для Windows Server, и для Linux

Марк Руссинович использует Docker, чтобы создать приложение, которое включает код, исполняемый в контейнере на Windows Server и код, исполняемый в контейнере на сервере Linux

Microsoft делает свое ПО еще более функциональным за счет использования контейнеров Docker. «Фронт-энд был написан в ASP.NET, средний ряд − в Node.js, а сервер поверх − это MongoDB», − сказал Руссинович, − «хотя это и выглядит несколько нелепо».

В дополнение к демонстрации новых кросс-платформенных контейнерных способностей, Руссинович также на глазах участников конференции настроил систему непрерывной интеграции (continuous-integration system) для тестирования и управления контейнерами с Open Source ПО Docker Compose прямо изнутри Visual Studio Online.

Кроме того, Azure Marketplace теперь отображает виртуальные машины Docker Trusted Registry. Azure Marketplace позволяет также развертывать основанные на контейнере приложения из образов Docker Hub прямо в Azure.

Руссинович даже показал, как можно развернуть мультиконтейнерные приложения как единое средство одновременно для WordPress и MySQL. Docker и Microsoft сотрудничают по нескольким инициативам, включая обеспечение поддержки контейнера Docker Windows Server.

Согласно Microsoft, выпуск контейнеров Docker, Docker Swarm и Docker Compose и их поддержка на Windows Server должны примирить сообщество Docker и клиентов. Они получат самый полный набор контейнерного опыта, охватывающий инструментарий, операционную систему и облачную платформу. В результате кросс-платформенные приложения будут разворачиваться просто и легко. Руссинович даже сказал, что «Мы воображаем мир HoloLens с контейнерами».

Поработаем до осени

По всем параметрам конференция в Сан-Франциско получилась очень профессиональной, как для двухлетней компании. Была, по сути, продемонстрирована экосистема, создаваемая вокруг Docker. Это и контейнерные системы хранения данных от Portworx, и контейнерная адаптация для VM от VMware, и инициатива CoreOS в построении специализированной «контейнерной» ОС.

Контейнерами вплотную занялись Google, IBM, и Microsoft, что само по себе говорит о серьезности данного направления. Теперь все будет происходить очень быстро, и, очевидно, уже на ближайшей европейской конференции Docker, которая пройдет в Барселоне в ноябре, мы увидим не только очередной каскад новинок, но и новые инициативы Docker, направленные на распространение контейнерных технологий в европейских компаниях самых различных отраслей.

Вообще, создается впечатление, что самые громкие имена в IT нашли себе интеллектуальную забаву и с удовольствием играют в новую страшилку. Только нужно выбрать, какими ты играешь − черными или белыми. Вот и Линус Торвальдс откровенно смеется над AI-апокалипсисом, выбрав белые фигуры.

В предыдущем блоге мы отметили, что за прошедшие несколько месяцев многие известные ученые и инженеры, включая Стивена Хокинга, сказали, что одна из самых больших угроз человечеству − искусственный суперинтеллект.

Линус Торвальдс (Linus Torvalds) не то, чтобы подключился к дискуссии, но изложил свою точку зрения в сессии вопросов и ответов с членами сообщества Slashdot, назвав эти страхи «идиотичными»

Торвальдс же указал прежде всего на достоинства и преимущества AI, попытавшись объяснить, что мы скорее увидим не Skynet, а то, что он назвал «целевым AI», (Targeted AI), который скромно и трудолюбиво выполняет синхронный языковой перевод в реальном времени, прогнозное бизнес-планирование со многими неизвестными и тому подобное.

Дайджест дискуссии на Slashdot: Торвальдс

В этом разделе приведу в сокращении смысловое изложение точки зрения Линуса Торвальдса, без кавычек. Вот что он примерно сказал.

Искусственный интеллект не станет «кибербогом» (cybergod) или даже эквивалентной человеческому интеллекту формацией. Рассматривайте его всего лишь как чуть продвинутые версии таких приложений, как Google Now или Siri.

Мы, разумеется, доберемся до AI, и это почти наверняка будет что-то очень похожее на нынешние нейронные сети. Верно то, что AI будет нуждаться в обучении, и это не будет достаточно надежно в традиционном компьютерном смысле.

Верно то, что пора снять с глаз сорокалетние шоры Пролога, когда люди еще думали, что они будут понимать, как AI принимает решения. Все это делает AI очень интересным, но также и труднопредсказуемым. Пока совершенно непонятно, какими именно будут нейронные сети, какой масштаб они примут, какие данные им потребуются на входе и какие решения они дадут на выходе. Раньше других прикладных реализаций, очевидно, появятся средства языковой обработки и распознавания образов.

Таким образом, я ожидал бы просто чего-то совсем необычного, характерного и предназначенного именно для AI, но вовсе не для человеческого восприятия. Я просто не вижу ситуации, в которой у вас внезапно случится некоторый экзистенциальный кризис, потому что ваша посудомоечная машина станет обсуждать с вами творчество Сартра.

AI-бот Евгений Густман как вершина достижений AI. Ну, если это все… Торвальдс выразился по этому поводу предельно ясно: «It's all bullshit, sane people know it's bullshit». Переведите сами

Что касается идеи «технологической сингулярности», (technological singularity), т.е., предполагаемого некоторыми исследователями короткого периода чрезвычайно быстрого технологического прогресса, я не думаю, что компьютеры внезапно научатся производить себе подобных, тем более в неограниченном количестве.

Я также не думаю, что AI каким-то образом позволит нам жить вечно, в какой бы то ни было форме − материальной или виртуальной. Возможно, «гуру сингулярности» от Google Рей Курцвейл и купился на этот миф, но я абсолютно скептичен по данному поводу. Это − научная фантастика, и не самая качественная.

Мнение сообщества Slashdot

Сообщество показало себя вполне здравым, поскольку опиралось в основном не на фэнтези, а на здравый смысл, который, собственно, и сдерживает безудержный полет фантазии стареющих ботанов. Как говорится, умные речи приятно и слушать.

Термин «AI» спекулятивно набирает популярность, особенно с последней волной стартапов Долины. Ох, бедные инвесторы.

Летающие автомобили − будущее, и они будут здесь через 3 года!
Освоение ближнего космоса − будущее, и это будет здесь через 15 лет!
Ядерный синтез − будущее, и он будет здесь через 20 лет!
Старение закончено. Вечный молодой человек − будущее, и мы будем жить вечно через 50 лет!
Искусственный интеллект – будущее… Просто будущее…

Я прочел, что Маск и Гейтс сказали об опасности AI и считаю, что их замечания трактуются прессой совершенно неправильно. Ни один из них не предупреждает об опасности AI, подобной Skynet.

Они обращаются к намного более простому, и гораздо лучше определенному, подобному вирусу AI. Не исполнение роли человека AI, но AI, который в состоянии приспособиться к различным целевым системам, таким, как фондовые биржи, финансовые учреждения, сети компаний и т.п. Здесь опасность реальна, но такие системы всегда так или иначе управляются человеком.

И все-таки нужна оговорка

Безусловно, «разумностью» в человеческом смысле в области AI пока и не пахнет. И еще долго «не запахнет». И все же стоит прислушаться к мнению еще одного участника дискуссии, который откровенно играет черными − Билла Гейтса.

Он, со своей стороны, обращает внимание на более приземленное, но гораздо более насущное и опасное, близкое к AI явление, приводя как пример боевых роботов, которые сегодня разрабатываются по крайней мере в 50 странах мира.

Это не AI в понимании ученых. Здесь вполне достаточно принципов и алгоритмов продвинутой автоматики − «if на движущемся объекте нет определенного опознавательного знака, then уничтожить его else предупредить об опасности выстрелом в воздух». Просто, понятно и однозначно.

Не так эффектно, как в «Терминаторе», но вполне эффективно для уничтожения наземных целей

Это вполне реализуемо и уже реализовано, например, в ПО супердрона Predator. Почитайте, как он работает.

Это − серьезная и важная общемировая проблема, для которой пока даже на ищется решения. Боевые роботы не запрещены и не ограничены ни одним международным соглашением. Они действительно представляют реальную опасность.

А искусственный интеллект… Не более чем интеллектуальная жевательная резинка для нобелевских лауреатов.

В Нью-Йорке 9 июля 2015 г. прошел очередной Amazon Web Services Summit. Его тон задавала двухчасовая презентация CTO Amazon Вернера Фогельса, согласно которой основной задачей облака сегодня становится предоставление готовых высококачественных приложений.

Традиционно разработчики приложений должны были сначала рассмотреть и понять корпоративную IT-инфраструктуру, чтобы затем создавать приложения для нее. Сегодня это уже не так. Забудьте об инфраструктуре, говорит CTO Amazon Web Services (AWS), и просто создавайте приложения.

Доктор Вернер Фогельс (Werner Vogels) − главный инженер Amazon.com, отвечающий за разработку и реализацию технологического видения компании, которое сегодня заключается в постоянном наращивании инноваций для клиентов Amazon в глобальном масштабе.

До того, как Фогельс присоединился к команде Amazon, он работал исследователем в Cornell University, где был научным руководителем нескольких работ в области масштабируемости и надежности корпоративных систем обработки данных для решения ответственных задач.

В AWS он сосредоточился на том, чтобы дать возможность разработчикам создавать непосредственно приложения. В результате Amazon в последние годы запустила более 500 новых сервисов, и некоторые новые из них были объявлены непосредственно на саммите.

«Если раньше ключевым параметром облачных решений были цены», − сказал Фогельс, − «то сейчас акцент сместился на «проворство» (agility) сервисов и тестирование новых приложений быстрее, чем прежде, − для их последующего тиражирования».

Фогельс образно сравнил новые правила разработки облачных приложений с приготовлением стейка, где проворство − сам стейк, а снижение цен − шипение при его жарке. Общий вывод его ключевой презентации был следующим: «теперь все − программное обеспечение, и больше нет никаких аппаратных средств».

Docker, API и Case Study

В своей презентации Фогельс на время передал эстафету Киту Хоумвуду (Keith Homewood), старшему архитектору приложений компании Nordstrom, который поделился опытом ритейлера, использующего облачные сервисы AWS.

Хоумвуд подробно рассказал, как Nordstrom использует сервис Amazon Lambda для создания «рекомендационной машины» (recommendation engine), которая помогает клиентам найти подходящие им продукты.

Фогельс прокомментировал это следующим образом: «Lambda − самая классная вещь, которую мы сделали. Она позволяет разработчикам строить код без инфраструктуры. Очевидно, что никаким сервером невозможно управлять легче, чем не существующим вообще».

Он также выдвинул на первый план Amazon EC2 Container Service, который помогает разработчикам использовать контейнеры Docker. В качестве примера был приведен образовательный онлайн-сервис Coursera − клиент Amazon, использующий контейнерный сервис. Такой подход помогает оценить использование ресурса в реальных цифрах и помочь оптимально распределять приложения при множественных запросах.

Министерство транспорта Нью-Йорка также использовала AWS, чтобы построить свои кратные (multiple) приложения, которые позволяют жителям Нью-Йорка более легко перемещаться по огромному городу. Кордел Шачтер (Cordell Schachter), CTO of New York City Department of Transportation

Продолжая облегчать жизнь мобильных разработчиков, Фогельс анонсировал AWS Device Farm, сервис для построения и тестирования приложений для всего множества существующих мобильных устройств

Еще один анонс относился к Amazon API Gateway, дающий разработчикам приложений движок поставки облака клиенту, с помощью которого можно как разделять приложения на меньшие блоки, так и соединять блоки в единое целое

Таким образом, современный интернет − это «все об услугах», подытожил Фогельс, − а то, что он позволяет, реализуется прикладным программным интерфейсом (Application Programming Interface, API). Никогда до сих пор не было лучшего времени для создания облачных интернет-приложений.

От себя добавлю − и перестаньте, наконец, считать Amazon книжным интернет-магазином. Сервис AWS четвертый год подряд занимает позицию лидера в «Magic Quadrant for Cloud Infrastructure as a Service, Worldwide». В отчете за 2015 г. было отмечено, что AWS на сегодня обладает самым высоким в мире уровнем комплексного видения и максимальными возможностями при предоставлении облачных сервисов.

Вот уж действительно − глаза боятся, а руки делают. Человечество предостерегает само себя от грядущего засилья Artifical Intelligence − и в то же время продолжает активно развивать его. Это какой-то парадокс − «Cкоро искусственный интеллект уничтожит нас. Вот только сейчас доделаем его, и можно начинать».

Дискуссия по данному поводу несколько выходит за рамки «обсуждений на лавочке» и даже за круг интересов так называемых «научно-популярных» (а в действительности зачастую откровенно желтых и псевдонаучных) изданий и ресурсов».

С начала 2015 г. группа всемирно известных ученых не то, чтобы борется, но предостерегает человечество от последствий увлечения искусственным интеллектом (Artifical Intelligence, AI).

Этот демарш не остался незамеченным. Другая группа ученых призывает интенсифицировать развитие AI, поскольку он обещает дать каждому человеку небывалые интеллектуальные возможности.

Это − плакат, который был представлен на выставке «Pencil to Pixel 2011», организованной глобальной компанией-артстудией Monotype. Решите сами, боитесь вы распространения искусственного интеллекта или нет.

Громкие имена, на которые мы будем ссылаться ниже, известны многим и многим. Однако давайте все же официально представим противоборствующие стороны.

Опасаются AI: Стивен Хокинг и Элон Маск

Их открытое письмо, адресованное нашей цивилизации (и поддержанное многими знаменитостями) предупреждает, что люди должны осознавать риски, связанные с безудержным развитием AI.

Стивен Хокинг (Stephen Hawking). Британский физик-теоретик, космолог (cosmologist), автор множества работ и директор по науке Центра теоретической космологии Кембриджского университета (Director of Research at the Centre for Theoretical Cosmology within the University of Cambridge). Родился 8 января 1942 г.

Элон Маск (Elon Reeve Musk). Родился в ЮАР. Ныне канадско-американский бизнесмен, магнат, инженер, инвентор и инвестор. Он CEO и CTO компании SpaceX, CEO и продукт-архитектор Tesla Motors и председатель совета директоров SolarCity. Родился 28 июня 1971 г.

Аргументы

Их хорошо изложил Сэм Шид (Sam Shead), журналист, пишущий для многих ресурсов, и специалист по Science Communication, в своей статье от 12 января 2015 г.

Пресловутое письмо, поддержанное десятками других ученых, предпринимателей и инвесторов, заявляет, что в области AI должно быть уделено больше внимания безопасности и социальным последствиям его распространения.

Письмо и приложенная к нему научно-исследовательская работа от Института будущего жизни (Future of Life Institute, FLI) содержат рекомендации в том, как именно ученые должны развивать AI, а также целую россыпь страхов о том, что машины собираются превзойти способности людей во многих областях жизни и перекроить ситуацию на рынке рабочей силы.

Основной страх заключается в том, что однажды процесс развития AI выйдет из-под контроля человека. Маск несколько ранее сказал, что безудержное развитие AI может быть «потенциально более опасным, чем ядерное оружие».

Эксперты некоторых крупнейших технических корпораций в мире − включая команду суперкомпьютера IBM Watson, Google, Microsoft Research и Amazon − также подписали письмо.

Хокинг в интервью BBC в начале 2015 г. сказал, что «реализация всех возможностей AI может означать конец человеческой расы. Люди, которые принципиально ограничены медленным биологическим развитием, не смогут конкурировать и будут заменены».

Справедливости ради надо отметить, что письмо также указывает, что существует много выгод, которые будут реализованы, если AI будет развиваться «правильно».

Но что означает «правильно»? В общем, сегодня полно примеров безопасного, «беззубого» развития AI. Это, например, Apple Siri, который позиционируется как «личный разумный помощник» (Intelligent Personal Assistant, IPA) или потешные самобеглые машинки от Google.

Однако поди попробуй установить единую линию развития, если только в Силиконовой Долине сегодня в области AI работают более 150 стартапов и каждый из них соблюдает строжайший режим секретности.

Что именно они делают, неизвестно, − как и то, что будет, когда их очередное детище вырвется на свободу. Впрочем, это уже отдает терминаторской SkyNet и человеческой паранойей.

Двумя руками за AI: Рэй Курцвейл

Рэй Курцвейл (Raymond "Ray" Kurzweil). Американский компьютерный ученый, инвестор, футурист и Director of Engineering в Google. Родился 12 февраля 1948 г.

В то время как Стивен Хокинг и Элон Маск призывают человечество быть против бесконтрольного развития искусственного интеллекта, Рей Курцвейл исповедует иной подход к инновациям на AI-фронте.

«Согласно Курцвейлу, люди будут «искусственно умны» (will be artificially intelligent) уже к 2030 г., становясь наполовину homo sapiens, наполовину компьютером», − отметила 6 июня 2015 г. в своей статье на ресурсе Digital Trends обозреватель Лулу Чанг (Lulu Chang).

Совсем недавно, 3 июня 2015 г., на конференции Exponential Finance 2015 в Нью-Йорке, Курцвейл сделал еще один шаг. Он впервые сформулировал новое глубокое положение в AI − «Наше мышление (thinking) тогда станет гибридом биологического и небиологического мышления. Мы собираемся постепенно объединить и тем самым значительно усилить их. Природа ограничила наши возможности, чтобы мы оставались людьми. Теперь мы преодолеваем эти ограничения».

Уже через 15 лет, сказал Курцвейл, человеческий мозг станет гибридом биологии и технологии, и мы «разместим ворота в облако прямо в наших мозгах (put gateways to the cloud in our brains)». Поскольку облако становится все более продвинутым и в состоянии хранить все увеличивающееся количество информации, это же будет относиться и к нашему мозгу.

К концу 2030-х, или к началу 2040-х большинство функции мозга, − по крайней мере с точки зрения обработки информации и мыслительных процессов, − будут небиологическими.

Но Курцвейл вообще известен своими многочисленными и порой диковинными провидениями. Из 147 предсказаний, которые он сделал на 2009 г. в течение 1990-х, 86% оказались верными, включая основные применения портативных компьютеров и компьютерных очков. Он также предсказал победу компьютера в шахматах.

Бывал он и излишне оптимистичен, − например, с самоуправляемыми автомобилями, которые уже должны были бы колесить по градам и весям. Правда, он отлично пояснил это, раскритиковав себя самого. «Технология − обоюдоострый меч, и у каждой технологии свои обещания и свои опасности», − сказал он. К автотрафику это подходит как нельзя лучше.

Так что Курцвейл, хотя и находится среди оптимистов и приверженцев AI, вполне осознает ситуацию. «У нас есть некий моральный императив. Я склонен быть оптимистичным, но это не означает, что мы должны быть убаюканы и ни о чем не беспокоиться», − говорит он. − «Есть, конечно, значительные этические дилеммы, которые нужно рассмотреть. Например, должны ли люди когда-нибудь стать киборгами. Но давайте будем думать об этом тогда, когда доберемся к возможной реализации такой возможности».

Привет? Пока?

Вот и попробуйте определить, что означает этот жест: «Приветствую тебя, человек!» или «Стой! Тебе сюда нельзя!»

Ну, я бы сказал, что Хокингу, Маску, Курцвейлу и иже с ними, в общем, ничего не угрожает. Они трудоустроены, заняты интереснейшей работой, к какой бы области она ни относилась и, очевидно, не закончат свои дни на помойке.

Так что «проблема AI» поворачивается своей другой, намного более уродливой и страшной стороной. В мире людей подавляющее большинство составляет мало на что способная биомасса. Очень мило, что высоколобые уже сегодня заботятся о ней, хотя и довольно странным образом − пытаясь ограничить или замедлить развитие AI.

Возможно, в этом есть определенный смысл − голодная толпа не будет разбираться в устройстве AI. Прецедент существует − в 212 г. до н.э. при осаде Сиракуз римский солдат (просто пробегая мимо) зарубил 75-летнего Архимеда, который мирно чертил что-то на песке.

Действительность такова, что корпоративные IT сегодня должны обеспечивать гораздо большие рабочие нагрузки, чем любое из существующих проприетарных решений. И тут на сцене (в который раз) появляется Red Hat, которая заявляет, что нынче Open Source все по плечу.

Основных положений два:

1. Open Source сегодня в наибольшей степени удовлетворяет требованиям предприятий.
2. Это полностью изменяет иерархию значимости разработчиков.

Так ли это? В смысле, не заврались ли вы, господа?

Только что прошедший саммит Red Hat (Бостон, 23-26 июня 2015 г.) утверждает, что нет. На нем обсуждался удивительно широкий спектр корпоративных Open Source решений высшего класса, от собственной контейнерной платформы Red Hat OpenShift до ПО для мобильных устройств, разработанных ею же в рамках соглашения с Samsung по безопасности и аналитике.

Вот очень краткий, крупными мазками, обзор этого шабаша Red Hat.

Партнерские соглашения Docker выглядят просто устрашающе. IBM очень мощно поддерживает Docker, можно сказать, ставит на него. Google быстро становится одной из основных сил в данном направлении.

И едва ли не последним гвоздем (сами знаете, куда) выступает Apple, которая привнесла в мир корпоративных Open Source IT свой язык программирования Swift с поддержкой форматов и стандартов IBM.

Быстро совершенствуются OpenStack, Hadoop и CloudFoundry. Именно они, в частности, показывают, как Open Source осваивает новые рабочие нагрузки.

В докладе для аналитиков Red Hat показала простенькую (выражающую не то гордость, не то ужас) диаграмму по поводу количества выполненных в 2007-2015 г. корпоративных Open Source внедрений во всем мире (шкала по оси Y – от 200 тыс. до 1,4 млн.)

И все же, почему Open Source решения становятся такими привлекательными для предприятий?

Ларри Дигнэн (Larry Dignan) из Between the Lines в своей заметке с конференции от 28 июня 2015 г. объясняет это очень просто (хотя, может быть, слишком просто), – «Предприятия не хотят быть стесненными в своих стремлениях. Проприетарные IT могут стать тупиком развития» (в оригинале интереснее – «innovation dead-end»).

Но, впрочем, все вовсе не так безнадежно, и, вообще-то, никто не собирается рвать на груди рубаху за свое исключительно проприетарное ПО. Фактически, многие крупнейшие разработчики коммерческого ПО, – хотя бы VMware, Microsoft, EMC, Cisco и IBM, – уже так или иначе встраивают или интегрируют Open Source в свои решения.

Каким образом они это делают? Как говорит Дигнэн, «они обертывают свои коммерческие инструменты вокруг Open Source ядра. Кто-то в большей степени (как IBM), кто-то в меньшей, но общая тенденция видна хорошо».

Следствие. Если продавец сегодня хочет соблазнить кого-то своим решением (будь то аппаратные средства, ПО или услуги), где-то там внутри должно быть и ПО с открытым кодом.

Конечно, в определенном смысле это может выглядеть модой, пузырем или золотой лихорадкой, и совершенно неизвестно, как корпоративное Open Source ПО скажется на долгосрочной IT-стратегии предприятий. Тут я разделяю мнение скептика Дигнэна о том, что кто-нибудь неизбежно «шлепнется так, что гул пойдет» (flop) на этой скользкой дорожке.

Но одна вещь кажется совершенно ясной – для самой Red Hat наступают небывало хорошие времена. Теперь она с Red Hat Enterprise Linux вхожа туда, куда ее ранее старались особо не пущать – на стратегическую кухню предприятий.

В любом случае, аналитики сходятся во мнении, что в ближайшие годы разработчики и внедренцы корпоративных решений неизбежно столкнутся с длительным и трудным циклом продаж, – если не смогут продемонстрировать заказчику какую-то собственную Open Source изюминку.

IBM и Box, которая сегодня позиционируется как «провайдер в области совместной работы в облаке» (cloud collaboration provider), объявили о «профилирующем глобальном партнерстве» (major global partnership), которое предполагает, что эти две компании объединят свои технологии в соответствующие решения.

Если кто-то думает, что путь Box в последнее время был усыпан розами (особенно после IPO в конце января 2015 г.), то он глубоко ошибается. Ну и что, что на снимке все улыбаются, а состояние соучредителя и СЕО компании Аарона Леви (Aaron Levie) оценивается примерно в 100 млн. долл.?

Сложный период выхода на биржу окончен, аналитиками Уолл-стрит акция признана «довольно удачной». Шампанское выпито и теперь нужно думать, как «снискать хлеб насущный».

Кое-что по этому поводу я написал в блоге «Box, Google и то, чего еще нет» от 7 мая 2015 г., когда Box провела свое первое после IPO крупное мероприятие boxdev15, на котором Леви в панельной дискуссии обсуждал будущее платформы с исполнительным председателем Google (Google’s Executive Chairman) Эриком Шмидтом (Eric Schmidt).

Эта беседа не задавала тематику и тон всему мероприятию и прошла как бы между прочим, − между завтраком и ключевой презентацией. Тогда Леви туманно сказал, что «это наш шанс изучить лучшие методы по опыту людей, прошедших аналогичный путь». Теперь понятно, что Box фактически вела переговоры с Google о партнерстве, которые не принесли в конце концов ощутимого результата.

Надо сказать, что положение Box в апреле-мае трудно было назвать отличным, а перспективы − радужными. В течение целого месяца только что выпущенные акции компании медленно, но неуклонно падали, и только с первыми слухами об удачных переговорах с IBM слегка подпрыгнули, − как и в день, когда было объявлено о партнерстве».

Вот как сегодня выглядит диаграмма стоимости акций компании на NYSE за последние полгода.

Еще недавно Box можно было отнести к категории убыточных облачных провайдеров, которые отчаянно пытаются найти способ проникнуть на предприятия и обеспечить эффективность своих затрат. Недавние подсчеты показали, что на каждый доллар дохода Box тратила 97 центов на обеспечение продаж и маркетинг.

Руководители Box хорошо уяснили себе, что лучший способ сделать бизнес финансово жизнеспособным заключается в том, чтобы сформировать стратегические партнерства, которые поместят ее коллаборационную платформу в самое сердце предприятия-клиента.

Соглашение с IBM − большая победа Box, заслуга ее руководства и лично Аарона Леви. Если говорить без обиняков, Box удалось фактически удачно продать свою коллаборационную платформу IBM. Она теперь будет так глубоко встраиваться в корпоративные решения IBM, что вытащить ее оттуда не представляется никакой возможности.

Двухсторонние взаимоотношения в первую очередь приведут к тому, что IBM встроит Box API в свои iOS-приложения, как часть ее инициативы MobileFirst, в то время как Box будет работать над объединением своей коллаборационной платформы с портфелем программного обеспечения и услуг IBM.

На прошлой неделе Box объявила также о партнерстве с Microsoft, которая будет интегрировать платформу Box в свой Office 365. Аналитики предполагают, что Microsoft в течение некоторого времени маневрировала, чтобы в конечном счете полностью выкупить Box. Это было вполне вероятно до 24 июня 2015 г., когда оказалось, что у Box есть и «план Б».

В любом случае нужно отдать должное Аарону Леви, который хорошо понимал, что как разработчик и поставщик самостоятельной коллаборационной платформы Box имеет мягко говоря, неустойчивые шансы на рынке. Но он смело пустился в плавание между такими гигантами как Google, Microsoft и IBM, и, в конечном итоге, не прогадал.

Можно не обращать особого внимания на его дежурную фразу о том, что «сегодняшние цифровые предприятия требуют технологий мирового класса, которые преобразуют принципы их внутренней и внешней деятельности»

Но нужно полностью согласиться с его же словами о том, что «этот обширный союз между Box и IBM открывает захватывающие перспективы для обеих компаний, которые смогут выйти на новые рынки и предоставить объединенные решения и услуги (unified solutions and services), которые могут переопределить целые отрасли промышленности, − за счет организации продвинутой и безопасной совместной работы (advance secure collaboration) и революционного преобразования корпоративных мобильных технологий (revolutionize enterprise mobility)»

Нет сомнений, что теперь, с IBM, это будет сделано реально и быстро. Боб Пицциано (Bob Picciano), старший вице-президент IBM Analytics, сказал по данному поводу просто и правдиво − «это партнерство должно изменить сами принципы повседневной работы корпораций и специалистов множества профессий. Воздействие почувствуют эксперты и профессионалы в таких отраслях промышленности, как здравоохранение, финансовые услуги, юриспруденция и инжиниринг, − везде, где люди захлебываются сегодняшним потоком цифровых данных и ищут лучшие решения, чтобы управлять большими объемами информации более разумно и надежно».

Джон О'Брайен (John O'Brien), директор по научно-исследовательской работе TechMarketView, в своем анализе отметил, что, в то время как партнерство − большое событие для Box, в отношении IBM это также подтверждение того, «что у нее на руках не все тузы». Так что благотворительностью со стороны IBM тут и не пахнет.

И все-таки, по словам О’Брайена, «эта связь − совершенно понятная новая главная возможность для Box, которая отчаянно нуждалась в тесных взаимоотношениях и поддержке со стороны крупнейших IT-компаний и сервис-провайдеров, таких, как IBM и Microsoft, чтобы расширить область проникновения ее разработок на предприятия».

А для IBM это соглашение показывает, насколько важно даже крупнейшим компаниям теперь быть партнером таких новых и инновационных игроков, как Box, чтобы увеличить собственные облачные возможности. И совершенно понятно, что единого ответа и единого похода в данной области сегодня быть просто не может.