Ричард Конвей, Elastacloud: «Отправить код в облако можно на любом языке»

Наш нынешний гость — Ричард Конвей, директор британской компании Elastacloud, является одним из ведущих экспертов в области облачных технологий. Он принимал участие в разработке крупнейших проектов на базе Microsoft Azure Stack, поэтому наша встреча с ним началась с обсуждения того, каким образом он пришел в данный бизнес.

Пять лет назад я и мой партнер по бизнесу, который ныне занимает пост CEO в Elastacloud, решили сосредоточиться только на облачных технологиях и анализе больших данных. В то время нас не понимали многие из наших партнеров и заказчиков. Слишком уж пугающе новыми на тот момент были эти технологии. Впрочем, так обычно и происходит со всем новым. Эта настороженность и послужила толчком к созданию в Великобритании сообщества, которое помогло бы разобраться в том, как лучше использовать облачные вычисления. Сначала встречи проходили раз в две недели. И сразу же к ним был проявлен большой интерес, так что очень быстро комнаты, вмещавшей 100 человек, стало недостаточно. И вскоре у нас было уже 1000 членов сообщества. А через пять лет мы выросли до сообщества национального масштаба, насчитывающего около 5000 членов. А наша компания появилась на свет, как только мы поняли, насколько эффективны «облака». Причем она была создана в течение нескольких месяцев с помощью все того же сообщества. И с первых дней существования Elastacloud мы ориентировались на тесное сотрудничество с Microsoft, применяя Azure Stack.

Давайте поговорим о технологиях. Что вы можете сказать по поводу определения «большие данные» в текущем их понимании?

Когда говорят о больших данных, как правило, подразумевают сочетание трех преимуществ: скорости, разнообразия и объема (velocity, variety, volume). Идея скорости заключается в возможности быстро вводить и обрабатывать очень большие объемы информации. Разнообразие — в том, что у вас может быть много источников и типов данных, и вы можете использовать их все для принятия решения на базе больших данных. А главная проблема в том, чтобы объединить эти источники и согласовать их, дабы сделать корректные выводы. Как правило, это огромные проекты. И последнее — объем, так как накапливается столько информации, что иногда просто ломается корреляционная модель данных. Причем, данных оказывается настолько много, что БД просто не могут их вместить. Так, случай, с которым я когда-то столкнулся в ASOS, связан с тем, что за последние два года было накоплено 50 ТБ информации о том, по каким ссылкам переходили посетители веб-сайта компании. И все это очень важно для понимания того, кем являются ее клиенты, и что их интересует. И для анализа таких больших данных как раз и требуется технология исследования больших данных (mining).

При создании решений на базе технологии больших данных задействуются большие вычислительные ресурсы. Это может быть 500 или даже 1000 серверов, и «облако» предоставляет их в наше распоряжение.

Но не всякий большой объем информации можно назвать «большими данными». Поскольку большие данные не имеют логической схемы в отличие от корреляционных БД, у которых таковая имеется, то один из ключевых моментов заключается в том, чтобы найти, на что эти данные похожи. Еще одна задача заключается в том, чтобы данные имели смысл. Так, например, речь может идти о небольших объемах, содержащих огромное количество информации. Поэтому необходимо ограничивать данные. Нет смысла в их сборе в течение пяти или десяти лет. Зачастую вполне достаточно одного месяца. Технологии больших данных в таком случае могут быть столь же эффективными.

Не так далеко ваша компания представила инструменты Fluent Diagnostics и Fluent Management. В чем суть этих разработок?

Оба эти созданные нами решения имеют лицензии open source. На момент начала работы над ними Microsoft не имела инструментов управления облаком. Поэтому нам пришлось восполнить этот пробел, чтобы иметь возможность конфигурироваться в облаке виртуальные машины и системы хранения. Причем, в то время пакет .NET не включал таких функций. Поэтому мы решили создать библиотеку, которую затем стали активно распространять. А среди преимуществ разработанного нами программного обеспечения отмечу способность автоматически диагностировать любые проблемы в «облаке» Microsoft. Но, в то же время, это ПО позволяет вам использовать такие языки, как C# и VB.NET для создания виртуальных машин. Дело в том, что в то время это был единственный способ сделать это программно. В результате у нас появилось много тысяч пользователей. Мы уже четыре года удерживаем позиции, а эти технологии до сих пор используются в эксплуатируемых системах. Впрочем, Microsoft уже успела реализовать аналогичные инструменты и сейчас располагает гораздо более продвинутыми технологиями.

Какое место занимает open source в развитии индустрии и, в частности, в облачных решениях?

Ныняшняя Microsoft очень отличается от Microsoft пять лет назад. Сегодня мы имеем таких лидеров, как Сатья Наделла (Satya Nadella) и Скотт Гатри (Scott Guthrie), которые прилагают все усилия для того, чтобы компания создавала много решений с открытым исходным кодом. Та же Azure — это открытая платформа, а все работающие в Azure предприятия используют так называемые REST-технологии (Representational State Transfer). И это дает возможность применять любой язык разработки — PHP, Python или Java. Таким образом, в обновленной Microsoft много наборов инструментальных средств создавалось с использованием этих языков, а также .NET. Это фактически говорит о том, что .NET в новой Microsoft является только одним языком из многих других. Очень важно отметить, что компания теперь способствуют разработке программного обеспечения с открытым исходным кодом. Если бы я хотел написать код, то я мог бы сделать это в среде разработки Microsoft на моем компьютере под ОС Windows или на Linux-компьютере, используя визуальные инструменты. Так, Microsoft пытается расширить возможности разработчиков программ с открытым исходным кодом. И среда разработки сейчас очень сильно привязана к «облаку». Таким образом, вы можете отправить код непосредственно в «облако» на любом языке.

Сегодня активно обсуждается насколько безопасно хранить свои данные в облаках. Являются ли облачные решения достаточно надежными?

Действительно, безопасность является объектом пристального внимания, когда речь идет об облаках. Многие использующие их клиенты хотят сохранить анонимность своих данных. Для этого из них удаляется вся личная информация, и лишь затем идет их пересылка в облако. Первое, что нужно сказать, что не все данные должны быть перемещены в облака. И ту информацию, которую по каким-то причинам для заказчика не желательно размещать в облаке, можно хранить и в пределах компании. Тем более что уже имеются технологии, которые объединяют облачные и локальные ресурсы, унифицируя доступ к ним.

Кроме того, Microsoft предоставила клиентам возможность использовать свое собственное шифрование для баз данных, они могут и управлять шифрованием REST. Таким образом, даже Microsoft не имеет доступа к ключам шифрования, а информация никогда не покидают физическую среду. И все это для того, чтобы дать клиентам уверенность, что никто не может похитить их данные.

Еще один важный аспект обеспечения безопасности — физическая защита ЦОДа. Например, центры обработки данных Microsoft построены по модульному принципу. Все входящие в его состав серверы размещаются в контейнерах. И на защищенную площадку такие контейнеры прибывают с завода на грузовике, где к контейнеру подключается электропитание и сетевые соединения. В контейнере находятся все средства для удаленного управления и локального охлаждения. И в течение всего срока эксплуатации за запертые двери контейнера не попадает никто, а значит, и нет физической возможности взлома и кражи данных.

Сегодня наиболее распространены три облачные платформы — Microsoft Azure, Amazon Web Services и Google Cloud Platform. Какие особенности реализованы лучше, а какие хуже в каждом из этих решений, и какие виды приложений являются оптимальными для этих платформ?

Мой опыт использования Google Cloud Platform ограничен, но я много слышал об этой платформе. И должен сказать, что некоторые клиенты не слишком довольны решениями Google. Дело в том, что предоставляемые заказчикам платформы построены иначе, чем те, что применяются самой Google для анализа данных и для поисковых платформ. Среди преимуществ облачной платформы Microsoft стек технологий Cosmos, которые без преувеличения можно назвать прорывом. Они применяются и в облачной платформе Azure, и в поисковике Bing. У Amazon просто фантастическая IaaS, которой очень довольны многие клиенты. Но Amazon не предлагает подобного уровня для платформенных решений, как у Microsoft. Напомню, Microsoft в 2012 году предложила собственную IaaS. Она конечно не так хороша, как у Amazon, но платформенные решения Microsoft, на мой взгляд, лучшие из всех облачных решений. Впрочем, все зависит от того, для каких целей они используются. Так Amazon может быть хорошим выбором для переноса в облака инфраструктур, особенно на базе Linux. Если же вы планируете реализацию в облаке множества различных сервисов, включая обработку данных, если вам необходимо большое количество виртуальных машин, тогда предпочтительнее будет Azure.

Когда клиенты спрашивают меня, должны ли они использовать то или другое облачное решение, я просто советую провести тестирование. И очень часто оказывается, что между платформами нет большой разницы. И в Amazon, и в Azur производительность оказывается практически одинаковой.

Где, как мне кажется, Microsoft имеет небольшое преимущество, так это в лучшем доступе к облаку, в лучшей стыковке с инструментами разработки, в лучшем API. Некоторые версии Amazon API делают то же самое, но не всегда полностью совместимы, нет инструментов обеспечения жизненного цикла разработки, которые есть у Microsoft. Еще одним преимуществом Microsoft является лучшее обучение. Все же Amazon изначально не была технологической компанией, она пришла из сектора розничной торговли, и для использования технологий должна была изучить множество того, через что Microsoft прошла при создании ПО. Но на данный момент IaaS все же очень хороша именно у Amazon. Подтверждением того являются многочисленные положительные отклики клиентов. В то же время PaaS в Azure, без сомнения, лучше. Я очень надеюсь, что в следующем поколении технологий мы увидим, что IaaS в Azure будет становиться все лучше и лучше и, в конце концов, станет наилучшим облачным решением на рынке.

Сегодня считается, что для бизнеса оптимальным является использование гибридных облачных решений. Что вы можете сказать об этом подходе?

Многие компании не хотят управлять инфраструктурой, так как это очень дорого. Необходимо платить зарплату персоналу, поддерживать, обновлять и покупать аппаратные средства, платить за лицензии и многое другое, что относится на капитальные расходы. Поэтому заказчики внимательно изучают облачную модель, которая предусматривает в основном операционные расходы. Первоначально встречалось некоторое сопротивление, поскольку клиенты хотели бы детально знать, на что идут их средства. По мере понимания модели оплаты услуг в облаке, они получили лучший доступ к интересующей их информации. Я думаю, что главным достижением внедрения новой парадигмы стал перелом в сознании: ведь появление гибридных облаков позволило увидеть, что большая часть оборудования в компаниях никогда не используется. К примеру, компания может располагать парком из 20 серверов, ресурсы которых используются всего на 2%, или иметь только два сервера, но которые нагружены на 100%. Таким образом, облако позволяет понять, что содержать большой парк оборудования — это просто расточительство. И все сомненья сразу же развеиваются, как только происходит миграция в облако и подсчитывается ее стоимость. При этом компании сохраняют управление, так как они расширяют границы своих сетей с помощью VPN между всеми офисами и инфраструктурой в облаке.

Кроме того, они могут подписать SLA на каналы связи между сетью и облаком, что обеспечит им необходимую пропускную способность. Много серверов и сервисов могут быть перемещены в облако: такие как Exchange, SQL, Web, файловые сервисы, сетевые службы Windows и ряд других. Все они могут быть использованы сотрудниками непосредственно в облаке. Если же унаследованная инфраструктура становится слишком медленной, тогда просто увеличивается ширина полосы пропускания соединения с облаком, ведь можно задействовать высокоскоростные гигабитные сети.

А каково место машинного обучения в современном мире ИТ?

Почти 90% работы, которую мы делаем сегодня, имеет элементы машинного обучения. Для его реализации у Microsoft имеются такие технологии, как Azure ML и Cortana Analytics. Это позволяет меньше волноваться о математике, которая является весьма сложной составляющей в машинном обучении, а больше о технике. Приведу пример разработанного нами решения, использующего машинное обучение, которое принесло большую пользу в Великобритании. Несколько лет назад в стране был изменен закон об образовании, в результате чего появились колледжи для дальнейшего образования (типа народных университетов — ред.). Правительство выделило на эти цели средства. Затем закон был изменен таким образом, чтобы ни один из студентов не остался без работы после окончания таких курсов. Но для ее получения необходимо полностью завершить обучение, тогда же компенсацию за пройденный курс получает и учебное заведение. Проблема заключалась в том, что многие студенты, не закончив, бросали эти курсы, из-за чего учебное заведение теряло значительные суммы. Наше решение было создано в сотрудничестве с Derby College, который получал от правительства примерно 10 млн. фунтов на обучение нескольких тысяч студентов. Но администрация не могла гарантировать, что студент собирается окончить полный курс.

Для принятия корректного решения о приеме того или иного студента, мы стали собирать всю доступную информацию о нем, чтобы на самом деле понять, закончит ли он курс или нет. При этом принимался во внимание его возраст, учился он или нет прежде, как далеко он живет от колледжа, учился ли он прежде на аналогичных курсах, насколько предмет, который он изучает, отличен от того, чем он занимался, из академической он семьи или нет, кто его родители. Затем мы применили методы машинного обучения, чтобы выдать оценку, которая помогает интервьюеру решить, сможет ли этот студент закончить колледж. И обнаружилось, что это решением оказалось невероятно эффективным. Методы машинного обучения помогли нам предсказать с точностью 88-89%, останется ли данный студент в колледже. А это, в свою очередь, прогнозирует, получит ли колледж доход. Так мы смогли создать условия, чтобы студент сделал правильный выбор.

Расскажите о самом экзотическом примере реализации облачных технологий в своей практике.

Недавно нам довелось работать с несколькими инженерами, которым мы помогли масштабировать их решение с помощью Azure. Его суть связана с расчетами воздушных потоков, огибающих здание. Это весьма сложная математическая задача. Большинство применяемых для этого программных пакетов работают под Linux. Нам же пришлось использовать несколько экземпляров программного обеспечения, которое рассчитано для работы на персональных компьютерах, и заставить их работать на виртуальных машинах, чтобы выполнить эти расчеты в кратчайшие сроки. Прежде на выполнение такой задачи отводилось две недели, нам же удалось сократить это время до двух часов.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365