`

СПЕЦІАЛЬНІ
ПАРТНЕРИ
ПРОЕКТУ

Чи використовує ваша компанія ChatGPT в роботі?

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Александр Черников

Новое в Cloud Computing: репликация и туман

+33
голоса

По мере того, как облачные технологии становятся все более привычными, они обрастают дополнительными удобствами и возможностями. Из новинок этой весны можно отметить две технологии – перемещения больших объемов данных без остановки системы и создание «туманной» прослойки между IoT и облаком.

Перемещение данных и приложений «на ходу»

Многие компании сегодня хотели бы переместить свой процессинг в облако, но одной из самых больших головных болей может стать извлечение больших объемов данных из их собственных систем.

Для компаний с огромным количеством быстро изменяющихся транзакционных данных, – таких, как, например, потребительские заказы, – трудно переместиться с одной системы на другую без существенного прерывания сервиса. Британская компания WANdisco говорит, что ее технология может помочь решить эту проблему.

Новое в Cloud Computing репликация и туман

«Облако теперь повсюду и оно разрушает практически все, – говорит соучредитель и СЕО WANdisco Дэвид Ричардс (David Richards), – так почему вы хотите строить собственный центр данных?»

WANdisco говорит, что ее технология Fusion (не путать с Oracle Fusion middleware) может передавать данные в то время, когда они изменяются в on-premise файловых системах, группах Hadoop или другой облачной окружающей среде, не прерывая при этом основных текущих операций. Подробное описание технологии WANdisco Fusion можно посмотреть здесь (PDF).

В интервью Ричардс рассказал следующее. Приблизительно шесть месяцев назад крупная туристическая фирма обратилась в WANdisco и сказала, что хотела бы переместить свои on-premise данные в облако. Но это были транзакционные данные, т.е., они постоянно изменялись и фирма фактически не могла переместить их обычным копированием.

Смысловой аналогией является перетаскивание файлов десктопа в общую сетевую папку. Пока файлы перемещаются, их невозможно редактировать. Здесь проблема невелика. Но когда у вас есть Storage Array со 100 петабайтами данных, – это становится действительно сложной проблемой.

Многие удивятся, узнав, что перемещение 100 ПБ с использованием традиционных технологий займет около шести месяцев. Это просто нереально для интенсивно работающих компаний. WANdisco провела собственное исследование и нашла, что средство для миграции транзакционных систем «на ходу» будет достаточно востребовано на рынке.

В результате в феврале текущего года компания уже подписала соглашения с Google и Amazon об использовании ее «активно-транзакционной технологии репликации» (active-transactional replication technology) на этих облачных платформах.

Новое в Cloud Computing репликация и туман

Упрощенная структура WANdisco Fusion

В конце апреля было также объявлено, что система репликации данных WANdisco Fusion будет продаваться с торговой маркой IBM в качестве компонента для IBM storage и продуктов аналитики – для Hadoop, on-premise систем и облачного окружения. А это – уже серьезно.

Fusion организует параллельную работу облачных и on-premise систем, позволяя компаниям постепенно перемещать свои данные и приложения. WANdisco подчеркивает, что та же самая технология может использоваться для перемещений между облачными провайдерами и их клиентами, а также чтобы использовать облако для удаленного аварийного восстановления без потери данных.

WANdisco уже заключила ряд соглашений со многими компаниями, которые хотят получить способность перемещаться между облаками. Таким образом, они фактически перестанут зависеть от одного провайдера и при необходимости легко смогут отказаться от его услуг, перейти к другому провайдеру без потери объема и производительности своих текущих транзакционных операций.

Имеется также возможность выполнять репликацию между Azure и AWS. Это довольно частый случай, – когда клиенты не хотят быть ограниченными пространством единственного провайдера. Или они могут хотеть использовать Elastic MapReduce в Amazon, – и одновременно некоторые мощные аналитические инструменты в Azure. Теперь это также вполне возможно.

WANdisco недавно провела пробный прогон для компании с одним миллиардом файлов, которая хотела использовать облако для аварийного восстановления. Результаты поразительны. «Время, которое ранее требовалось, чтобы переместить 2 млн. файлов, было близко к трем суткам. Теперь все заняло 11 минут. Это – очень большая разница, и польза технологии очевидна», – сказал Ричардс.

Для сравнения нужно сказать, что в настоящее время возможности для перемещения огромных объемов данных в облако ограничены возможностями сети. Amazon Web Services до сих пор даже предпочитала в таких случаях использовать перемещаемый физический носитель, известный как Snowball, для переноса объемов данных более 10 ТБ.

Новое в Cloud Computing репликация и туман

Snowball в данном случае означает не существительное «снежок», а определение «расти, как снежный ком». Довольно образно по отношению к данным. В общем, такой себе средних размеров «чемодан данных», хорошо защищенный, надежный и долговечный – неплохое и недорогое решение для клиента. Но в эпоху сетей и облаков оно все же выглядит несколько архаичным.

Клиенты заказывают его, заполняют своими данными, и затем отсылают назад в Amazon. Та загружает их в свое облако, хотя понятно, что это дает некоторую задержку и до сих пор такой подход применялся только из-за отсутствия другого приемлемого решения.

Является ли описанный выше проект WANdisco революционным? В общем, нет. Эта идея давно витала в воздухе. Просто ей пришло время и кто-то должен был ее реализовать. Это сделала WANdisco.

«Полоса тумана» между облаком и корпоративным информационным центром

Облачные вычисления и IoT в немалой степени захватили сегодня воображение руководителей предприятий. Это неизбежно приведет к подключению множества устройств, отсылающих исходные данные в облачные центры данных или корпоративные on-premise системы для их хранения и анализа. Проблема видится в том, насколько быстро предприятия и облачные компании смогут обеспечить мощности, чтобы справляться с этими все возрастающими рабочими нагрузками. Однако OpenFog Consortium считает, что может быть и по-другому.

Новое в Cloud Computing репликация и туман

Вместо устройств, производящих тонны данных, которые отсылаются в централизованные системы, данные будут обрабатываться, а приложения запускаться «где-нибудь в сети, в чрезвычайно распределенной манере»

Туманные вычисления (fog computing) выполняются в любом месте, куда только могут поступить данные – в центре данных, на краю сети (edge of network), или где-нибудь между ними. Туманные технологии распределяют вычислительные ресурсы и сервисы, коммуникации, средства хранения и управления, перемещая их ближе к устройствам, системам и пользователям.

Туманная архитектура (fog computing architecture) выполняет аналитику или запускает приложения где-то между сетевым центром и конечными устройствами, – везде, где это имеет смысл, экономно и технически осуществимо.

Понятие «fog computing» было введено Cisco, – что неудивительно, поскольку она едва ли не лучше всех знает способности и возможности сети. Теперь к Cisco присоединились еще несколько компаний для продвижения идеи туманных вычислений.

OpenFog Consortium был организован Cisco в ноябре 2015 г., совместно с ARM, Dell, Intel, Microsoft и Princeton University Edge Laboratory. Декларированная цель консорциума состоит в том, чтобы ускорить развертывание туманных технологий, а также «облегчить развитие направления IoT и максимальную реализацию его потенциальных возможностей».

С самого начала поддержку консорциуму оказывают ряд университетов, ассоциация инженеров-электриков (IEEE), Fujitsu, Schneider Electric, Toshiba и ряд других компаний. Они совместно работают над тем, чтобы создать сильное сообщество разработчиков решений, соответствующих модели OpenFog. Ожидается, что в эту экосистему войдут как академические, так и промышленные структуры – ISP, автомобильные компании, производители роботов и другие.

Председатель консорциума Элдер Антунес (Helder Antunes) говорит, что итогом его работы станет «прикладной справочник или онлайн-магазин, который напоминает Apple iTunes store». OpenFog также будет поощрять создание открытых API на нескольких уровнях туманного ПО и SDK для разработчиков.

Новое в Cloud Computing репликация и туман

Неизбежно возникает вопрос – принесет ли туманная архитектура больше сложности в облако и сети IoT? Антунес по этому поводу сказал, что «хотя некоторое увеличение сложности неизбежно, туманные вычисления – лучший способ устранить некоторые родовые недостатки сугубо облачных моделей, которые полагаются на удаленные централизованные приложения»

Большие расстояния между источниками данных и процессингом часто создают серьезные проблемы, связанные со временем ожидания, полосой пропускания сети, географическим расположением клиента, надежностью и безопасностью. Так что, «дополнительная сложность иногда необходима, чтобы расширить функциональность и улучшить работу существующих IoT-приложений», – говорит Антунес.

OpenFog будет координировать работы по созданию методов и средств управления «разумным ростом» сетей, включающих туманные технологии. Во-первых, это означает разработку оптимальных платформ аппаратного и программного обеспечения. Во-вторых, – проектирование общего референсного, сложного гармонического сочетания конфигурации, управления и сетевой аналитики, чтобы как можно более автоматизировать операции в туманных сетях.

Антунес добавил, что «в некоторых случаях, соединяясь на уровне тумана, вы можете фактически экономить деньги за счет более простых датчиков и перенести обработку в область тумана». Он закончил образной формулировкой – «фактически, туман поможет большему количеству устройств быть вообще немыми или более немыми, чем ранее».

P.S. Да, и кстати, не пора ли уже перестать кавычить «туманные» – технологии, решения, системы и т.д.? Несколько лет назад так уже произошло с аналогичными «облачными». И ничего.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365

+33
голоса

Напечатать Отправить другу

Читайте также

Всего три комментария.

Из приведенной картинки весьма очевидно что WANdisco работает только для Hadoop и применить ее для чего-либо еще будет проблематично.

Простая математика нам подсказывает что копирование 50TB с полным использованием гарантированного 1Gb/s WAN канала займет 140 часов, про то во сколько вам этот канал обойдется в месяц лучше даже и не думать. При более реалистичных 100Mb/s умножаем все на 10. Snowball может работать с любыми данными, сравнивать его с нишевым WANDisco просто некорректно.

Никакой разницы между cloud computing, fog, computing, mist computing, haze computing и прочих нет, меняется баззворд, суть остается той же самой - it's just a someone's else computer.

 

Ukraine

 

  •  Home  •  Ринок  •  IТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Мережі  •  Безпека  •  Наука  •  IoT