`

СПЕЦИАЛЬНЫЕ
ПАРТНЕРЫ
ПРОЕКТА

Архив номеров

Как изменилось финансирование ИТ-направления в вашей организации?

Best CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Александр Кулаковский

Строим «облако». Часть Первая. Виртуализация

+99
голосов

Лично я, основываясь на практическом опыте построения и внедрения «облаков», пришел к выводу – в «облаке» все должно быть виртуализовано по максимуму. Речь идет не только о гипервизоре, так что обо всем по порядку.

Гипервизор – программа или аппаратная схема, обеспечивающая или позволяющая одновременное, параллельное выполнение нескольких или даже многих операционных систем на одном и том же хост-компьютере (см. Wikipedia). «Облако» не должно вас ограничивать в выборе гипервизора – сегодня VMWare оправдывает свои деньги, а завтра, скажем, Microsoft выпустит отличный и существенно более дешевый Hyper-V, а послезавтра на первый план выйдет KVM в силу своей открытости. Так что вы всегда должны иметь выбор гипервизора, который актуален на текущий момент по соотношению цена/качество. Это сохранение инвестиций, оптимизация расходов. Тем более, что консоль управления базовой функциональностью гипервизоров все равно одна – соответствующее ПО (vCenter, Mircosoft VMM, KVM Appliance, пр.) просто подключается к «облаку» в роли провайдера ресурсов.

Виртуализация СХД – первый виртуализованный массив в мире появился у компании Hewlett-Packard и назывался HP Enterprise Virtual Array. Сегодня в портфолио каждого производителя СХД имеется не один виртуализованный массив, и все они по-своему хороши.

Строим «облако». Часть Первая. ВиртуализацияВ чем суть виртуализации СХД:

Все жесткие диски объединяются в так называемые дисковые группы. Вы оперируете емкостью не нескольких дисков, собранных в RAID, а – всей дисковой группы, создавая там логические диски (LUN) уже с виртуальным уровнем RAID (vRAID). Данные на диск записываются в блочном виде и равномерно распределяются между всеми дисками той дисковой группы, в которой создан LUN.

Например, в дисковой группе из 24 дисков емкостью в 3,5 Тб файл, который вы записываете на LUN, делится на 24 равные части. Все операции по обслуживанию, такие как изменение объема LUN или ввод/вывод диска из дисковой группы, обновление прошивок, проводятся легко и в режиме online.

Преимущества такого подхода очевидны:

  • более высокая отказоустойчивость. При выходе из строя одного из дисков, массиву нужно восстановить всего лишь 1/24 данных;
  • скорость. Над вашими данными работают все 24 шпинделя из дисковой группы;
  • абстрагирование от аппаратных ограничений. Роль играет пространство всей дисковой группы, а не отдельного диска. Вы легко можете ввести в группу новый диск и данные перераспределятся уже на 25 дисков без простоя;
  • защита данных. Если диск изъят из массива, данные с него не могут быть считаны. Чтобы считать данные, необходимо взять все диски из дисковой группы и расставить их в том же порядке, в котором они стояли в исходном массиве.

Виртуализация ввода/вывода – еще несколько лет назад одно физическое подключение означало один физический сетевой адаптер с одним подключенным в него патчкордом. Сегодня у каждого производителя серверов существует множество технологий виртуализации ввода/вывода из сервера. У компании Hewlett-Packard не один год имеется технология, на которой основана вся концепция Converged Infrastructure, – HP Virtual Connect (VC). Как по мне, задумка достаточно хороша, а реализация наконец-то достигла уровня enterprise. Единственное ограничение, которое я заметил, – технология VC реализована только для blade-серверов и только для шасси с7000, хотя обещают выпуск сетевых адаптеров FlexFabric и для стоечных серверов. Потому вся следующая информация представлена для только для указанного оборудования.

Суть Virtual Connect заключается в следующем (без упоминания про технологию Flex-10):

  • каждому серверу назначаются виртуальные МАС- и WWN-адресf, а также серийный номер, которые могут мигрировать от сервера к серверу. При управлении ПО VCEM такая миграция может быть выполнена автоматически по любому «событию» от сервера. С использованием технологии boot-from-SAN я смог эмулировать миграцию физических серверов в шасси, подобную миграции виртуальных машин на хост-сервере (только в режиме offline), так как с «переездом» WWN и МАС, адресов происходит миграция и презентованных LUN дисков (в том числе и с ОС), и настроек сети;
  • виртуализация uplink-портов дала возможность абстрагироваться от downlink-портов серверов. Сколько бы у меня серверов ни было в шасси, я могу их подключить в инфраструктуру всего одним uplink-портом;
  • в каждый порт сервера, а с использованием HP VC в самом простом сервере HP BL460c их становится восемь, а не два, можно подключить до 1065 VLAN. Я только один раз использовал эту функциональность, когда строил для одного большого украинского банка VDI-инфраструктуру на 5000 пользователей, которые подключались через 920 VLAN-сетей;
  • модули VC объединяются в так называемый Virtual Connect Domain, в котором может быть до 4 шасси. А ввиду виртуализованных uplink-портов, серверы из одного шасси могут быть подключены через uplink-порты другого и мигрировать между шасси. Это повышает отказоустойчивость – при выходе из строя целого шасси серверы мигрируют в соседние и подключение происходит через другие uplink-порты.

У компании Cisco виртуализация ввода/вывода реализована на базе технологии Nexus. Принцип работы и цель те же самые – виртуализация WWN- и МАС-адресов серверов с использованием конвергенции со всеми вытекающими. У этой технологии есть свои плюсы:

  • виртуализация WWN- и MAC-адресов реализована и для стоечных серверов;
  • горизонтальное масштабирование. Для расширения на оборудование с другим шасси или даже в другом шкафу не требуется покупка полноценных коммутаторов, просто докупаются расширительные карты – fabric extender’ы. Получается дешевле;
  • каждый сервер, подключенный в фабрику Nexus, имеет не восемь портов, а 116,

но также и минусы:

  • для виртуализации ввода/вывода у Cisco необходимо, чтобы серверы были подключены к коммутатору Nexus, с любым другим коммутатором эта технология не работает (опять же, ограничение в выборе оборудования);
  • трафик невозможно распределить внутри шасси. Для соединения двух серверов в одном шасси в обязательном порядке требуется внешний коммутатор L2 или L3. В решении НР трафик может коммутироваться внутри шасси;
  • отсутствие прямой поддержки от производителя в Украине.

Вывод: благодаря виртуализации для решения эксплуатационных задач с оборудованием нет необходимости ходить в серверную и выполнять операции вручную. Многие задачи сводятся к нажатию кнопок или выполнению команд в CLI консоли управления, причем, нажатие кнопок можно легко автоматизировать. В своем роде это усложнение, так как в стеке появляется новая прослойка, но если эта прослойка работает стабильно, проблем быть не должно и можно наслаждаться преимуществами.

Строим «облако». Часть вводная. Пояснения

+99
голосов

Напечатать Отправить другу

Читайте также

Александр,
раз уж у вас пошли в статьях названия вендоров, хочу задать вопрос:
сталкивались ли вы с виртуализацией от Oracle?
и если да, то почему в своей статье ни слова о ней не написали?

Есть платные системы виртуализации, а у Oracle уровня Enterprise и абсолютно бесплатно.
И ни слова...

Нy, если уж упомянули Oracle, то позволю себе заметить, что, на мой взгляд, слабая распространенность виртуализации от Oracle (по крайней мере, в наших широтах) - прямая заслуга самой Oracle.

Где-то года 3 назад Oracle совершила квантовый переход от состояния "облака не существуют" к "единственное настоящее облако - это облако от Oracle", т.е. построенное на базе вертикально-интегрированного технологического стека Oracle. В принципе, ничего особо страшного в этом бы не было, если бы все ограничилось проприетарными программно-аппаратными комплексами. Но есть два обстоятельства, которые, фактически, делают Oracle "анти-облачной" компанией несмотря на все декларации:

1. Откровенно дискриминационная политика лицензирования, не признающая никакой hypervisor-based виртуализации кроме Oracle VM. Причем лично я каких-либо технологических оснований для этого не вижу.
2. Отсутствие программ лицензирования для сервис-провайдеров типа VSPP/SPLA.

Как результат - практическая невозможность помещения продуктов Oracle как в частные, так и в коллективные облака по причине лицензионных ограничений. И это не добавляет популярности Oracle VM.

Добрый день, поддерживаю вопрос Александра Попова. Спасибо!

Добрый день, Коллеги!

Я не упомянул Виртуализацию от Oracle, хотя она есть и достаточно сильно развивается, только по одной причине:

Гипервизор Oracle, кроме Виртуализации на OpenStack, не поддверживается "Облачными" решениями Enterprise-уровня. Хотя я и не слышал об использовании Гипервизора Oracle ни у одного из своих Заказчиков.

А виртуализация СХД у них на том же уровне и в такой же архитектуре, как и у всех остальных.

Виртуализации ввода/вывода у Oracle, к сожалению, нет.

Посмотрите квадрант Гартнера по системам виртуализации за 2013 ;)

И еще одна ссылка про различные техники виртуализации ввода/вывода от Oracle и построения облаков:
http://www.oracle.com/us/technologies/virtualization/oracle-exalogic-ela...

и еще о I/O virtualization:
http://www.oracle.com/us/technologies/virtualization/ovm3-arch-tech-over...

Ну согласно квадранту Oracle находится в Challengers (т.е. я в очередной раз убедился - Виртуализация у Oracle есть, она развивается, но еще не на Enterprise уровне).

Exalogic - коробочное и проприетарное решение, лично я не люблю проприетарщину.
А их гипервизор не поддерживается ни одним из "Облачного ПО", которое я встречал в Украине.

Спасибо за ссылки (полезные, кстати), но я не увидел там Виртуализацию I/O, я увидел Оптимизацию I/O. Я считаю, что первая задача Виртуализации абстрагирование от аппаратной части, а у Oracle это все сводится к "greatest available bandwidth per physical port".

Это просто мое мнение.

И даже с эксплуатационной точки зрения, Вы встречали где-то Гипервизор Oracle в Украине или СНГ? Я нет:)

Спасибо езе раз за линки, подчерпнул новой информации:)

RE: Ну согласно квадранту Oracle находится в Challengers (т.е. я в очередной раз убедился - Виртуализация у Oracle есть, она развивается, но еще не на Enterprise уровне).

Если компания в квадрате Гартнера - то она уже уровня Enterprise ;) - в любой из секций квадрата, советую почитать описание как компании попадают в квадраты (по каким требованиям).

Ну не совсем согласен:) Сколько там в различных категориях вендоров, и я бы далеко не всех отнес к enterprise уровню.

К примеру, Red Hat (KVM) - нишевым игроком я не считаю, а сам гипервизор еще допиливать и допиливать, ведь полной интеграции с любыми оркестраторами просто нет.

Сугубо мое мнение:)

Гипервизор Oracle это Xen практически без каких-либо изменений.

Коллеги, виртуализация и облачные решения у Oracle безусловно есть - достаточно зайти на портал https://cloud.oracle.com/, чтобы в этом убедиться.
Но заточены эти решения (как ни странно:)) под ПО Oracle - Database, Java, Middleware, Applications.

А у Майкрософт система виртуализации под что заточена? ;)
А облака от того же Майкрософт Azure?

Не защищаю ни Оракл, ни МС, но это вроде логично, что каждый защищает себя и свои продукты в первую очередь?

Хотя вот тут описано, что работает под различными системами, не только Windows:
http://www.oracle.com/us/technologies/virtualization/oraclevm/specificat...
Виктор, или я неправильно понимаю что по вашему значит "заточены"?

Оракл запрещает виртуализировать свои продукты на других гипервизорах, кроме Oracle VM (x86 или RISC), если необходимо сохранить поддержку продуктов Оракл. В тоже время VMware официально сообщает, что поддерживает виртуализацию продуктов Oracle. Уже только это не добавляет привлекательности Oracle VM.
Не думаю, что, например, ПО VMware было бы столь популярно, если бы EMC ограничило бы его использование только собственными массивами.

Вот это новость :)
Откуда у вас такая информация?
Да и не только у вас, но и у сотрудника ДеНово..я удивлен, что многие не знают вроде бы очевидного для их специализации.

Практически все клиенты (крупные), использующие продукты Оракл, делают это на виртуальных средах. И техподдержки они не лишены от Оракл.
Оракл только заявляет, что в случае возникновения неполадок в виртуальной среде, отличной от их техногии (Oracle VM), необходимо повторить ту же проблему на реальном железе, и если проблема будет, то тогда запускается процесс по техподдержке.

+1 к Александру.

Использование продуктов Oracle на гипервизоре Oracle VM это просто best practice от Oracle, но никак не жесткое требование.

"Оракл только заявляет, что в случае возникновения неполадок в виртуальной среде, отличной от их техногии (Oracle VM), необходимо повторить ту же проблему на реальном железе, и если проблема будет, то тогда запускается процесс по техподдержке."
Я именно это и имел в виду. Для меня "намеренно делать трудноиспользуемым" = "запрещать". Т.е. в случае проблем с Оракл на такой конфигурации (Оракл на стороннем гипервизоре) для получения поддержки Оракл надо:
- выделить физический сервер и сделать на нем клон продуктивной VM с Ораклом (уже нетривиальные действия, требующие времени и ресурсов);
- попытаться воспроизвести проблему;
- если проблема не воспроизвелась - что дальше?

у IBM те же самые рекомендации: он настоятельно рекомендует не использовать виртуализацию, например для своей системы бизнес-аналитики и в случае все же ее использования и возникновения проблемы, первое что советует техподдержка воспроизвести проблему на реальном железе.

О каком ПО IBM идет речь?

http://www-01.ibm.com/software/support/virtualization_policy.html
Поддерживаются все основные гипервизоры: VMware ESXi, RedHat/SuSE KVM, Hyper-V, плюс родные от IBM для p- и z-серии.

Явно указано, что IBM поддерживает эти гипервизоры сразу в 2 плоскостях:
- лицензионно - применимо лицензирование продуктов IBM по PVU sub-capacity.
- технически - если обнаружится, что проблема в гипервизоре, IBM обратится к его вендору.

По конкретному продукту и его версии можно увидеть перечень поддерживаемых версий гипервизоров: http://publib.boulder.ibm.com/infocenter/prodguid/v1r0/clarity/vesForPro...
Например, для Cognos BI 10.2.1: http://publib.boulder.ibm.com/infocenter/prodguid/v1r0/clarity-reports/r...

Oracle также говорит, что поддерживает, но в случае возникновения проблем...

Вот что написано в Sizing Guide для IBM Cognos Express:
"The use of virtualization technology is not recommended for production applications of Cognos Express"

www.docstoc.com/docs/161481620/Cognos-Express-101-Sizing-Guidelines

Оракл как раз не обещает ни технической поддержки на сторонних гипервизорах, ни hard partitioning для корректного лицензирования.
Sizing guide не рекомендует использования программной виртуализации скорее всего для повышения быстродействия Cognos Express. Т.к. технически его виртуализация вполне поддерживается IBM (как на уровне support, так и лицензирования в виртуальных средах): http://publib.boulder.ibm.com/infocenter/prodguid/v1r0/clarity-reports/r...

Наверно имелось в виду, что полностью автоматизировать и оркестрировать Оракл может только свои продукты и свое железо, а железо других вендоров - только на уровне "вкл./выкл.":)

а вот это уже Vendor lock-in. :)

Тут выяснилось очень много темных мест о виртуализации от Оракл, о которых даже специалисты, которые должны знать, не имеют на самом деле понятий.
Поэтому обобщу:
1. Виртуализация от Oracle уровня Enterprise.
2. Виртуализация от Oracle бесплатна.
3. Oracle не лишает поддержки свои продукты, если они используются чужими системами виртуализации.
4. Существует аппаратная виртуализация (Oracle SPARC, IBM Power...), которая без каких либо ограничений поддерживается Oracle.

Можно много еще писать, но на что хочу обратить внимание специалистов. То чем сейчас вы занимаетесь в плане построения облаков и виртуализации - это было актуально лет 5 назад :)

Сейчас мало кого из бизнеса интересует виртуализация инфраструктуры (железа). Людей интересует готовая платформа (например, предлагать туже базу Oracle как сервис). Но и это уже уходит в прошлое, хотя и актуально. Сейчас дают готовые решения: подписку на готовый CRM, HR, ERP, BI.
А не голое железо...

Александр, когда в Украине (или в СНГ) будет собственная инсталляция Oracle Public Cloud ?

Александр,

Вот про "актуально 5 лет назад" и "мало кого из бизнеса интересует виртуализация инфраструктуры" - это Вы про какой рынок? Если про Украину, то наш опыт как в проектном, так и в операторском бизнесе не подтверждает этого, скорее даже наоборот.

И возвращаясь к Oracle. Вот это http://www.oracle.com/us/corporate/pricing/partitioning-070609.pdf - официальная политика лицензирования продуктов Oracle в виртуальных средах. Может подскажете, как в таких условиях:

1. Разместить экземпляр Oracle DB (требующий, например, 8 vCPU) в частном облаке средней компании (ресурсный кластер - 16 сокетов с восьмиядерными процессорами, Hyper-V)?
2. Разместить экземпляр Oracle DB в Облаке IaaS провайдера (ресурсный кластер - 128 сокетов, ESXi)?
3. Предоставлять клиентам Oracle DB as a Service?

Честно признаюсь, мы на эти вопросы ответов не нашли.

И то, о чем писал Виктор Седякин, тоже имеет место быть - если проблема не относится к классу известных, то для получения поддержки ее нужно сначала воспроизвести на физическом железе. Цитата отсюда https://blogs.oracle.com/UPGRADE/entry/is_oracle_certified_to_run_on :

"Oracle has not certified any of its products on VMware virtualized environments. Oracle Support will assist customers running Oracle products on VMware in the following manner: Oracle will only provide support for issues that either are known to occur on the native OS, or can be demonstrated not to be as a result of running on VMware."

да, про 5 лет- это я указал не про украинский рынок. Мы сильно отстаем, да и нет у нас таких финансов, которые тратят на ИТ в том же США.

Про облака, если использовать продукты Оракла, то зачем их устанавливать в каком-либо дата-центре? Оракл считает, что в его дата-центре они будут работать лучше. Аргумент, что конкуренция должна быть - неверный, т.к. цена на продукт у Оракла одинакова.
Тут получается только, что владелец дата-центра купит продукт, установит в своем дата-центре и будет его перепродавать как сервис сотням клиентов, не платя вендору. Прямой конкурент, причем недобросовестный :)

1-2е предложение 2-го абзаца звучит немного странно для весьма либерального ИТ-рынка. Oracle может считать все что угодно, но утверждать свою точку зрения дискриминационной лицензионной политикой - это как-то не очень рыночно. Но это не страшно - рынок сам все отрегулирует.

Игра с позиции монополиста когда ты им де-факто не являешься - проигрышна по определению. Oracle попробовала эту стратегию в области железа после приобретения Sun - и практически полностью потеряла рынок в Украине (может где-то и еще, но утверждать не буду, ибо доказать не могу). И в области СУБД происходит что-то подобное - Oraсle уже пару лет как не монополист. А поведение все то же.

3-й абзац, извините, просто не понял.

Именно так, если вы знаете замену Oracle DB с другой лицензионной политикой вы можете ею воспользоваться.

Стратегия Oracle это не продавать серверы которые не приносят прибыли как это делала Sun в свое время. А вот если вы заходите купить одну из Engineered Systems, скажем Exadata X3-8, то вы не только выложите миллион долларов за само железо и еще полтора миллиона в год за лицензии, но и будете ждать 3 месяца потому что фабрика в Орегоне не справляется с заказами. Я не думаю что вы увидите много этих систем в Украине.

Все продукты Oracle официально поддерживаются в Azure, Oracle DB также работает в Amazon WS.

Отличные новости. Только, все таки, что насчет моих вопросов?

Я не знаю почему вы ожидете от меня каких-либо ответов, я не работаю на Oracle, но если вы уж спросили...

1. Я не знаю ни одного примера когда размещение Oracle DB на гипервайзоре имеет практический смысл. Ваш кластер 16х8 это половина шасси c7000, 8 ядер это один блейд 420 стоимостью около 5-7 тысяч долларов. За лицензию на использование Oracle DB на таком сервере за год вы заплатите в 10 раз больше. Так что это пример виртуализации ради виртуализации, без какой либо практической выгоды.

2. Oracle не ограничивает физическое местонахождение серверов и кто ими владеет. Соответственно читайте лицензионные условия и действуйте в соотвествии с ними, по другому никак, не нравится ищите другого вендора.

3. А вот это уже вопрос потому что он предполагает модель pay-per-use которая Oracle не поддерживается. Имеют право, они производители.

Алекс,

Вы абсолютно правы - примерно к таким же ответам мы и пришли. С технологической точки зрения виртуализация БД имеет смысл - на уровне операционной системы облака решается множество важных задач (отказоустойчивость, катастрофоустойчивость, защита данных от логического разрушения, мобильность рабочих нагрузок и т.п.), причем решается единообразно и сразу для всех операционных сред.

Но лицензионные ограничения делают все это нереализуемым. Oracle выбрала свою стратегию, и, я согласен с Вами, это ее право. Оправдается ли ставка на закрытую экосистему - время покажет. И в этом контексте малая популярность Oracle VM (собственно, с чего и началось обсуждение) имеет очевидное объяснение.

Ну а пока на отечественном рынке мы видим явную тенденцию изменения предпочтений в области СУБД, благо достойные альтернативы вполне доступны (тот же MS SQL стал вполне взрослой системой enterprise-класса, а схемы его лицензирования вполне совместимы как с частными, так и с коллективными облаками).

 
 
IDC
Реклама

  •  Home  •  Рынок  •  ИТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Сети  •  Безопасность  •  Наука  •  IoT