IT-пятница с GigaCloud. Сессия 3

15 ноябрь, 2018 - 10:56Леонід Бараш

Выдерживая график, компания GigaCloud провела в первую пятницу ноября очередной технический семинар. На нем были прочитаны три доклада, темы которых так или иначе касались ЦОД и облачных технологий.

С задачей балансировки запросов к веб-сервисам сталкиваются практически все компании, бизнес которых «смотрит» в Интернет. О том, как ее решить и при этом максимально абстрагироваться от аппаратных рисков, рассказал архитектор OpenStack Алексей Кириченко из GigaCloud.

При построении отказоустойчивого сервиса необходимо придерживаться ряда принципов. Так, нельзя полагаться на одного провайдера, необходимо распределять нагрузку между серверами посредством каналов L2 или VPN-туннелей через третьего провайдера, время от времени проверять работоспособность каждого отдельного сервера, отрабатывать сценарий поведения при возвращении кластера в штатный режим.

При географическом разнесении узлов кластера желательно подключить их к трем провайдерам, при этом прямой канал между площадками может использоваться для репликации.

ИТ-пятница с GigaCloud. Сессия 3

Алексей Кириченко: «При построении отказоустойчивого сервиса нельзя полагаться на одного провайдера»


При реализации балансировки можно использовать два подхода: строить ее на основе коммерческих решений или на бесплатных. Первые позволяют просто и быстро сделать настройку. К примеру, при выборе балансировщика от Cloudflare в нем прописываются IP-адреса серверов, и в дальнейшем Cloudflare, используя свою внутреннюю логику, будет балансировать нагрузку на серверы. Проверка работоспособности серверов выполняется с помощью запросов, называемых Health Check. Однако пользователь может написать для веб-сервера сценарий, который будет посылать информацию о своей доступности, или загрузке, Cloudflare.

Одно из бесплатных решений может быть организовано посредством выдачи клиентам IP-адресов по кругу (карусельная диспетчеризация). Более эффективным является установка после DNS бесплатного балансировщика. Им может быть HAProxy или NGiNX.

Однако и платные, и бесплатные продукты имеют свои положительные и отрицательные стороны. Кроме простоты настройки, для использования платных продуктов не требуется достаточно глубоких знаний в области балансировки, проверках. Нужно просто с помощью веб-интерфейса добавить свои ЦОД. Кроме того, в случае возникновения проблем с доступом, включая DDoS-атаки, их будет решать поставщик продукта. Если говорить о Cloudflare, то он является недостаточно гибким. Модули продукта могут использоваться только в стандартном формате. В то же время настройки балансировки в бесплатных продуктах более свободны.

Платные продукты, аналогичные Cloudflare, наиболее подходят для малого и среднего бизнеса. С ними меньше проблем при настройке. Если веб-сайт является крупным проектом, то при использовании Cloudflare можно столкнуться с тем, что все функции являются платными. В этом случае лучше разработать собственное решение.

Приглашенным докладчиком был технический консультант в России и СНГ из Veeam Software Павел Косарев. Темой его выступления было резервное копирование физических и облачных сред при помощи агентов Veeam. Прежде всего он сформулировал основные задачи агентов – это (1) резервное копирование и восстановление ВМ, размещенных в облаке и (2) резервное копирование физических серверов и рабочих станций, которые нельзя виртуализовать по ряду причин.

Агент для Microsoft Windows поддерживает 32- и 64-разрядные версии наиболее популярных ОС Windows: от версии 7 SP до Server 2016. Агент является сервисом Windows, который ответственен за все типы резервирования и восстановления. Он стартует автоматически и запускается под Local System Account. Одна из возможностей управления реализована в Agent Tray. Он взаимодействует с агентом для Windows и позволяет отследить статус резервной копии и посмотреть статистику. В некоторых случаях у агента есть своя БД, в которой он ведет журнал и хранит настройки.

ИТ-пятница с GigaCloud. Сессия 3

Павел Косарев: «технологии Change Block Tracking позволяет определить, какие данные изменились, не читая всю ВМ полностью»

Агент выпускается в трех редакциях: Free Edition, Workstation Edition, предназначенное для резервирования рабочих станций пользователей, и Server Edition, обладающая наиболее богатой функциональностью.

Резервировать можно всю дисковую память компьютера, отдельные тома, папки и файлы. 

Для агента выделены четыре типа файлов: VBK (полная резервная копия, полученная в результате первого резервирования), VIB (инкрементальная), VBM (файл метаданных, который обновляется при каждом резервировании) и VLB (традиционные файлы Oracle и SQL)).

При стандартном резервировании вначале создается полная копия всех данных ВМ. На каждом последующем этапе снова читаются все данные ВМ, сравниваются с имеющейся резервной копией, находятся изменения и записываются как инкрементная копия.

Инкрементное резервное копирование является лучшим выбором, если правила и политики компании требуют регулярного перемещения созданного файла резервной копии на ленту или удаленный сайт. При инкрементном резервном копировании большую часть времени перемещаются только инкрементные изменения, а не полный файл резервной копии, что занимает меньше времени и требует меньше ресурсов СХД. Минус в том, что для нахождения изменений приходится читать все данные.

Выход – в использовании технологии Change Block Tracking (CBT). Эта технология позволяет определить, какие данные изменились, не читая всю ВМ полностью. Для Windows 7/8/10 по умолчанию CBT читает таблицу MFT при резервировании, создает так называемый digest file и отсылает его с резервной копией. При инкрементальном резервировании читается MFT, создается digest file и сравнивается с предыдущим. Затем копируются только измененные блоки.

В основной версии появилась возможность использовать для копий облачный репозиторий Cloud Connect. Если нет доступа к репозиторию, то копию можно сделать локально. В серверной редакции есть продвинутая функция, касающаяся CBT. Здесь используется не таблица MFT, а специальный драйвер. Он перехватывает все операции ввода-вывода и записывает их в отдельный log-файл. Это позволяет затем определять, какие данный в предыдущей копии были заменены. Тем самым повышается эффективность работы.

В серверной редакции появилась возможность создавать так называемый Synthetic full. Здесь берется только очередной инкремент и затем с помощью серии всех предыдущих инкрементов формируется новая полная резервная копия.

Есть также агент для семейства Unix-подобных ОС, таких как Debian, Ubuntu, Fedora, openSUSE.

В начале текущего года было выпущено обновление U3 для версии 9.5, в котором появилось централизованное управление. Стало возможным создавать Protection Group, в рамах которой можно указать, какими данными и из какого источника нужно наполнить эту группу.

Политику резервирования можно создать с помощью функции Backup Job. Здесь можно задать тип защищаемого компьютера (что резервируем), к примеру, рабочая станция, сервер или отказоустойчивый кластер, куда резервируем и режим управления – посредством сервера резервирования или агента.

Восстановление может быть выполнено на «голое железо», могут быть восстановлены требуемые файлы или целый том.

Чуть ли не хрестоматийным требованием обеспечения безопасности данных является размещение вычислительных ресурсов на нескольких удаленных площадках. Zabbix является бесплатным продуктом для их мониторинга. Его представил сетевой инженер Алексей Котов из GigaCloud.

ИТ-пятница с GigaCloud. Сессия 3

Алексей Котов: «Zabbix является бесплатным продуктом для мониторинга вычислительных ресурсов на нескольких удаленных площадках»


Система позволяет собирать статистику с компьютерных сетей и серверов и представлять ее с помощью графического интерфейса. Ее особенностью является возможность развертывания на одном физическом или виртуальном компьютере, подключенном к нескольким локальным сетям.

Для повышения эффективности и надежности мониторинга в систему включают прокси-сервер Zabbix Proxy. Он позволяет буферизовать данные, что важно при потере связи с сервером, выполнять мониторинг разнесенных площадок с одним сетевым адресом, разгрузить центральный сервер, запускать сценарии.

Мониторинг может выполняться в двух режимах: пассивном и активном. В первом Zabbix Proxy сам собирал информацию о системах, однако это оказалось неэффективным. Во втором режиме конечное устройство с помощью агента само оправляет данные серверу.

В заключение докладчик рассмотрел основные параметры в конфигурации прокси-сервера.

Следующая встреча в рамках «ИТ-пятницы с GigaCloud» состоится 7-го декабря. Организаторы приглашают к участию слушателей и докладчиков. Для этого необходимо зарегистрироваться.