Истинные ценности

8 сентябрь, 2010 - 18:05Сергей Мишко

Дочерний банк Сбербанка России (ДБСР) всерьез настроен на вхождение в тройку крупнейших банков Украины. На пути к достижению этой амбициозной цели недавно сделан еще один важный шаг – в финансовом учреждении завершился проект строительства первого из трех запланированных центров обработки данных.

Истинные ценности
Пока Сбербанк России в Украине находится на начальном этапе развития и ему еще только предстоит выстроить сбалансированный продуктовый ряд для физических лиц и корпоративных клиентов, а потом в полную силу заявить о себе на рынке

История ДБСР в Украине берет свое начало с приобретения в 2007 г. Сбербанком России у давнего партнера по бизнесу – российской Национальной резервной корпорации (НРК) – небольшого украинского банка НРБ. На тот же момент приходится назначение Германа Грефа на пост председателя правления Сбербанка. Он считал приоритетным выход за пределы российского рынка, в первую очередь в другие страны СНГ. Вскоре радикальные кадровые изменения происходят и в ДБСР – Вячеслава Юткина на посту председателя правления украинской «дочки» сменяет Игорь Юшко. Бывший член совета Нацбанка и экс-министр финансов многих лично знает в правительстве, а значит, способен реально лоббировать интересы Сбербанка в украинской власти.

Очевидно, действия этих двух энергичных руководителей и предопределили политику развития ДБСР. Пока Сбербанк России в Украине находится на этапе становления и ему еще только предстоит выстроить сбалансированный продуктовый ряд для физических лиц и корпоративных клиентов, а потом в полную силу заявить о себе на рынке. В настоящий момент с точки зрения масштабов ДБСР – маленький банк. Его филиальная сеть насчитывает всего 58 отделений, но до конца 2010 г. их число должно вырасти до 80, а через 2–3 года – до 400–500.

«Сбербанк России будет самым технологичным банком в Украине, – заявляет Сергей Адаменко, заместитель председателя правления ПАО «Дочерний банк Сбербанка России». – Мы не ставим задачу создать привлекательное банковское учреждение и затем выгодно его перепродать. Если Сбербанк, чья история насчитывает без малого 170 лет, приходит на новый для себя рынок, то остается там навсегда и добивается намеченных целей. Это другая философия, другой уровень подхода, другая суть организации, с которыми здесь никто не сталкивался».

Вполне закономерно инвестиции в развитие банка в том числе предполагают строительство современной инфраструктуры. Внедренный в Сбербанке ЦОД, отвечающий уровню надежности TIER III, должен стать тем жизненно необходимым инструментом, который позволит ускорить развитие портфеля услуг и повысит качество обслуживания клиентов. Особенно если учесть, что сегодня наличность составляет только 10–15% денежной массы, все остальное – хранящиеся в «облаке» записи в виде цифровых кодов. Ценность ЦОД для финансовых институтов очевидна как никогда.

Побеждает сильнейший

Банк располагал серверной комнатой, которая отвечала минимальным требованиям. Перспективы существенного расширения бизнеса Сбербанка России в Украине, прежде всего с учетом сложившейся политической конъюнктуры в стране, создали необходимые предпосылки для скорейшего внедрения ЦОД.

Так как ДБСР пришел в Украину всерьез и надолго, заказчик выдвигал самые серьезные требования к будущему ЦОД. Интегратору предстояло выдержать полную «дорожную карту» – начиная от этапа проектирования, подготовки помещения и заканчивая построением инфраструктуры на основе новейших и лучших в своем классе технологий. Также необходимо было обеспечить непрерывность и гарантированность сервисов, сохранность всей корпоративной информации. Но самым сложным, пожалуй, было то, что на все работы отводилось всего несколько месяцев!

Отбор тендерных заявок проводился в три этапа в течение II и III кварталов 2009 г. «Шла не просто борьба, а самая настоящая бойня», – вспоминает Александр Цирульницкий, руководитель направления продаж в банковском секторе компании «СИТРОНИКС Информационные Технологии» в Украине, чье технико-коммерческое предложение оказалось лучшим. Наверняка здесь свою роль сыграл и накопленный положительный опыт сотрудничества интегратора со Сбербанком России по целому ряду других проектов в РФ.

Договор с заказчиком интегратор заключил в сентябре 2009 г., а завершить построение инженерной инфраструктуры ЦОД предстояло до 1 мая 2010 г. «Мы просто не имели права на ошибку, – сообщает технический руководитель проекта Николай Чуев, начальник отдела инженерных систем «СИТРОНИКС Информационные Технологии» в Украине. – Настолько сильно нас ограничили во времени».

Через тернии к звездам

Проект строительства ЦОД в ДБСР с самого начала не отличался простотой и изобиловал множеством технически трудных моментов. Помещение, в котором предстояло создавать инфраструктуру, имело относительно небольшую площадь и сложную архитектурную форму с размещенными внутри колоннами. Это неизбежно делало нетривиальными задачи компоновки шкафов (расположение и рядность) и установки кондиционеров. А ведь еще нужно было обеспечить проходы для заноса оборудования в процессе эксплуатации и обслуживания ЦОД.

Истинные ценности
По словам Сергея Адаменко, в перспективе в Дочернем банке Сбербанка России будет создана инфраструктура из двух синхронных и одного асинхронного ЦОД, которая удовлетворит все требования по катастрофо- и отказоустойчивости

Территориально здание центрального офиса ДБСР, в котором расположено помещение для ЦОД, находится в исторической части Киева с очень высокой плотностью потребителей электроэнергии. Поэтому закономерно возникли сложности с получением необходимых для запитывания оборудования мощностей. И только планомерная замена коммуникаций и трансформаторных подстанций в рамках подготовки к Евро-2012 помогла решить вопрос малой кровью.

Ранее здание ДБСР принадлежало Дому политпросвещения Киевского обкома КПСС. Часть его стен содержала стеклопакеты советских времен с алюминиевым профилем. В них гулял ветер, и перепад температур в ЦОД по отношению к окружающей среде мог привести к образованию конденсата. Интегратор размышлял над заменой стеклопакетов кирпичной кладкой, но заказчик потребовал оставить фасад без изменений (в противном случае понадобилась бы целая гора разрешительной документации). В итоге дополнительно проработали и внедрили решение по тепло- и шумоизоляции серверного помещения.

Впрочем, все описанные сложности – ничто по сравнению с непредвиденной проблемой, с которой специалисты компании-интегратора столкнулись непосредственно перед началом строительства ЦОД. В соответствии с эскизным проектом вес конструкции серверной части составлял 40 т, при этом локальные нагрузки достигали 1,2 т/м2. С учетом коэффициента на превышение весь пол должен выдерживать 1,5–2 т/м2. По имеющимся бумагам (архитектурный план, конструкторская документация) он столько и выдерживал, но проведенные с привлечением специалистов профильного НИИ исследования показали обратное. Строители в свое время, очевидно, сэкономили.

В результате пол были вынуждены переделывать: разрабатывали и согласовывали конструкторскую документацию, заливали новый фундамент, а это несколько последовательных слоев. Стояли очень сильные морозы, и чтобы создать благоприятные условия для загустевания бетонных смесей, с помощью теплогенераторов в помещении поддерживали определенный микроклимат.

Самое досадное в этой истории то, что строительство пола сдвигало сроки проекта примерно на три недели. Пришлось полностью пересмотреть технологический цикл производства ЦОД и параллельно выполнять некоторые операции, в противном случае существовал реальный риск срыва графика сдачи объекта. «Работали круглосуточно, слои бетона сушили тепловыми „пушками", – рассказывает Николай Чуев. – Мы все время шли по критическому пути плана, но это не отразилось на качестве работ».

Пять месяцев без сна

Перед специалистами компании-интегратора стояла задача выжать максимум из имеющегося помещения – расположить в нем наибольшее количество серверных шкафов с полной загрузкой оборудованием на каждый. При этом администратор должен был иметь возможность в реальном масштабе времени получать информацию о техническом состоянии всех компонентов ЦОД.

Истинные ценности
Николай Чуев: «Мы все время шли по критическому пути плана, но это не отразилось на качестве работ»

Тщательная проработка проекта заняла 2–2,5 месяца, еще 3 месяца ушло непосредственно на строительство ЦОД. Чтобы выдержать график, иногда приходилось трудиться и в три смены, и по выходным. «На каждом из этапов реализация проекта шла в тесном сотрудничестве с техническими специалистами банка. С учетом имеющихся ограничений мы вместе выбирали наиболее оптимальное по соотношению цена/качество/сроки решение, – поясняет непосредственный участник строительства Павел Крушняк, менеджер проектов «СИТРОНИКС Информационные Технологии» в Украине. – Процесс носил многоитерационный характер – обсуждали, можно ли в принципе в этом помещении построить ЦОД, и если да, то какой именно».

Помещение для ЦОД. Согласно требованиям НБУ, все оборудование ЦОД находится в экранированной кабине (цельносварная металлическая конструкция). Дополнительно выполнена гидроизоляция – вариант подтопления серверной абсолютно исключен.

Фальшпол. Размеры и форма ячеек решетки рассчитаны в соответствии с условиями, необходимыми для эффективного теплообмена в помещении. Расположенная под фальшполом система кабельных каналов выполнена таким образом, чтобы не мешать проходу холодного воздуха в коридорах от кондиционеров или его протоку через решетки.

Электроснабжение. Разработана электрическая часть (два ввода с максимальной нагрузкой 220 кВт), установлены щиты. Автоматические выключатели можно менять без обесточивания системы – в Украине подобных инсталляций еще очень мало, особенно в финансовых учреждениях.

Гарантированное электроснабжение. У банка есть собственная дизельная генераторная установка (ДГУ), мощности которой пока достаточно для обеспечения бесперебойного электроснабжения основных потребителей. В дальнейшем предполагается установка отдельной ДГУ для нужд ЦОД. В щитовой за пределами серверного помещения ЦОД расположены ИБП APC Symmetra мощностью 160 и 48 кВт.

Шкафы. Плотность энергопотребления составляет 5–12 кВт на стойку, максимальная мощность оборудования в серверной может достигать 130 кВт. В ЦОД применяются шкафы АРС, «начинку» для каждого определяли представители банка.

Система охлаждения. Построена приточно-вытяжная вентиляция, установлены пять (из семи возможных) кондиционеров Emerson Liebert HPM. Для увеличения эффективности отвода тепла от стоек внедрена технология холодных коридоров. В результате эффективность охлаждения выросла на 30%. Для качественной шумоизоляции дополнительно обеспечена виброизоляция помещения ЦОД и кондиционеров (здание находится над действующей веткой метрополитена).

Мониторинг. Внутри ЦОД осуществляется мониторинг физических параметров среды: влажности, качества электроснабжения, температурных режимов. Специалисты интегратора самостоятельно совместили протоколы и объединили в одну систему смешанное решение APC-Emerson.

Система пожаротушения. В соответствии с требованиями НБУ по ТЗИ в ЦОД предусмотрена система автоматического газового пожаротушения и прописан детальный план действий при пожаре для персонала заказчика.

Видеонаблюдение. В отделениях банка, в том числе в помещении ЦОД, используется решение Mobotics, в состав которого входят IP-видеокамеры «рыбий глаз» с охватом 360°.

Телекоммуникации. В масштабах всего 6-этажного здания построена СКС с применением решений R&M. Специалисты интегратора самостоятельно переключали все оптические и медные коммуникации. Ядро сети базируется на оборудовании Cisco Systems (параллельно реализуется проект модернизации корпоративной сети банка, включая IP-телефонию, на платформе этого вендора).

Серверы и СХД. Изначально планировалось остановить выбор на НР, однако серверы данного производителя, адаптированные под использование операционных приложений Cisco, не поддерживали ПО необходимой для заказчика версии. В итоге предпочтение было отдано серверам IBM, но в процессе инсталляции выяснилось, что и оборудование Голубого Гиганта не поддерживается в полном объеме. Для решения возникшей проблемы в представительстве Cisco открывали сервисный кейс.

ПО. Все инсталлированное ПО условно можно разделить на четыре основные части: операционная среда, коммуникационные приложения, системы IP-телефонии и приложения обеспечения безопасности.

Резервирование компонентов. По ИБП и системам кондиционирования – N+1, СКС – 2N (получилось два ядра по активному оборудованию).

Сервисная поддержка. Обслуживание различных систем в ЦОД производится в соответствии с договорами с разными условиями. По оборудованию Cisco и IBM интегратор осуществляет поддержку совместно с представительствами, но единой точкой входа для заказчика всегда остается интегратор.

Большие амбиции

В итоге отклонения от эскизного проекта рабочей документации, которая передавалась заказчику по факту выполненных работ, составили не более 5%. И то только потому, что в ходе строительства возник ряд заранее непредвиденных моментов (особенности прокладки кабелей и самого здания). Задержка по срокам не превысила двух дней, что для проектов подобного масштаба несущественно.

Сбербанк России в Украине не собирается останавливаться на достигнутом. «Строительство первого ЦОД – это лишь начало планируемых нами изменений, – утверждает Сергей Адаменко. – В следующем году мы намерены построить резервный ЦОД за пределами Киева в 2–2,5 раза больше существующего. В перспективе создадим инфраструктуру из двух синхронных и одного асинхронного ЦОД, которая удовлетворит все требования по катастрофо- и отказоустойчивости». Значит, продолжение следует...