`

СПЕЦІАЛЬНІ
ПАРТНЕРИ
ПРОЕКТУ

Чи використовує ваша компанія ChatGPT в роботі?

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

«Парковый»: как построен дата-центр Tier III

+66
голосов

ЦОД «Парковый» стал первым и пока остается единственным в Украине с сертификацией проекта Tier III. Поэтому мы с интересом откликнулись на предложение познакомиться с реализованными на этом объекте технологическими решениями, которые позволили добиться столь высокого уровня готовности.

Напомним, что согласно классификации Uptime Institute существует четыре уровня надежности дата-центров, что соответствует их способности обеспечить непрерывность эксплуатации размещенных в них серверного оборудования. И в числовом выражении Tier III соответствует уровню готовности 99,982%, а значит суммарное время простоя размещенных здесь систем не может превышать 1 час 35 минут в год при работе в режиме 24/7. Именно таким требованиям отвечает проект дата-центра «Парковый», который был спроектирован и построен компанией Schneider Electric. Как сообщил принимавший участие в этом проекте эксперт из киевского офиса Schneider Electric Олег Кравец, вывод из штатного режима для проведения регламентных работ любого компонента инженерной инфраструктуры дата-центра «Парковый» не повлияет на работоспособность размещенного здесь бизнес-критичного серверного оборудования.

 как построен дата-центр Tier III

Частотные преобразователи, задействованные для питания насосов

Эта площадка находится в центре Киева на Парковой дороге. Дата-центр «Парковый» был введен в эксплуатацию в 2013 году, но прежде не стремился к открытости для прессы, приглашая знакомиться со своими возможностями прежде всего заказчиков. Поэтому, наверняка, многим будет интересно увидеть, что же кроется за его входным шлюзом.

 как построен дата-центр Tier III

Теплообменники между двумя контурами охлаждения

Как театр начинается с вешалки, так и такой режимный объект, как дата-центр «Парковый», встречает своих посетителей пропускным пунктом. Сразу же бросилась в глаза оригинальность его оснащения. Дело в том, что для прохода на территорию объекта необходимо зайти в кабинку со встроенными весами. С их помощью для каждого посетителя на входе и выходе измеряется масса, и разница не должна превышать двух килограмм, что призвано исключить несанкционированный вынос оборудования. Кроме того, в самом шлюзе снимается статика, его пол оборудован заземляющей системой. Кстати, а для всех грузовых операций используется специальное помещение с пониженной влажностью, чтобы удалить излишнюю влагу в случае выпадения росы на охлажденных поверхностях. Это помогает поддерживать климатические показатели в дата-центре в требуемых пределах.

 как построен дата-центр Tier III

Для обеспечения максимальной безотказности все потенциальные точки разгерметизации первичного контура комплектуются перекрывающимися вентилями

О масштабности этого проекта можно судить по таким показателям, как общая площадь, составляющая 2715 м2, из которой 930 м2 приходится на полезную. На ней разместилось 17 машинных залов, вмещающих 400 шкафов APC (by Schneider Electric). Охлаждение размещенного в них оборудования выполняется с помощью межрядных кондиционеров APC in Row.

 как построен дата-центр Tier III

В состав дата-центра «Парковый» входит несколько машинных залов для размещения серверного оборудования с экранированием до −20 дБ в соответствии с требованиями НБУ

«Специалисты Schneider Electric начали работу над проектом ЦОД с нуля и реализовали его на самом высоком уровне. Ими были проработаны все элементы инфраструктуры, сценарии реагирования на различные ситуации, учтены требования международных организаций, что в свою очередь дало возможность пройти сертификацию TIER III Design от Uptime Institute. Помимо этого, мы в основном используем оборудование Schneider Electric (APC by Schneider Electric): от автоматов до АВР и распределительных щитов, от щитов автоматизации до контроллеров, от шинопроводов до ИБП и силовых коммутаторов, серверные шкафы, межрядные кондиционеры, межрядные стойки питания и PDU, частотные преобразователи для управления насосами контуров охлаждения. Всё это стало идеальным решением и по эксплуатационным характеристикам, и по интеграции с другими системами. Наше сотрудничество длится уже более 7 лет и, в течение этого времени все компоненты структуры работают как единый слаженный механизм, демонстрируя высокую эффективность и надежность. Самое важное для Клиентов — это безотказная работа оборудования и, учитывая тот факт, что с начала эксплуатации дата-центр ни разу не «останавливался», мы знаем, что можем это гарантировать на 100%, в том числе благодаря профессионализму инженеров и проектировщиков «Шнейдер Электрик Украина», комментирует главный инженер дата-центр «Парковый» Олег Голубничий.

 как построен дата-центр Tier III

Демонстрационное окно, где представлена многослойная структура экранирования

Отдельно хочется сказать о внедренной в «Парковом» многозонной системы пожаротушения, которая является независимой для каждого зала. Поэтому ее срабатывание в одном из них не затронет остальные. В пожаротушении используется безопасный для человека газ Novec 1230, который вытесняет кислород из зоны горения. Проверки этой системы выполняются регулярно, но без применения газа.

 как построен дата-центр Tier III

На одном из участков коридора выполнена демо-зона, где сквозь прочное стекло видны трубопроводы

Система охлаждения в дата-центре — двухконтурная, где в первичном используется вода, а во вторичном — пропиленгликоль. Оба контура снабжены системами контроля давления и уровня в контуре, а также системами подготовки и подачи охлаждающих жидкостей в водяной и пропиленгликолеевый контуры. Для обеспечения максимальной безотказности все потенциальные точки разгерметизации первичного контура комплектуются перекрывающимися вентилями. Это позволяет не прекращать циркуляцию в случае закрывания какой-либо из пар. В состав системы охлаждения входит четыре аккумулятора холода. Они нужны для непрерывности отвода тепла в короткий период времени, необходимый для старта дизелей. Энергоснабжение этих аккумуляторов холода, как и всего первичного контура, выполняется от ИБП.

 как построен дата-центр Tier III

Каналы для коммуникационных кабелей на входе в машинный зал заполняются ферритовой стружкой, а сами кабели одеваются в ферритовые кольца

Как сообщил Олег Кравец, главный инженер проектов ЦОД департамента Secure Power в киевском офисе Schneider Electric, среди отличий дата-центра «Парковый» от аналогичных площадок — использование кондиционеров для охлаждения мощных трансформаторов. Это связано с тем, что совокупное тепловыделение всех трансформаторов было бы слишком сложно отводить с помощью обычно применяемого в таких случаях приточного воздухообмена. Отметим, что общая проектная мощность дата-центра «Парковый» составляет 4 МВт, из них 2,4 МВт приходится на ИТ-нагрузку.

 как построен дата-центр Tier III

В одном из залов выполнялся монтаж оборудования, поэтому сюда можно было заглянуть

В состав дата-центра «Парковый» входит несколько машинных залов для размещения серверного оборудования с экранированием до −20 дБ в соответствии с требованиями НБУ. Для минимизации доступа в них обслуживающего персонала в зоны общего доступа вынесены все гребенки и коробка отбора мощности, откуда можно обесточить весь зал. Такие машинные залы выделяются целиком для одного заказчика. И вход в них допускается лишь по согласованию с ним.

 как построен дата-центр Tier III

Некоторые залы оснащены окнами для наблюдения

Рядом со входом в один из таких машинных залов выполнено демонстрационное окно, где представлена многослойная структура экранирования. Она представляет собой сендвич из гипсокартона с униформной обработкой, стального листа толщиной от 2 до 5 мм, а также звукопоглощающего и огнеупорного материалов. Каналы для коммуникационных кабелей на входе в такой зал заполняются ферритовой стружкой, а сами кабели одеваются в ферритовые кольца. При этом электропитание подводится через развязывающие фильтры. Вводящие сигнальные слаботочные кабели пассивные волноводы, по требованиям НБУ, имеют длину не менее трех метров при диаметре 50 мм. В свою очередь, канал дымоудаления перекрывается металлической сеткой.

 как построен дата-центр Tier III

ИБП Symmetra мощностью 1,6 МВт

Вся система коммуникаций проложена под полом. Его вскрытие открывает доступ к вентилям и переключению подводов. На одном из участков коридора выполнена демо-зона, где сквозь прочное стекло видны трубопроводы.

Система подачи бесперебойного электропитания включает два активных ИБП Symmetra мощностью 1,6 МВт каждый, а третий такой ИБП находится в резерве. Их ресурсов достаточно для обеспечения энергоснабжения на время переключения со входных трансформаторов на дизели при полной нагрузке дата-центра. На каждый ИБП приходится по пять шкафов со 128 аккумуляторами, всего их 1920. Расчетное время старта дизеля 2 минуты 20 секунд, но реально оно не превышает 20 с, так как все эти силовые установки работают в режиме «горячего» старта с подогревом масла.

 как построен дата-центр Tier III

На каждый ИБП приходится по пять шкафов со 128 аккумуляторами, всего их 1920

Протокол запуска дизелей предусматривает старт трех из четырех имеющихся. В течение заданного периода они синхронизируются. После чего исходя из имеющейся нагрузки два из них останавливаются. Выбор остающегося активным делается автоматически с учетом наработки.

Для контроля работоспособности дизелей их регламентные проверки выполняются ежеквартально. Они совмещаются с проверкой перевода энергоснабжения с двух вводов на один. При этом также проверяется работа мостов и автотрансформаторов.

 как построен дата-центр Tier III

Система вентилирования дата-центра «Парковый» включает три сегмента

Имеющегося на месте запаса дизельного топлива должно хватить на два дня. При этом требования Uptime Institute предусматривают 12-часовый запас горючего.

Система вентилирования дата-центра «Парковый» включает три сегмента: рабочие помещения, где размещается обслуживающий персонал; машинные залы, куда подается избыточное давление; а также помещение для ИБП, где более разряженный воздух. Повышенное давление необходимо для того, чтобы при открывании дверей в машинный зал в него с потоком воздуха ничего не попадало. А специфика зала с источниками бесперебойного питания такова, что в случае нарушения целостности батарей входящий в их состав электролит не должен свободно распространяться по всему комплексу.

 как построен дата-центр Tier III

Служба мониторинга дата-центра «Парковый» работает в режиме 24/7

Служба мониторинга дата-центра «Парковый» работает в режиме 24/7, в каждой ее смене ИТ-специалисты и техники. В отведенном для нее помещении размещены мониторы видео-наблюдения.

В дизель-генераторах задействованы самые компактные корабельные двигатели Perkins. Здесь используется порошковая система пожаротушения. Рядом с каждой из четырех установок находится емкость для топлива на 900 литров. Все они соединены друг с другом и выполняют функцию предварительного нагрева запаса расхода на один день. Тогда как основное хранилище вынесено за пределы комплекса.

 как построен дата-центр Tier III

Олег Голубничий: «В дизель-генераторах задействованы самые компактные корабельные двигатели Perkins»

Подводя итог, Олег Голубничий отметил, что сотрудничество дата-центра «Парковый» и «Шнейдер Электрик Украина» продолжается, и в ближайших планах партнеров - новые амбициозные задачи, направленные на совершенствование показателей надежности и эффективности ЦОД.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365

+66
голосов

Напечатать Отправить другу

Читайте также

У меня вопрос на уточнение. В статье сказано, что "общая проектная мощность дата-центра «Парковый» составляет 4 МВт, из них 2,4 МВт приходится на ИТ-нагрузку". Выходит PUE = 1,67. Но изначально и годы позже ЦОД Парковый утверждал, что сделанный Шнайдером и сертифицированный Uptime Institute проект обеспечивает PUE=1,25. Это широко рекламировалось в профессиональной среде. Что изменилось по сравнению с изначальным проектом, куда девались обещанные проектантами 34% энергоэффективности?

Вероятно, при смене управляющей команды не все ключевые посылы были переданы по наследству. Часть утеряна. Нет, чтобы посочувствовать коллегам: cтроить репутацию - это ж не дата-центры ваять.

 

Ukraine

 

  •  Home  •  Ринок  •  IТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Мережі  •  Безпека  •  Наука  •  IoT