Михаил Балкаров, APC: «Понятие „совокупная стоимость владения“ никто не отменял»

В последние 5–7 лет накануне кризиса построение центров обработки данных считалось весьма выгодным бизнесом. Поэтому нашу беседу с Михаилом Балкаровым, ведущим специалистом APC по системному проектированию ЦОД, мы начали с вопроса о том, как можно сегодня охарактеризовать спрос на центры обработки данных?

Сразу хотел бы отметить, что хотя Украина находится в поле моего зрения, я в большей степени ориентирован на проектную деятельность в России. Однако ответ на этот вопрос одинаков для обоих регионов, поэтому лишь озвучу общую точку зрения как вендоров, так и потенциальных заказчиков: кризис не уничтожил данный сегмент как таковой. Более того, интерес к центрам обработки данных не снижается.

С какими основными требованиями заказчика к проекту ЦОД вам обычно приходится сталкиваться на практике?

Разумеется, со временем клиенты поймут, что перерывы в бизнесе – это нехорошо, ощутят, какова настоящая стоимость простоев и какой продолжительности отказ «можно пережить» для данного типа бизнеса.

Вторая (общая как для России, так и для Украины) тенденция – появился акцент заказчика на TCO. Еще недавно мало кто обращал большое внимание на совокупную стоимость владения, концентрируясь на стартовых расходах, стремясь построить дешевле и быстрее, чтобы как можно раньше запустить ЦОД и начать «отбивать» инвестиции.

С экономическим спадом многие владельцы центров, несколько лет назад недовложившие относительно небольшие капитальные средства, «внезапно» ощутили, что накладные и оперативные расходы неоправданно велики (например, в связи с ростом цен на электроэнергию) и «съедают» основную часть прибыли. То есть то, что казалось им на тот момент экономией, сейчас обернулось недополученной прибылью либо убытками.

Предметно продемонстрировать это можно на основе анализа показателя эффективности использования электроэнергии (Power Usage Effectiveness, PUE). Напомню, PUE определяется как отношение суммарной потребляемой центром за год мощности к той ее части, которая расходуется на работу информационной инфраструктуры и служит наиболее полной интегральной характеристикой эффективности технологических и административных решений, принятых в ЦОД.
Наиболее «модное и красивое» значение показателя, к которому стремятся, – 1,3 (недавно рассчитывал проект ЦОД, где достижение PUE=1,3 стояло в техническом задании чуть ли не самым основным условием).

Фактически для многих современных центров характерен типовой коэффициент, равный 2. То есть «мимо» стоек с оборудованием, потребляющих, например, 10 кВт, в воздух «утекает» еще ровно столько же. Разница между первым и вторым значениями PUE – обширное поле для экономии, так как этот показатель включает в себя три источника потерь. Проще всего с последним – это служебные нужды. Доля их небольшая, а пути дальнейшего повышения эффективности – очевидны.

Первый источник – потери на пути от поставщика энергии до вычислительной нагрузки. Как правило, они определяются потерями на трансформаторах, на ИБП и в сети распределения. Обычно их доля также не столь велика, однако для мощных мегаваттных ЦОД и единицы процентов в абсолютном денежном исчислении хорошо ощутимы.

Кстати, будет уместным напомнить еще об одном немаловажном аспекте: получить в мощном центре 100%-ное заполнение по нагрузке зачастую не удается. При модульной конструкции ИБП (пусть они и несколько дороже моноблочных) система гарантированного электропитания получается более гибкой: часть их несложно отключить, оптимизировав тем самым КПД оставшихся в работе. Ведь, как известно, эффективность источника меняется в зависимости от мощности в нагрузке. Для современных ИБП, выполненных по online-топологии в оптимальном режиме, КПД может достигать 95%. Вообще рынок, предложив ИБП с КПД в 96%, пожалуй, уже приблизился в этой области к совершенству, да и при небольших мощностях несколько меньшее значение эффективности источников не оказывает существенного влияния на стоимость владения центром.

…а как же различные «зеленые», «экономичные» и прочие подобные энергосберегающие режимы работы ИБП, предлагаемые практически всеми вендорами?

Как только речь заходит о ЦОД мощностью в сотни киловатт либо мегаватт, различные псевдоонлайн-режимы лично я не рекомендую. Достаточно представить характер переходных процессов при килоамперных токах в моменты коммутации – это серьезное испытание для кабельной системы дистрибьюции энергии, способное в итоге сказаться на надежности всего комплексного решения. А вот практика применения ИБП с дельта-преобразованием (с КПД 97% в широком диапазоне нагрузок) вновь привлекает к себе внимание и выглядит достаточно успешной. Для этой технологии преобразования характерен ряд ограничений, однако ни один из ее недостатков не является критичным для ЦОД.

Суммируя несколько процентов потерь на трансформаторах и 5–15% на ИБП, остается проанализировать самую крупную по вкладу группу – вторую. Потери в ней характеризуют эффективность системы охлаждения, и в ее совершенствовании имеется значительный потенциал. У нас до сих пор инсталлируется большое количество неэффективных систем, до сих пор на охлаждение уходит неоправданно много электроэнергии, поэтому поле для творчества обширное.

Насколько позволяет повысить энергоэффективность и снизить совокупную стоимость владения использование технологии свободного охлаждения?

Всегда следует учитывать геоклиматические условия места инсталляции ЦОД. Для Киева (а центры, как правило «тяготеют» к крупным городам) – большую среднюю влажность. Поэтому, например, прекрасно зарекомендовавшая себя как энергоэкономичная в сухом климате технология охлаждения с использованием мокрых градирен (процесс охлаждения основан на испарения части воды благодаря потоку воздуха, направляемому на нее) в данном случае окажется малоэффективной.

Следующая известная закономерность: чем теплее вода в системе, тем эффективнее использование свободного охлаждения. Соответственно, при теплоносителе +12 °С система должна быть эффективнее, чем при более низкой температуре. Но это общее правило, требующее конкретного подтверждения расчетами. Мы, например, выиграли один из тендеров со своим проектом на 7-градусной системе против 12-градусной. Секрет в том, что холодильная машина в нашем предложении была несколько эффективнее, чем у конкурента. То есть стремясь к минимальной совокупной стоимости проекта, состоящей из капитальных и эксплуатационных расходов, следует просчитывать в целом и предлагать его в комплексе, не полагаясь на отдельные преимущества элементов или технологий без учета их доли в общих расходах.

Каково ваше мнение по поводу режимов прямого охлаждения атмосферным воздухом (так называемого «проветривания»)?

Как это ни удивительно, расчеты и практика показывают, что даже если закрыть глаза на ряд моментов, сопутствующих такой модели построения ЦОД (необходимости фильтрации воздуха, установки оборудования для его нагнетания и эвакуации, применения мер по снижению шума…), средний коэффициент использования электроэнергии для охлаждения с 7–8 поднимается всего до 9–10. Ведь часть года нам все равно приходится эксплуатировать некую основную систему охлаждения. Да и значения влажности, характерные для вашего региона, требуют дополнительных затрат на осушение: использование летом воздуха с возможностью 90% для прямого охлаждения – верный путь к отказам оборудования. Не так давно (по меркам жизненного цикла ЦОД) Intel участвовала в строительстве центра по принципу прямого охлаждения с использованием самых современных высоконадежных серверов. И наряду с его высокой энергоэффективностью для оборудования заметно снижались наработки на отказ.

Отмечу, что даже прямая система с непосредственной подачей воздуха занимает достаточно места. Что же касается других технологий, которые всплыли на волне «зеленых» инноваций, многие из них не совсем новы, и их ограничения хорошо известны. Например, системы с косвенным охлаждением давно используются в структуре американских ЦОД с теплообменниками «воздух-воздух». При этом известно, что полезный объем подобных ЦОД почти в два раза меньше традиционных за счет необходимости размещения там дополнительного оборудования (Kyoto-wheel, вентиляторов, теплообменников и пр.). Разумеется, говорить о возведении таких систем «не с нуля» смысла нет – пристроить его к имеющемуся зданию, как правило, не удается.

Еще раз повторюсь: все подобные проекты очень сильно завязаны на локальные геоусловия и не могут быть тиражированы без их учета. Справедливо и обратное: можно подобрать такой набор оборудования, при котором будут достигаться высокие показатели ЦОД и снизится расход энергии на охлаждение, однако для его реализации придется подбирать место для размещения исходя из доминирующих климатических параметров. Примеры успешной реализации такого подхода имеются. Однако отдельные результаты, достигнутые Microsoft и Google в эксплуатации своих ЦОД, связаны не столько с грамотной работой проектировщиков и внедрением первоклассных технических решений, сколько с тем, что эти решения четко привязаны к конкретному характеру нагрузки и конкретным условиям местности.

Производители процессоров, материнских плат и устройств хранения убеждают нас в существенном повышении КПД серверов, СХД, телекоммуникационного оборудования. Ощущается ли это вами на практике?

Безусловно, прогресс в данном направлении есть, и если говорить о производительности оборудования, то их вычислительная работа в пересчете на каждый затрачиваемый на нее ватт растет. С другой стороны, тепловая мощность, выделяемая одной стойкой, остается минимум в два раза больше, чем вожделенные 5–6 кВт.

Прогресс идет и с точки зрения снижения потребностей в объеме пропускаемого для охлаждения через оборудование воздуха. Однако законы теплообмена никто не отменял, и если в стойку свободно «набиваются» современные компактные системы с общим потреблением 40 кВт (и это не предел), то при снижении требуемого объема температура воздуха на выходе будет намного выше, чем у обычных серверов. Компактные системы легко дают разницу температур в 40 °С (а новые модели и все 60 °С!). А между тем разница в 30 С уже является критической для многих моделей кондиционеров. Соответственно, комплекс охлаждения для них должна не только обеспечивать необходимое количество воздуха, но и позволять снимать выделяемое тепло, не бояться высокой температуры на входе и при этом эффективно работать. Таким образом, в качестве теплоносителя используется вода, а не фреон, и при переходе к внутристоечной/внутриблочной системе жидкостного охлаждения это заставляет инженеров сконцентрироваться на решении задачи повышения надежности большого числа соединений – маленьких штуцеров.

Но и это только верхушка айсберга. Еще один маленький штрих: предположим, что температура воздуха на входе сервера 35 °С. Тогда на его выходе можно ожидать свыше 75 °С, что потребует мер защиты обычных подводящих кабелей электропитания и сети (рабочая температура их изоляции, как правило, ниже) от горячего «выхлопа», а также перенастройки датчиков системы пожаротушения.

Из практики использования лезвийных серверов для технологий виртуализации, облачных вычислений, да и просто периодических задач известно также о регулярном динамическом изменении нагрузки примерно от трети до максимума, причем в очень короткие сроки. APC взяла на вооружение внутрирядное охлаждение в системе с холодным-горячим коридорами за счет размещения кондиционеров непосредственно в рядах стоек. Путь оборота воздуха становится кратчайшим, следовательно, затраты электроэнергии на работу вентиляторов снижаются до минимально возможного уровня. А благодаря динамическому изменению частоты вращения вентиляторов и холодопроизводительности наши кондиционеры оптимально соответствуют потребностям и позволяют эффективно решать подобные проблемы, не допуская возникновения локальных зон перегрева устройств.

Стоит также попутно заметить, что зачастую средняя загруженность серверов в эксплуатируемых ЦОД не превышает 20–30%. Это значит, что передовые разработки ведущих производителей «железа» используются для обогрева воздуха, а часть усилий и затрат по созданию энергоэффективных ЦОД остаются невостребованными.

В каких еще направлениях и с использованием каких технологий будут развиваться решения в области энергосбережения и повышения эффективности в ближайшие годы?

Путей много, а их техническая реализация постоянно совершенствуется. Однако они связаны с локальными условиями теснее, чем это кажется на первый взгляд. Например, что касается снижения расходов, мне неизвестно пока ни одного проекта с охлаждением (с прямым или косвенным) на проточной воде. Ни систем с дополнительным теплообменником, ни тех, где бы она просто использовалась для охлаждения конденсатора холодильных установок. Понятно, что при этом заказчикам придется решать ряд проблем не только технических, но и административных. Однако на ТЭС и ТЭЦ обычно воду забирают из реки и в нее же возвращают, широко распространена. Задним числом многие из владельцев ЦОД, для которых проект готовился мною, сетуют, что не добились всех требуемых разрешений и не использовали данный ресурс. Как это, на первый взгляд, ни странно, поддержание температуры конденсаторов холодильных установок около +20 °С может дать порядка 10 кВт холодопроизводительности на каждый киловатт потребляемой системой охлаждения. При этом можно достичь PUE=1,3 даже без установки дополнительных теплообменников свободного охлаждения, а соответственно, и без дополнительных расходов на различные клапаны, прочие элементы конструкции и затрат на их обслуживание.

Возвращаясь к разговору о ранее упомянутых технологиях, можно надеяться, что в ближайшем будущем мы увидим более универсальные системы, позволяющие эксплуатировать их «как есть», а не выбирать место для строительства ЦОД. На «волшебные» (в десятки раз) коэффициенты повышения эффективности систем охлаждения в сравнении с оптимальными классическими решениями рассчитывать не стоит.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365