Что нужно для того, чтобы создать супер-ЦОД? Прочное помещение достаточного объема и безопасное в отношении природных явлений, – равно как и физически недоступное для злоумышленников. Близкие источники питания и системы охлаждения. Хорошая транспортная развязка. Экономичность и, по возможности, «зеленость». Сейчас такой уже строится и называется Norway's Lefdal Mine Datacenter.
Из названия следует, что центр обработки данных, аппаратно-программное обеспечение для которого будет поставлять IBM, находится в уже неиспользуемой (не хочется употреблять слово «заброшенной») шахте в Норвегии.
Два слова о самой шахте. Очевидно, что выработанные угольные разрезы и соляные копи никак не могут быть использованы соответственно в силу пыльности и агрессивности среды. Большая норвежская шахта – оливиновая*. Может быть, кто-то вспомнит, что инженер Гарин со своим гиперболоидом искал золото именно в слое оливиновых пород. Похоже, что нашла его IBM, хотя и без помощи волшебного луча.
* Оливин – породообразующий минерал, магнезиально-железистый силикат с формулой (Mg,Fe)2[SiO4]. Не пылит и не газит. В основном используется в металлургии, но иногда там добывают и полудрагоценные камни.
Сравнительный размер шестиуровневого разреза общей площадью 120 тыс. кв.м. На первом этапе для ЦОДа будет использоваться только средний, третий уровень
Контракт на оборудование IBM, который начал выполняться с середины августа, не слишком велик для компании – 26 млн. евро. Однако он предусматривает поставку и монтаж только первой очереди ЦОДа и его ввод в опытную эксплуатацию. IBM также участвовала в проектировании центра.
Второй контракт заключен с немецким индустриальным конгломератом Friedhelm LOH Group. Он приобрел 33,3% акций шахты Lefdal, а его филиал, Rittal, – один из технологических партнеров шахты.
Ожидается, что ЦОД будет запущен через год, в августе 2016 г., а для клиентов станет доступен с октября того же года.
Rittal будет поставлять стойки, контейнеры, охлаждающее оборудование и системы питания для датацентра, а также разрабатывать конструктивы аппаратных модулей специально для шахты Lefdal.
Контейнеры, используемые в шахте, также производятся в Германии. Если клиент хочет использовать собственное оборудование, контейнеры сначала будут отправлены ему для монтажа и проверки, а затем уже их перевезут в Lefdal Mine Datacenter.
Конструктивы
Как видно на схеме, большинство уровней шахты устроено по образцу простой решетки, а сами уровни связаны спиральным подъездным путем общей длиной 1,3 км.
Эта дорога имеет 14 м в ширину и 8,5 м в высоту, чего вполне достаточно для двухстороннего движения трейлеров, перевозящих стандартные транспортные контейнеры. У каждого уровня есть «центральный проспект», который соединяется со спиральным подъездным путем галереями.
Как в каждом приличном городе, в шахте различают «авеню», или «проспекты» (подъездные пути) и «стрит», или «улицы» (галереи), в которых и будут располагаться контейнеры. В улицах разместятся 40-футовые контейнеры в три этажа, с обеих сторон с транспортной дорогой между ними.
В дополнение к проспектам и улицам в шахте есть также сервисные туннели, в которых разместятся две независимые системы циркуляции хладагента (воды), а также коммуникационные линии и кабели электропитания.
Модульный принцип, используемый и для стоек, и в контейнерах, разработанных Rittal, обеспечивает высокую степень стандартизации. По сути, после доставки к контейнерам нужно только подключить соответствующие соединители электропитания и системы охлаждения, – и они сразу готовы к работе.
Сама Rittal определяет сроки поставки контейнера для заказчика примерно в шесть недель. Однако пока компания на всякий случай оговаривает и возможность построения (для привередливого заказчика) его собственного ЦОДа более традиционной архитектуры – с залами данных, комнатами и этажами, – благо, места хватает.
«Зеленый» и экономичный
Как хладагент Lefdal Mine Datacenter будет использовать холодную морскую воду из расположенного рядом фьорда. Сама шахта частично находится ниже уровня моря, таким образом, нет никакой потребности в дорогих насосах высокой производительности, чтобы закачивать морскую воду в теплообменники системы охлаждения.
В результате расчетный коэффициент PUE* шахты составляет 1,08-1,10 для стойки на 5 кВт. Это делает Lefdal Mine одним из самых энергосберегающих ЦОДов в Европе.
* PUE (Power Usage Effectiveness) – эффективность использования энергии. Отношение всей используемой в датацентре удельной энергии на единицу вычислительного устройства к энергии, расходуемой непосредственно на вычисления.
Электропитание центра обеспечивается за счет расположенных неподалеку гидро- и, в меньшей степени, ветроэлектростанций местного масштаба. В пределах 50 км радиуса Lefdal Mine находится четыре небольшие, уже эксплуатируемые гидроэлектростанции общей мощностью более 300 МВт.
Норвежские цены на электроэнергию одни из самых низких в Европе. Кроме того, норвежское правительство недавно объявило о сокращении налогов на электричество специально для ЦОДов в государственном бюджете следующего года.
Причина этого понятна – геофизические и климатические условия Норвегии и так привлекательны для строительства центров обработки данных, а некоторый энергетический демпинг делает предложение практически неотразимым для внешних инвесторов, – и одновременно очень выгодным стране.
После запуска первая очередь центра будет потреблять 30 МВт электроэнергии, а когда шахта будет полностью освоена, для нее потребуется до 200 МВт. Это – мировой рекорд. Facebook Datacenter в Северной Швеции потребляет 120 МВт, а предполагаемая потребляемая мощность Apple Datacenter в Дании будет находиться в пределах 100-144 МВт.
Отличное наглядное представление о Norway's Lefdal Mine Datacenter дает анимация на YouTube – не поленитесь посмотреть.
Ну что можно сказать в заключение? Только привести старую пословицу о том, что «умные речи приятно и слушать». И пожелать Lefdal Mine Datacenter успешного будущего и последователей, – в том числе, возможно, и в нашей стране?