Погода в ЦОДе: как меняется инженерная инфраструктура современных дата-центров (1 часть)
1 часть 2 часть
Рынок инженерной инфраструктуры ЦОД всегда относился к числу довольно консервативных. Однако ветры перемен в буквальном смысле продувают помещения ЦОД, требуя пересмотра привычных технических решений, способных гармонизировать потребности растущего энергопотребления с затратами на охлаждение и выгодой от цифровизации бизнес-процессов. Принципы «зеленого ЦОДа» - уже не мечты убежденных борцов за экологию, а экономически обоснованная бизнес-модель корпоративного центра обработки данных.
Объем данных, хранимых в ЦОДах всего мира, по оценкам портала Statista, за период 2016 - 2019 гг. вырос втрое. Пропорционально растут масштабы вычислительных мощностей, требуемых для их обработки, что непосредственно сказывается на облике Data-центра: увеличивается, как уровень нагрузки, приходящейся на стойку, так и плотность размещения стоек, изменяется стоимость ресурсов ЦОД и возможности подключения к источникам данных.
«Если 10 лет назад типичной мощностью на одну серверную стойку было 4 - 5 кВт, то сейчас средним становится показатель 10 кВт, а пиковые показатели могут достигать 20 - 40 кВт,- отмечает Олег Любимов, генеральный директор Selectel.- Это обусловлено торможением прогресса в полупроводниках, из-за которого дальнейшее увеличение вычислительной мощности оборудования теперь идет за счет увеличения площади и энергопотребления процессоров, а не улучшения их техпроцесса и повышения их эффективности, а также все более частым использованием GPU-вычислений, особенно для ML-задач.»
Согласно данным профильной организации Uptime Institute, опубликованным в апреле 2019 г., потребление электроэнергии только серверами в ЦОДах по всему миру превысит 140 ГВт к 2023 г., а с инженерными системами - более 200 ГВт. Для сравнения общая установленная мощность электростанций ЕЭС России составила на конец 2019 г. 246,3 ГВт, согласно официальному отчету о функционировании ЕЭС России в 2019 г. При этом отмечается, что рост энергопотребления облачных провайдеров примерно в шесть раз превышает рост потребления частных облаков.
По оценкам специалистов компании Eaton, к 2025 году индустрии ЦОД может потребоваться до 20% всей вырабатываемой в мире электроэнергии. Вот почему на планете набирает силу строительство крупных ЦОДов вблизи источников генерации электроэнергии. А глава «Ростелекома» Михаил Осеевский обратился в правительство РФ с просьбой предоставить ЦОДам, обеспечивающим работу ИТ-систем госорганов, например, ЦОДу «Калининский» вблизи Калининской АЭС, статус оптового потребителя электроэнергии, что существенно снизит соответствующие затраты.
Энергоэффективность – один из ключевых параметров любого ЦОДа.
«Мы видим фокус на консолидацию ИТ-ресурсов у одних компаний и децентрализацию у других. Третьи смотрят в сторону периферийных вычислений и Edge-решений. Однако, несмотря на различные бизнес-потребности этих компаний, они все больше интересуются энергоэффективными решениями как средством сокращения своих затрат. И если ранее эта тенденция была присуща лишь коммерческим ЦОД, то сейчас все больше корпоративных площадок задумываются об экономии энергоресурсов,- отмечает Сергей Махлин, руководитель направления электроснабжения и климатических систем ИТ-компании КРОК.»
В борьбе за улучшение энергоэффективности настоящие сражения идут за десятые доли коэффициента PUE (Power Usage Effectiveness), представляющего собой отношение общей мощности, потребляемой ЦОД, к мощности, потребляемой ИТ-оборудованием.
Классификация ЦОД по параметрам энергоэффективности
Главный критерий высокого результата – хорошие показатели PUE, достигаемые без увеличения капитальных затрат. При этом снижение коэффициента – нетривиальная комплексная задача: нужно рассматривать не отдельные энергетические установки, энергопотребление ЦОДа в целом – от инженерной конструкции здания до процессоров серверного оборудования.
«Энергоэффективность ЦОД определяется множеством факторов. Это и эффективность его инженерной инфраструктуры – хладоснабжения, энергообеспечения, и эффективность используемого серверного оборудования. Стоимость изменений в инфраструктуре ЦОД наибольшая, поэтому важность правильного выбора решений при проектировании трудно переоценить,- подчеркивает Владимир Леонов, технический директор АМТ-ГРУП.»
Тепло – на ветер
По данным Borderstep Institute, в 2013 г. ЦОДы израсходовали порядка 10 ТВт/ч электроэнергии, и 40% этой энергии потребили климатические системы. Несмотря на все усилия по оптимизации энергопотребления, на следующий год суммарное потребление ЦОДов увеличилось на 3%, и еще через год - на 4%. Артем Кузнецов, руководитель планово-экономической службы компании «АРБИТЕК» (ГК «АйТеко»), поясняет, почему утилизация огромного количества тепла, которое является побочным продуктом при функционировании любого крупного Data-центра, стало настоящим вызовом для индустрии ЦОДостроения:
"Вся выделяемая тепловая энергия зачастую рассеяна на большой площади и не может быть собраны в единые точки без каких-либо значительных потерь при ее транспортировке."
В определенной мере тяжесть проблем уменьшило появление современных моделей серверов, которые, как отмечает Артем Кузнецов, прекрасно функционируют даже при поддерживании 400С в холодном коридоре. Даже при таких режимах, полностью избавиться от проблем с избытком тепла не получается. Второй по важности проблемой являются затраты на электричество, стоимость на которую является наиболее существенной в части себестоимости бизнеса Data-центров после капитальных затрат на оборудование.
Самый распространенный вид отвода тепла из ЦОДа - компрессорное охлаждение, которое само по себе требует большого количества электроэнергии. К тому же тенденция консолидация серверов и рост популярности систем блейд-серверов высокой плотности приводит к тому, что в рамках все меньших площадей концентрируется все больших вычислительных мощностей. При этом возможно появление горячих точек, с которыми, говорят эксперты, системам отопления, вентиляции и кондиционирования воздуха (ОВиК) практически невозможно справиться: локальное охлаждение таких горячих зон ЦОДа лишь перераспределяет распределение тепла, но не уменьшает расход электроэнергии.
Для решения проблемы вблизи сильно нагревающихся стоек устанавливают межрядные прецизионные кондиционеры, которые обеспечивают эффективный отвод тепла и предотвращают перегрев оборудования. Увеличивающиеся эксплуатационные затраты затем стараются снизить, внедряя современные методы мониторинга и учета ресурсов, передовые энергосберегающие технологии.
«Стык экономии ресурсов и затрат на эксплуатации ЦОД, является сложным компромиссом между повышением стоимости создания и снижением стоимости владения,- подчеркивает Роман Шумейко, начальник отдела поддержки продаж системного интегратора «ХайТэк».»
В ходе поисков эффективного решения появилась концепция тригенерации (Trigeneration, CCHP - combined cooling, heat and power), подразумевающей процесс совместной выработки электричества, тепла и холода.
Один из подходов подразумевает, что в хладоцентре ЦОД устанавливаются абсорбционные холодильные машины, которые в своем цикле используют тепло, поступающее от источника, находящегося в непосредственной близости от Data-центра, например, ТЭЦ или завода. Генерация холода происходит в специальном цикле испарения воды в вакууме и абсорбции в растворе бромида лития, который далее регенерируется с использованием внешнего источника тепла. Значение PUE для данной схемы может достигать 1,15.
Технология тригенерации является более выгодной по сравнению с когенерацией (комбинированным производством тепловой и электрической энергии), поскольку дает возможность эффективно использовать утилизированное тепло не только зимой для отопления, но и утилизировать тепло летом.
«Технология тригенерации крайне сложна в эксплуатации и имеет высокий показатель капитальных расходов CAPEX на начальном этапе развертывания ИТ-решений,- замечает Артем Кузнецов, а окупаемость таких решений даже при грамотном техническом обслуживании достаточно велика - 7 - 8 лет.»
Хладоцентр ЦОД «Калининский»: запас холодного теплоносителя обеспечит работу системы при полной нагрузке в случае выхода из строя всех холодильных машин. Источник: «Росэнергоатом», 2019 г.
Где находится та точка, которая позволит разорвать порочный круг увеличения CAPEX и OPEX в климатических решениях для ЦОД? По мнению Александры Эрлих, генерального директор акомпании «ПрофАйТиКул», это общее снижение потребления электроэнергии.
«Математика очень проста: мы экономим на системе холодоснабжения и вкладываем колоссальные деньги в энергетику. Или мы тратим чуть больше на холод, но это позволяет нам получить значительную экономию на смежных разделах,- поясняет Александра Эрлих.»
Олег Любимов также видит тенденцию к снижению энергопотребления обслуживающих систем дата-центров: повышение рабочей температуры оборудования, все большее использование для охлаждения наружного воздуха вместо фреоновых кондиционеров, минимизация потерь в системах электроснабжения.
Управление воздушными потоками
С практической точки зрения, системы охлаждения должны поддерживать коридоры температуры и влажности несмотря на климатические скачки, иметь как можно меньше возможных точек отказа, потреблять как можно меньше электроэнергии, быть максимально простыми и удобными в эксплуатации, отмечает Александра Эрлих. И, кроме того, поддерживать масштабируемость, то есть иметь возможность легко нарастить климатическую систему, если возникнет потребность увеличить мощность или количество стоек в ЦОДе.
Этим требованиям во многом соответствуют системы управления воздушными потоками в помещениях ЦОДа. Илья Царев, архитектор Центра разработки решений для ЦОД компании Schneider Electric, замечает, что ряд несложных правил из опыта лучших проектов ЦОД позволяют решающим образом снизить электропотребление ЦОД. К их числу, например, относятся правила разделения потоков холодного воздуха на охлаждение ИТ-оборудования и отводимого горячего, отсутствие рециркуляции и байпассирования воздуха.
Александра Эрлих делает ставку на два подхода: индивидуальные системы прямоточной вентиляции и уход от прецизионных кондиционеров в сторону теплообменников. Большие модули теплообменников с жидкостным охлаждением используются одновременно в качестве перегородки между инфраструктурой обеспечения и вычислительным центром. Горячий воздух от стоек с ИТ-оборудованием нагнетается с помощью вентилятора в пространство за охлаждающим жидкостным теплообменником. Проходя через теплообменник, он охлаждается и подается назад на охлаждение стоек.
«Теплообменники можно использовать в ЦОД любой конфигурации, в любой климатической зоне, как при строительстве нового ЦОД, так и при модернизации/реконструкции,- замечает Александра Эрлих.- Они легко вписываются в любую архитектуру, масштабируются, прекрасно эксплуатируются. А главное, стоят и потребляют вдвое меньше, чем прецизионные кондиционеры.»
Особенно важно это при модернизации ЦОДа.
«Современную систему вентиляции часто сложно вписать в существующие шахты, а вот практикуемые нами системы теплообменников для ЦОД могут работать и без фальшпола, и без фальшпотолка, и занимать при этом минимум места в машзале, либо вообще располагаться за его пределами,- отмечает она.»
В поисках бесплатного холода: фрикулинг
Фрикулинг — холодильная система, использующая режим естественного охлаждения, как отмечает Александра Эрлих, стала первой и весьма рациональной попыткой уменьшить энергопотребление ЦОДа, поскольку удалось реализовать систему, работающую хотя бы часть года без компрессоров и другого энергоемкого оборудования. Речь идет о подаче прохладного уличного воздуха напрямую в помещение (если температура наружного воздуха ниже, чем в помещении) или посредством теплоносителя (если на улице жарко).
Наиболее популярный вариант - чиллеры с функцией фрикулинга, которые представляют собой холодильные машины, оснащенные дополнительным теплообменником. Если наружная температура выше заданной температуры холодоносителя, то холодоноситель охлаждается в испарителе холодильного контура, встроенного в чиллер. А в холодное время года жидкость охлаждается не в испарителе, а специальном теплообменнике – драйкулере, где в качестве источника охлаждения используется наружный воздух с низкой температурой.
Чиллеры на кровле здания ЦОД «Калининский» в Удомле. Источник: «Росэнергоатом», 2019 г.
По оценкам экспертов, такая система требует существенных капитальных вложений, однако достаточно быстро окупается (возможно даже в первый год эксплуатации), поскольку основной потребитель электроэнергии в такой системе – чиллер – не работает в течение нескольких холодных месяцев.
Очень часто оптимальной по цене и энергоэффективности оказывается система чиллер-фанкойл. В качестве фанкойлов выступают кондиционеры с системой охлаждения CW (chiller water), которые работают в паре с холодильной машиной. Основными элементами охлаждения в кондиционерах CW - теплообменник и двух- или трех-ходовой клапан, который меняет расход холодоносителя в зависимости от уровня тепла в помещении.
Илья Царев подчеркивает, что повышению энергоэффективности ЦОДа способствует применение чиллеров с плавной регулировкой производительности и безкомпрессорных систем, а также отказ от активного поддержания влажности постоянной работой пароувлажнителей в пользу настройки температурно-влажностных показателей в зале таким образом, чтобы предотвратить выпадение конденсата на теплообменниках.
Системы вентиляции, использующие воздушный фрикулинг и адиабатическое охлаждение (за счет испарения воды, например, распыляемой системой высокого давления) внутри помещения, дают возможность добиться очень хороших показателей PUE – до 1,043, поскольку вспомогательное оборудование, включая систему охлаждения, даже летом потребляет всего около 4% электроэнергии энергии ЦОДа, а зимой – еще меньше.
Следующий виток развития систем фрикулинга связан с появлением гибридных и бесчиллерных систем. Гибридные (наружные) системы используют вместо воздушных драйкулеров их испарительных собратьев: вода испаряется с поверхности теплообменника, при этом на разрыв межмолекулярных связей затрачивается огромное количество энергии, что позволяет охладить воздух.Энергопотребление сокращается на 20–30%, по сравнению с базовым вариантом фрикулинга, а режим естественного охлаждения удается растянуть практически на весь год.
Обратная сторона медали - расход воды, который может быть очень велик. Организация Green Grid даже ввела еще один параметр, характеризующий полезное потребление воды в Data-центре, – коэффициент использования воды WUE (Water Usage Effectiveness), который по аналогии с PUE рассчитывается как отношение годового потребления воды к мощности ИТ-оборудования и измеряется в л/кВт/ч.
В бесчиллерных системах чиллеры находятся в холодном резерве, а вся нагрузка по охлаждению ложится на гибридные охладители. Так охлаждается, например, ЦОД Google в Германии. Бесчиллерные системы рассматриваются как один из вариантов магистрального развития ЦОДов, однако они весьма чувствительны к параметрам внутренней и внешней среды и потому требуют детальных расчетов при проектировании.
Тренд на применение воды для охлаждения ЦОД можно считать одним из ключевых в ближайшем будущем - стало понятно, что пределы совершенствования воздушного охлаждения уже близки и для достижения более ощутимых результатов в части энергоэффективности необходимо заменить воздух более эффективным теплоносителем. Сегодня вода – лучший кандидат на эту роль.
Роман Шумейко из компании «ХайТэк» полагает:
«В развитии структуры ЦОД можно выделить две глобальные тенденции: переход к энергосберегающим технологиям и технологиям жидкостного охлаждения.»
Погружное охлаждение: от суперкомпьютера до ЦОДа
Воздух – это скорее теплоизолятор, чем теплоноситель. А у воды – масса преимуществ: высокий коэффициент теплопередачи, во много раз превышающий соответствующий показатель воздуха, доступность и относительно невысокая стоимость. Можно заметно повысить энергоэффективность, отойдя от привычного метода охлаждения активного оборудования, воздухом, который по сравнению с жидкой средой имеет очень низкую теплоемкость, говорит Артем Кузнецов из «АРБИТЕК»:
«Одним из перспективных направлений является решение о погружении активного оборудования в жидкостную среду диэлектрика (жидкий теплоноситель).»
Это дает значительные преимущества при эксплуатации оборудования. Например, поддержание значения температуры диэлектрического теплоносителя на уровне 35 C требует значительно меньших энергозатрат, чем подача воздуха с температурой 13°C.
Согласно оценкам Global Market Insights, рынок таких решений для Data-центров к 2025 г. превысит 2,5 млрд. долл. Аналитики объясняют это тем, что с увеличением объемов обрабатываемых данных и, соответственно, нагрузки на серверы в ЦОД, особенно, те, которые занимаются высокопроизводительными вычислениями, возможностей систем воздушного охлаждения становится недостаточно.
Погружное охлаждение – самый простой вариант: вычислительные модули погружаются в диэлектрическую жидкость (минеральное или синтетическое масло), которая отводит тепло в процессе циркуляции.
Погружное охлаждение электронного оборудования. Источник: «Экофлопс»
С данным типом охлаждения в течение ряда лет экспериментирует индустрия высокопроизводительной техники и суперкомпьютеров. Наиболее известные проекты такого типа - суперкомпьютер SuperMUC производительность 3 Пфлопс, работающий в вычислительном центре им. Лейбница Баварской академии наук в Германии. Реализованная идея такова: процессор снабжается специальным водяным теплообменником, в который подается вода с температурой +40°C. Отработанная вода с температурой +70°C либо идет на отопление, либо охлаждается в климатической системе, построенной по принципу круглогодичного фрикулинга.
В России с помощью системы водяного охлаждения с круглогодичным фрикулингом охлаждается суперкомпьютер НИВЦ МГУ.
Другие варианты водяного охлаждения техники изнутри:
*Двери с водяным охлаждением. В этом случае кондиционер устанавливается на заднюю стенку серверной стойки и сразу отводит тепло от оборудования, и горячий воздух не попадает в машинный зал.
В этом случае удается получить многократное сокращение длины горячего коридора, что существенно повышает энергоэффективность системы охлаждения. Кроме того, решение не требует дополнительных площадей, позволяя оптимально использовать пространство в Data-центре. Двери с водяным охлаждением могут рассматриваться в качестве хорошей альтернативы внутрирядным кондиционерам, особенно в ситуации, когда необходимо обеспечить охлаждение высоконагруженных стоек.
*Охлаждение с помощью контурных тепловых трубок, которые доставляют хладагент непосредственно к активным компонентам серверов. Тепло от них отводится на теплообменник, который может быть расположен как внутри серверной стойки, так и снаружи.
Компания Google оснащает системами жидкостного охлаждения серверное оборудование, предназначенное для проведения расчетов на базе методов машинного обучения. Соответствующие модули – ASIC-микросхемы Tensor Processing Unit – располагаются группой на материнской плате вместе с охлаждающей пластиной. Жидкий хладагент подается на охлаждающую пластину, контактирующую с каждым чипом ASIC TPU через тепловую трубку.
Капитальные затраты на системы с водяным охлаждением серверов сегодня все еще слишком высоки. Как ни странно, одной из существенных составных частей стоимости решения может стать вода, потому что для крупного ЦОДа ее нужно очень много. Так, по сведениям Bloomberg, в 2019 г. Google понадобилось более 8,7 млн. куб. м воды для своих ЦОД в трех штатах. Потребность в воде настолько велика, что ее приходится запрашивать у властей города, в которых располагаются ЦОДы. Скажем, для нового ЦОДа, размещенного в городе Ред-Оук (штат Техас), требуется до 1,46 млрд. галлонов воды, в то время как весь округ, где расположен этот и еще два десятка городов, потребляет на все свои муниципальные нужды 15 млрд. галлонов воды.
В последнее время иммерсионное охлаждение - охлаждение серверного оборудования путем его полного погружения в жидкий диэлектрический хладагент – стало использоваться для оборудования обычных ЦОДов. Такая система компактна, непритязательна в электропитании – энергия нужно только для работы нескольких маломощных насосов. Зато обеспечивается стабильная температурная среда, исключающая появление горячих зон с высоконагруженными стойками.
Центр обработки данных DTL с иммерсионным охлаждением введен в эксплуатацию в 2019 г. в Москве.
Ключевые особенности указанных систем охлаждения – необходимость специальной доработки плат и высокая чувствительность конструкции к протечкам. Еще на один недостаток данного решения в формате ЦОД, указывает Артем Кузнецов:
«Увеличение количества площадей под активное оборудование и необходимость использования специальных подъемных механизмов для оперативной замены вышедшей из строя вычислительной техники.»
Сервер-подводник. Источник: «Экофлопс»
«Инпро Технолоджис» — российский разработчик и производитель вычислительно-коммуникационных комплексов, разработавший собственное решение охлаждения на базе технологии непосредственного жидкостного охлаждения Liquid Cube. В компании говорят, что вычислительные системы и сети, построенные на основе Liquid Cube, потребляют на 30% меньше электроэнергии и позволяют сократить эксплуатационные расходы на 50% по сравнению с традиционными решениями ЦОД.
Энергоэффективность систем с непосредственным жидкостным охлаждением. Источник: «Инпро Технолоджис»
Олег Котелюх, управляющий партнер «Инпро Технолоджис» говорит, что решение Liquid Cube может быть использовано для широкого спектра задач: от хранения данных до узкоспециализированных вычислений высокой плотности.
Контейнерный ЦОД Liquid Cube с жидкостным охлаждением
Контейнерный ЦОД Liquid Cube - это универсальная вычислительно – коммуникационная платформа с непосредственным жидкостным охлаждением, ориентированноая на использование в рамках гиперконвергентных и Edge-архитектур. Быстровозводимый ЦОД Liquid Cube может работать в широком диапазоне температур окружающей среды и даже в агрессивной внешней среде, обеспечивая снижение OPEX на 50% и более, по сравнению с традиционным ЦОДом.
Сравнение традиционного ЦОДа и Liquid Cube с одинаковым энергопотреблением
Плавучий ЦОД
В течение нескольких лет компания Nautilus Data Technologies занимается строительством плавучих ЦОДов. Первый такой Data-центр Eli M мощностью 8 МВт, включающий 800 серверных стоек, был спущен на воду в конце 2015 г. А в конце нынешнего года в порту Стоктон (штат Калифорния) на барже, пришвартованной в порту, должен заработать еще один плавучий ЦОД мощностью 6 МВт.
Водоплавающий ЦОД Nautilus Data Technologies. Источник: Selectel
В ЦОД на барже будет установлена фирменная система охлаждения компании с теплообменниками, которая использует воду, окружающую объект. Средний расход забортной воды для поддержки системы охлаждения серверов составляет около 17 тыс. литров в минуту и может достигать 45 тыс. литров в минуту на пике.
В компании Nautilus Data Technologies утверждают, что метод охлаждения позволяет в пять раз увеличить удельную мощность в расчете на стойку, и при этом ЦОД будет менее требователен к ресурсам, чем Data-центры конкурентов.
Двухпалубный Data-центр от Nautilus Data Technologies с модульной структурой. Источник: Selectel
На специально сконструированной барже размещается также плавучий ЦОД Google. Первый такой Data-центр, охлаждаемый морскими водами, был запущен в 2011 г. Конструкцию внутренней системы охлаждения компания не раскрывает.
Подводный ЦОД
В середине сентября корпорация Microsoft подвела итоги двухлетних испытаний своего подводного Data-центра, которые проводились в Шотландии в рамках проекта Natick. Прототип первого поколения Leona Philpot - небольшой контейнер размером 3 x 2 м еще в 2015 г. был погружен под воду на глубину 10 метров неподалеку от тихоокеанского побережья США. Он проработал 105 дней, продемонстрировав коэффициент PUE на уровне 1,07.
ЦОД второго поколения более внушительных размеров - 12,2 x 2,8 м, он вместил 12 стоек с 864 серверами. соответственно. Data-центр с энергопотреблением в 240 кВт был размещен рядом с приливной электростанцией, обеспечивавшей электропитание ЦОД В ходе его эксплуатации. Разработчики отмечали, что этот прототип рассчитан на пять лет работы и не нуждается в промежуточном обслуживании.
Подводный ЦОД Microsoft проекта Natick
Результаты проекта Natick 2 показали, что интенсивность отказов (отношение числа отказавших объектов в единицу времени к среднему числу объектов, исправно работающих в данный отрезок времени) подводного ЦОД оказалась в восемь раз ниже по сравнению с наземными Data-центрами.
В Microsoft отметили также, что главными проблемами обычных центров обработки данных являются перепады температуры и коррозия, которую вызывают кислород и влага в воздухе. Герметичные подводные Data-центры обеспечивают защиту от коррозии, а температура в них практически не меняется за счет использования для охлаждения морской воды.
В настоящее время инженеры Microsoft заняты созданием ЦОД третьего поколения – он будет включать 12 цилиндрических контейнеров с техническими характеристиками Natick 2. Они вместе со всей вспомогательной инфраструктурой Data-центра будут крепиться к стальной раме на глубине в 200 метров под водой. Общая мощность ЦОД Natick 3 составит 5 МВт.
Подводный ЦОД Natick 3 компании Microsoft
Погружение в грунтовые воды
В ситуации, когда поблизости нет моря, для охлаждения ЦОД предлагается использовать грунтовые воды. Действительно, на глубине от 10 до 100 метров температура не меняется в течении года, и составляет в зависимости от местности 8°C - 12°C. А специальной подготовки воды, как правило, не требуется. Аналогично воздушному фрикулингу, возможен вариант непосредственного охлаждения или с использованием теплообменников.
Коэффициент PUE такой системы составляет 1,06 – 1,08. Важный аспект решения – стоимость проекта, которая серьезно растет с ростом глубины.
Грунтовые воды используются, в частности, для охлаждения серверов в ЦОДе IGN в Германии. Вода с глубины 300 м при помощи насоса поднимается в ЦОД, охлаждает внутренний замкнутый контур водяного охлаждения серверов, нагреваясь при этом всего на 5 К, и спускается в другую скважину. Система позволила сэкономить 30–40% электроэнергии по сравнению с привычным воздушным охлаждением.
«Если говорить об экономической эффективности ЦОДа, то начинать нужно с климатических систем. Чем эффективнее они, тем дешевле все остальные. И тут абсолютные лидеры на сегодняшний день – грунтовые воды,- уверена Александра Эрлих.- Потребление системы равно потреблению нескольких насосов. И все. Круглогодичный фрикулинг, практически бесплатный холод. Мы проектируем сейчас такую систему в Германии, они здесь широко распространены, но в России систем на грунтовых водах пока, к сожалению, не встречала.»
1 часть 2 часть
Рынок инженерной инфраструктуры ЦОД всегда относился к числу довольно консервативных. Однако ветры перемен в буквальном смысле продувают помещения ЦОД, требуя пересмотра привычных технических решений, способных гармонизировать потребности растущего энергопотребления с затратами на охлаждение и выгодой от цифровизации бизнес-процессов. Принципы «зеленого ЦОДа» - уже не мечты убежденных борцов за экологию, а экономически обоснованная бизнес-модель корпоративного центра обработки данных.
Объем данных, хранимых в ЦОДах всего мира, по оценкам портала Statista, за период 2016 - 2019 гг. вырос втрое. Пропорционально растут масштабы вычислительных мощностей, требуемых для их обработки, что непосредственно сказывается на облике Data-центра: увеличивается, как уровень нагрузки, приходящейся на стойку, так и плотность размещения стоек, изменяется стоимость ресурсов ЦОД и возможности подключения к источникам данных.
«Если 10 лет назад типичной мощностью на одну серверную стойку было 4 - 5 кВт, то сейчас средним становится показатель 10 кВт, а пиковые показатели могут достигать 20 - 40 кВт,- отмечает Олег Любимов, генеральный директор Selectel.- Это обусловлено торможением прогресса в полупроводниках, из-за которого дальнейшее увеличение вычислительной мощности оборудования теперь идет за счет увеличения площади и энергопотребления процессоров, а не улучшения их техпроцесса и повышения их эффективности, а также все более частым использованием GPU-вычислений, особенно для ML-задач.»
Согласно данным профильной организации Uptime Institute, опубликованным в апреле 2019 г., потребление электроэнергии только серверами в ЦОДах по всему миру превысит 140 ГВт к 2023 г., а с инженерными системами - более 200 ГВт. Для сравнения общая установленная мощность электростанций ЕЭС России составила на конец 2019 г. 246,3 ГВт, согласно официальному отчету о функционировании ЕЭС России в 2019 г. При этом отмечается, что рост энергопотребления облачных провайдеров примерно в шесть раз превышает рост потребления частных облаков.
По оценкам специалистов компании Eaton, к 2025 году индустрии ЦОД может потребоваться до 20% всей вырабатываемой в мире электроэнергии. Вот почему на планете набирает силу строительство крупных ЦОДов вблизи источников генерации электроэнергии. А глава «Ростелекома» Михаил Осеевский обратился в правительство РФ с просьбой предоставить ЦОДам, обеспечивающим работу ИТ-систем госорганов, например, ЦОДу «Калининский» вблизи Калининской АЭС, статус оптового потребителя электроэнергии, что существенно снизит соответствующие затраты.
Энергоэффективность – один из ключевых параметров любого ЦОДа.
«Мы видим фокус на консолидацию ИТ-ресурсов у одних компаний и децентрализацию у других. Третьи смотрят в сторону периферийных вычислений и Edge-решений. Однако, несмотря на различные бизнес-потребности этих компаний, они все больше интересуются энергоэффективными решениями как средством сокращения своих затрат. И если ранее эта тенденция была присуща лишь коммерческим ЦОД, то сейчас все больше корпоративных площадок задумываются об экономии энергоресурсов,- отмечает Сергей Махлин, руководитель направления электроснабжения и климатических систем ИТ-компании КРОК.»
В борьбе за улучшение энергоэффективности настоящие сражения идут за десятые доли коэффициента PUE (Power Usage Effectiveness), представляющего собой отношение общей мощности, потребляемой ЦОД, к мощности, потребляемой ИТ-оборудованием.
Классификация ЦОД по параметрам энергоэффективности
Главный критерий высокого результата – хорошие показатели PUE, достигаемые без увеличения капитальных затрат. При этом снижение коэффициента – нетривиальная комплексная задача: нужно рассматривать не отдельные энергетические установки, энергопотребление ЦОДа в целом – от инженерной конструкции здания до процессоров серверного оборудования.
«Энергоэффективность ЦОД определяется множеством факторов. Это и эффективность его инженерной инфраструктуры – хладоснабжения, энергообеспечения, и эффективность используемого серверного оборудования. Стоимость изменений в инфраструктуре ЦОД наибольшая, поэтому важность правильного выбора решений при проектировании трудно переоценить,- подчеркивает Владимир Леонов, технический директор АМТ-ГРУП.»
Тепло – на ветер
По данным Borderstep Institute, в 2013 г. ЦОДы израсходовали порядка 10 ТВт/ч электроэнергии, и 40% этой энергии потребили климатические системы. Несмотря на все усилия по оптимизации энергопотребления, на следующий год суммарное потребление ЦОДов увеличилось на 3%, и еще через год - на 4%. Артем Кузнецов, руководитель планово-экономической службы компании «АРБИТЕК» (ГК «АйТеко»), поясняет, почему утилизация огромного количества тепла, которое является побочным продуктом при функционировании любого крупного Data-центра, стало настоящим вызовом для индустрии ЦОДостроения:
"Вся выделяемая тепловая энергия зачастую рассеяна на большой площади и не может быть собраны в единые точки без каких-либо значительных потерь при ее транспортировке."
В определенной мере тяжесть проблем уменьшило появление современных моделей серверов, которые, как отмечает Артем Кузнецов, прекрасно функционируют даже при поддерживании 400С в холодном коридоре. Даже при таких режимах, полностью избавиться от проблем с избытком тепла не получается. Второй по важности проблемой являются затраты на электричество, стоимость на которую является наиболее существенной в части себестоимости бизнеса Data-центров после капитальных затрат на оборудование.
Самый распространенный вид отвода тепла из ЦОДа - компрессорное охлаждение, которое само по себе требует большого количества электроэнергии. К тому же тенденция консолидация серверов и рост популярности систем блейд-серверов высокой плотности приводит к тому, что в рамках все меньших площадей концентрируется все больших вычислительных мощностей. При этом возможно появление горячих точек, с которыми, говорят эксперты, системам отопления, вентиляции и кондиционирования воздуха (ОВиК) практически невозможно справиться: локальное охлаждение таких горячих зон ЦОДа лишь перераспределяет распределение тепла, но не уменьшает расход электроэнергии.
Для решения проблемы вблизи сильно нагревающихся стоек устанавливают межрядные прецизионные кондиционеры, которые обеспечивают эффективный отвод тепла и предотвращают перегрев оборудования. Увеличивающиеся эксплуатационные затраты затем стараются снизить, внедряя современные методы мониторинга и учета ресурсов, передовые энергосберегающие технологии.
«Стык экономии ресурсов и затрат на эксплуатации ЦОД, является сложным компромиссом между повышением стоимости создания и снижением стоимости владения,- подчеркивает Роман Шумейко, начальник отдела поддержки продаж системного интегратора «ХайТэк».»
В ходе поисков эффективного решения появилась концепция тригенерации (Trigeneration, CCHP - combined cooling, heat and power), подразумевающей процесс совместной выработки электричества, тепла и холода.
Один из подходов подразумевает, что в хладоцентре ЦОД устанавливаются абсорбционные холодильные машины, которые в своем цикле используют тепло, поступающее от источника, находящегося в непосредственной близости от Data-центра, например, ТЭЦ или завода. Генерация холода происходит в специальном цикле испарения воды в вакууме и абсорбции в растворе бромида лития, который далее регенерируется с использованием внешнего источника тепла. Значение PUE для данной схемы может достигать 1,15.
Технология тригенерации является более выгодной по сравнению с когенерацией (комбинированным производством тепловой и электрической энергии), поскольку дает возможность эффективно использовать утилизированное тепло не только зимой для отопления, но и утилизировать тепло летом.
«Технология тригенерации крайне сложна в эксплуатации и имеет высокий показатель капитальных расходов CAPEX на начальном этапе развертывания ИТ-решений,- замечает Артем Кузнецов, а окупаемость таких решений даже при грамотном техническом обслуживании достаточно велика - 7 - 8 лет.»
Хладоцентр ЦОД «Калининский»: запас холодного теплоносителя обеспечит работу системы при полной нагрузке в случае выхода из строя всех холодильных машин. Источник: «Росэнергоатом», 2019 г.
Где находится та точка, которая позволит разорвать порочный круг увеличения CAPEX и OPEX в климатических решениях для ЦОД? По мнению Александры Эрлих, генерального директор акомпании «ПрофАйТиКул», это общее снижение потребления электроэнергии.
«Математика очень проста: мы экономим на системе холодоснабжения и вкладываем колоссальные деньги в энергетику. Или мы тратим чуть больше на холод, но это позволяет нам получить значительную экономию на смежных разделах,- поясняет Александра Эрлих.»
Олег Любимов также видит тенденцию к снижению энергопотребления обслуживающих систем дата-центров: повышение рабочей температуры оборудования, все большее использование для охлаждения наружного воздуха вместо фреоновых кондиционеров, минимизация потерь в системах электроснабжения.
Управление воздушными потоками
С практической точки зрения, системы охлаждения должны поддерживать коридоры температуры и влажности несмотря на климатические скачки, иметь как можно меньше возможных точек отказа, потреблять как можно меньше электроэнергии, быть максимально простыми и удобными в эксплуатации, отмечает Александра Эрлих. И, кроме того, поддерживать масштабируемость, то есть иметь возможность легко нарастить климатическую систему, если возникнет потребность увеличить мощность или количество стоек в ЦОДе.
Этим требованиям во многом соответствуют системы управления воздушными потоками в помещениях ЦОДа. Илья Царев, архитектор Центра разработки решений для ЦОД компании Schneider Electric, замечает, что ряд несложных правил из опыта лучших проектов ЦОД позволяют решающим образом снизить электропотребление ЦОД. К их числу, например, относятся правила разделения потоков холодного воздуха на охлаждение ИТ-оборудования и отводимого горячего, отсутствие рециркуляции и байпассирования воздуха.
Александра Эрлих делает ставку на два подхода: индивидуальные системы прямоточной вентиляции и уход от прецизионных кондиционеров в сторону теплообменников. Большие модули теплообменников с жидкостным охлаждением используются одновременно в качестве перегородки между инфраструктурой обеспечения и вычислительным центром. Горячий воздух от стоек с ИТ-оборудованием нагнетается с помощью вентилятора в пространство за охлаждающим жидкостным теплообменником. Проходя через теплообменник, он охлаждается и подается назад на охлаждение стоек.
«Теплообменники можно использовать в ЦОД любой конфигурации, в любой климатической зоне, как при строительстве нового ЦОД, так и при модернизации/реконструкции,- замечает Александра Эрлих.- Они легко вписываются в любую архитектуру, масштабируются, прекрасно эксплуатируются. А главное, стоят и потребляют вдвое меньше, чем прецизионные кондиционеры.»
Особенно важно это при модернизации ЦОДа.
«Современную систему вентиляции часто сложно вписать в существующие шахты, а вот практикуемые нами системы теплообменников для ЦОД могут работать и без фальшпола, и без фальшпотолка, и занимать при этом минимум места в машзале, либо вообще располагаться за его пределами,- отмечает она.»
В поисках бесплатного холода: фрикулинг
Фрикулинг — холодильная система, использующая режим естественного охлаждения, как отмечает Александра Эрлих, стала первой и весьма рациональной попыткой уменьшить энергопотребление ЦОДа, поскольку удалось реализовать систему, работающую хотя бы часть года без компрессоров и другого энергоемкого оборудования. Речь идет о подаче прохладного уличного воздуха напрямую в помещение (если температура наружного воздуха ниже, чем в помещении) или посредством теплоносителя (если на улице жарко).
Наиболее популярный вариант - чиллеры с функцией фрикулинга, которые представляют собой холодильные машины, оснащенные дополнительным теплообменником. Если наружная температура выше заданной температуры холодоносителя, то холодоноситель охлаждается в испарителе холодильного контура, встроенного в чиллер. А в холодное время года жидкость охлаждается не в испарителе, а специальном теплообменнике – драйкулере, где в качестве источника охлаждения используется наружный воздух с низкой температурой.
Чиллеры на кровле здания ЦОД «Калининский» в Удомле. Источник: «Росэнергоатом», 2019 г.
По оценкам экспертов, такая система требует существенных капитальных вложений, однако достаточно быстро окупается (возможно даже в первый год эксплуатации), поскольку основной потребитель электроэнергии в такой системе – чиллер – не работает в течение нескольких холодных месяцев.
Очень часто оптимальной по цене и энергоэффективности оказывается система чиллер-фанкойл. В качестве фанкойлов выступают кондиционеры с системой охлаждения CW (chiller water), которые работают в паре с холодильной машиной. Основными элементами охлаждения в кондиционерах CW - теплообменник и двух- или трех-ходовой клапан, который меняет расход холодоносителя в зависимости от уровня тепла в помещении.
Илья Царев подчеркивает, что повышению энергоэффективности ЦОДа способствует применение чиллеров с плавной регулировкой производительности и безкомпрессорных систем, а также отказ от активного поддержания влажности постоянной работой пароувлажнителей в пользу настройки температурно-влажностных показателей в зале таким образом, чтобы предотвратить выпадение конденсата на теплообменниках.
Системы вентиляции, использующие воздушный фрикулинг и адиабатическое охлаждение (за счет испарения воды, например, распыляемой системой высокого давления) внутри помещения, дают возможность добиться очень хороших показателей PUE – до 1,043, поскольку вспомогательное оборудование, включая систему охлаждения, даже летом потребляет всего около 4% электроэнергии энергии ЦОДа, а зимой – еще меньше.
Следующий виток развития систем фрикулинга связан с появлением гибридных и бесчиллерных систем. Гибридные (наружные) системы используют вместо воздушных драйкулеров их испарительных собратьев: вода испаряется с поверхности теплообменника, при этом на разрыв межмолекулярных связей затрачивается огромное количество энергии, что позволяет охладить воздух.Энергопотребление сокращается на 20–30%, по сравнению с базовым вариантом фрикулинга, а режим естественного охлаждения удается растянуть практически на весь год.
Обратная сторона медали - расход воды, который может быть очень велик. Организация Green Grid даже ввела еще один параметр, характеризующий полезное потребление воды в Data-центре, – коэффициент использования воды WUE (Water Usage Effectiveness), который по аналогии с PUE рассчитывается как отношение годового потребления воды к мощности ИТ-оборудования и измеряется в л/кВт/ч.
В бесчиллерных системах чиллеры находятся в холодном резерве, а вся нагрузка по охлаждению ложится на гибридные охладители. Так охлаждается, например, ЦОД Google в Германии. Бесчиллерные системы рассматриваются как один из вариантов магистрального развития ЦОДов, однако они весьма чувствительны к параметрам внутренней и внешней среды и потому требуют детальных расчетов при проектировании.
Тренд на применение воды для охлаждения ЦОД можно считать одним из ключевых в ближайшем будущем - стало понятно, что пределы совершенствования воздушного охлаждения уже близки и для достижения более ощутимых результатов в части энергоэффективности необходимо заменить воздух более эффективным теплоносителем. Сегодня вода – лучший кандидат на эту роль.
Роман Шумейко из компании «ХайТэк» полагает:
«В развитии структуры ЦОД можно выделить две глобальные тенденции: переход к энергосберегающим технологиям и технологиям жидкостного охлаждения.»
Погружное охлаждение: от суперкомпьютера до ЦОДа
Воздух – это скорее теплоизолятор, чем теплоноситель. А у воды – масса преимуществ: высокий коэффициент теплопередачи, во много раз превышающий соответствующий показатель воздуха, доступность и относительно невысокая стоимость. Можно заметно повысить энергоэффективность, отойдя от привычного метода охлаждения активного оборудования, воздухом, который по сравнению с жидкой средой имеет очень низкую теплоемкость, говорит Артем Кузнецов из «АРБИТЕК»:
«Одним из перспективных направлений является решение о погружении активного оборудования в жидкостную среду диэлектрика (жидкий теплоноситель).»
Это дает значительные преимущества при эксплуатации оборудования. Например, поддержание значения температуры диэлектрического теплоносителя на уровне 35 C требует значительно меньших энергозатрат, чем подача воздуха с температурой 13°C.
Согласно оценкам Global Market Insights, рынок таких решений для Data-центров к 2025 г. превысит 2,5 млрд. долл. Аналитики объясняют это тем, что с увеличением объемов обрабатываемых данных и, соответственно, нагрузки на серверы в ЦОД, особенно, те, которые занимаются высокопроизводительными вычислениями, возможностей систем воздушного охлаждения становится недостаточно.
Погружное охлаждение – самый простой вариант: вычислительные модули погружаются в диэлектрическую жидкость (минеральное или синтетическое масло), которая отводит тепло в процессе циркуляции.
Погружное охлаждение электронного оборудования. Источник: «Экофлопс»
С данным типом охлаждения в течение ряда лет экспериментирует индустрия высокопроизводительной техники и суперкомпьютеров. Наиболее известные проекты такого типа - суперкомпьютер SuperMUC производительность 3 Пфлопс, работающий в вычислительном центре им. Лейбница Баварской академии наук в Германии. Реализованная идея такова: процессор снабжается специальным водяным теплообменником, в который подается вода с температурой +40°C. Отработанная вода с температурой +70°C либо идет на отопление, либо охлаждается в климатической системе, построенной по принципу круглогодичного фрикулинга.
В России с помощью системы водяного охлаждения с круглогодичным фрикулингом охлаждается суперкомпьютер НИВЦ МГУ.
Другие варианты водяного охлаждения техники изнутри:
*Двери с водяным охлаждением. В этом случае кондиционер устанавливается на заднюю стенку серверной стойки и сразу отводит тепло от оборудования, и горячий воздух не попадает в машинный зал.
В этом случае удается получить многократное сокращение длины горячего коридора, что существенно повышает энергоэффективность системы охлаждения. Кроме того, решение не требует дополнительных площадей, позволяя оптимально использовать пространство в Data-центре. Двери с водяным охлаждением могут рассматриваться в качестве хорошей альтернативы внутрирядным кондиционерам, особенно в ситуации, когда необходимо обеспечить охлаждение высоконагруженных стоек.
*Охлаждение с помощью контурных тепловых трубок, которые доставляют хладагент непосредственно к активным компонентам серверов. Тепло от них отводится на теплообменник, который может быть расположен как внутри серверной стойки, так и снаружи.
Компания Google оснащает системами жидкостного охлаждения серверное оборудование, предназначенное для проведения расчетов на базе методов машинного обучения. Соответствующие модули – ASIC-микросхемы Tensor Processing Unit – располагаются группой на материнской плате вместе с охлаждающей пластиной. Жидкий хладагент подается на охлаждающую пластину, контактирующую с каждым чипом ASIC TPU через тепловую трубку.
Капитальные затраты на системы с водяным охлаждением серверов сегодня все еще слишком высоки. Как ни странно, одной из существенных составных частей стоимости решения может стать вода, потому что для крупного ЦОДа ее нужно очень много. Так, по сведениям Bloomberg, в 2019 г. Google понадобилось более 8,7 млн. куб. м воды для своих ЦОД в трех штатах. Потребность в воде настолько велика, что ее приходится запрашивать у властей города, в которых располагаются ЦОДы. Скажем, для нового ЦОДа, размещенного в городе Ред-Оук (штат Техас), требуется до 1,46 млрд. галлонов воды, в то время как весь округ, где расположен этот и еще два десятка городов, потребляет на все свои муниципальные нужды 15 млрд. галлонов воды.
В последнее время иммерсионное охлаждение - охлаждение серверного оборудования путем его полного погружения в жидкий диэлектрический хладагент – стало использоваться для оборудования обычных ЦОДов. Такая система компактна, непритязательна в электропитании – энергия нужно только для работы нескольких маломощных насосов. Зато обеспечивается стабильная температурная среда, исключающая появление горячих зон с высоконагруженными стойками.
Центр обработки данных DTL с иммерсионным охлаждением введен в эксплуатацию в 2019 г. в Москве.
Ключевые особенности указанных систем охлаждения – необходимость специальной доработки плат и высокая чувствительность конструкции к протечкам. Еще на один недостаток данного решения в формате ЦОД, указывает Артем Кузнецов:
«Увеличение количества площадей под активное оборудование и необходимость использования специальных подъемных механизмов для оперативной замены вышедшей из строя вычислительной техники.»
Сервер-подводник. Источник: «Экофлопс»
«Инпро Технолоджис» — российский разработчик и производитель вычислительно-коммуникационных комплексов, разработавший собственное решение охлаждения на базе технологии непосредственного жидкостного охлаждения Liquid Cube. В компании говорят, что вычислительные системы и сети, построенные на основе Liquid Cube, потребляют на 30% меньше электроэнергии и позволяют сократить эксплуатационные расходы на 50% по сравнению с традиционными решениями ЦОД.
Энергоэффективность систем с непосредственным жидкостным охлаждением. Источник: «Инпро Технолоджис»
Олег Котелюх, управляющий партнер «Инпро Технолоджис» говорит, что решение Liquid Cube может быть использовано для широкого спектра задач: от хранения данных до узкоспециализированных вычислений высокой плотности.
Контейнерный ЦОД Liquid Cube с жидкостным охлаждением
Контейнерный ЦОД Liquid Cube - это универсальная вычислительно – коммуникационная платформа с непосредственным жидкостным охлаждением, ориентированноая на использование в рамках гиперконвергентных и Edge-архитектур. Быстровозводимый ЦОД Liquid Cube может работать в широком диапазоне температур окружающей среды и даже в агрессивной внешней среде, обеспечивая снижение OPEX на 50% и более, по сравнению с традиционным ЦОДом.
Сравнение традиционного ЦОДа и Liquid Cube с одинаковым энергопотреблением
Плавучий ЦОД
В течение нескольких лет компания Nautilus Data Technologies занимается строительством плавучих ЦОДов. Первый такой Data-центр Eli M мощностью 8 МВт, включающий 800 серверных стоек, был спущен на воду в конце 2015 г. А в конце нынешнего года в порту Стоктон (штат Калифорния) на барже, пришвартованной в порту, должен заработать еще один плавучий ЦОД мощностью 6 МВт.
Водоплавающий ЦОД Nautilus Data Technologies. Источник: Selectel
В ЦОД на барже будет установлена фирменная система охлаждения компании с теплообменниками, которая использует воду, окружающую объект. Средний расход забортной воды для поддержки системы охлаждения серверов составляет около 17 тыс. литров в минуту и может достигать 45 тыс. литров в минуту на пике.
В компании Nautilus Data Technologies утверждают, что метод охлаждения позволяет в пять раз увеличить удельную мощность в расчете на стойку, и при этом ЦОД будет менее требователен к ресурсам, чем Data-центры конкурентов.
Двухпалубный Data-центр от Nautilus Data Technologies с модульной структурой. Источник: Selectel
На специально сконструированной барже размещается также плавучий ЦОД Google. Первый такой Data-центр, охлаждаемый морскими водами, был запущен в 2011 г. Конструкцию внутренней системы охлаждения компания не раскрывает.
Подводный ЦОД
В середине сентября корпорация Microsoft подвела итоги двухлетних испытаний своего подводного Data-центра, которые проводились в Шотландии в рамках проекта Natick. Прототип первого поколения Leona Philpot - небольшой контейнер размером 3 x 2 м еще в 2015 г. был погружен под воду на глубину 10 метров неподалеку от тихоокеанского побережья США. Он проработал 105 дней, продемонстрировав коэффициент PUE на уровне 1,07.
ЦОД второго поколения более внушительных размеров - 12,2 x 2,8 м, он вместил 12 стоек с 864 серверами. соответственно. Data-центр с энергопотреблением в 240 кВт был размещен рядом с приливной электростанцией, обеспечивавшей электропитание ЦОД В ходе его эксплуатации. Разработчики отмечали, что этот прототип рассчитан на пять лет работы и не нуждается в промежуточном обслуживании.
Подводный ЦОД Microsoft проекта Natick
Результаты проекта Natick 2 показали, что интенсивность отказов (отношение числа отказавших объектов в единицу времени к среднему числу объектов, исправно работающих в данный отрезок времени) подводного ЦОД оказалась в восемь раз ниже по сравнению с наземными Data-центрами.
В Microsoft отметили также, что главными проблемами обычных центров обработки данных являются перепады температуры и коррозия, которую вызывают кислород и влага в воздухе. Герметичные подводные Data-центры обеспечивают защиту от коррозии, а температура в них практически не меняется за счет использования для охлаждения морской воды.
В настоящее время инженеры Microsoft заняты созданием ЦОД третьего поколения – он будет включать 12 цилиндрических контейнеров с техническими характеристиками Natick 2. Они вместе со всей вспомогательной инфраструктурой Data-центра будут крепиться к стальной раме на глубине в 200 метров под водой. Общая мощность ЦОД Natick 3 составит 5 МВт.
Подводный ЦОД Natick 3 компании Microsoft
Погружение в грунтовые воды
В ситуации, когда поблизости нет моря, для охлаждения ЦОД предлагается использовать грунтовые воды. Действительно, на глубине от 10 до 100 метров температура не меняется в течении года, и составляет в зависимости от местности 8°C - 12°C. А специальной подготовки воды, как правило, не требуется. Аналогично воздушному фрикулингу, возможен вариант непосредственного охлаждения или с использованием теплообменников.
Коэффициент PUE такой системы составляет 1,06 – 1,08. Важный аспект решения – стоимость проекта, которая серьезно растет с ростом глубины.
Грунтовые воды используются, в частности, для охлаждения серверов в ЦОДе IGN в Германии. Вода с глубины 300 м при помощи насоса поднимается в ЦОД, охлаждает внутренний замкнутый контур водяного охлаждения серверов, нагреваясь при этом всего на 5 К, и спускается в другую скважину. Система позволила сэкономить 30–40% электроэнергии по сравнению с привычным воздушным охлаждением.
«Если говорить об экономической эффективности ЦОДа, то начинать нужно с климатических систем. Чем эффективнее они, тем дешевле все остальные. И тут абсолютные лидеры на сегодняшний день – грунтовые воды,- уверена Александра Эрлих.- Потребление системы равно потреблению нескольких насосов. И все. Круглогодичный фрикулинг, практически бесплатный холод. Мы проектируем сейчас такую систему в Германии, они здесь широко распространены, но в России систем на грунтовых водах пока, к сожалению, не встречала.»
1 часть 2 часть