ЦОДы зеленеют
Еще одним вариантом оптимизировать воздушное охлаждение ЦОДа стал выбор соответствующего места размещения с подходящими природными условиями. Не удивительно, что первые такие опыты были проведены в Финляндии и Исландии – странах с холодным климатом. Следует отметить, что помимо природных условий, для успешной реализации такого проекта требуется наличие развитой инфраструктуры: дороги, связь, электроэнергия и т.д.
Не так давно в ЦОДах появилась система охлаждения Киото-кулинг. Это «зеленая» технология, которая круглогодично использует холод окружающей среды. А для гарантированной работоспособности применяются резервные парокомпрессионные машины. Среднегодовой PUE достигает 1,15.
Илья Царев указывает на то, что использование благоприятных особенностей климата (например, системы с использованием фрикулинга) или географического положения (ЦОД с непрямым охлаждением водой открытых водоемов), способно решающим образом снизить электропотребление ЦОД. Действительно, объем потребления электричества не является неизменным параметром, замечает Павел Горюнов, технический директор сети дата-центров КРОК:
«Он может зависеть от времени года и климатической зоны размещения Data-центра. Последнее также влияет на выбор решений, цель которых – повышение энергоэффективности. В южных регионах это могут быть солнечные панели для питания оборудования, в степных районах с преобладающими сильными ветрами – «ветряки», на севере – охлаждение грунтовыми водами или морской водой.»
Роман Шумейко резюмирует:
«Сегодня как никогда востребованными становятся «зеленые технологии». Важно, что они не только уменьшают влияние инфраструктуры на окружающую среду, но и позволяют существенно экономить ресурсы путем снижения энергозатрат.»
Поскольку снижения показателя PUE ниже достигаемого сегодня уровня в 1,1 на практике добиться тяжело, фокус внимания смещается на технологии с низким потреблением электричества и возобновляемые источники энергии. Так, один из ЦОДов Apple, расположенный в Северной Каролине, уже сегодня на 100% запитывается от источников возобновляемой энергии: 42 млн. кВт/ч поступают от солнечных панелей, остальные потребности покрываются сжиганием биогаза.
Олег Котелюх добавляет:
«Ряд крупных западных и азиатских корпораций заявили, что их дата-центры работают с применением энергии ветра и солнца. А один финский застройщик недавно поделился планами об использовании тепла от ЦОДа для обогрева домов и сельскохозяйственных теплиц.»
Но проекты такого рода весьма нетривиальны: на выходе из сервера – низкопотенциальная теплота, которую достаточно сложно утилизировать. Как минимум, потому, что для этого ЦОД становиться теплоснабжающей организацией и получать соответствующую лицензию. Это одна из перспективных задач, которая должна быть решена в будущем, если российские ЦОДы пойдут по пути энергосбережения за счет «зеленых» технологий: кому и как передавать образующееся тепло, в частности, летом?
Точечные успешные проекты в мире есть. Например, ЦОД «Яндекса» в городе Мянтсяля в Финляндии, охлаждается прямым фрикулингом, а нагретый воздух через теплообменник поступает в городскую сеть теплоснабжения. «Яндекс» еще и получает деньги от муниципальных служб за поставляемую тепловую энергию.
Константин Зиновьев, директор отделения инженерной инфраструктуры компании Rubytech, резюмирует:
«Конечно же, сегодня все заказчики задумываются об энергоэффективности. В частности, выбирают инженерные системы с высоким КПД и дополнительными возможностями по энергосбережению (например, free-cooling), применяют ИТ-оборудование с усовершенствованными алгоритмами использования ресурсов и сниженными требованиями к внешним условиям.»
Однако об использовании в ЦОДах РФ переработанной электроэнергии или альтернативных источников энергии речи пока не идет, полагает эксперт:
«Для России это, скорее, экспериментальная история. Целесообразность строительства «зеленых» и энергоэффективных ЦОДов напрямую связана со стоимостью энергоресурсов. Сейчас они достаточно дешевы в сравнении со стоимостью требуемого оборудования, которое закупается за валюту.»
По оценкам Константина Зиновьева, для того чтобы окупить финансовые вложения в строительство Data-центров с энергоэффективными инженерными системами требуется не менее 10 лет.
«Это неприемлемо для коммерческих площадок, зато применимо для крупных корпоративных заказчиков и госструктур. При этом нужно учитывать, что энергоэффективные решения зачастую — более надежные. И это тоже влияет на выбор решения,- отмечает Константин Зиновьев.»
Курс на интеграцию технологий
Широкий выбор перспективных решений для охлаждения ЦОД осложняется тем, что практическая реализация каждого из них зависит от множества параметров: где-то нет достаточного количества воды для испарительного охлаждения, где-то не хватает электрической мощности, а где-то – пространства для вентиляционной камеры.
У энергоэффективных систем, например прецизионных кондиционеров на фреоне, СAPEX зачастую гораздо выше, чем у традиционных, но зато прекрасные показатели OPEX. При использовании фрикулинга важен температурный режим в машинном зале: чем больше разница между температурой внутри ЦОДа и снаружи, тем меньше CAPEX, та как меньше работа по переносу теплоты. Чем эта разница меньше, тем большая работа требуется для охлаждения машинного зала, а это означает увеличение энергопотребления, то есть OPEX системы. В целом, говорят эксперты, фрикулинг – это всегда высокий CAPEX, и окупается такой проект при низком OPEX.
Универсальных рецептов нет, говорит Александра Эрлих:
«Все зависит от климата, наличия ресурсов и назначения самого ЦОД.»
Однако, по ее мнению, есть общие тенденции развития данного сегмента решений:
*прямоточная вентиляция;
*замена морально устаревших прецизионных кондиционеров теплообменниками различных конфигураций;
*технологии, основанные на испарении воды.
Артем Кузнецов считает, что наиболее передовым методом повышения энергоэффективности является комбинирование различных методик охлаждения, позволяющих расширить период возможного использования фрикулинга:
«Решением этого вопроса может быть строительство ЦОДов в более северных широтах, использование технологии адиабатического охлаждения, снижение самой ИТ-нагрузки путем отказа от вентиляторов для охлаждения активного оборудования и установки радиаторов на процессоры с тепловыми трубками.»
Санджай Кумар Сайнани, старший вице-президент и технический директор глобального подразделения центров обработки данных компании Huawei в своем прогнозе развития центров обработки данных на 2020 – 2025 гг. отмечает в качестве одной из существенных тенденций отрасли конвергенцию жидкостных и воздушных охладительных систем, более широкое применение технологий непрямого испарительного охлаждения вместо водяного. Так, в районах с подходящим климатом системы водяного охлаждения будут постепенно заменяться непрямым испарительным охлаждением.
Энергоэффективность вычислительных систем
Как отмечает Илья Царев, многих российских заказчиков интересует не столько среднегодовое потребление ЦОД, сколько его пиковое потребление:
«Чем выше пиковое потребление, тем мощнее должна быть распределительная сеть электропитания ЦОД, и тем больше требуемая от города мощность, а в перспективе (с учетом позиции Минэнерго РФ по неиспользованию резервов сетевой мощности) – выше штрафы за неиспользуемые большую часть года резервы мощности.»
В целях снижения пикового потребления в энергоэффективных Data-центрах нового поколения особые требования предъявляются и к активному оборудованию. Как утверждают эксперты, суммарно это даст более высокий выигрыш в снижении общего энергопотребления ЦОДа, чем традиционная гонка за низким показателем PUE.
«Ключевым потребителем электроэнергии в ЦОД является вычислительное оборудование. Соответственно, сократить затраты можно путем более эффективной утилизации систем, применения виртуализации и использования решений, которые уже позиционируются как энергоэффективные,- отмечает Павел Горюнов.»
Виртуализация сервисов обусловливает повышение эффективности использования аппаратной части ИТ-инфраструктуры, поясняет Алексей Малышев, основатель и генеральный директор компании «СОНЕТ», и ведет к тому, что количество используемых CPU и СХД растет медленнее, чем объем обрабатываемых данных.
«Следствием виртуализации становится укрупнение ЦОД, что позволяет применять технические решения для снижения PUE, использование которых в более мелких Data-центрах экономически нецелесообразно,- добавляет Алексей Малышев.»
«Технологии виртуализации в свое время на несколько лет сломали тренд роста мощности в расчете на стойку и замедлили темпы роста масштабов ЦОД,- говорит Илья Царев.- Обещанных к 2013-2015 годам десятилетием ранее значений 8 - 10 кВт на стойку в среднем корпоративном ЦОД мы достигаем только сейчас, а в colocation во многих случаях не достигли до сих пор.»
По мнению эксперта, повысить энергоэффективность ЦОД можно, следуя даже незамысловатой стратегии эффективного пользования ИТ-оборудованием. Во-первых, своевременное избавляться от аппаратуры, не совершающей полезной работы. Во-вторых, обеспечивать возможность масштабировать архитектуру инженерных систем с опцией, как ее безболезненного наращивания, так и сокращения вслед за объемом ИТ-оборудования. В-третьих, планировать расстановку ИТ-оборудования в стойках с помощью DCIM-систем, позволяющих повысить эффективность систем охлаждения и распределения электропитания.
По мнению Павла Горюнова, универсальным инструментом для повышения энергоэффективности Data-центра является контроль климатических параметров с помощью IoT.
«Такое решение мы внедрили у себя в ЦОД. Система с помощью сотен датчиков фиксирует два раза в минуту температуру в помещениях, строит тепловые карты и позволяет выявить неоптимально расположенное оборудование,- рассказывает представитель КРОК.»
По его словам, это дает возможность экономить порядка 5% затрат на электроэнергию в год, а также снизить количество поломок из-за перегрева оборудования или повышенной влажности.
Бесперебойное электроснабжение
Сегодняшний стандарт де-факто для систем бесперебойного электропитания (СБЭ) ЦОДа - установка статических ИБП, работающих в режиме on-line (двойного преобразования), позволяющих получить электроэнергию требуемого качества. Кроме того, для современного оборудования характерно применение импульсных блоков питания с нелинейным характером потребления. Для питания такого рода оборудования хорошо используются мощные трехфазные ИБП с двойным преобразованием, которые позволяют избежать перегрузок нейтральных кабелей входных электросетей и оборудования трансформаторных подстанций.
Как считает Илья Царев, поиск более эффективных решений идет в сторону топологически более сложных решений в системах распределения питания крупных ЦОД, чем классическое двухлучевое питание и схема резервирования 2N, N+1.
Один из перспективных методов синхронизации и распределения нагрузки реализован, например, в технологии Hot Sync, принадлежащей компании Eaton. В отличие от параллельных систем других производителей, устройства не обмениваются друг с другом информацией, необходимой для синхронизации и балансировки нагрузки. Алгоритм работы системы базируется на проверке любых отклонений выходной мощности ИБП, и каждое устройство работает независимо в режиме полной синхронизации с остальными. Отметим другие направления, по которым идет развитие СБЭ.
Литий-ионные батареи как замена традиционным свинцово-кислотным аккумуляторным батареям. Они гораздо легче и компактнее традиционных батарей и обладают большей энергоемкостью.
«Они более долговечны по сроку эксплуатации и количеству циклов заряда-разряда, и содержат меньшее количество тяжелых металлов и агрессивных веществ,- отмечает Илья Царев и добавляет, что пока литий-ионные аккумуляторы слишком дороги для массового применения в Data-центрах, но по мере удешевления они будут постепенно заменять в ЦОДах традиционные свинцово-кислотные АКБ.»
По данным Schneider Electric, в зависимости от сферы применения литий-ионных аккумуляторов можно добиться экономии общей стоимости владения на уровне 10-40%.
Модульные ИБП. Практически все ведущие вендоры добавили в свой продуктовый портфель модульные установки мощностью 1 МВт и выше: легко масштабируемые и обслуживаемые. Мощность системы можно наращивать с относительно небольшим шагом, добавляя дополнительные шкафы с батареями.
В частности, у компании Vertiv есть сверхмощный ИБП Liebert Trinergy Cube (от 150 кВт до 3,4 МВт), сформированный по модульному принципу. Более того, он сам может играть роль единого модуля и образовывать в результате масштабирования структуру бесперебойного питания мощностью до 27 МВт в параллельной конфигурации.
За счет децентрализованной архитектуры модульные решения обладают большой конструктивной гибкостью и позволяют при увеличении потребности в электропитании за короткий промежуток времени подключить к уже функционирующему устройству один или несколько дополнительных модулей. Причем, среднее время восстановления системы после отказа (MTTR) радикально сокращается за счет возможности горячей замены неисправного модуля.
Динамические (дизель-роторные) ИБП. Не используют аккумуляторные батареи. Включают три основных элемента: маховик — ключевой элемент ДИБП, играющий роль накопителя энергии и вращающийся на точно выровненной оси; синхронная электрическая машина; дизельный двигатель.
Бесперебойная работа поддерживается за счет кинетической энергии маховика, вследствие чего необходимость в аккумуляторных батареях отпадает. Срок службы ДИБП составляет не менее 25 лет, тогда как статические ИБП прослужат 10-15 лет. Более высокий КПД системы — 98% против 95%. Решение с ДИБП занимает гораздо меньше места, проще обслуживается, помогает сократить капитальные и эксплуатационные затраты.
Кластерные системы. Мощность наращивается с помощью параллельной установки силовых блоков большой мощности, например, с шагом по 250 кВА. Таким образом, создается самостоятельная конструкция более высокой технологической ступени с общим сервисным байпасом, общим аккумуляторным питанием и единой схемой управления.
Контейнерные силовые решения. Обеспечивают большую гибкость и легкость масштабирования при создании мегаваттных центров обработки данных. Модули можно перевозить, быстро монтировать и использовать многократно. Это очень удобно, например, операторам связи при строительстве сетей 5G.
Распределенные ИБП. Монтируются либо в серверной стойке, либо непосредственно рядом с ней так, чтобы между каждым сервером и подключенным к нему ИБП практически не оставалось свободного пространства. Благодаря такому подходу риск возникновения дефектов подключения в цепи питания существенно снижается, а небольшая масса упрощает монтаж и перенос распределенных ИБП.
Централизованное управление ИБП. Возможность мгновенного получения информации о состоянии ИБП, включая данные об их емкости, местоположении, состоянии нагрузки, а также необходимости замены аккумуляторных батарей каждого ИБП.
Интеллектуальное управление ИБП. Система интеграции для ЦОД на базе ИБП реализована, например, российской компанией «ИМПУЛЬС». Это система централизованного мониторинга с локальным дисплеем, которая отслеживает состояние системы электроснабжения, температуры и уровня влажности, а также состояние каждой отдельной подсистемы. Возможность круглосуточного и круглогодичного удаленного мониторинга за состоянием систем и загрузкой оборудования позволяет минимизировать затраты на обслуживание, ремонт оборудования и потери от внеплановых простоев.
Специальный режим экономии электроэнергии ECOnversion компании Schneider Electric позволяет снизить операционные расходы. Построение отказоустойчивых систем с резервированием N+1 возможно на базе встроенного резервирования. Расширение мощности возможно как в пределах 1500 кВт (с шагом 250кВт), так и выше – путем параллельного подключения нескольких систем.
Возможность делиться неиспользуемой электроэнергией. Компания Vertiv в партнерстве с Upside Energy развивает технологию Virtual Energy Store. Она позволяет делиться неиспользуемой электроэнергией с центральной сетью. Фактически это система оперативного реагирования на спрос, не требующая запуска дополнительных генерирующих мощностей.
Согласно заявлениям разработчиков, платформа Virtual Energy Store от Upside Energy может организовать совместную работу более 100 тыс. устройств в реальном времени, контролируя системы ИБП клиентов без ущерба для их функционала в области аварийного резервного электроснабжения ЦОД.
Умное управление энергопотреблением. Современные системы управления собирают данные по энергопотреблению с серверов, стоек, распределительного оборудования, вплоть до того, что можно ести мониторинг каждой отдельной розетки. Можно найти периоды спада нагрузки и запланировать на это время техническое обслуживание. Анализ пиков потребления позволит держать запас мощности в пределах 10-15% вместо 30-40% при ручном управлении.
ЦОД высокой готовности. Такой подход предлагает, например, Schneider Electric. Обеспечивается единый комплексный подход к созданию инженерной инфраструктуры на базе фирменной архитектуры InfraStruXure и взаимная совместимость компонентов на физическом уровне.
Модульная инженерная инфраструктура ЦОД. Реализована, например, в комплексном решении Delta InfraSuite: можно наращивать мощность ЦОД, постепенно добавляя необходимое оборудование: стойки, системы охлаждения, кабинеты и блоки распределения электропитания, контрольные и распределительные блоки и т.д.
Программно определяемое электропитание (SD-Power). Речь идет о формировании уровня абстракции, который позволяет эффективно управлять имеющимися ресурсами электропитания в интересах конечных «пользователей» - устройств.
Собственные решения «программной определяемости» электропитания предлагают все ведущие вендоры. Например, решение Power System Manager – один из программных модулей DCIM-комплекса Trellis Enterprise компании Vertiv – способен анализировать энергопотребление как ИТ-, так и инженерного оборудования, формируя отчеты и рекомендации по планированию электропитания ЦОДа. Это решение «умеет» предсказывать возможные узкие места, перегруженные и недогруженные стойки, прогнозировать состояние системы электропитания.
ПО Intelligent Power Manager Компания Eaton разработа инструментарий контроля и управления различными устройствами питания в физических и виртуальных средах. Приложение обеспечивает непрерывность бизнес-процессов и гарантирует бесперебойную работу ИТ-оборудования. А Schneider Electric развивает решения для Smart Grid, призванные объединить объекты, различающиеся по типу потребления, уровню потребляемой мощности и возможностям динамического перераспределения мощностей. ЦОД как энергоемкий объект будет одним из ключевых звеньев этой цепи.
BIM
Использование BIM-технологий при строительстве ЦОДов обретает все большую популярность. Действительно, за счет того, что взаиморасположение инженерных систем можно просчитать до мелочей, количество коллизий при монтаже уменьшается в разы. Применение BIM также помогает контролировать ход строительных работ и расход материалов, что позволяет удержаться в рамках выделенного бюджета. Контроль за ходом работ в едином информационном пространстве становится гораздо проще.
Возможности информационного моделирования при создании инженерной инфраструктуры охватывают художественную визуализацию различных объектов: от деталей инженерных систем до застройки районов с реальным рельефом местности, а также 3D-модели объекта и работа с ней в режиме виртуальной реальности. Применение таких развитых инструментов объяснимо: натурные модели для ЦОД вряд ли возможны, математическое моделирование – единственный вариант для комплексного анализа таких объектов.
Важная составная часть этого инструментария – ПО CFD (Computational Fluid Dynamics), реализующее задачи вычислительной динамики текучих сред (жидкостей и газов). Оно применяется для моделирования и оценки эффективности массо- и теплообмена в ЦОДах.
CFD-модель для оценки эффективности массо- и теплообмена в ЦОД. Источник: Группа ICS
В процессе работы также создается полный трехмерный каталог всего оборудования ЦОД с визуальным отображением распределения температуры и воздушных потоков на уровне помещения и шкафов. Такая модель дает возможность владельцу ЦОД рационально размещать и своевременно заменять оборудование, оценивать влияние на температуру и окружающую среду различных сценариев расстановки, подачи электроэнергии, охлаждения и ограничений, а также заранее моделировать влияние каких-либо физических действий.
Трехмерная математическая модель физического центра обработки данных. Источник: Группа ICS
Энергомоделирование
Энергомоделирование (Building Energy Modeling, BEM) – это оценка комплексной энергоэффективности всех инженерных систем и конструктивных решений с помощью специализированного ПО. Благодаря инженерным расчетам можно оценить потребление энергии объектом в течение года и спрогнозировать окупаемость проектных решений.
BEM - это комплексное моделирование, в ходе которого создается тепловая карта ЦОД (распределение температур по объему), определяются показатели эффективности энергопотребления ЦОД, а также обеспечивается возможность выбрать оптимальные решения по охлаждению серверной комнаты, оптимизации воздушных потоков в машинных залах ЦОД.
Моделирование типового решения охлаждения дизельного источника бесперебойного питания (ДИБП) установленного в ЦОДе. Источник: компания «ММ-Технологии»
Использование потенциала наружного воздуха при охлаждении дата центров – одно из перспективных энергоэффективных решений. Однако конкретный показатель эффективности существенно зависит от правильной конфигурации камеры смешения. При неудачной конфигурации камеры температура смешения воздуха, полученная проектировщиком по алгебраической формуле, не будет наблюдаться в реальности. Скажем, в зимнее время теплый рециркуляционный воздух вместо того, чтобы смешиваться с наружным, может уходить на улицу, а в камеру смешения поступать избыточное количество уличного воздуха.
Анализ, выполненный методами математического моделирования, позволит проанализировать фактическую картину распространения воздушных поток в камере смешения, и в случае необходимости разработать модификацию камеры смешения.
Численное моделирование камеры смешения системы поддержания микроклимата Data-центра. Источник: компания «ММ-Технологии»
Энергетическое моделирование ЦОД помогает выбрать наиболее энергоэффективный способ охлаждения Data-центра, подобрать оптимальную комплектацию кондиционеров, а также получить более точную оценку OPEX ЦОДа, ведь она во многом определяется затратами на энергоресурсы.
Балансовое моделирование охлаждения машинного зала в дата-центре. Источник: компания «ММ-Технологии»
... В стародавние времена человеческие поселения размещались на берегах больших рек и морей. Реки были основными транспортными артериями, по которым перемещались большие грузы и люди. В цифровой век на тех же самых берегах появляются центры обработки данных, в которых перемещаются информационные «грузы» и осуществляются виртуальные человеческие коммуникации. Природа вечна, а технический прогресс быстротечен. Может быть, пройдет несколько десятков лет, и сказки для малышей будут начинаться так: на берегу синего-пресинего моря стоял зеленый-презеленый ЦОД, и жили в нем маленькие дружные виртуальные контейнеры...
1 часть 2 часть
Journal information