В этом гостевом посте Миша ван Кестерен, специалист по устойчивому развитию компании OCF, системного интегратора высокопроизводительных вычислений, рассказывает о самых разнообразных способах повышения энергоэффективности крупномасштабных вычислительных сред.
Суперкомпьютеры становятся все более энергоемкими. Стремление к закону Мура и все более высокой производительности оборудования привело к тому, что производители значительно увеличили энергопотребление компонентов.
Например, типичный ЦП для высокопроизводительных вычислений (HPC) десятилетней давности имел проектную тепловую мощность (TDP) 115 Вт, а сегодня эта цифра приближается к 200.
Современные графические процессоры могут превышать 400 Вт. Даже сетевые коммутаторы, которые раньше считались второстепенными с точки зрения энергопотребления, теперь могут потреблять более 1 кВт мощности в одном коммутаторе.
А гонка за эксафлопсностью увеличила энергопотребление самого быстрого суперкомпьютера на планете с 7,9 МВт в 2012 году до 29,9 МВт в 2022 году.
Оправданно ли это в эпоху климатического хаоса? В конце концов, да. В то время как 29,9 МВт электроэнергии достаточно для питания 22 000 средних домохозяйств Великобритании, исследования, проведенные на этих крупных системах, являются одними из наиболее важных для того, как мы будем справляться с проблемами, с которыми мы сталкиваемся, и с теми, с которыми мы сталкиваемся, будь то исследования в области изменения климата, возобновляемых источников энергии. или для борьбы с болезнью.
Однако жизненно важно, чтобы мы постоянно стремились найти способы максимально эффективной работы инфраструктуры высокопроизводительных вычислений.
Стремление к энергоэффективности
Самый распространенный метод измерения эффективности энергопотребления центра обработки данных — это эффективность использования энергии (PUE). Традиционная инфраструктура с воздушным охлаждением пропускает горячий воздух через серверы, коммутаторы и хранилища для охлаждения их компонентов, а затем используется кондиционирование воздуха для удаления тепла из этого воздуха перед его рециркуляцией. И все это потребляет много энергии.
Воздушное охлаждение часто имеет PUE более двух, а это означает, что центр обработки данных потребляет в два раза больше энергии, чем ИТ-оборудование. Цель состоит в том, чтобы уменьшить PUE инфраструктуры высокопроизводительных вычислений как можно ближе к единице (или даже ниже).
Более эффективным методом является охлаждение горячего воздуха водой. Вода передает тепло более чем в 20 раз быстрее, чем воздух, что делает ее намного лучше для охлаждения оборудования. Компоненты с воздушным охлаждением могут использовать воду через теплообменники на задней двери, которые размещают большой радиатор в задней части стойки (заполненный холодной водой), охлаждая весь горячий воздух, выпускаемый серверами.
Установите правильную скорость потока и температуру воды, и вы сможете полностью избавиться от необходимости в кондиционировании воздуха. Это может приблизить PUE к 1,4.
В качестве альтернативы компоненты могут быть оснащены водяными блоками на ЦП, графическом процессоре, сети и т. д., которые напрямую охлаждают компоненты, устраняя необходимость в воздушном охлаждении. Это гораздо более эффективно, так как PUE еще больше снижается, возможно, до уровня менее 1,1.
Повторное использование отработанного тепла центра обработки данных
В конце концов, нам нужно что-то делать с отработанным теплом. Хорошим вариантом является использование естественного охлаждения. Здесь вы используете температуру воздуха снаружи для охлаждения воды в вашей системе. Самая высокая температура наружного воздуха, зарегистрированная в Великобритании, составила 38,7 °C.
Компьютерные компоненты рассчитаны на работу в два раза быстрее, поэтому, если среда передачи достаточно эффективна (например, вода), вы всегда можете охлаждать свои компоненты только за энергию, используемую насосами. Это одна из причин, почему вы слышите о центрах обработки данных в Норвегии и Исландии, которые настолько конкурентоспособны — они могут гораздо более разумно использовать естественное охлаждение из-за более низких температур.
Сделав еще один шаг вперед, тепло можно использовать для практических целей, а не выбрасывать в воздух. Есть несколько инновационных центров обработки данных, которые сотрудничают с местными сообществами, чтобы обеспечить отопление домов за счет выхлопных газов или даже местного бассейна. Энергия, которую эти дома потребляли бы для обогрева самих себя, теоретически была сэкономлена, что может снизить PUE всей системы ниже единицы.
Следующим шагом, который изучается, является хранение тепла в соли, которая может удерживать его неопределенное время, чтобы учесть различия в потребностях в отоплении и вычислить использование. Представьте себе последствия традиционного окна обслуживания на Рождество, когда ИТ-инфраструктура отключается именно тогда, когда эти местные домохозяйства больше всего нуждаются в тепле.
Одна вещь, которую вы, возможно, заметили во всех этих решениях, заключается в том, что они в основном практичны только в масштабе. Неслучайно обширные облачные центры обработки данных и объекты колокации являются местами, где эти инновации тестируются, то есть там, где они работают лучше всего. Хорошей новостью является то, что индустрия, похоже, все равно движется в этом направлении, поскольку эра серверной комнаты со шкафом для метел уходит.
Энергопотребление облачных гигантов
Однако в погоне за эффектом масштаба поставщики общедоступных облачных сервисов эксплуатируют огромные парки серверов, многие из которых используются недостаточно. Это хорошо видно по разнице в цене между инстансами по требованию, которые запускаются, когда вы этого хотите (обычно в часы пик), и инстансами, которые запускаются в то время, когда это наиболее доступно для поставщика облачных услуг.
Спотовые экземпляры могут быть до 90% дешевле. Поскольку цены на облачные решения почти полностью основаны на энергопотреблении экземпляра, который вы используете, в стоимость стандартных экземпляров должно быть включено огромное количество потраченной впустую энергии.
Использование точечных инстансов позволяет выполнять задания HPC по доступной цене и в избыточной емкости облачных центров обработки данных, повышая их общую эффективность. Однако, если вы запускаете свои рабочие нагрузки по запросу, вы можете усугубить эту неэффективность.
К счастью, рабочие нагрузки HPC часто подходят для спотовой модели. Пользователи знакомы с взаимодействием между отправкой задания и уходом, позволяя планировщику определить, когда лучше всего запустить это задание.
Большинство крупных облачных провайдеров предлагают функцию, позволяющую установить максимальную цену, которую вы готовы платить при отправке задания, и ждать, пока спотовый рынок не достигнет этой цены.
Это только один из элементов энергоэффективности высокопроизводительных вычислений, но есть и целый мир сокращения времени работы за счет улучшенного кодирования, правильного выбора оборудования для рабочих нагрузок и включения функций энергосбережения на самом оборудовании, и это лишь некоторые из них.
Устойчивость высокопроизводительных вычислений — это огромная проблема, в которой участвуют все, кто взаимодействует с высокопроизводительными вычислениями, а не только проектировщики и специалисты по планированию инфраструктуры. Тем не менее, это хорошее место для начала. Общение с теми людьми, которые могут с самого начала внедрить нужные технологии, гарантирует, что они предоставят вам устойчивую высокопроизводительную вычислительную машину, подходящую для будущего.
