Поскольку спрос центров обработки данных на системы жидкостного охлаждения продолжает расти, как ни странно, растет и спрос на высокоэффективное воздушное охлаждение. Похоже, что рабочие нагрузки ИИ могут представлять собой раздвоение конструкции объектов.

Это было ярким пятном в мрачном обзоре рынка серверов для центров обработки данных, опубликованном ранее в этом месяце компанией Omdia. Несмотря на годовой спад, наблюдается беспрецедентный рост внедрения систем жидкостного охлаждения.

«Предварительные данные по охлаждающему оборудованию центров обработки данных указывают на резкое увеличение количества внедрений жидкостного охлаждения», — сообщил директор по исследованиям облачных технологий и центров обработки данных Omdia Влад Галабов на момент публикации отчета, ссылаясь на данные, предоставленные поставщиками оборудования для управления температурным режимом. Некоторые поставщики, которые уже сообщили об увеличении продаж теплового оборудования в 20 раз (это не опечатка) во второй половине прошлого года, в первой половине 2023 года продолжили рост более чем на 50%.

Данные Omdia, похоже, противоречат анализу ежегодного опроса Uptime Institute , проведенному в прошлом месяце . В Uptime говорится о снижении интереса менеджеров объектов и проектировщиков к внедрению жидкостного охлаждения, по крайней мере, в значительных масштабах, в ближайшем будущем.

Тем не менее, по мнению Галабова и его коллеги из Omdia, главного аналитика вычислительных и сетевых центров центров обработки данных Маноджа Сукумарана, есть общая нить, которая объясняет оба наблюдения. В отдельных заметках для Data Center Knowledge Галабов и Сукумаран рассказали нам, что операторы и строители центров обработки данных (за исключением некоторых гиперскейлеров, как ни странно) концентрируют свои инвестиции на оборудовании более высокой плотности, предназначенном для рабочих нагрузок ИИ. Это именно тот класс серверов, который должен быть предпочтительным кандидатом для развертывания системы жидкостного охлаждения.

Бифуркация

Вот возникающий феномен: эти серверы с более высокой плотностью, естественно, более дороги, что объясняет рост средних цен за единицу продукции (AUP) для поставляемых серверов. Но операторам не нужно их так много (конечно, поскольку это устройства с высокой плотностью размещения), что и приводит к снижению количества поставок. Однако, поскольку эти новые устройства, вероятно, будут предназначены для рабочих нагрузок искусственного интеллекта, инвестиции операторов в жидкостное охлаждение могут быть ограничены этими подсистемами искусственного интеллекта. И это объясняет растущий спрос на более эффективные системы охлаждения с воздушным приводом.

«Плотность мощности стоек, выполняющих вычисления общего назначения и хранилища данных в дата-центрах провайдеров облачных услуг, составляет 10–20 кВт», — говорится в кратком изложении доклада Галабова. «Для сравнения, плотность мощности стоек, вычисляющих обучение модели искусственного интеллекта, всегда превышает 20 кВт».

Можно подумать, что это тот непредвиденный случай, который гиперскейлеры уже запланировали. Как выяснилось, по словам Сукумарана, Meta, владелец и оператор Facebook, управляет объектами, которые не были оптимизированы для жидкостного охлаждения. В результате лучшее, что может предложить Meta, — это воздушное жидкостное охлаждение (AALC). AALC, разработанная совместно с Microsoft, представляет собой концепцию, которую инженеры Meta рекламировали еще до пандемии COVID-19 как инновацию, способную расширить возможности воздушного охлаждения в более традиционных объектах.

Впервые продемонстрированный еще в 2020 году, AALC предполагает внедрение жидкостного охлаждения с замкнутым контуром в стойки с воздушным охлаждением. Здесь путь жидкости начинается с холодных пластин, прикрепленных к процессорам (в ранних тестах к графическим процессорам), проходит через стоечные коллекторы к теплообменнику задней двери (HX) и модифицированному блоку распределения охлаждающей жидкости (CDU). Тепло, поглощенное холодными пластинами, отводится через HX, а затем через существующий поток отходящего воздуха.

Это, безусловно, приспособление для жидкостного охлаждения, которое для целей производства квалифицируется как компонент прямого жидкостного охлаждения (DLC). Но конечный продукт после установки официально представляет собой стойку с воздушным охлаждением. Это объясняет, почему количество развертываний DLC может расти, в то время как объекты с воздушным охлаждением остаются практически такими же, какие они есть.

Хотя помещения Meta оборудованы для AALC, Сукумаран рассказал Data Center Knowledge , «это не так эффективно, как продувка холодным воздухом снаружи для охлаждения серверов. энергопотребление, влияющее на PUE».

Когда и числитель, и знаменатель уменьшаются

Когда был создан показатель эффективности использования энергии (PUE), он казался достаточно разумным способом оценить, какая часть общей мощности центра обработки данных потребляется ИТ-оборудованием. Но , как недавно отметил производитель оборудования Vertiv , по-настоящему инновационное решение для охлаждения снижает как энергопотребление ИТ-оборудования, так и общее энергопотребление — знаменатель и числитель соответственно в коэффициенте PUE. Таким образом, вполне возможно, что влияние крупной инновации как в охлаждении, так и в электропитании станет совершенно необнаружимым для PUE.

Это могло бы объяснить феномен, который наблюдали как Uptime, так и Omdia: тенденции PUE остаются неизменными после пандемии. По иронии судьбы, когда PUE не падает, те же самые крупные инновации становится труднее эффективно продавать. (Неважно, как часто PUE объявляли мертвым .)

«Я думаю, что уровни PUE уже стагнируют, — сказал Галабов из Omdia Data Center Knowledge , — и я не вижу широких действий, необходимых для их изменения».

Директор по исследованиям Uptime Intelligence Дэниел Бизо рассказал Data Center Knowledge , что примерно каждое пятое предприятие в той или иной степени использует жидкостное охлаждение в своих стойках, причем большинство ожидает внедрения DLC в течение пяти лет. Однако будут ли большинство из этих стоек, оснащенных DLC, официально отнесены к категории с воздушным охлаждением, зависит от факторов, которые мы, возможно, еще не ожидали. Пока эта проблема решается, жидкостное охлаждение остается преобладающим выбором менее 10% операторов, опрошенных Uptime.

«В целом, Uptime ожидает дальнейшего постепенного внедрения DLC в течение рыночных циклов в ближайшие годы», — сказал Бизо. «Самыми сильными движущими силами являются распространение рабочих нагрузок с плотными вычислительными требованиями и все более взаимосвязанные области оптимизации затрат, энергоэффективности и устойчивости.

«Наши данные показывают, что стойки с очень высокой плотностью (30–40 кВт и выше) действительно становятся все более распространенными, но остаются исключением. в дополнение к существующим установкам для технических вычислений, таких как инженерное моделирование, большие задачи оптимизации и анализ больших данных».

Сукумаран из Omdia предупреждает, что искусственный интеллект может еще привести к тенденции плотности в противоположном направлении, особенно если подсистемы искусственного интеллекта на большем количестве объектов официально останутся с воздушным охлаждением. «Мы также наблюдаем снижение плотности стоек из-за высокого энергопотребления серверов на базе графических и центральных процессоров», — сказал Сукумаран. «Так что это может быть попутным ветром для увеличения пространства и мощности».

Выравниваться

В прошлом месяце HPE и Intel объявили о своем совместном участии в разработке стандарта на шасси и стойки, который, по их утверждению, продлит срок службы объектов с воздушным охлаждением. Серверный блок Cray XD220v от HPE примерно на треть дюйма шире, чем его ProLiant XD220n, что позволяет оснащать процессоры Intel четвертого поколения более широкими радиаторами или более широкими охлаждающими пластинами. Отвечая на опасения операторов, которые все еще беспокоятся о ежедневной работе с диэлектрическими жидкостями, производители выдвинули утверждение, что производительность XD220v увеличилась лишь незначительно (в среднем на 1,8%), когда дополнительное охлаждение DLC заменило обычное воздушное охлаждение.

Конечно, цель DLC никогда не заключалась в повышении производительности процессора — только в цене. Простой щелчок по диаграммам HPE показывает, что DLC действительно улучшил производительность XD220v на ватт почти на 20 % при тестировании стандартных отраслевых батарей SPECrate, SPEChpc и Linpack.

Тем не менее, очевидно, какое послание маркетинговые команды производителей решили подчеркнуть здесь: для вас будет не так уж плохо, если вы решите отложить инвестиции в жидкостное охлаждение еще на пять лет.

Тем временем производитель теплового оборудования JetCool Technologies рекламирует свою новейшую технологию DLC . Ее системы SmartPlate и SmartLid состоят из охлаждающих пластин, которые доставляют охлажденную жидкость непосредственно на поверхность процессоров через то, что JetCool называет микроконвективными каналами.

Ссылаясь на данные о времени безотказной работы, показывающие, что затраты на улучшение инфраструктуры являются основным сдерживающим фактором для операторов, решающих внедрить тотальное жидкостное охлаждение, в недавнем техническом документе JetCool, подготовленном совместно с Dell, утверждается, что центрам обработки данных есть о чем беспокоиться, не добавляя в свой список забот наводнение.

«Благодаря автономному устройству отпадает необходимость в масштабной модернизации инфраструктуры», — заявляет JetCool. «Отсутствие сложных водопроводных и трубопроводных систем также сводит к минимуму риск утечек или сбоев системы, потенциально снижая затраты на ремонт и замену и ограничивая потенциальные утечки на уровне сервера, а не на уровне стойки или объекта».

Похоже, что это маркетинговое послание адаптировано не только к насущным потребностям клиентов, но и к их нежеланию признавать, что у них есть такие потребности. Попробуйте DLC, звучит призыв к действию. Вероятно, это поможет. А если нет, то что это может повредить? Это лучше, чем оборудовать все ваши объекты трубами для подачи жидкости, если в этом еще нет необходимости.

«Массовый переход на DLC чреват техническими и деловыми трудностями», — сказал Бизо из Uptime в интервью Data Center Knowledge , — «в основном из-за отсутствия стандартов и разрозненного организационного взаимодействия между управлением объектами и ИТ-командами. Воздушное охлаждение отвечает производительности операторов, рискам, и ожидаемые затраты (даже если при этом происходит бесполезная трата энергии) для большинства случаев использования, включая новейшие энергоемкие чипы от Intel, AMD и Nvidia».

Более того, продолжил Бизо, уровень технической загрузки большинства центров обработки данных сегодня остается низким. Есть много возможностей для большего количества ИТ — именно поэтому инвестиции в серверы с поддержкой искусственного интеллекта растут на фоне общего снижения расходов, связанных с серверами. Поэтому нет острой необходимости повышать плотность серверов. В результате, как полагает Uptime, «рыночное внедрение DLC не будет равномерным, а сигналы спроса будут смешанными».

«Амбициозные прогнозы технологических изменений в центрах обработки данных, — отметил Бизо, — имеют тенденцию разочаровывать».