В этом году все было посвящено энергетике, поскольку беспокойство о том, смогут ли перегруженные электросети идти в ногу с технологической эволюцией, возникло для индустрии центров обработки данных, сектора коммунальных услуг и регулирующих политиков. Однако не все было так мрачно и безнадежно. Из этих проблем также вытекали обнадеживающие совместные усилия и инновации в охлаждении, проектировании стоек и возобновляемой энергии.

Десять лучших историй 2024 года о питании и охлаждении центров обработки данных  объединяют экспертов для обсуждения критических выводов в области энергопотребления, способов использования ИИ в целях повышения устойчивости работы центров обработки данных, методов создания более эффективных систем охлаждения и того, как центры обработки данных и коммунальные компании должны объединиться для решения этих насущных энергетических проблем. Ниже мы перечислим наши главные истории года об питании и охлаждении центров обработки данных.

1. Добро пожаловать в эру ядерных центров обработки данных

С одновременным ростом спроса на центры обработки данных, способные поддерживать рабочие нагрузки ИИ, и глобальным энергетическим кризисом технологическая эволюция стала неустойчивой в ее текущем состоянии, пишет Билл Клейман. Это заставляет некоторых обратиться к ядерной энергии как к распространенному и чистому варианту для питания сектора центров обработки данных. В этой статье рассматриваются некоторые способы, с помощью которых ядерная энергия может стать решением растущего энергетического кризиса в отрасли центров обработки данных.

По мере развития индустрии центров обработки данных растет и потребность в устойчивых энергетических решениях. Билл Клейман выделяет ядерную энергетику как потенциальный фактор, который меняет правила игры и набирает популярность.

Я с нетерпением ждал возможности написать эту статью. За последние несколько лет дискуссия вокруг потребления энергии в индустрии центров обработки данных продолжала расти. Однако за последний год произошел существенный сдвиг в технологиях, что повысило актуальность обсуждения возобновляемой и чистой энергии

Начнем с тезиса: темпы нашей технологической эволюции быстро становятся неустойчивыми .

Рассмотрим эту статистику от исследовательской компании Omdia. Во втором квартале 2023 года Omdia подсчитала, что Nvidia поставила более 900 тонн (1,8 миллиона фунтов) вычислительных графических процессоров H100 для сценариев использования искусственного интеллекта (ИИ) и высокопроизводительных вычислений (HPC). Вы правильно прочитали — теперь мы измеряем поставки графических процессоров по весу, а не по проданным единицам. По недавней конференции Крис Кросби, генеральный директор Compass Data Centers, сделал несколько простых подсчетов по этому поводу. Если вы одновременно запустите все эти графические процессоры, они потребят более 30 ГВт электроэнергии.

Как нам разместить такое большое потребление энергии ? В этот самый момент какой рынок может вернуться и сказать, что у нас есть столько чистой энергии для обеспечения вариантов использования ИИ? Во время недавнего разговора поставщики коммунальных услуг заявили, что им придется поднять угольные электростанции для поддержки этих новых вариантов использования. Это немного смешно, когда мы должны использовать ископаемое топливо для питания некоторых из самых передовых технологий в мире.

Прежде чем мы продолжим, я не хочу делать эту статью о генеративном ИИ. Итак, давайте проясним несколько моментов. Мы знаем, что эта технология никуда не денется. То, что мы переживаем сейчас, — это не столько технологический сдвиг, сколько сдвиг в человечестве. Мы полностью изменили то, как мы взаимодействуем с данными, потому что мы можем впервые в истории человечества запросить набор данных и получить «осознанный» ответ. Даже если вы не использовали ChatGPT, вы являетесь пользователем генеративного ИИ, если вы просто использовали Google или Bing в последние пару месяцев. Вот как быстро произошла эта эволюция за последний год.

Разобравшись с этим, давайте поговорим о 500-фунтовой горилле, созданной GPT в комнате. То есть, как мы обеспечиваем питанием все эти ИИ, жадные до плотности экосистемы? В отчете AFCOM State of the Data Center Report за 2024 год большинство респондентов (53%) считают, что новые рабочие нагрузки ИИ (генеративный ИИ) увеличат требования к емкости для индустрии колокейшн. В результате требования к питанию также изменятся.

Количество энергии, потребляемое генеративным ИИ, может быть просто ошеломляющим. Один поиск Google может питать 100-ваттную лампочку в течение примерно 11 секунд. Экземпляры, подобные GPT, могут быть в 600–800 раз мощнее одного поиска Google.

Переход на новый источник энергии: ядерная энергия

Так же быстро, как генеративный ИИ вышел на рынок, появились новые разговоры об источниках энергии, которые существуют уже довольно давно. В частности, об атомной энергии . «Мы представляем себе мир, в котором нет ограничений на энергию», — говорит Брет Кугельмасс, генеральный директор Last Energy, разработчика малых модульных реакторов (SMR) для предприятий частного сектора, включая центры обработки данных. «Мы хотим, чтобы люди жили высокоэнергетическим образом жизни. Для этого производство энергии должно быть отделено от воздействия на окружающую среду, и, следовательно, чистая энергия должна быть в изобилии и недорогой».

Я обсуждал эту тему с Бретом, и он поднял несколько ключевых моментов о том, что ядерному сектору необходимо сделать для удовлетворения растущего спроса на энергию со стороны центров обработки данных. Во-первых, он должен сохранять лазерный фокус на доставляемости, начиная с технологий. Существует множество новых проектов реакторов, все из которых привлекательны с инженерной точки зрения. Однако победившие проекты будут использовать проверенные технологии для обслуживания этого рынка и достижения коммерческого успеха. Last Energy использует проверенную конструкцию легководного реактора, модернизированную для масштабирования. Благодаря серийному производству проекта и его правильному размеру для коммерческого использования, например, центров обработки данных, они могут поставлять быстрее, более экономично и минимизировать финансирование и риск поставки проекта. ММР Last Energy на 95% предварительно собраны, доставлены на грузовиках и собраны на месте. Хотя каждый блок представляет собой ММР мощностью 20 МВт, они могут удовлетворить спрос, установив столько, сколько нужно клиенту, а не строя (и лицензируя) индивидуальную конструкцию станции. Формула находит отклик, и у компании есть контракты на несколько блоков своей электростанции PWR-20.

По словам Кугельмаса, ядерная энергетика — это не только лучший путь вперед для сектора, но и, возможно, единственный путь: «Сектор центров обработки данных — идеальное применение для ядерной энергетики на месте. У вас есть отрасль, которая растет так быстро, как позволяют графики разработки и цепочки поставок, и которая все чаще сталкивается с ограничениями в поставках электроэнергии. Отрасль стремится закупать безуглеродную электроэнергию, но нуждается в базовой мощности, традиционно обеспечиваемой газовыми или угольными электростанциями. Ядерная энергетика — это ответ, и отрасль быстро это поняла».

Last Energy — не единственная, кто спешит поддержать больше ядерной энергетики для нашей отрасли. Комиссия по ядерному регулированию уже  одобрила  еще один проект малого модульного реактора  (SMR) в США: усовершенствованный SMR на «легкой воде» от NuScale, который вырабатывает более 400 МВт.       

В октябре 2023 года хостинг-провайдер Standard Power объявил о планах использовать SMR компании NuScale для строительства двух атомных электростанций в Огайо и Пенсильвании, чтобы обеспечить около 2 ГВт электроэнергии для близлежащих центров обработки данных к 2029 году. А если посмотреть на рынок Северной Вирджинии, то в апреле 2023 года компания Green Energy Partners, занимающаяся недвижимостью и развитием проектов,  приобрела  641 акр для проекта, который включает использование  от четырех до шести SMR  для питания 20–30 центров обработки данных, выработки водородного топлива и обеспечения резервного питания для сети Вирджинии.

И если мы посмотрим на самые последние события, мы уже видим, как операторы центров обработки данных платят миллионы долларов, чтобы получить доступ к ядерной энергии. Equinix только что сделала авансовый платеж в размере 25 миллионов долларов ядерной реакторной фирме Oklo для закупки до 500 МВт ядерной энергии.

Растущий интерес

Растет интерес к ядерным системам в сфере центров обработки данных. Согласно отчету AFCOM State of the Data Center, в период с этого по прошлый год число респондентов, заявивших, что они будут использовать или, по крайней мере, рассматривать ядерную энергию, более чем удвоилось и достигло почти четверти респондентов (21% по сравнению с 10% в прошлом году).

В этом году на мероприятии AFCOM Data Center World доктор Риан Бахран, который в настоящее время занимает должность помощника директора по ядерным технологиям и стратегии в Управлении по политике в области науки и технологий Белого дома (OSTP), исследовал динамические изменения в использовании чистой энергии и политику, меняющую наш мир.

В своем докладе д-р Бахран углубился в критическую роль ядерных технологий в укреплении энергосетей, обеспечивая стабильный и эффективный источник энергии, который дополняет прерывистые возобновляемые источники, такие как солнечная и ветровая энергия. Изюминкой его выступления стало обсуждение пересечения ядерной энергетики с цифровой инфраструктурой.

«Буквально в октябре прошлого года администрация издала знаменательный указ, гарантирующий Соединенным Штатам лидерство в реализации потенциала и управлении рисками искусственного интеллекта, в том числе в лидерстве в области инноваций и конкуренции», — сказал доктор Бахран.

«Действительно, рынок труда, связанный с ИИ, быстро растет, в настоящее время охватывая два процента всех рабочих мест, которые добавляются в Соединенных Штатах. Все эти технологические достижения добавляют дополнительную нагрузку на нашу инфраструктуру генерации электроэнергии и могут существенно повлиять на секторы энергетики и электроэнергетики.

Доктор Бахран добавил: «Наши лучшие оценки показывают, что центры обработки данных в настоящее время потребляют около одного-двух процентов годового потребления электроэнергии в США, а более широкий сектор ИТ составляет около пяти процентов от общего потребления в США. В вычислительных горячих точках, таких как Атланта, Северная Вирджиния, Финикс и части Техаса и Калифорнии, центры обработки данных представляют собой гораздо более высокую долю региональных нагрузок, создавая большую нагрузку на сети и коммунальные службы, обеспечивающие их электроэнергией. Многие национальные оценки показывают, что нагрузка на центры обработки данных может удвоиться к 2030 году».

Что касается генеративного ИИ и новых приложений вокруг данных, д-р Бахран углубился в ядерную энергетику и то, как она может повлиять на цифровую инфраструктуру. «ИИ составляет около 40% нагрузки центров обработки данных как основной драйвер будущего роста. Хотя в этих прогнозах явно присутствует неопределенность, обусловленная такими факторами, как темпы внедрения ИИ, форма бизнес-моделей ИИ и потенциал будущей эффективности, мы знаем, что объединение центров обработки данных с ядерными реакторами, которые обеспечивают высококачественные и высокооплачиваемые рабочие места на десятилетия, — это отличная идея».

Эти разговоры как нельзя кстати для тех, кто работает в сфере энергетики и цифровой инфраструктуры.

«Это ситуация «что первично, курица или яйцо», — говорит Эндрю Бохман, старший научный сотрудник Глобального энергетического центра и старший стратег по сетям и защитник инфраструктуры в Айдахской национальной лаборатории (INL). «Мы находимся в середине 2024 года и вступаем в то, что некоторые называют «перчаткой электрификации». Она состоит из скрипучей старой электросети, которую вот-вот попросят поддержать массу новых рабочих нагрузок, призванных помочь в декарбонизации и укреплении экономики».

Однако Бохман отмечает, что эта модернизация электрификации будет нелегкой. «И чтобы все стало еще сложнее, нам нужно сделать это, не добавляя при этом в атмосферу больше CO2 или метана», — сказал он.

Он добавил несколько хороших новостей: «Ответ может лежать в области физики, которую мы освоили в середине прошлого века. И несмотря на многочисленные проблемы, с которыми она столкнулась с точки зрения общественного восприятия и затрат, я давно говорил, что когда проблемы климата затмят проблемы ядерной энергетики, все захотят [SMR или микрореактор]».

Чтобы донести эту мысль, Бохман привел несколько примеров того, как эти ядерные ресурсы повлияют на текущие ограничения мощности ИИ. «Если бы они были одобрены NRC и могли быть построены в масштабе сегодня, особенно для поддержки бума GenAI, вы бы увидели, как они разлетаются с полок. К сожалению, есть некоторая задержка. Но люди в моей национальной лаборатории в Айдахо, в промышленности и в других местах работают круглосуточно, чтобы воплотить новые проекты в жизнь как можно быстрее и безопаснее».

Несколько заключительных мыслей – Билл Клейман

Я действительно взволнован этими последними разработками. Новые программы и правительственные инициативы поддерживают ММР и передовые ядерные системы. Эти программы находятся на переднем крае ядерных технологий, предлагая более безопасные, более гибкие, экономически эффективные решения, которые соответствуют нашим современным энергетическим потребностям.

Хотя я бы с удовольствием обсудил эту тему более подробно, я ограничен в том, сколько я могу втиснуть в одну статью. Однако я хотел бы кратко коснуться безопасности. Когда я говорил с Бретом из Last Energy, он ясно заявил: «Водяные реакторы, даже старые, не несут в себе неотъемлемого профиля риска, как думают люди». Более того, современные разработки сделали ядерные технологии намного безопаснее, чем когда-либо прежде.

Наконец, чтобы активизировать ИИ, нам нужно будет проявить креативность. Мы просим руководителей центров обработки данных развернуть физическую инфраструктуру с огромными кратностями потребления энергии, чем они имели всего год или два назад. Простая реальность заключается в том, что мы должны искать новые, последовательные, чистые источники энергии, которые могут дополнять непостоянные возобновляемые источники. Я считаю, что рост ИИ также приведет к быстрому росту новых и инновационных энергетических решений для поддержки современной цифровой инфраструктуры.

2. Мощность — ключ к раскрытию потенциала роста центров обработки данных на базе ИИ

Единственное, что определяет потенциал ИИ, — это потребность в энергии, сказал отраслевой эксперт Али Фенн на конференции Data Center World в этом году. Поэтому, чтобы извлечь выгоду из бума ИИ, компании должны найти надежные источники энергии в местах, где можно построить новые центры обработки данных с относительно ограниченными затратами. На данный момент текущая модель электросети не сможет управлять наращиванием ИИ. В этой статье Дрю Робб освещает некоторые мысли Фенна о будущем оптимизированных для ИИ центров обработки данных.

По словам отраслевого эксперта Али Фенна, чтобы извлечь выгоду из бума ИИ, необходимо решить проблему питания центров обработки данных.

The Beatles сказали миру: «Любовь — это все, что вам нужно». Но, по словам Али Фенна, президента Lancium, все, что вам нужно, — это мощность, по крайней мере, когда речь идет об ИИ в центре обработки данных.

На конференции Data Center World в Вашингтоне (округ Колумбия) в этом году Фенн рассказал о том, как ИИ развивается быстрее, чем кто-либо мог себе представить. Его спрос на вычислительные мощности и новые центры обработки данных беспрецедентен.

«Каждая текущая модель, вероятно, недооценивает то, что будет дальше», — сказала она. «Трансформационный потенциал ИИ во всех аспектах общества по сути определяется только одним: властью ». 

Разгадывая головоломку власти

Желающим извлечь выгоду из бума ИИ необходимо выяснить, где находится мощность, как получить к ней доступ и где можно быстрее всего построить центры обработки данных для обеспечения необходимой ИИ мощности — и все это при одновременном снижении затрат.

Некоторые предсказывают, что ИИ станет крахом человечества. Фенн рассматривает это как главный повод для оптимизма. Это может помочь исследователям найти лекарство от рака, искоренить нищету, избавиться от рутины ручного или повторяющегося труда и предоставить людям больше времени. Она привела статистику, например, что ИИ представляет собой до 38 триллионов долларов в год, которые будут потрачены на борьбу с изменением климата к 2050 году.

«ИИ невозможен без центров обработки данных», — сказал Фенн. «Это наш момент, наша ответственность, наша возможность».  

ИИ уже является движущей силой основных достижений ЦОД. Ожидается, что работа центра обработки данных ИИ Meta (запрещена в  РФ) сократит общие затраты на 33%. ИИ DeepMind от Google сократил расходы на охлаждение на 40%. Microsoft внедрила ИИ в свои платформы для генерации оповещений безопасности и повышения безопасности. 

«К 2025 году половина облачных центров обработки данных будет использовать передовых роботов с возможностями искусственного интеллекта и машинного обучения, что приведет к повышению эффективности работы на 30%», — сказал аналитик Gartner Сид Нак.

Эра силы искусственного интеллекта

Фенн считает, что в 2021 году ИИ перешел от разработки программного обеспечения и кода к добавлению графических процессоров в 2022 году и поиску достаточной мощности центров обработки данных в 2023 году. В этом году уравнение сместилось в сторону получения доступа к достаточной мощности для запуска приложений ИИ и больших языковых моделей (LLM).

«Главным препятствием для роста центров обработки данных является не доступность земли, инфраструктуры или кадрового потенциала, а местная власть», — сказал Пэт Линч, исполнительный управляющий директор и глобальный руководитель решений для центров обработки данных компании CBRE, занимающейся коммерческой недвижимостью.

Фенн отметил, что для того, чтобы спрос на электроэнергию для центров обработки данных в США достиг 17 ГВт, потребовалось 30 лет. Без ИИ прогнозировалось, что к концу десятилетия он снова удвоится. Но сейчас оценки спроса на электроэнергию для центров обработки данных к 2030 году варьируются от 50 до 80 ГВт.

«Если рассматривать эти цифры в перспективе, то 1 ГВт — это достаточно энергии для домов миллиона человек, а 100 ГВт — для 10% мирового освещения», — сказал Фенн. «Мы наблюдаем крупнейшее в истории вливание капитала в ИИ».   

Прогнозируется, что к 2025 году приложения генеративного искусственного интеллекта (GenAI), такие как ChatGPT, будут потреблять около 75% мегаватт электроэнергии, потребляемой центрами обработки данных США, по сравнению с доступной мощностью в 2022 году. Ожидается, что к 2027 году потребности GenAI в электроэнергии почти удвоятся, значительно превысив общую доступную мощность в 2022 году.

Простой факт заключается в том, что потребление энергии значительно превзойдет любые достижения в области эффективности или модернизации. В результате потребление энергии центрами обработки данных вырастет с примерно 2% от электроэнергии США сегодня до 7,5% к 2030 году. Аналитики и прогнозисты не могут угнаться. Какие бы цифры они ни устанавливали для роста, они становятся сильно недооцененными в течение нескольких месяцев. Неудивительно, что мы видим так много инвестиций в новые объекты центров обработки данных, кампусы и новые земли для будущих площадок.

Сетка будущего

Текущая модель сети не имеет никаких шансов справиться с наращиванием ИИ. Доступная мощность электроэнергии на пяти крупнейших рынках центров обработки данных с настоящего момента до 2027 года составляет всего 4 ГВт. Тем не менее, в течение нескольких лет может потребоваться до 50 ГВт. Это почти столько же, сколько в настоящее время потребляют все штаты Средней Атлантики и Новой Англии.

Если это не было достаточно большой проблемой, то темпы развития сети не соответствуют темпам расширения ИИ. Когда дело доходит до поиска энергии для крупного проекта, требуется шесть или семь лет и тысячи согласований. Что еще хуже, переход на возобновляемые источники энергии означает, что, по прогнозам, около 60 ГВт традиционной электроэнергии будут отключены на северо-востоке к 2030 году, и замены им не предвидится.

«Сеть будущего должна быть совершенно иной», — сказал Фенн. «Главная проблема — это пиковый спрос, и нам нужно решать ее новыми способами». 

Вместо гибкости, исходящей от предложения (например, когда «пиковые» станции включаются вечером и справляются с внезапным дефицитом предложения), гибкость должна быть как в предложении, так и в спросе. Фенн ожидает, что инициативы по реагированию на спрос увеличатся в 20 раз к 2050 году, когда центры обработки данных и другие пользователи согласятся отключаться от сети и полагаться на локальное или резервное питание в определенные периоды. По ее словам, только это может составить более 2000 ГВт. Мы видим первые признаки этого, когда гипермасштаберы, такие как Google, перемещают рабочие нагрузки по всему миру на основе оптимизации предложения, спроса и стоимости электроэнергии.

Центр обработки данных будущего

Ожидается, что наряду с мощностью энергопотребления резко возрастут и размеры новых центров обработки данных.

«Традиционные центры обработки данных не исчезнут, и спрос на их услуги, скорее всего, сохранится», — сказал Фенн. «Но вскоре мы можем увидеть центры обработки данных мощностью 1 или 2 ГВт, а возможно, и больше».

Эти новые мегацентры обработки данных будут располагаться в обширных кампусах, в первую очередь, в местах с достаточным количеством доступной электроэнергии и в непосредственной близости от сетевых концентраторов и центров нагрузки, а также с достаточно мощной инфраструктурой передачи данных, чтобы доставлять электроэнергию туда, где она необходима.

Центры обработки данных таких размеров требуют изменения в том, как ими управляют. Вероятно, их нужно рассматривать как электростанции, и они должны работать в тесном сотрудничестве с коммунальными службами и операторами сетей. Фенну нравится Техас как вероятное место назначения для многих из этих новых площадок.  

«Нам нужна прогнозируемая и реагирующая сеть, которая учитывает прогноз погоды, ценообразование, перегрузку сети, нагрузку и динамическую оркестровку», — сказал Фенн. «Достижение этого потребует инноваций на всех фронтах, а также строительства большого количества новых газовых пиковых генераторов, ядерных и других источников энергии».

В то время как большая часть дискуссий вокруг ИИ и центров обработки данных сосредоточена на энергопотреблении и ограничениях по емкости, операторы центров обработки данных сами используют системы ИИ для оптимизации работы своей инфраструктуры.

В предыдущем интервью Фенн отметил, что одна из самых значительных возможностей для ИИ в индустрии центров обработки данных лежит на стыке центров обработки данных и энергосистем.

«Быстрый рост спроса на центры обработки данных и появление крупномасштабных центров обработки данных гигаваттного масштаба ставит новые задачи перед операторами сетей», — пояснила она. «В Lancium мы сосредоточены на разработке технологии оркестровки и оптимизации мощности на основе ИИ для обеспечения надежности сети и обеспечения надежности рабочей нагрузки как для центров обработки данных, так и для их клиентов, с SLA, которые отдают приоритет как надежности, так и безуглеродной энергии».

Шаолей Рен, доцент кафедры электротехники и вычислительной техники Калифорнийского университета в Риверсайде, разделяет этот оптимизм относительно потенциала ИИ для повышения энергоэффективности. «ИИ может предложить более точную конфигурацию работы системы охлаждения на основе спроса в реальном времени, и ИИ также может помочь спрогнозировать эффективность использования энергии, предлагая точную конфигурацию систем охлаждения  и прогнозируя эффективность использования энергии», — сказал Рен.

3. Подходит ли охлаждение задней стойки для работы вашего центра обработки данных?

Охлаждение задней стойки обеспечивает более энергоэффективное охлаждение при меньших затратах, чем системы жидкостного охлаждения, но оно также создает некоторые специфические проблемы. Во-первых, требуется больше воздухообменников, чем традиционная система CRAC, которая занимает больше места в центре обработки данных, и, возможно, самое главное, она не предлагает резервных копий в случае отказа теплообменника. Если вы хотите перейти от традиционных систем CRAC к охлаждению задней стойки, эта статья может помочь вам принять обоснованное решение.

Охлаждение задней стойки обеспечивает множество преимуществ, но есть некоторые потенциальные проблемы с установкой. Узнайте, является ли охлаждение задней стойки правильным подходом для вашего центра обработки данных.

Самый простой способ охлаждения центра обработки данных — установка воздухообменников, которые генерируют холодный воздух, циркулирующий по вашим серверным комнатам. Но если вы хотите сэкономить деньги, по крайней мере в долгосрочной перспективе, лучшим подходом может быть установка воздухообменников на каждой стойке и использование их для охлаждения отдельных стоек серверов.

Последний подход, известный как «охлаждение задней стойки», обеспечивает ряд преимуществ по сравнению с более традиционными системами воздушного охлаждения в центрах обработки данных, особенно с точки зрения энергоэффективности.

Ниже приведен обзор того, как работает охлаждение задней стойки и почему вы можете рассмотреть его в центре обработки данных как способ улучшения вашего подхода к охлаждению .

Что такое охлаждение задней стойки в центрах обработки данных?

Охлаждение задней стойки в центрах обработки данных подразумевает использование воздухообменников, устанавливаемых непосредственно за серверной стойкой, для охлаждения серверов, размещенных в этой стойке.

В системе охлаждения задней стойки каждая серверная стойка оснащена воздухообменником. Когда стойка работает, воздухообменник вдувает холодный воздух и выталкивает горячий воздух.

Охлаждение задней стойки по сравнению с CRAC и охлаждением непосредственно на чипе

Охлаждение задней стойки отличается от традиционных систем воздушного охлаждения в центрах обработки данных, известных как «кондиционирование воздуха в компьютерных залах» или «CRAC», тем, что вместо того, чтобы продувать охлажденный воздух через всю серверную комнату, охладители задней стойки воздействуют на оборудование, которое выделяет больше всего тепла.

В концептуальном смысле охлаждение задней стойки похоже на системы охлаждения с прямым охлаждением чипа , которые циркулируют жидкость вокруг ЦП или других источников тепла в серверах. Это еще один способ сосредоточения рассеивания тепла на оборудовании, которое производит большую часть тепла.

Однако системы охлаждения с прямым охлаждением чипа также дороги, поскольку требуют специальной охлаждающей жидкости и циркуляторных насосов. Если вы хотите направить свои ресурсы охлаждения на источники тепла, но у вас нет бюджета на охлаждение с прямым охлаждением чипа, охлаждение задней стойки — это лучшее решение.

Преимущества охлаждения задней полки

Главное преимущество охлаждения задней стойки заключается в том, что оно обеспечивает более энергоэффективное использование охлажденного воздуха. В системе CRAC большая часть воздуха, который подается в серверную комнату, тратится впустую, поскольку он не контактирует с оборудованием, которое фактически генерирует тепло. Напротив, система охлаждения задней стойки воздействует на серверы более локализованным образом, сокращая отходы.

Охлаждение задней стойки также может повысить энергоэффективность центра обработки данных (и, как следствие, улучшить показатели PUE ), поскольку воздухообменники можно отключать или выключать, когда серверы внутри отдельной стойки не используются на полную мощность или неактивны.

Системы CRAC обычно не предлагают эту опцию. Если у вас есть работающие серверы, скорее всего, вам придется включить всю систему CRAC — даже в те моменты, когда тепловыделение минимально.

Наконец, охлаждение задней стойки — менее дорогой вариант охлаждения, чем системы жидкостного охлаждения , по крайней мере, если оценивать с точки зрения первоначальных затрат. Однако в долгосрочной перспективе жидкостное охлаждение может быть менее затратным, поскольку для его работы требуется меньше энергии.

Проблемы охлаждения задней полки

Хотя охлаждение задней стойки предлагает множество преимуществ, существуют некоторые потенциальные препятствия для его внедрения в центрах обработки данных. Проблемы охлаждения задней стойки включают:

Когда следует выбирать охлаждение задней полки?

Если вы ищете способ повысить энергоэффективность вашего центра обработки данных, но у вас нет бюджета или времени для внедрения передовых решений охлаждения, таких как охлаждение напрямую к чипу или иммерсионное охлаждение, охлаждение задней стойки — это хороший компромисс. Оно более эффективно и действенно, чем традиционные воздушные системы, которые охлаждают целые компьютерные залы, и оно менее затратно и сложно в установке, чем жидкостное охлаждение.

С другой стороны, если вы нацелены на долгосрочные результаты в течение как минимум нескольких лет, жидкостное охлаждение, скорее всего, обеспечит лучшую окупаемость инвестиций, чем охлаждение задней стойки, благодаря более высокой эксплуатационной эффективности систем с охлаждением непосредственно на кристалле и систем погружения.

4. Двойное влияние ИИ на мощность и устойчивость центра обработки данных

Чаще всего ИИ обсуждается как самая значительная угроза устойчивому развитию, но в этом году на конференции Data Center World основной докладчик Али Фенн говорил о том, как ИИ может стать позитивным агентом изменений, когда речь идет о сокращении выбросов углерода и улучшении использования энергии и охлаждения. В этой статье более подробно рассматривается потенциал ИИ для преобразования энергопотребления в центрах обработки данных. 

В этом году на конференции Data Center World президент Lancium Али Фенн рассмотрит, как динамика власти может повлиять на траекторию развития ИИ.

Центры обработки данных сталкиваются с растущими проблемами в управлении питанием и повышении энергоэффективности. Резкий рост рабочих нагрузок, связанных с ИИ, усилил нагрузку на ресурсы центров обработки данных, обострив опасения по поводу потребления энергии и экологической устойчивости. Фактически, в отчете за январь 2024 года Международное энергетическое агентство прогнозировало , что к 2026 году центры обработки данных во всем мире могут более чем удвоить свое потребление электроэнергии.

Фундаментальный сдвиг, который ИИ сыграет в центрах обработки данных, невозможно переоценить. В отчете AFCOM State of the Data Center Report за 2024 год отмечается: «Искусственный интеллект является важным фактором того, как мы будем строить объекты в будущем. Проще говоря, каждый центр обработки данных станет центром обработки данных ИИ… Это изменение произошло так быстро, что многие едва его заметили. Но это изменение уже здесь, и оно повлияет на ваши объекты».

Али Фенн, президент Lancium и основной докладчик на предстоящей конференции Data Center World 2024 , с глубоким оптимизмом смотрит на роль ИИ в революционных преобразованиях в индустрии центров обработки данных, одновременно осознавая огромные трудности, которые необходимо преодолеть на пути к прогрессу. «ИИ на протяжении многих лет способствует повышению эффективности с помощью таких вещей, как прогнозирование форм нагрузки, погоды, соответствующей потребности в охлаждении… и настройка рабочих нагрузок и систем MEP для достижения как целей по затратам, так и климатических целей», — объясняет Фенн, о котором недавно писали в New York Times.

«Я думаю, что следующим этапом станет не только повышение эффективности рабочих процессов, но и тот факт, что ИИ теперь помогает совершать более фундаментальные прорывы, например, путем открытия новых материалов, которые, в свою очередь, могут стать катализатором инноваций в области аккумуляторных технологий, а следовательно, и накопления энергии, а также ускорения развития возобновляемой энергетики».

Фенн продолжает отмечать, что одна из самых значительных возможностей для ИИ в индустрии центров обработки данных лежит на пересечении центров обработки данных и сети. «Быстрый рост спроса на центры обработки данных и появление крупных центров обработки данных гигаваттного масштаба представляют новые проблемы для операторов сетей», — объясняет Фенн. «В Lancium мы сосредоточены на разработке технологии оркестровки и оптимизации мощности на основе ИИ для обеспечения надежности сети и обеспечения надежности рабочей нагрузки как для центров обработки данных, так и для их клиентов, с SLA, которые отдают приоритет как надежности, так и безуглеродной энергии».

ИИ и будущее эффективности центров обработки данных

Вэнс Петерсон, архитектор решений в Schneider Electric, еще раз подчеркивает, какое глубокое влияние ИИ может оказать на работу центров обработки данных, особенно в плане оптимизации энергопотребления и сокращения выбросов углерода.

«Прогностические возможности ИИ могут существенно способствовать сокращению потребления энергии и выбросов углерода, предоставляя информацию о работе центров обработки данных в зависимости от различных внешних факторов, таких как содержание углерода в коммунальном снабжении в режиме реального времени, мощность DER с учетом погодных условий и т. д.», — говорит Петерсон. «Это может позволить отрасли центров обработки данных оптимизировать системы охлаждения, упростить предиктивное обслуживание вместо профилактического обслуживания и динамически регулировать потребление энергии на основе приоритета рабочей нагрузки.

«Анализируя шаблоны данных, ИИ может предвидеть потребности в охлаждении, оптимизировать поток воздуха и выявлять возможности для экономии энергии, тем самым снижая общее потребление энергии и выбросы углерода. Этот проактивный подход поможет повысить эффективность и устойчивость работы центров обработки данных».

Действительно, в отчете о состоянии центра обработки данных такие проблемы, как ограничения в области электропитания и охлаждения, уязвимость инфраструктуры и увеличение выбросов углерода, определяются как критические проблемы, которые необходимо решать для повышения устойчивости во всем секторе. «Расширение и критическая роль нашего сектора, а также его существенные потребности в энергии потребовали повышенного внимания к устойчивым практикам и исследованию возобновляемых источников энергии… Три из четырех респондентов (72%) планируют использовать возобновляемые источники энергии, включая 27%, которые делают это в настоящее время».

Шаолей Рен, доцент кафедры электротехники и вычислительной техники Калифорнийского университета в Риверсайде, разделяет оптимизм Фенна и Петерсона относительно потенциала ИИ для повышения энергоэффективности. «ИИ может предложить более точную конфигурацию работы системы охлаждения на основе спроса в реальном времени, и ИИ также может помочь спрогнозировать эффективность использования энергии, предлагая точную конфигурацию систем охлаждения и прогнозируя эффективность использования энергии», — сказал Рен.

Однако Рен также признает ограничения текущих моделей ИИ, отмечая, что они не всегда могут давать точные прогнозы, что требует создания защитных механизмов.

Джо Минарик, главный операционный директор DataBank, американского оператора центров обработки данных, подчеркивает потенциал ИИ для получения значительных преимуществ в сфере энергетики.

«ИИ может помочь сетям генерации и передачи оптимизировать нагрузки и распределение для лучшего удовлетворения потребностей клиентов в целом», — сказал Минарик. «Он может делать то же самое внутри центра обработки данных. Помогая понять нагрузку, охлаждение и другие области по всему центру обработки данных, ИИ может оптимизировать эффективность и баланс мощности с гораздо большей степенью точности».

Проблемы устойчивого развития на основе ИИ

Рен далее отмечает, что серьезной проблемой являются проблемы, связанные с измерением и отчетностью об экологическом воздействии ИИ, особенно с точки зрения выбросов углерода и потребления воды. Отсутствие единых стандартов отчетности о потреблении воды создает дополнительные сложности, затрудняя точную оценку экологического воздействия технологий ИИ в центрах обработки данных. «Хотя центры обработки данных регулярно сообщают об общем потреблении энергии/углерода/воды, у нас часто нет точного измерения экологического воздействия ИИ. Проблема еще более усложняется тем, что не все модели ИИ работают как автономная служба. Некоторые модели ИИ просто используются как часть другой службы (например, модели ИИ используются в рекомендательных системах), поэтому точно получить экологическое воздействие конкретных моделей ИИ нетривиально».

Петерсон также подчеркивает двойственную природу влияния ИИ, подчеркивая его способность оптимизировать использование энергии, а также признавая обеспокоенность по поводу увеличения потребления энергии.

«Некоторые люди в отрасли предсказывают, что ускоренные вычисления, которые являются «движущей силой» революции ИИ, позволят нам делать больше с меньшими затратами в отношении инфраструктуры центра обработки данных», — сказал Петерсон. «Хотя ускоренные вычисления увеличат плотность отдельных стоек, общее количество стоек в центре обработки данных может значительно сократиться. Другими словами, ускоренные вычисления могут позволить нам делать больше с меньшими затратами. В целом, важно учитывать более широкое влияние ИИ на потребление энергии и окружающую среду, одновременно стремясь использовать его возможности для устойчивых решений».

Растущий спрос

Фенн также отмечает, что прогнозы относительно спроса на энергию в центрах обработки данных и тенденции «электрифицировать все» различаются. Однако она считает, что одно несомненно: спрос растет более быстрыми темпами и на более высоких уровнях, чем кто-либо предполагал ранее.

«Основной вопрос заключается в следующем: могут ли возобновляемые источники энергии появиться в нужных местах, в нужные сроки и можно ли масштабировать хранилища экономически эффективно, чтобы сгладить перебои в работе возобновляемых источников?» — спрашивает Фенн.

«Если да, выбросы можно будет поддерживать на постоянном уровне и продолжить положительную траекторию последних лет. Это должно стать нашей коллективной отраслевой целью, и это возможно. Для этого необходимо использовать энергетический подход к размещению центров обработки данных и иметь аппетит к возможностям, связанным с инновациями в гибкости рабочей нагрузки. Это наш коллективный императив — сделать это правильно, используя многочисленные инструменты, которые есть в нашем распоряжении».

В целом, несмотря на многочисленные проблемы, с которыми сталкиваются центры обработки данных с появлением ИИ, Фенн настроен оптимистично. «Я твердо верю, что ИИ — это чистый позитив для мира, и это самое захватывающее время для жизни, но мы, лидеры отрасли центров обработки данных, обязаны убедиться, что мы, шлюз к возможностям ИИ, предоставляем их ответственно».

5. Как центры обработки данных работают с коммунальными службами для повышения доступности электроэнергии

Энергосистема — сложная машина, и за последние несколько лет она стала еще сложнее, поскольку вселенная коммунальных услуг претерпевает существенные изменения, вызванные искусственным интеллектом, экстремальными погодными условиями, электрификацией и нормативным давлением. Индустрия центров обработки данных с ее огромной потребностью в электроэнергии оказала огромное давление на коммунальную отрасль в последние годы, но теперь разработчики центров обработки данных и операторы сетей начинают сотрудничать. Писатель Дрю Робб объясняет, почему это стратегическое партнерство сейчас необходимо как никогда.

В условиях продолжающегося энергетического кризиса потребность в стратегическом сотрудничестве между разработчиками центров обработки данных и операторами сетей становится сильнее, чем когда-либо.

На протяжении многих лет операторы центров обработки данных в основном считали электроэнергию внутренним делом: как проложить кабели туда, где они нужны, как повысить эффективность использования энергии (PUE) и как лучше контролировать управление питанием. Но теперь внимание направлено наружу. Современные проблемы с электроэнергией заключаются в том, как получить больше энергии для центра обработки данных, как добавить возобновляемые ресурсы и как лучше работать с коммунальными службами.

Например, микросети могут предложить возможность решения проблемы сетевой нагрузки и превращения центров обработки данных в лучших граждан сети. Однако такие инициативы могут быть сложными и дорогостоящими для реализации, поскольку центр обработки данных и коммунальное предприятие находятся в разных мирах. Возникает необходимость в стратегическом сотрудничестве между разработчиками центров обработки данных и операторами сетей.

«Центры обработки данных и коммунальные службы имеют диаметрально противоположные культуры», — сказал Аллан Шурр, коммерческий директор компании Enchanted Rock, специализирующейся на микросетях.

Операторы центров обработки данных могут ожидать быстрого обслуживания от сети. Но они — всего лишь один голос в быстро меняющейся энергетической инфраструктуре. Большинство коммунальных предприятий подвергаются нападкам со всех сторон со стороны потребителей, промышленности и регулирующих органов . За последние несколько лет им пришлось столкнуться с большим количеством изменений, чем за предыдущие 50 лет.

«Новые рынки оптовой торговли электроэнергией, мощностью и вспомогательными услугами оказывают существенное влияние на работу электросетей и финансовые последствия как для поставщиков, так и для потребителей энергии», — сказал Рик Райс, директор по консалтингу в ARC Advisory Group.

Понимание Вселенной полезности

На выставке и конференции Data Center World в этом году в Вашингтоне, округ Колумбия, Шурр объяснил, как работает вселенная коммунальных услуг и что для нее важно. По его словам, сеть — самая сложная машина в мире. Она должна постоянно уравновешивать спрос и предложение. Одна ошибка может оказаться настолько катастрофической, что на ее устранение уйдут недели.

Следовательно, операторы сетей и коммунальные службы склонны к консервативному мышлению. Они должны проектировать свои сети для наихудших сценариев, таких как зимние штормы Ури и Эллиотт, когда коммунальным службам приходилось вводить ротационные отключения, чтобы избежать краха сети. Им также нужно организовать достаточное количество электроэнергии для предполагаемых пиков спроса, чтобы они никогда не оказались в затруднительном положении.

Когда дело дойдет до увеличения мощности, они вряд ли расстелит красную дорожку перед центром обработки данных, которому прямо сейчас нужны 10 дополнительных мегаватт и новая соединительная линия.

«Коммунальные службы рассматривают межсетевое соединение как долгосрочное обязательство, которое может продлиться гораздо дольше, чем срок службы центра обработки данных», — сказал Шурр.

Центры обработки данных, работающие с коммунальными службами

Майкл Донохью, управляющий директор по развитию бизнеса компании Cumulus Data, с оптимизмом смотрит на то, как центры обработки данных и коммунальные предприятия могут координировать свои усилия.

«Некоторые опасаются, что у нас закончится электроэнергия, но мы не считаем это вероятным», — сказал он. «Для центров обработки данных вполне возможно работать и интегрироваться с сетью».  

Он подкрепил свое утверждение о доступности электроэнергии, продемонстрировав регион электроснабжения ERCOT в Техасе. Он сказал, что цены относительно низкие, за исключением нескольких часов в году. Внезапные пики и экстремальные цены в этих точках заставляют некоторых беспокоиться о нехватке электроэнергии, но большую часть года ее более чем достаточно.

Техас, добавил Донохью, служит моделью того, как страна может справиться с растущим спросом на электроэнергию. Хотя большинство коммунальных служб не видели роста нагрузки на электроэнергию в течение нескольких десятилетий, штат испытал устойчивый рост нагрузки. Тем не менее, сеть справилась относительно хорошо. Техас также стабильно наращивал ветровую и солнечную генерацию, постепенно выводя из эксплуатации свои угольные электростанции.

«Проблема на самом деле в привычности», — сказал Донохью. «Сотрудники коммунальных служб за пределами Техаса уже 20 лет не сталкиваются с ростом нагрузки. Но теперь они сталкиваются с колоссальным ростом из-за ИИ, расширения центров обработки данных и электромобилей».  

В ERCOT цены большую часть года колеблются около $25 за кВт. Но иногда летом они могут взлетать до $4000 за кВт.

«Несколько сотен часов пиковой мощности в год вызывают проблемы повсюду», — сказал Донохью. «Это создает представление о том, что мощности недостаточно».

Поэтому ERCOT строит пиковые электростанции на основе природного газа, чтобы обеспечить необходимую энергию во время летних пиков. Между тем линии электропередач расширяются, и коммунальные службы планируют добавить больше мощности.

«Некоторые дата-центры строят собственные микросети, пока коммунальные службы завершают долгосрочное планирование и получают одобрение на дополнительную передачу и генерацию», — сказал Донохью. «После того, как сеть будет укреплена, эти дата-центры могут затем реинтегрироваться в сеть».  

Получите перспективу полезности

Марчиша Адамс, вице-президент по энергетике и коммунальным услугам в EdgeCore Digital Infrastructure, много лет проработала в крупной коммунальной компании в Джорджии. Она понимает проблемы сеток как с точки зрения коммунальной компании, так и центра обработки данных. Она рекомендует центрам обработки данных выделить время, чтобы понять точку зрения коммунальной компании. Обычно они работают по долгосрочным графикам и имеют процессы и утверждения, которые могут занять несколько лет.

Одной из проблем, с которой она столкнулась, было то, что стандартная практика коммунальных предприятий не предусматривает размещение заказа на оборудование до тех пор, пока не будет полностью одобрено новое межсоединение, подстанция или линия передачи данных в центр обработки данных.

«Мы договорились с коммунальной службой, что если наш проект не будет одобрен, мы заплатим за него, поэтому они согласились заказать оборудование гораздо раньше», — сказал Адамс.

Коммунальные службы и операторы передачи проводят исследования, которые заглядывают на много лет вперед. До ажиотажа по поводу мощности ИИ и ЦОД у них было бы целых шесть лет предупреждений от крупных дополнительных клиентов, которые планировали подключиться к сети. Теперь ЦОД требуют больше энергии немедленно.

По ее словам, одним из решений было перемещение дата-центров из метрополии первого уровня, где электроэнергия сильно ограничена, в города второго уровня, такие как Колумбус и Рино, где электроэнергия, скорее всего, будет доступна. Оклахома, Джорджия и Миссисипи являются еще более перспективными рынками для дата-центров из-за доступной электроэнергии.

«Во многих из этих регионов имелась производственная база, которая требовала мощной магистральной линии связи, чтобы центрам обработки данных было легче перемещаться в эти районы», — сказал Адамс.

Параметры создания резервных копий

Бретт Коллард, вице-президент по корпоративному развитию Compass Datacenters, посоветовал дата-центрам, ищущим больше мощности, в большей степени использовать свои резервные генераторы. Коммунальные службы могут даже стимулировать дата-центры использовать эти активы в режиме ожидания.

Коллард сказал, что объекты его компании в Финиксе имеют соглашение с коммунальной службой о переходе с коммунального питания на резервные активы на срок до 500 часов в год. Коммунальная служба платит им за эту возможность, но до сих пор им нужно было внедрять ее только около 25 часов в год.

«Мы используем эти резервные активы в пиковые периоды, чтобы обеспечить стабильность сети и реагировать на спрос», — сказал Коллард.

Такие программы являются хорошим способом наладить лучшие отношения с коммунальным предприятием. Затем центры обработки данных могут опираться на эту основу и находить способы получить доступ к большему количеству энергии.

«Сейчас мы изо всех сил пытаемся найти мощности, чтобы справиться с резкими скачками спроса», — сказал Коллард. «Скорость выхода на рынок имеет решающее значение: мы не можем ждать пять-семь лет».

6. Отчет Министерства энергетики США раскрывает критическое влияние ИИ на энергопотребление центров обработки данных

В июле Министерство энергетики опубликовало отчет, в котором подробно описывались непомерные потребности в электроэнергии со стороны центров обработки данных, с особым акцентом на тех, которые поддерживают рабочие нагрузки ИИ. Министерство энергетики совместно с заинтересованными сторонами отрасли представило набор рекомендаций относительно того, как отрасль центров обработки данных может перейти от потребления энергии к управлению сетями. В этой статье вы найдете рекомендации Министерства энергетики, изложенные и объясненные, а также акцент на некоторых ключевых вопросах, которые не были рассмотрены в отчете. 

Чиновники из сферы энергетики США представили подробную дорожную карту по удовлетворению стремительно растущих потребностей искусственного интеллекта в энергии при сохранении надежности сети и устойчивости центров обработки данных.

Министерство энергетики США (DOE) объединилось с экспертами в области центров обработки данных для удовлетворения растущих потребностей в энергии для искусственного интеллекта и цифровой инфраструктуры.

В новом отчете, опубликованном Министерством энергетики США совместно с широким кругом заинтересованных сторон отрасли, предлагается подробная дорожная карта для удовлетворения этих растущих потребностей при сохранении надежности сети и экологической устойчивости.

В отчете ( PDF) под названием «Рекомендации по обеспечению искусственного интеллекта и инфраструктуры центров обработки данных» подчеркивается стремительно растущий спрос на электроэнергию со стороны центров обработки данных, особенно тех, которые управляются приложениями ИИ.

В отчете говорится, что в настоящее время гипермасштабные объекты требуют 300–1000 МВт электроэнергии, а сроки поставки составляют всего от одного до трех лет, поэтому местные сети с трудом поспевают за темпами роста спроса.

Расширение больших языковых моделей (LLM) было определено как существенный фактор этого всплеска, вызывая обеспокоенность по поводу будущего потребления энергии, поскольку ИИ все глубже интегрируется в общество.

Консультативный совет экспертов центра обработки данных

После консультаций с десятками заинтересованных сторон отрасли, включая Amazon, Google, Meta (Запрещена в РФ) , OpenAI, Digital Realty и QTS, Министерство энергетики представило многочисленные важные выводы и рекомендации, в том числе: