В серверах для ИИ обычно используются процессоры x86, но процессоры ARM, RISC-V и ASIC могут повысить энергоэффективность и экологичность при использовании с подходящими рабочими нагрузками и оптимизацией программного обеспечения.
Искусственный интеллект привнес в центры обработки данных принципиально новые, энергоемкие задачи. Тем не менее, в большинстве развертываний по-прежнему используется привычная модель серверов с процессором и ускорителем, а также стабильный набор инструкций x86, существующий уже несколько десятилетий. Сегодняшние серверы для ИИ обычно сочетают графические процессоры с процессорами x86, но это доминирование не означает, что x86 — единственный жизнеспособный вариант.
Альтернативные архитектуры ЦП могут эффективно запускать ИИ и снижать затраты центров обработки данных, одновременно повышая экологичность, при условии, что они соответствуют необходимым рабочим нагрузкам и программному обеспечению.
Что сегодня обеспечивает работу серверов искусственного интеллекта?
Благодаря развитой экосистеме оборудования, компиляторов, библиотек и поддержки со стороны поставщиков, архитектура x86 стала де-факто стандартом для серверов. Однако в большинстве задач искусственного интеллекта нет ничего, что требовало бы использования x86. Существует несколько достойных альтернатив:
ARM — это проприетарная архитектура RISC (Reduced Instruction Set Computing), лицензированная компанией Arm Ltd. , широко используемая в мобильных вычислениях и набирающая популярность в серверах;
RISC-V — открытая и модульная RISC-архитектура, обеспечивающая возможность индивидуальной настройки и гибкость в плане стоимости, с меньшей (но растущей) коммерческой экосистемой; и
ASIC (Application-Specific Integrated Circuits) — это специализированные микросхемы, способные обеспечить исключительную производительность на ватт для конкретных задач, хотя их проектирование и внедрение обходятся дорого и занимают много времени, а также им не хватает универсальности центральных процессоров.
По сравнению с архитектурой x86, эти варианты могут обеспечить лучшую производительность на ватт и лучшие тепловые характеристики — ценные преимущества для энергоемких и требующих интенсивного охлаждения задач искусственного интеллекта.
Куда на самом деле уходит энергия в системах искусственного интеллекта
Центральные процессоры потребляют значительное количество энергии и выделяют тепло; однако в системах, ориентированных на обучение, основная часть энергопотребления обычно приходится на графические процессоры. Некоторые графические процессоры включают в себя небольшие контроллеры RISC-V для выполнения функций управления, в то время как основные вычисления выполняются специализированными ядрами графического процессора. Выбор центрального процессора по-прежнему имеет значение для общего энергопотребления системы, но графические процессоры часто задают нижний предел.
Практическое сравнение
Потребляемая мощность зависит от модели, форм-фактора и рабочей нагрузки. Высокопроизводительные серверные процессоры x86 обычно имеют расчетную тепловую мощность (TDP) в диапазоне нескольких сотен ватт (некоторые модели — около 350-500 Вт ). Серверные процессоры ARM во многих конфигурациях могут обеспечивать большое количество ядер при более низкой TDP . Nvidia H100 потребляет примерно 350 Вт в форм-факторе PCIe и до 700 Вт в конфигурациях SXM.
В системе, сочетающей один модуль SXM H100 с эффективным процессором ARM по сравнению с более мощным процессором x86, общее энергопотребление системы может быть существенно снижено при прочих равных условиях. Графический процессор по-прежнему доминирует, но эффективность процессора снижает как потребление энергии, так и нагрузку на систему охлаждения. Фактическая экономия зависит от конкретных моделей, режима использования и конструкции системы.
Тонкости: производительность на ватт и расчет нагрузки
Сравнивать сопоставимые вещи непросто. Необходимо учитывать как энергопотребление, так и эффективную производительность:
Производительность на ватт зависит от рабочей нагрузки. Более низкое энергопотребление чипа ARM может частично компенсироваться, если производительность каждого ядра или векторные возможности отличаются от аналога x86. И наоборот, некоторые разработки ARM и RISC-V могут превосходить аналогичные по производительности в конкретных задачах, повышая общую эффективность.
Использование ЦП зависит от стека ИИ. Степень, в которой конвейер ИИ переносит задачи на графические процессоры (GPU) по сравнению с центральными процессорами (CPU), существенно влияет на энергопотребление ЦП. Предварительная обработка данных, управление моделями, токенизация, сегментирование, ввод-вывод и уровни безопасности могут быть ресурсоемкими для ЦП в зависимости от архитектуры.
Программная экосистема и оптимизация имеют значение. Зрелость компиляторов, библиотеки ядра и оптимизация во время выполнения влияют как на абсолютную производительность, так и на эффективность на разных архитектурах.
Ввиду этих факторов неверно утверждать, что ARM, RISC-V или другие альтернативы повсеместно превосходят x86 по энергоэффективности. Однако при хорошо подобранных рабочих нагрузках и оптимизированных стеках можно добиться реального повышения энергоэффективности и эффективности охлаждения.
Альтернативные архитектуры ЦП могут повысить энергоэффективность и улучшить тепловые характеристики в центрах обработки данных для ИИ без ущерба для производительности, но величина этого повышения зависит от того, как ваши рабочие нагрузки фактически используют ЦП. Ключевой вопрос заключается в том, оправдывают ли экономия энергии и охлаждения, а также потенциальное повышение производительности, инвестиции в оборудование, адаптацию программного обеспечения и организационные изменения.
