Search

Видеокарта для искусственного интеллекта NVIDIA DGX H100. На чем “играет” ИИ

Что такое специализированный графический процессор NVIDIA DGX H100 для искусственного интеллекта и чем он отличается от игрового?
Что такое специализированный графический процессор NVIDIA DGX H100 для искусственного интеллекта и чем он отличается от игрового?

Исследования и разработки в области искусственного интеллекта быстро развиваются, и большое внимание привлекает компания NVIDIA, которая разрабатывает «графический процессор для искусственного интеллекта». Мы знаем, что графические процессоры используются для исследований, разработок и эксплуатации ИИ, но мы не знаем как они выглядят. Давайте разберемся, что это за специализированные графические процессоры и платформы NVIDIA для искусственного интеллекта.

Для предоставления услуг ИИ необходимо выполнить два типа вычислительной обработки: «обучение», которое собирает необходимые данные и конструирует данные модели и «вывод», который вводит подсказки в данные модели и генерирует выходные данные. Например, в случае ИИ для генерации изображений, обучение — это «вычислительный процесс построения данных модели на основе большого количества изображений и описаний изображений», а вывод — это «вычислительный процесс генерации изображений с использованием данных модели».  Поскольку это обучение и вывод требуют параллельного выполнения огромного объема вычислений, графические процессоры с большим количеством ядер могут выполнять вычисления более эффективно, чем центральные процессоры.

Обучение и вывод данных мелкомасштабных моделей можно выполнять на обычный геймерских графических процессорах, но графические процессоры для игр оптимизированы для обработки, связанной с играми, поэтому они не могут достичь максимальной эффективности. Поэтому NVIDIA разработала архитектуры, оптимизированные для обучения и вывода ИИ, такие как Ampere и Hopper , а также коммерциализировала графические процессоры для ИИ, такие как A100 , использующий Ampere, и H100, использующий Hopper. 

Вот так выглядит H100. NVIDIA все еще не объявила цену H100, однако издание WSJ  сообщает , что цена H100 для крупных корпораций составляет 25 000 долларов (более 2 миллионов рублей) за единицу. H100 настолько ценен, для перевозки будет использоваться бронетехника.

 

NVIDIA DGX H100 18 графических процессоров NVIDIA H100 с суммарным объемом памяти в 640 Гб. 18 соединений NVIDIA® NVLink® на каждом GPU, обеспечивающих двунаправленное соединение между GPU со скоростью 900 ГБ/с
NVIDIA DGX H100

NVIDIA разрабатывает не только графические процессоры для ИИ, но и систему обработки ИИ «DGX», которая объединяет графические процессоры для ИИ с процессором, памятью, хранилищем и т. д. Конфигурация «DGX H100», оснащенного H100, выглядит следующим образом:

  • 18 графических процессоров NVIDIA H100 с суммарным объемом памяти в 640 Гб. 18 соединений NVIDIA® NVLink® на каждом GPU, обеспечивающих двунаправленное соединение между GPU со скоростью 900 ГБ/с
  • 2 112-ядерных процессора Dual Intel® Xeon® Platinum 8480C – 3.80 GHz (Max Boost)
  • 4 коммутатора NVIDIA NVSWITCH™. Двунаправленная пропускная способность между GPU достигает 7,2 ТБ/с
  • 8 сетевых адаптеров NVIDIA CONNECTX®-7 и 2 обработчика данных NVIDIA BLUEFIELD® со скоростью 400 ГБ/с. Максимальная двунаправленная пропускная способность составляет 1 Тб/с
  • 2 ТБ оперативной памяти.
  • SSD-накопитель NVMe объемом 30 тб.
NVIDIA DGX H100 в сборке
NVIDIA DGX H100 в сборке

 

NVIDIA DGX H100 в разборе

Кроме того, NVIDIA также разрабатывает инфраструктуру искусственного интеллекта под названием DGX SuperPOD , которая включает 32 DGX. Существует  два типа DGX SuperPOD: модель, использующая DGX A100, и модель, использующая DGX H100. Другими словами, DGX SuperPOD, использующий DGX H100, оснащен 256 блоками H100, каждый из которых стоит примерно 2 миллиона рублей.

DGX SuperPOD
DGX SuperPOD

NVIDIA уже разработала H200 с удвоенной производительностью вывода по сравнению с H100 и объявила, что его поставки начнутся в 2024 году.

Альтернативы H100

Конкурент NVIDIA, компания AMD, также разрабатывает графические процессоры для искусственного интеллекта и в декабре 2023 года анонсировала графический процессор для искусственного интеллекта Instinct MI300, производительность которого в 1,6 раза выше, чем у H100.

AMD Instinct MI300
AMD Instinct MI300