Исследования и разработки в области искусственного интеллекта быстро развиваются, и большое внимание привлекает компания NVIDIA, которая разрабатывает «графический процессор для искусственного интеллекта». Мы знаем, что графические процессоры используются для исследований, разработок и эксплуатации ИИ, но мы не знаем как они выглядят. Давайте разберемся, что это за специализированные графические процессоры и платформы NVIDIA для искусственного интеллекта.
Для предоставления услуг ИИ необходимо выполнить два типа вычислительной обработки: «обучение», которое собирает необходимые данные и конструирует данные модели и «вывод», который вводит подсказки в данные модели и генерирует выходные данные. Например, в случае ИИ для генерации изображений, обучение — это «вычислительный процесс построения данных модели на основе большого количества изображений и описаний изображений», а вывод — это «вычислительный процесс генерации изображений с использованием данных модели». Поскольку это обучение и вывод требуют параллельного выполнения огромного объема вычислений, графические процессоры с большим количеством ядер могут выполнять вычисления более эффективно, чем центральные процессоры.
Обучение и вывод данных мелкомасштабных моделей можно выполнять на обычный геймерских графических процессорах, но графические процессоры для игр оптимизированы для обработки, связанной с играми, поэтому они не могут достичь максимальной эффективности. Поэтому NVIDIA разработала архитектуры, оптимизированные для обучения и вывода ИИ, такие как Ampere и Hopper , а также коммерциализировала графические процессоры для ИИ, такие как A100 , использующий Ampere, и H100, использующий Hopper.
Вот так выглядит H100. NVIDIA все еще не объявила цену H100, однако издание WSJ сообщает , что цена H100 для крупных корпораций составляет 25 000 долларов (более 2 миллионов рублей) за единицу. H100 настолько ценен, для перевозки будет использоваться бронетехника.
NVIDIA разрабатывает не только графические процессоры для ИИ, но и систему обработки ИИ «DGX», которая объединяет графические процессоры для ИИ с процессором, памятью, хранилищем и т. д. Конфигурация «DGX H100», оснащенного H100, выглядит следующим образом:
- 18 графических процессоров NVIDIA H100 с суммарным объемом памяти в 640 Гб. 18 соединений NVIDIA® NVLink® на каждом GPU, обеспечивающих двунаправленное соединение между GPU со скоростью 900 ГБ/с
- 2 112-ядерных процессора Dual Intel® Xeon® Platinum 8480C – 3.80 GHz (Max Boost)
- 4 коммутатора NVIDIA NVSWITCH™. Двунаправленная пропускная способность между GPU достигает 7,2 ТБ/с
- 8 сетевых адаптеров NVIDIA CONNECTX®-7 и 2 обработчика данных NVIDIA BLUEFIELD® со скоростью 400 ГБ/с. Максимальная двунаправленная пропускная способность составляет 1 Тб/с
- 2 ТБ оперативной памяти.
- SSD-накопитель NVMe объемом 30 тб.
Кроме того, NVIDIA также разрабатывает инфраструктуру искусственного интеллекта под названием DGX SuperPOD , которая включает 32 DGX. Существует два типа DGX SuperPOD: модель, использующая DGX A100, и модель, использующая DGX H100. Другими словами, DGX SuperPOD, использующий DGX H100, оснащен 256 блоками H100, каждый из которых стоит примерно 2 миллиона рублей.
NVIDIA уже разработала H200 с удвоенной производительностью вывода по сравнению с H100 и объявила, что его поставки начнутся в 2024 году.
Альтернативы H100
Конкурент NVIDIA, компания AMD, также разрабатывает графические процессоры для искусственного интеллекта и в декабре 2023 года анонсировала графический процессор для искусственного интеллекта Instinct MI300, производительность которого в 1,6 раза выше, чем у H100.
