NVIDIA DGX H100 — высокопроизводительная серверная система для обучения, дообучения и инференса моделей искусственного интеллекта, ускоренной аналитики и высокопроизводительных вычислений (HPC). Конфигурация предназначена для организаций, которым требуется собственная вычислительная инфраструктура для работы с ресурсоемкими задачами машинного обучения, генеративного ИИ и обработки больших объемов данных.
Система объединяет восемь ускорителей NVIDIA H100, мощную процессорную подсистему на базе двух Intel Xeon Platinum 8480C, 2 ТБ оперативной памяти DDR5, высокоскоростную сетевую инфраструктуру NVIDIA ConnectX-7 и NVMe-хранилище. Сервер выполнен в форм-факторе 8U и рассчитан на использование в корпоративных вычислительных средах и дата-центрах.
Вычислительная архитектура для крупных моделей
В основе системы находятся восемь ускорителей NVIDIA H100 с общей памятью 640 ГБ, обеспечивающих высокую производительность при выполнении задач искусственного интеллекта, машинного обучения и параллельных вычислений. Такая конфигурация позволяет использовать сервер для обучения крупных моделей, выполнения сложных вычислительных процессов и развертывания производственных AI-сервисов.
Сервер оснащен двумя процессорами Intel Xeon Platinum 8480C с 56 ядрами каждый, что обеспечивает 112 вычислительных ядер для обработки данных, управления вычислительными процессами, работы контейнерных сред и выполнения задач, связанных с CPU-нагрузкой.
Оперативная память объемом 2 ТБ реализована на базе 32 модулей DDR5 объемом 64 ГБ с частотой 4800 MHz. Большой объем памяти позволяет эффективно работать с крупными наборами данных, виртуализированными средами, контейнерами и приложениями, использующими интенсивный обмен данными.
Для хранения данных сервер использует высокопроизводительную NVMe-подсистему. Конфигурация включает восемь NVMe-накопителей PCIe объемом 3,84 ТБ и два NVMe M.2-накопителя объемом 960 ГБ. Управление дисковой подсистемой выполняется с помощью RAID-контроллера 9560-16i, обеспечивающего работу локального хранилища в соответствии с требованиями конкретных рабочих нагрузок.
Сетевая подсистема построена на базе решений NVIDIA и включает адаптеры NVIDIA InfiniBand 400Gb и NVIDIA ConnectX-7 MCX75310AAS-NEAT400G. Такая конфигурация обеспечивает высокоскоростное подключение для обмена данными между вычислительными узлами и использования сервера в составе масштабируемой инфраструктуры.
Система размещается в корпусе форм-фактора 8U и оснащена шестью блоками питания Titan мощностью 3000W каждый. Конфигурация рассчитана на эксплуатацию в серверных стойках и поставляется с комплектом рельсов для монтажа.
Основные сценарии применения
- Обучение и дообучение моделей. Создание, настройка и адаптация крупных языковых моделей, нейронных сетей и специализированных AI-решений на корпоративных данных.
- Генеративный ИИ и инференс. Развертывание сервисов генерации контента, интеллектуальных помощников, систем поиска и обработки запросов на базе искусственного интеллекта.
- Компьютерное зрение и обработка данных. Использование в задачах видеоаналитики, распознавания изображений, обработки речи и других сценариях машинного обучения.
- Высокопроизводительные вычисления (HPC). Выполнение сложных вычислительных задач, научных расчетов, инженерного моделирования и анализа больших объемов данных.
- Кластерные AI-инфраструктуры. Использование сервера как вычислительного узла в составе масштабируемых систем машинного обучения и корпоративных платформ искусственного интеллекта.
NVIDIA DGX H100 в корпоративной инфраструктуре
NVIDIA DGX H100 в данной конфигурации представляет собой готовую вычислительную платформу для организаций, которым требуется высокая плотность GPU-ресурсов и производительная инфраструктура для работы с искусственным интеллектом. Система подходит для исследовательских подразделений, команд машинного обучения и разработки корпоративных AI-сервисов.
При размещении такого сервера необходимо учитывать требования к серверной инфраструктуре, включая доступное пространство в стойке, электропитание, охлаждение и сетевое подключение. Благодаря сочетанию восьми ускорителей NVIDIA H100, большого объема оперативной памяти, NVMe-хранилища и высокоскоростных сетевых адаптеров система может использоваться для широкого спектра современных вычислительных задач.
Данная конфигурация обеспечивает сбалансированное сочетание GPU-производительности, вычислительных ресурсов CPU, объема памяти и возможностей подключения, что делает ее подходящим решением для корпоративных проектов в области искусственного интеллекта, машинного обучения и высокопроизводительных вычислений.
