8-GPU AI-сервер для обучения и инференса больших моделей ИИ. Наиболее вероятно, что речь идет о сервере уровня NVIDIA HGX (бренд не ограничен: Dell, HPE, Supermicro, Inspur, xFusion, Lenovo и др.).
Основные характеристики:
Процессоры: 2 × Intel Xeon Platinum 8558/8558P (по 48 ядер каждый, всего 96 ядер / 192 потока).
Графические ускорители: 8 × NVIDIA GPU с:
1979 TFLOPS FP16 Sparse на каждую карту;
141 ГБ HBM-памяти;
4,8 ТБ/с пропускной способности памяти.
По этим характеристикам это практически соответствует NVIDIA HGX B300 / Blackwell.
Оперативная память: 32 × 64 ГБ DDR5-5600 Samsung/Hynix (2048 ГБ (2 ТБ)).
Системный диск:
2 × 960 ГБ NVMe SSD RAID1 (через Dell BOSS), либо
1 × 1,92 ТБ NVMe SSD.
Диски данных: 4 × 7,68 ТБ NVMe SSD (30,72 ТБ).
Сетевые адаптеры:
8 × NVIDIA ConnectX-7 400GbE (однопортовые);
1 × NVIDIA ConnectX-7 200GbE (двухпортовая);
1 × NVIDIA ConnectX-6 100GbE (двухпортовая).
Требования к комплектующим:
память только Samsung или SK Hynix;
SSD только Intel, Samsung, Kioxia или SK Hynix;
сетевые карты только NVIDIA;
компоненты Micron запрещены.
Тестирование:
обязательное прохождение NVIDIA Field Diagnostics, DCGM, GPU Burn (12 часов), NCCL, PCIe, NVLink/NVSwitch и тестов производительности.