AMR EQUIPMENT / AI INFRASTRUCTURE
Как выбрать GPU-сервер для ИИ
Начните с модели, режима работы и ограничений площадки. Это помогает сравнивать конфигурации по вашей задаче и не покупать неподходящие компоненты.
Сначала зафиксируйте нагрузку
Для инференса укажите модель, точность весов, длину входного и выходного контекста, ожидаемое число параллельных запросов и целевую задержку. Для обучения добавьте размер датасета, метод обучения, размер batch и планируемое число GPU. Эти данные нужны для осмысленного сравнения конфигураций.
Объём памяти GPU
Память нужна не только весам модели. Инференс использует KV-кэш и рабочие буферы; обучение также хранит градиенты и состояния оптимизатора. Объём памяти разных GPU нельзя автоматически считать единым общим пулом: доступное распределение зависит от программного стека и топологии.
Три варианта GPU-узла
| Платформа | Формат | Когда включить в сравнение |
|---|---|---|
| H200 NVL | PCIe GPU, 141 ГБ на карту | Совместимая PCIe-платформа и нагрузка с большой потребностью в памяти GPU. |
| HGX H200 | 8 SXM GPU, NVSwitch | Многопроцессорные задачи, для которых важна связность GPU внутри узла. |
| HGX B300 | 8 GPU Blackwell Ultra, 288 ГБ на GPU | Проекты с большей потребностью в памяти и пропускной способности обмена между GPU. |
Таблица помогает выбрать варианты для проверки. Производительность проверяют на конкретной нагрузке. Ссылки на спецификации производителей приведены на страницах оборудования.
Проверьте площадку до заказа
- Электропитание: доступная мощность, напряжение, резервирование, розетки и кабели.
- Охлаждение: допустимая тепловая нагрузка и требования производителя к потоку воздуха.
- Стойка: высота, глубина, допустимый вес, рельсы и доступ для обслуживания.
- Сеть и хранение: скорость загрузки данных, межсерверный обмен и требуемые адаптеры.
- Программный стек: поддержка GPU, драйверов, CUDA и используемых библиотек.
Шаблон технического запроса
Скопируйте и заполните пункты перед обращением:
- Модель или задача: …
- Инференс / обучение / дообучение: …
- Точность, контекст, параллельные запросы: …
- GPU или серверная платформа, если уже выбрана: …
- Количество, RAM, NVMe и сеть: …
- Параметры площадки и город доставки: …
- Желаемый срок и ограничения проекта: …
Если есть готовый BOM, его достаточно приложить к письму. Цена, сроки, комплектность и сервисные условия должны быть зафиксированы в коммерческом предложении.
Запросите конфигурацию и КП
Пришлите задачу или BOM, количество, город и желаемый срок. Комплектация, наличие, цена и условия поставки подтверждаются для каждого проекта.