Selectel провел тестирование инференс-сервера NVIDIA HGX B300 на моделях DeepSeek, Qwen и MiniMax. По информации компании, сервер оснащен восемью GPU и располагает 2,3 ТБ видеопамяти.
Цель тестирования — оценить производительность системы при развертывании больших языковых моделей в продакшене с высокой нагрузкой пользователей. Selectel проверил работу сервера на различных задачах и собрал бенчмарки производительности.
По данным компании, HGX B300 позиционируется как один из топовых серверных решений NVIDIA для инференса. Тестирование включало сравнение с альтернативными подходами, включая развертывание моделей на процессорах.
Аналитики отмечают, что выбор оборудования для инференса критичен для баланса между скоростью обработки запросов пользователей и операционными затратами. Selectel указывает на необходимость тщательного анализа производительности перед внедрением в продакшен.
Полные результаты тестирования, включая детальные бенчмарки и рекомендации по использованию, опубликованы на платформе Habr.
Источник: Habr AI
Реклама: 🔥 Хочешь получить Telegram Premium и стать гуру Polymarket? Кликай сюда!
