Жесткие диски еще долгие годы будут оставаться самым экономичным решением для хранения данных в центрах обработки данных, но чтобы сделать их более подходящими для центров обработки данных с искусственным интеллектом, компания Seagate разрабатывает жесткие диски, использующие общий интерфейс PCIe и протокол NVMe 2.0.
На GTC компания Seagate продемонстрировала пробную систему с жесткими дисками NVMe, твердотельными накопителями NVMe, процессором Nvidia BlueField 3 DPU и программным обеспечением AIStore, чтобы показать, как NVMe преобразует жесткие диски для рабочих нагрузок ИИ. Компания Seagate опережает своих конкурентов, которые также работают над жесткими дисками NVMe.
Новый протокол, новая производительность Жесткие диски традиционно используют специализированные интерфейсы, такие как SCSI, Parallel ATA, Serial ATA (SATA) и SATA, которые хороши, но уже достигают своего предела для современных высокопроизводительных сред передачи данных, в частности в ИИ и крупных центрах обработки данных. И SATA, и SAS основаны на сериализованных протоколах, разработанных в 1980-х годах, которые несут в себе устаревшие протокольные уровни, не подходящие для современной высокоскоростной обработки данных.
Кроме того, для установки SAS и SATA требуются адаптеры хост-шины и дополнительные уровни контроллеров, что увеличивает сложность, потенциальные точки отказа и задержки. В результате такие архитектуры не подходят для рабочих нагрузок ИИ, требующих высокопроизводительного доступа к огромным массивам данных с низкой задержкой. По сравнению с SAS/SATA, NVMe в паре с PCIe обеспечивает значительно большую пропускную способность, меньшую задержку и лучшую масштабируемость.
В отличие от SAS/SATA, которые ограничены скоростями 6-12 Гбит/с и зависят от сложных уровней, таких как HBA и экспандеры, NVMe работает через стандартный для отрасли интерфейс PCIe, поддерживая скорости до 128 ГБ/с (одному HDD не понадобится больше 1 ТБ/с в течение длительного времени, но на уровне системы чем больше пропускная способность, тем лучше) и значительно снижая сложность системы, а также упрощая масштабируемость. NVMe также обеспечивает прямой доступ GPU к хранилищу (GPUDirect) через DPU, минуя CPU (тем самым уменьшая узкие места в CPU), и поддерживает 64K очередей с 64K команд на очередь, значительно улучшая параллельную обработку, что важно для систем ИИ.
Пробная система Для проверки этой архитектуры компания Seagate создала концептуальную систему, включающую восемь NVMe HDD, четыре NVMe SSD для кэширования, процессор Nvidia Bluefield 3 DPU и программное обеспечение AIStore, работающее в корпусе гибридного массива Seagate NVMe. Тестовая машина продемонстрировала, что прямой доступ GPU к хранилищу минимизирует задержки в рабочих процессах ИИ. Кроме того, отказ от устаревшей инфраструктуры SAS/SATA упростил архитектуру системы и повысил эффективность хранения данных.
Программное обеспечение AIStore динамически оптимизирует кэширование и многоуровневое распределение данных, что значительно повышает производительность обучения моделей ИИ. Кроме того, Seagate утверждает, что система может масштабироваться до экзабайтных уровней при использовании NVMe-over-Fabric (NVMe-oF). В частности, интеграция NVMe-oF позволяет беспрепятственно расширять многорэковые кластеры хранения данных ИИ, что крайне важно для эффективного (и, что еще важнее, беспрепятственного) масштабирования в крупных центрах обработки данных.
Испытания подтвердили, что жесткие диски NVMe могут поддерживать высокопроизводительные среды ИИ, не требуя полностью флеш-решений для хранения данных, что позволяет снизить затраты при сохранении производительности.
Оригинал
Уникальность
