Сеть никогда не была самой гламурной частью ИИ-инфраструктуры. Все внимание всегда приковано к тысячам горячих GPU, которые с завидным упорством жгут электричество в дата-центрах, обучая очередную большую языковую модель. Но за любым масштабным ИИ-кластером невидимым фронтом стоит сетевая инфраструктура. Особенность современного ИИ-обучения в том, что это распределенная задача: сотни и тысячи ускорителей параллельно обмениваются гигабайтами данных. И как только сеть спотыкается, вся эта армия GPU простаивает в ожидании данных.
И вот на эту сцену выходит Celestica с DS6000. Именно эти коммутаторы призваны стать теми самыми невидимыми героями, которые должны накормить ваши ИИ-кластеры терабитами данных.
Celestica DS6000: два в одном на выбор
Одна из интересных находок Celestica в этой линейке — адаптация под разные сценарии работы дата-центров. Многие сейчас строят ИИ-фабрики на базе требований и стандартов Open Compute Project (OCP). Это достаточно актуальный тренд: лавируя между экспортными ограничениями и гонкой AI-вооружений, крупные игроки рынка стараются опираться на открытые стандарты, чтобы минимизировать риски.
Celestica выпустили две модификации коммутатора:
DS6000 — базовая модель. Классический 19-дюймовый форм-фактор 3U с воздушным охлаждением.
DS6001 — продвинутая версия. Формат под стойки OCP OpenRack(ORv3 ) 21-дюйм с гибридным воздушно-жидкостным охлаждением.
ИИ-кластеры переходят на прямоточное жидкостное охлаждение не только GPU, но и коммутационной инфраструктуры. Тепловыделение уже такое, что воздухом не справиться. И появление подобных гибридных решений говорит лишь о том, что 1,6 Тбит/с греются совсем не по-детски (до 6кВт потребления при максимальной нагрузке говорит о многом).
Технические характеристики:
Параметр | Значение |
Коммутационная способность | 102,4 Тбит/с (non-blocking) |
Количество портов | 64 x 1,6 Тбит/с (OSFP224) |
Режимы работы портов | 50GbE / 100GbE / 200GbE / 400GbE / 800GbE / 1.6TbE |
Базовый чип (ASIC) | Broadcom Tomahawk 6 (TH6) |
Техпроцесс | 3 нм (TSMC) |
SerDes | 200 Гбит/с на линию |
Управление | Intel Xeon-D (4/8/10 ядер), 64 ГБ DDR4 |
Охлаждение DS6000 | Воздушное (3U, 19″ стойка) |
Охлаждение DS6001 | Гибридное (воздух + жидкость, 2OU, 21″ OCP ORv3) |
Блоки питания DS6000 | 4 x 3200 Вт (горячая замена) |
Блоки питания DS6001 | 48 В DC (шина OCP) |
Рабочая температура | От 0 до +40 °C |
MTBF | Более 150 000 часов |
ОС | SONiC (поддержка открытых стандартов) |
О чем молчат спецификации
Broadcom Tomahawk 6 на сегодняшний день — один из главных козырей в колоде производителей высокопроизводительных сетевых решений. До анонса DS6000 этот чип уже гремел в индустрии, ведь это первый в мире Ethernet-коммутатор с пропускной способностью 102,4 Тбит/с, что ровно вдвое больше, чем у предшественника Tomahawk 5.
Сам Broadcom хвалится системой Cognitive Routing 2.0, которая обеспечивает расширенную телеметрию, динамический контроль перегрузки, быстрое обнаружение сбоев и обрезку пакетов, что обеспечивает глобальную балансировку нагрузки и адаптивное управление потоком в реальном времени. И для Celestica как OEM-партнера с хорошей инженерной базой интеграция такого сложного чипа в готовое изделие в одном из приоритетов.
Новые GPU в облаке Selectel от 196,09 ₽/час
Видеокарты для ресурсоемких задач — NVIDIA® H100, H200, RTX™ 6000 Pro.
Почему переход от 800G к 1.6T нужен уже сейчас
Переход на 1,6T ИИ-сетей — не прихоть маркетологов. Модели растут, и обучение современных LLM требует объединения десятков и сотен тысяч GPU в единый вычислительный кластер.
Переход с 800G на 1.6T решает две ключевые задачи:
Scale-Out (расширение наружу), то есть возможность соединять большее количество GPU с меньшим количеством уровней коммутации. С Tomahawk 6, говорят, можно соединить 128 000 XPU всего через два уровня коммутации, что резко снижает задержки и упрощает архитектуру сети.
Scale-Up (расширение вверх), то есть ускорение обмена данными внутри одной стойки или между соседними стойками, где один GPU может общаться с другими как с общей памятью.
Сами порты OSFP224 построены на 8 линиях по 200 Гбит/с внутри чипа и, конечно, поддерживают брейкаут-режимы для подключения более старых устройств через кабели-разветвители (MTP/MPO) - универсальность всегда была сильным местом Broadcom.
Открытость как стратегия: SONiC и OCP на страже vendor lock-in
Одна из важных архитектурных философий, которую Celestica закладывает в DS6000, это полная открытость стандартов. В отличие от полностью вертикально интегрированных решений от NVIDIA (их собственные коммутаторы Spectrum-X с их же Ethernet-стеками), Celestica делает ставку на сообщество.
Работа через открытые интерфейсы и ПО:
SONiC (Software for Open Networking in the Cloud). Сетевая операционная система с открытым исходным кодом, изначально разработанная Microsoft. Позволяет кастомизировать поведение сети под свои задачи без оглядки на вендора. Управлять тысячами портов и сотнями коммутаторов без привязки к конкретному производителю железа.
Соблюдение стандартов UEC и OCP ESUN. Ориентация на спецификации Ultra Ethernet Consortium и OCP гарантирует, что железо будет корректно взаимодействовать с сетевыми картами разных производителей в единой гетерогенной среде.
Все это говорит о том, что DS6000 изначально проектировался для корпоративных заказчиков и крупных ЦОД, которые хотят сохранить контроль над своей инфраструктурой.
Место в иерархии: сравнение с другими решениями
Чтобы понять, куда Celestica позиционирует DS6000, полезно взглянуть на конкурентное поле.
Параметр | Celestica DS6000 | Broadcom Tomahawk 6 Reference Design (Generic) | ||
Коммутационная способность | 102,4 Тбит/с | до 409,6 Тбит/с | 102,4 Тбит/с | 51,2 Тбит/с |
Порты | 64 x 1,6T | от 64 x 800G | 64 x 1,6T | 64 x 800G |
Особенность | Гибридное охлаждение, открытое ПО | Интеграция с NVIDIA NIC, NCCL | Референсный дизайн для OEM | Зрелый софт, телеком-наследие |
Охлаждение | Air / Hybrid (Liquid) | Air / Liquid | Зависит от OEM | Air |
Цена (оценка) | Доступен под заказ | Будет недешево | Низкая (OEM-партнерам) | Высокая |
DS6001 среди 1.6T-коммутаторов, совместимых с OCP ORv3 и жидкостным охлаждением, на рынке пока в единичных экземплярах. По сути, Celestica с этой моделью заняли довольно свободную нишу для требовательных к эффективности заказчиков.
Стоит ли смотреть в сторону 1,6T
Celestica DS6000 — это закономерная эволюция. Broadcom Tomahawk 6 дал рынку 102,4 Тбит/с, и Celestica одной из первых упаковала это в товарный продукт с двумя вариантами охлаждения, включая гибридный для OCP ORv3. Форм-факторы и поддержка SONiC делают коммутаторы гибким инструментом для крупных ЦОД, которые закладывают инфраструктуру на годы вперед.
Однако давайте смотреть на то, что есть в реальности. В типовых проектах, включая нашу инфраструктуру, на уровне доступа клиентам предоставляются стандартные скорости, которые давно стали индустриальной нормой. Аплинки агрегации и связи с роутерами могут работать на 100 Гбит/с и выше, но до 400GbE или 800GbE в массовом порядке пока далеко, тем более до 1,6T. Это просто факт: большинству дата-центров, даже тем, кто предоставляет GPU-серверы, такие полосы не требуются ежедневно.
Что это значит для DS6000? Для задач инференса, обучения моделей среднего размера, для парков из десятков или даже сотен GPU текущих скоростей 100-400GbE за глаза. Если вы строите кластер на тысячи самых горячих ускорителей и упираетесь именно в сеть, то DS6000 может быть актуальна. Но такой сценарий — удел единиц. Стоимость 1,6T трансиверов, оптических кабелей и всей необходимой обвязки для построения инфраструктуры пока остается запредельной для пробных внедрений.
В наших дата-центрах мы пока работаем на проверенных решениях, а Celestica DS6000 держим на радаре. Как только появятся реальные проекты с требованиями к 1,6T, будем тестировать и делиться результатами. А пока продукт для первых ласточек, которые готовы платить за неиспользуемый сегодня запас.