AWS внедряет в своих ЦОД квазислучайную архитектуру на базе отказоустойчивых сетевых графов

В AWS описали новое техническое девайс сетевой архитектуры ЦОД, которую внедряют с конца 2024 года. Она базируется на отказоустойчивых сетевых графах (Resilient Network Graphs, RNG) и уже стала стандартом для большинства новых ЦОД AWS по всему миру.

В Amazon отмечают, что традиционная топология Fat-Tree с многоуровневой структурой становится неэффективной. Когда информация передаются только по ограниченному числу сетевых путей, в случае перегрузки увеличивается задержка, а потеря одного маршрутизатора верхнего уровня может разорвать связь для больших сегментов сети под ним. Также архитектура требует сложной кабельной разводки.

В качестве альтернативы Amazon предложила архитектуру RNG, которая увеличивает количество путей передачи между узлами, вдвое сокращает количество сетевых устройств и повышает надёжность соединения. В итоге платформа может просто перенаправить трафик на один из множества других доступных ей путей.

В дополнение к этого, инженеры AWS описали квазислучайную топологию. Некоторые сегменты в ЦОД проложены и подключены по определённой схеме, в то время как другие объединяются случайным образом, и эта случайность делает сети RNG более гибкими, чем Fat-Tree.

Для поиска среди большого количества доступных сетевых путей оптимального маршрута используется собственный распределённый протокол маршрутизации Spraypoint. Он работает в два этапа. Сначала исходный маршрутизатор распределяет свой исходящий посещаемость случайным образом между всеми своими ближайшими соседями, а затем для каждого пакета использует классический алгоритм поиска кратчайшего пути для достижения промежуточной точки в виде маршрутизатора, который был предварительно назначен для передачи трафика к определённому пункту назначения. Промежуточные точки перенаправляют пакеты в ряд «концентрических колец» вокруг пункта назначения, а каждое кольцо передаёт посещаемость внутрь к следующему, пока он не достигнет цели.

Такое сочетание случайного начального распределения и структурированной сходимости Spraypoint даёт почти вдвое больше независимых путей между любыми двумя маршрутизаторами, сохраняет низкую вычислительную сложность и требует мало памяти.

При этом участки с перегрузкой в одной части можно автоматически обойти без явных решений о перемаршрутизации. Одновременно случайность конфигураций оптоволоконных кабелей RNG затрудняет эффективное управление ими. AWS разработала пассивные сетевые устройства ShuffleBox, которые физически соединяют разнообразные оптоволоконные кабели. Они имеют порты, обращённые к маршрутизаторам, и соединяется с другими ShuffleBox. Внутренние оптические каналы, перемешанные по определённой схеме, и случайные соединения между ShuffleBox формирует общую топологию сети, которая является квазислучайной на макроуровне, без необходимости прокладки отдельных кабелей.

По данным Amazon, по сравнению с архитектурами типа Fat-Tree, RNG использует на 69% меньше маршрутизаторов и обеспечивает до 33% большую пропускную способность, сокращает энергопотребление сети на 40% и снижает затраты на инфраструктуру на 9–45%.

Первую такую сеть запустили в конце 2024 года в Ирландии. Теперь она уже используется в ряде ЦОД в Ирландии, Германии и Испании. 

Между тем организация Molex представила многоканальные шины питания с жидкостным охлаждением, предназначенные для ЦОД с интенсивными рабочими нагрузками в области ИИ. Разработчик внедряет жидкостное охлаждение на слой распределения питания, поддерживая токи до 15 000 ампер, а в стратегической дорожной карте развития указывается параметр до 25 000 ампер.