Инженер раскрыл схему перехода на 10 Гбит/с Ethernet дома

Инженер рассказал, как он решил перевести домашнюю систему с 2,5 Гбит/с на 10-гигабитный Ethernet. По его словам, это оказалось непросто, а для достижения максимальной производительности нужно учесть ряд нюансов.

В квартире инженера установлена ​​структурированная кабельная система — в каждой комнате есть один или некоторое количество разъёмов RJ45 в стене, а внизу, у входной двери, находится коммутационная панель с соответствующими разъёмами для каждой розетки. Он настроил всё так, чтобы рядом с коммутационной панелью стоял коммутатор 2,5 Гбит/с, а большая часть оборудования работала через Wi-Fi.

Сам кабель проходил через маршрутизатор/брандмауэр, который он настроил сам, затем через коммутатор 2,5 Гбит/с к главный точке доступа Wi-Fi и к розетке.

Ещё одно соединение от этого коммутатора шло к патч-розетке в кабинете инженера. Там был установлен коммутатор 2,5 Гбит/с, который отвечал за внутреннюю сеть.

При модернизации системы самый значимый вопрос касался структурированной кабельной системы в стенах: CAT-5E, CAT-6 или CAT-6A. Поскольку 10GBASE-T может работать на коротких участках с током -5E, вероятно, он будет работать и на -6, предположил инженер. Он решил развернуть сеть поэтапно. Первым шагом было создание проводной сети в кабинете на скорости 10 Гбит/с. Требовалось подключить главный компьютер, Perry и кластер Proxmox, работающие в 11-дюймовой стойке. 

Инженеру равным образом было важно обеспечить место для второй машины, которую он планирует использовать для обучения/вывода данных, не занимая графический чип Perry, и которой равным образом потребуется быстрая сеть.

Для организации системы инженер купил дешёвый управляемый коммутатор 10 Гбит/с, MikroTik CRS305-1G-4S+IN, с одним адаптером 10GBASE-T для подключения к розетке, карту 10 Гбит/с SFP+ PCIe — Asus XG-C100F — для Perry и кабель DAC для их соединения.

Для кластера Proxmox он решил использовать старый неуправляемый коммутатор 2,5 Гбит/с, TRENDnet TEG-S5061. У него есть порт SFP+ 10 Гбит/с для восходящего канала.

«Конечно, два компьютера внутри не могли фактически обмениваться данными на такой скорости, поскольку только Perry поддерживал скорость 10 Гбит/с — но я мог одновременно обеспечить обмен данными между всеми машинами Proxmox и Perry на полной скорости. Я провел несколько тестов с помощью iperf3, чтобы убедиться, что всё работает как положено; не смог провести весьма тщательное тестирование, но мне удалось получить общую пропускную способность около 4 Гбит/с, что было обнадёживающим: две машины со скоростью 1 Гбит/с плюс одна со скоростью 2,5 Гбит/с должны давать чуть меньше 4,5 Гбит/с», — отметил инженер.

Следующим шагом была проверка возможностей подключения к коммутационной панели. Он купил Ethernet-адаптер Ubiquiti 10G и взял с собой свой портативный компьютер Laura 3.

Запустив тест iperf3 между Perry и Laura по структурированной кабельной сети, инженер обнаружил, что от Laura до Perry скорость была чуть меньше 10 Гбит/с и приблизительно 7 Гбит/с — в обратном направлении. Он заметил, что процедура ядра ksoftirqd работает на 100%, то есть происходила однопроцессная сбой.

Выяснилось, что Ethernet-адаптер был подключён через USB, а это означало, что процессору приходилось выполнять гораздо больше работы при каждом входящем прерывании «информация поступили», чем PCIe-карте, подобной той, что установлена ​​на Perry. Это означало, что Laura мог принимать информация только со скоростью, которую могло обработать один движок. Недостатком системы был нагрев USB-адаптера.

На патч-панели все разъёмы были RJ45, и инженер выбрал MikroTik CRS304-4XG-IN.

В предоставленном интернет-провайдером роутере был всего один порт 10 Гбит/с — 10GBASE-T RJ45. Тогда инженер решил модифицировать свой собственный с двумя портами 2,5 Гбит/с. Он остановился на Protectli VP2440, у которого два слота SFP+ 10 Гбит/с и два обычных RJ45 2,5 Гбит/с. 

Далее инженер обратился к Protectli, чтобы узнать, не возникнет ли задача с перегревом двух модулей SFP+ в MikroTik. Ему ответили, что проблем быть не должно.

Настройка роутера:

• порт 1 устройства Nelly подключен к патч-панели, соответствующей розетке в кабинете. Розетка подключена к модулю RJ45 SFP+ в порту 0 на устройстве Nigel;

• порт 1 устройства Nigel: ЦАП подключен к веб карте SFP+ на Perry. Порт 2 устройства Nigel: ЦАП подключен к восходящему каналу SFP+ 10 Гбит/с на старом коммутаторе TRENDnet 2,5 Гбит/с для обработки кластера Proxmox.

Одновременно инженер решил перенести основную точку доступа Wi-Fi (Winona, Ubiquiti U6 Enterprise), которая раньше стояла рядом с роутером, в свой кабинет — так что она была подключена к коммутатору TRENDnet. Он приобрёл ещё один CRS304-4XG-IN — коммутатор MikroTik 10GBASE-T, аналогичный, как тот, что стоит рядом с патч-панелью.

Теперь модель выглядела так:

• роутер подключён к WAN-порту маршрутизатора (reggie);

• LAN-порт маршрутизатора (reggie) подключён к порту 0 нового коммутатора (norman);

• порт 1 на norman подключён к розетке (а затем к патч-панели);

• порт 2 на norman подключён к точке доступа Wi-Fi через PoE-инжектор.

Инженер решил запустить Telegraf для сбора статистики работы системы коммутаторов. Он дополнил конфигурацию Telegraf на reggie, чтобы равным образом собирать эти информация и отправлять их в varro. Grafana выводит информацию на различные панели мониторинга, и одна из них — это температура сетевого оборудования. Отдельно инженер получает информация о температуре процессора и каждого модуля SFP+.

Показатели оказались немного выше запланированного. Тогда инженер решил переместить точку доступа в другое место, а если этого нев достаточной степени, возможно, добавить USB-вентилятор.

В кабинете MikroTik CRS305-1G-4S+IN работал при нормальной температуре, но показатели модуля SFP+ были высокими. Инженер решил купить наклеиваемый мини-радиатор.

В остальном система работает нормально. Теперь он загружает модели на Hugging Face и скачивает другие, синхронизирует большие UV-окружения, скачивает новейший Arch ISO и слушает музыку, пока его жена смотрит Netflix, а  на фоне работает Dropbox.

Инженер задумался — что будет, когда он захочет перевести систему на 40 Гбит/с или выше? «Как я уже говорил в своем предыдущем посте, 10GBASE-T — это, по сути, конец мира RJ45 и витой пары, в котором мы жили последние 20 с лишним лет. Кабель CAT-8, по-видимому, может работать со скоростью до 40 Гбит/с, но у него есть свои проблемы — он весьма жёсткий, его трудно прокладывать в узких углах или в ограниченном пространстве коробок за розетками», — пишет он. Инженер предположил, что более правильным решением будет переход на оптоволокно.