Технические решения

Интеллектуальное решение для центров обработки данных без потерь SeerFabric

 1. Предпосылки и проблемы

 С развитием облачных вычислений, больших данных, искусственного интеллекта, Интернета вещей и сети 5G данные демонстрируют взрывной рост, но при этом выдвигают более высокие требования к строительству центров обработки данных, и как построить центр, чтобы он соответствовал потребностям развития бизнеса в ближайшие 3-5 лет, - это предложение, над которым должен задуматься каждый специалист по центрам обработки данных.

Традиционная идея создания высокопроизводительного центра обработки данных заключается в том, чтобы, с одной стороны, способствовать модернизации пропускной способности сети ЦОДа, чтобы стимулировать модернизацию сетевой архитектуры (т. е. модель 10G/40G эволюционирует к модели сети 25G/100G, а затем к модели 100G/400G); с другой стороны, это внедрение SDN Telemetry и других технологий интеллектуального управления на основе автоматизации сети ЦОДа, С другой стороны, внедрение технологий интеллектуального управления на основе SDN Telemetry и других технологий интеллектуального управления позволяет сетям ЦОД достичь автоматизации и интеллектуального управления эксплуатацией и техническим обслуживанием, и в конечном итоге реализует интеграцию и модернизацию сетей ЦОД.

(Рисунок 1: Традиционный путь модернизации программы центра обработки данных) 

Но инфраструктура центра обработки данных три основных: вычислительная, хранения в последние годы добились большого прогресса, который, вычислительная, основанная на CPU, появились, как GPU, TPU и другие процессорные чипы для конкретных сценариев, конкретного бизнеса и родился вычислительной эффективности сотен тысяч повышения; хранения, в HDD механический жесткий диск на основе появления SSD все-флэш продуктов, эффективность доступа также был качественный скачок. Хотя в сети появилась технология SDN, но суть ее ядра по-прежнему составляет технология TCP/IP, а механизм обработки TCP/IP - это «лучшие усилия», включающие «задержку обработки стека TCP/IP» и «из-за механизма обработки стека протоколов, вызванного процессором». TCP / IP механизм обработки является «лучшие усилия», с участием «TCP / IP стека протокола обработки задержки» и «из-за стека протокола обработки механизма загрузки процессора вызвано проблемой высокой», и нет большого улучшения:

Стек TCP/IP имеет большую задержку обработки:

1. стек протоколов TCP должен выполнять несколько переключений контекста при приеме/отправке сообщений, и каждое переключение занимает около 5us~10us задержки;

2. и, по крайней мере, три раза копирования данных, сильно зависит от ЦП для инкапсуляции протокола, стек протокола на свой собственный имеет десятки микросекунд фиксированной задержки, что делает стек протокола задержки в AI AI и SSD распределенной системы хранения микросекунд, задержка стека протокола стала очевидным узким местом;

Загрузка процессора сервера остается высокой:

1. помимо проблемы фиксированной задержки, TCP/IP также требует от центрального процессора многократного участия в копировании памяти стека протоколов. Чем больше размер сети, тем выше пропускная способность сети, тем больше нагрузка на центральный процессор при отправке и получении данных, что приводит к постоянной высокой загрузке процессора. 2.

2. согласно промышленным оценкам: каждый 1 бит передачи данных требует 1 Гц ресурсов ЦП; когда пропускная способность сети достигает 25 Гбит/с и более (полная загрузка), подавляющее большинство серверов, по крайней мере, 50% ресурсов ЦП должны будут использоваться для передачи данных.

(Рисунок 2: Может быть, TCP/IP - это самая короткая доска в бочке?) 

Исходя из этого, где, собственно, следующий прыжок для TCP/IP?

2. Интеллектуальное решение SeerFabric для центров обработки данных без потерь

2.1 Тенденция развития технологии 1: RDMA во времени

Традиционная технология TCP/IP в процессе обработки пакетов, необходимо сначала пройти через программное приложение и операционную систему обработки, необходимо занять много ресурсов сервера и памяти шины пропускной способности ресурсов, есть много раз в процессе копирования данных, обработки прерываний, и обработки сложных TCP / IP протоколов обработки и других вопросов, что неизбежно приводит к результату чрезмерной задержки сети.

Технология RDMA (Remote Direct Memory Access), известная как «удаленный прямой доступ к памяти», призвана решить проблему сетевой передачи данных на стороне сервера и решить проблему задержек при обработке данных. Она поддерживает передачу данных из пользовательских приложений непосредственно в область хранения сервера, а также быструю передачу данных из одной системы в хранилище удаленной системы по сети. 

(Рисунок 3: Сравнение потоков обработки стека TCP/IP и RDMA) 

Технология RDMA реализует прямую передачу данных буфера данных между двумя узлами при сетевой передаче, при которой узел может напрямую передавать данные в память удаленного узла через сеть, минуя многочисленные копии памяти в операционной системе. По сравнению с традиционной сетевой передачей, RDMA может легко достичь сверхнизкой задержки обработки данных без вмешательства операционной системы и стека протоколов TCP/IP, RDMA может легко достичь сверхнизкой задержки обработки данных, сверхвысокой пропускной способности ввода-вывода, и в основном не требует вмешательства процессора и других ресурсов удаленного узла, поэтому ему не нужно потреблять слишком много ресурсов для обработки и миграции данных.

Технология RDMA появилась раньше в сети Infiniband, используемой для объединения высокопроизводительных вычислительных кластеров HPC. Традиционная сетевая связь, основанная на сокетах (стек протоколов TCP/IP), требует прохождения через стек программного обеспечения операционной системы, копирования данных и перемещения их туда-сюда между системной DRAM, кэшем процессора и буфером сетевой карты, занимая тем самым большое количество вычислительных ресурсов процессора и пропускную способность шины памяти, а также увеличивая сетевую задержку. 

 (Рисунок 4: Технические преимущества протокола RDMA?)

Например, в то время как потоки TCP/IP со скоростью 40 Гбит/с могут исчерпать все ресурсы центрального процессора обычных серверов, технология RDMA является хорошим решением технических проблем традиционных коммуникаций TCP/IP. Например, в сценарии 40 Гбит/с загрузка процессора сервера с технологией RDMA снизится со 100 % до 5 %, а сетевая задержка сократится с уровня мс до менее 10 с, а в экстремальных сценариях даже больше. Таким образом, преимущества технологии RDMA очевидны, и в то же время технология RDMA может быть использована практически во всех сценариях бизнес-трафика в центре обработки данных, таких как приложения. В то же время технология RDMA может использоваться практически во всех сценариях бизнес-трафика в ЦОД, таких как приложение-приложение, вычисления-вычисления, вычисления-хранилище и хранение-хранение, и повышение эффективности чтения данных для ЦОД очевидно.

 (Рисунок 5: Моделирование трафика технологии RDMA в четырех типах сценариев)

2.2 Тенденция развития технологии 2: внедрение технологии RDMA

На данном этапе, RDMA сетевые технологии в основном Infiniband, RoCE и iWARP, Infiniband сети в основном появляется в HPC высокопроизводительных вычислений сценарий, из-за своих собственных технических характеристик факторов, технология используется специализированный, в том числе прикладная программа, интерфейсы программирования, сетевые протоколы, сетевые карты, сетевое оборудование и аппаратные интерфейсы и даже форма управления программного обеспечения все Технология iWARP RDMA на базе протокола TCP/IP, выпущенная IETF для определения стандарта, в данной статье ограничена пространством, основное внимание уделяется технологии RoCE.

Технология RoCE основана на технологии Ethernet RDMA, Emulex совместно IBTA (InfiniBand Trade Association, Торговая ассоциация InfiniBand) совместно объявили о запуске разработки до сих пор была выпущена в двух версиях, последняя RoCEv2 версия IB GRH (Global Routing Header) заменена на новую версию IB GRH (Global Routing Header). Заголовок) IB заменен на UDP-заголовок + IP-заголовок. RoCE v2 работает поверх UDP, используя UDP-порт 4791 для передачи, и поддерживает маршрутизацию, поэтому его иногда называют Routable RoCE, или RRoCE для краткости.

(Рисунок 6: Эволюция и сравнение основных технологий RDMA)

2.3 Тенденция развития технологии 2: сетевая технология RDMA без потерь

RDMA изначально предлагается использовать в сети InfiniBand без потерь, сеть Infiniband обеспечивает идеальный механизм ретрансляции потери пакетов, для архитектуры InfiniBand, принимающий конец может получать только упорядоченные сообщения, если происходит потеря пакетов, это приводит к прерыванию потока; когда происходит потеря пакетов, принимающий конец отправляет управляющее сообщение NACK (не ACK символ отказа) на передающий конец с PSN (номер последовательности пакетов) для повторной передачи потерянного сообщения и последующего сообщения. Когда происходит потеря пакета, приемник отправляет управляющее сообщение NACK (не символ отказа ACK) с PSN (номер последовательности пакетов) передатчику для повторной передачи потерянного пакета и последующих пакетов.

(Рисунок 7: Механизм ретрансляции на базе InfiniBand)

Но когда технология RDMA используется в Ethernet, Ethernet, по сути, является сетью «наилучших усилий», поскольку в Ethernet отсутствует совершенный механизм защиты от потери пакетов, ибо потеря пакетов исключительно чувствительна, более 0,1% (1 из 1 000) потери пакетов приведет к резкому снижению пропускной способности сети до 75%; а 1% потери пакетов делает сеть Эффективная пропускная способность практически снижается до 0; поэтому, чтобы пропускная способность RDMA не страдала, уровень потери пакетов лучше всего обеспечить один из 10 000 (0,1 ‰) или даже один из 100 000 (0,01 ‰) или меньше, то есть лучше всего, чтобы потери пакетов не было.

(Рисунок 8: В Legacy Ethernet отсутствуют сложные механизмы защиты от потери пакетов)

Родная сеть Ethernet предназначена для работы в режиме best-effort, а не без потерь, поэтому для сети Ethernet без потерь необходимы PFC Priority-based Flow Control (IEEE802.1Qbb), ECN Ethernet Congestion Notification (IEEE802.1Qau), DCBX Data Centre Bridging Exchange Protocol (IEEE802.1Qaz) и Ethernet Congestion Notification (IEEE802.1Qaz). Ethernet Congestion Notification (IEEE802.1Qau), DCBX Data Centre Bridging Exchange Protocol (IEEE802.1Qaz) и ETS Enhanced Transmission Selection (IEEE802.1Qaz). Выбор передачи (IEEE802.1Qaz) четыре технологии с завершением уровня Ethernet в основном PFC, ETS, DCBX; IP-уровень в основном ECN; IB транспортный уровень в основном ECN, поток обработки услуг, как правило, следующим образом:

 (Рисунок 9: Техническая панорама вычислительных сценариев RDMA Ethernet без потерь)

PFC и ECN - это две необходимые технологии, которые обычно рекомендуются, хотя PFC - это технология второго уровня, а ECN - технология сетевого и транспортного уровней, но PFC и ECN могут быть включены одновременно, и их рекомендуется включать одновременно в среде RoCE, чтобы гарантировать отсутствие потерь пакетов в сообщениях RoCE и пропускную способность сети. С точки зрения обеспечения полноценной работы высокопроизводительной пересылки, обычно рекомендуется настроить ватерлинию буфера ECN и PFC таким образом, чтобы ECN срабатывала быстрее, чем PFC, то есть сеть все еще продолжала пересылать данные на полной скорости, чтобы сервер активно снижал скорость отправки пакетов. Если проблема не может быть решена, а затем через PFC, так что вверх по течению переключатель приостановить отправку сообщений, хотя вся производительность сети пропускная способность снижается, но не будет производить потери пакетов, две основные технологии сотрудничают друг с другом, чтобы в конечном итоге достичь без потерь сети.

2.4 Панорама интеллектуального решения SeerFabric для центров обработки данных без потерь

 Благодаря почти 20-летнему опыту работы в области сетей и пониманию бизнеса клиентов, было выпущено решение SeerFabric для интеллектуального центра обработки данных без потерь. Решение основано на облачной архитектуре совместной работы AI, которая способна создавать интеллектуальные модели управления без потерь для различных бизнес-сценариев с помощью интеллектуального обучения, а также может достичь интеллектуальной идентификации бизнес-сценариев и затем завершить динамическое согласование соответствующих параметров модели, чтобы достичь точного управления без потерь с большой пропускной способностью, низкой задержкой и нулевой потерей пакетов. Благодаря большой пропускной способности, низкой задержке, точной пересылке с нулевой потерей пакетов и детерминированному сетевому опыту, он широко используется для цифровой трансформации важных отраслей и сфер, таких как Интернет, правительство, финансы, производство и развлечения, а также высокопроизводительные вычисления. 

 (Рисунок 10: Архитектура решения SeerFabric Smart Lossless Data Centre)

Интеллектуальное решение SeerFabric без потерь охватывает вычисления, хранение, коммутацию сети, контроль управления, отображение производительности и оптимизацию сквозной большой пропускной способности, задержки, нулевой потери пакетов, точной пересылки и детерминированного сетевого опыта, с точки зрения архитектуры решения, которое можно разделить на уровень анализа управления и уровень инфраструктуры ИКТ (сеть, вычисления, хранение), с точки зрения сценариев применения делятся на традиционные сценарии вычислений, хранения, сетевые сценарии и высокопроизводительные вычисления три сценария, для достижения единой интеграции трех сценариев является важным звеном, в основном интеллектуальный механизм управления SeerEngine и интеллектуальный анализатор SeerAnalyzer для осуществления. С точки зрения сценариев применения, он в основном делится на традиционные сценарии вычислений, сценарии хранения данных, сетевые сценарии и сценарии высокопроизводительных вычислений. Для достижения единой интеграции трех сценариев, уровень управления и анализа является важнейшим звеном, которое в основном осуществляется SeerEngine, интеллектуальный механизм управления, и SeerAnalyzer, интеллектуальный анализатор, для достижения SeerEngine реализует построение сценарных моделей бизнес-трафика и согласование моделей, и реализует интеллектуальный и без потерь динамический контроль сети; SeerAnalyzer реализует сквозной мелкозернистый сбор данных и видимость состояния производительности без потерь, а также использует алгоритмы AI-ECN для выполнения расчетов динамической интеллектуальной настройки ECN ватерлиний сетевого оборудования на основе данных о состоянии производительности.

AI-ECN полностью реализует сочетание данных, интеллектуальных алгоритмов и опыта для интеллектуального расширения возможностей интеллектуальных решений SeerFabric без потерь.

Сплошные тонкие показатели производительности Сбор телеметрических данных, полностью использующий возможности интеллектуальной сетевой карты, хранилища, сетевого оборудования H3C по сбору тонких показателей производительности, так что интеллектуальные алгоритмы могут чувствовать состав и размер трафика RoCE, динамические изменения в кэш-очереди сетевого оборудования и т.д.; элементы данных включают интерфейсы и очереди различных статистических показателей производительности, а также сетевое оборудование, прослушивающее сеанс потока RoCE. Элементы данных включают в себя различные статистические показатели производительности интерфейсов и очередей, а также статистику сеанса потока RoCE, прослушиваемого сетевыми устройствами. В то же время, через агент, развернутый на сервере и интеллектуальной сетевой карты с предоставлением RoCE трафика набора тестовые возможности, до службы может быть в режиме реального времени визуальной отладки и настройки сети. Поддерживаемые интеллектуальные сетевые карты RoCE включают сетевые карты серии Mellanox, сетевые карты Intel E810 и т. д.

Что касается алгоритмов, то в реальной экспериментальной среде собираются KPI производительности при различных моделях трафика и формируется обучающий набор данных путем аннотирования реального опыта работы приложения, который комбинируется с моделированием экспертных знаний и офлайн-обучением для создания динамической модели настройки ECN waterline. Модель алгоритма настройки AI-ECN характеризуется высокой эффективностью и малыми вычислениями, она поддерживает как централизованную настройку контроллеров, так и распределенную локальную настройку сетевых устройств. два режима. Например, в режиме централизованной настройки не требуется специализированный чип AI, и настройка ватерлинии ECN может быть включена при крупномасштабном управлении сетью с помощью кластера анализа управления, оснащенного серверами Intel XEON-SP; в локальном режиме сетевые коммутаторы, оснащенные Intel XEON-D и ATOM, могут выполнить настройку с небольшой нагрузкой на процессор.

3. достоинства и особенности решения SeerFabric

Интеллектуальный: центр обработки данных на базе AD-DC, управляемый приложениями

 SeerFabric Intelligent Lossless Data Centre Solution SeerAnalyzer Intelligent Analyzer поддерживает реализацию сети и подключенных ресурсов хранения и вычислений, основываясь на обучении AI и экспертных знаниях о сети, вычислениях и ресурсах хранения, для построения интеллектуальных моделей анализа сети без потерь для дифференцированных сценариев ЦОД. SeerAnalyzer Intelligent Analyzer контролирует RoCE в режиме реального времени. SeerAnalyzer отслеживает RoCE в режиме реального времени и собирает основные данные, включая количество/общее число потерь пакетов на входе/выходе, количество/общее число PFC на входе/выходе, использование буфера на входе/выходе, ECN, использование буфера головного пространства, превышение порога на входе/выходе и так далее. В то же время SeerAnalyzer также собирает информацию о тревогах RDMA в реальном времени, такую как тревоги потери пакетов на входе/выходе, тревоги потери пакетов при превышении буфера головной комнаты, тревоги превышения буфера выхода, а также информацию об изменении конфигурации через операции Netconf и т. д. SeerAnalyzer собирает вышеуказанную информацию о сетевых данных для обучения на основе сервиса. SeerAnalyzer собирает вышеуказанную информацию о больших данных сети для обучения сетевых моделей на основе бизнеса, получения понимания сети, оценки, подсчета, обобщения и визуализации сети в нескольких измерениях в реальном времени, далее реализуя точный анализ первопричины, предсказание аномалий и анализ тенденций, и в конечном итоге реализуя интеллектуальную связь и оптимизацию сети с интеллектуальным контроллером SeerEngine, чтобы замкнуть цикл самовосстанавливающейся сети, сопровождая защиту бизнеса пользователя.

Для сценариев вычислений AI максимальное значение N поддерживается буфером без переполнения при отправке Burst-трафика в несколько заходов, и для достижения этого требования сетевое оборудование должно работать в режиме без потерь, а для сценария нескольких заходов, т.е. модели N:1 Incast, можно использовать SeerFabric Intelligent Lossless Mode. Решение SeerFabric Intelligent Lossless поддерживает настройку параметров сетевой инфраструктуры на основе алгоритмов искусственного интеллекта с помощью SeerAnalyzer, интеллектуального анализатора, который собирает большие данные из сети.

Решение SeerFabric для интеллектуальных центров обработки данных без потерь поддерживает настройку AI ECN на основе использования пропускной способности канала на основе настройки глубины буфера, например, когда пропускная способность канала превышает 90 или 95 %, коммутатор достигает бизнес-баланса пропускной способности и задержки с помощью функции AI ECN.

Конвергенция: Ethernet объединяет три сценария конвергенции бизнеса в центрах обработки данных

Традиционные сценарии сетей хранения данных SAN всегда были миром оптоволоконных коммутаторов FC (Fabric Channel), а с 2017 года на мировом рынке систем хранения данных в центрах обработки данных доля флеш-дисков (SSD, Solid-State Drive) превышает долю механических жестких дисков (HDD, Hard Disk Drive), и на сегодняшний день уже есть отраслевые заказчики, которые начали переводить корпоративное производство бизнес на SSD-накопителях. Сценарии хранения NVME-альтернатива традиционной FC SAN сети фокус, чтобы быть обеспокоены: сервер вручную настроен на обнаружение дискового устройства, и дисковое устройство установить длительное соединение. Если сервер не получает сообщения от дискового устройства в течение длительного времени, дисковое устройство считается вышедшим из строя и трафик хранения переключается на альтернативный путь.

Решение SeerFabric Intelligent Lossless Data Centre поддерживает технологию Intelligent Lossless Storage Networking, iNOF (Intelligent Lossless NVMe Over Fabric), которая представляет собой технологию, объединяющую Ethernet и сети хранения данных благодаря интеграции с LLDP (Link Layer Discovery Protocol, или LLDP). Эта технология представляет собой конвергенцию сетей Ethernet и хранения данных, которая в сочетании с протоколом LLDP (Link Layer Discovery Protocol) позволяет всем устройствам в составе iNOF автоматически распознавать присоединение и отсоединение серверов и дисковых устройств, чтобы продукты могли интеллектуально настроить соответствующие конфигурации и в конечном итоге помочь в реализации передачи трафика хранения данных без потерь пакетов и с высокой пропускной способностью по сети Ethernet. По сравнению с традиционной технологией NVMe интеллектуальное неразрушающее решение для центров обработки данных SeerFabric, iNOF, имеет свои преимущества:

Plug and Play: когда хост подключается к сети iNOF, другие хосты, уже подключенные к сети iNOF, быстро обнаружат вновь подключившийся хост и автоматически инициируют соединение с ним.

 Интеллектуальное и быстрое обнаружение неисправностей: когда хост подключается к сети iNOF и происходит сбой соединения, коммутатор iNOF быстро оповещает другие хосты в сети iNOF о сбое, а затем другие хосты могут интеллектуально определить и быстро подключиться к другим хостам.

Ультраширокий: большая пропускная способность для поддержки эволюции сетей 400 Гбит/с

Интеллектуальное решение SeerFabric для ЦОД без потерь поддерживает основные продукты коммутаторов для ЦОД, т.е. коробочные сети, коробочные сети, полностью покрывая модель сети 10G/40G, модель сети 25G/100G, модель сети 100G/100G и модель 100G/400G;

Для сценариев DCI соединения центров обработки данных, пропускная способность FC нижняя, недостатки высокой стоимости, SeerFabric интеллектуальное решение без потерь обеспечивает сетевые решения без потерь на основе сверхдальнего расстояния 400G, что в 4 раза больше, чем в отрасли, и в то же время, в сочетании с интеллектуальным контроллером SeerEngine и интеллектуальным анализатором SeerAnalyzer может достичь автоматизации работы сети хранения и управления обслуживанием, эффективно снижая затраты пользователя на эксплуатацию и обслуживание, снижая рабочую нагрузку пользователя. Это позволяет эффективно снизить затраты на эксплуатацию и обслуживание и рабочую нагрузку пользователей.