Особенности построения современного ЦОД

Давайте начнем с обсуждения различных типов Центров Обработки Данных (ЦОД) и их отличий:

Прежде всего, ЦОДы отличаются надежностью, Уровни сертификации показывают степень надежности и отказоустойчивости дата-центра. Система была разработана международной организацией Uptime Institute, которая занимается выдачей сертификатов соответствия. Существует четыре уровня сертификации, каждый из которых включает требования предыдущего. 

Tier 1: Это базовый уровень, обеспечивающий минимальную надежность с реализацией схемы N. Однако этот уровень считается устаревшим и не используется последние 50 лет. Его требования не включают наличие источника бесперебойного питания, а доступность составляет примерно 99,671%, что соответствует около 30 часам простоя в год.

Tier 2: Этот уровень достигается при внедрении схемы резервирования N+1. Хотя система все еще может потребовать отключения для проверок или ремонта, имеется значительный уровень резервирования. Сертификация требует соблюдения определенных стандартов для системы охлаждения и электропитания, а фальшпол становится обязательным. Годовое время простоя составляет около 22 часов.

Tier 3: На этом уровне ЦОД может обслуживаться без отключения системы. Все основные компоненты имеют резервирование, а распределение электроэнергии осуществляется через два канала, при этом используется только один. Время простоя составляет примерно 1,6 часа в год.

Tier 4: ЦОД уровня 4 предлагает максимальную надежность благодаря продвинутым схемам резервирования. Каждая инженерная система имеет резервные узлы и копии, что позволяет достигать времени простоя в около 0,8 часа в год. Эта сертификация подтверждает соответствие лучшим практикам отрасли в области резервирования, надежности и обслуживания.

По целям можно выделить:
Корпоративные: Эти ЦОД принадлежат компаниям и предназначены для внутренних нужд, например, для хранения данных о продукции на собственных серверах.
Коммерческие: Эти ЦОД работают с целью получения прибыли, предлагая услуги хостинга и облачные решения, арендуя серверы и предоставляя пространство для оборудования других организаций.
Большинство веб-сайтов и внутренних систем полагаются на коммерческие ЦОД и услуги хостинга, тогда как корпоративные ЦОД, как правило, используются крупными компаниями.

По размеру:
Малые: Эти ЦОД могут размещаться в одном помещении, обеспечивая необходимую функциональность.
Большие: Эти центры занимают целые здания и обладают значительными мощностями, выполняя разнообразные задачи по обработке и хранению данных.
Компактные или модульные: Такие решения используют мобильные модули, спроектированные для экономии пространства, при этом сохраняя необходимое оборудование и функциональные возможности.

Чем коммутаторы центров обработки данных отличаются от стандартных сетевых коммутаторов?

Сети ЦОД разработаны для обеспечения более высокой производительности по сравнению с обычными сетевыми коммутаторами. Они акцентируют внимание на таких характеристиках, как высокая пропускная способность, низкие задержки и высокая масштабируемость. Эти коммутаторы чаще всего используются в центрах обработки данных, где требуется большее количество серверных подключений и высокая плотность портов.

Кроме того, коммутаторы ЦОД предлагают более продвинутые функции, например протоколы EVPN, VXLAN, MPLS, а также поддержку более быстрых соединений (10G, 40G, 100G и т. д.) и энергоэффективность, необходимую для крупных операций с высокими потребностями в мощности. Они также обеспечивают минимальные потери пакетов за счет больших буфферов и резервирование, используя современные протоколы и поддерживая виртуализацию, что критично для надежной и эффективной работы центров обработки данных. Таким образом, в то время как обычные коммутаторы хорошо подходят для простых сетей с низкими нагрузками, коммутаторы ЦОД оптимизированы для сложных сред с высокой нагрузкой и требованиями к пропускной способности и задержке.


Центр обработки данных IP Fabric следующего поколения Spine-Leaf

Центры обработки данных, основанные на архитектуре Spine-Leaf, существуют уже пару лет и считаются зрелой и стабильной технологией. Основная концепция этой архитектуры заключается в том, чтобы иметь предсказуемые параметры сетевого подключения на основе технологий уровня 3, которые позволяют избежать многих проблем, характерных для устаревших центров обработки данных.

Топология Spine-Leaf основана на сетевой архитектуре Clos (впервые формализованной американским инженером Чарльзом Клосом в 1952 году). В нем у нас есть два основных уровня (хотя некоторые масштабируемые сценарии развились дальше от этого двухслойного стандарта, например, архитектура super-spine):

Уровень spine — обычно состоит как минимум из двух коммутаторов уровня 3 с высокой пропускной способностью (два для целей резервирования)
Уровень leaf — обычно состоит из N коммутаторов уровня 3 с богатым набором функций, где N может быть любым числом (обычно четным числом, также для резервирования, и как можно большим, пока на коммутаторах spine достаточно портов для их подключения).
Основной характеристикой сети Clos и, следовательно, архитектуры spine-leaf является то, что все leaf подключены ко всем spine, и, обычно, нет прямого соединения между самими leaf коммутаторами.

На рынке представлено довольно много технологий spine-leaf от разных производителей — некоторые из них являются проприетарными, а некоторые также основаны на стандартах (например, BGP EVPN с инкапсуляцией VXLAN). Строить достаточно дорогой объект, используя закрытые технологии, которые работают только у одного производителя достаточно рискованно. В соответствии с преобладающими отраслевыми стандартами, с этого момента мы будем использовать BGP EVPN с инкапсуляцией VXLAN в качестве решения ЦОД.

Давайте кратко опишем технологии, упомянутые ранее, чтобы лучше понять, что мы на самом деле хотим сравнить:

BGP EVPN (Border Gateway Protocol Ethernet virtual private network) — это сетевая технология и набор протоколов, разработанные для эффективных и масштабируемых многоточечных служб Ethernet как в сетях провайдеров, так и в корпоративных сетях. BGP EVPN использует Border Gateway Protocol (BGP) в качестве базы управления для распределения и управления адресами MAC (управление доступом к среде) и информацией об IP-адресах таким образом, чтобы соответствовать требованиям виртуализированных и облачных инфраструктур. Некоторые ключевые особенности BGP EVPN:

• Поддержка Layer 2 и layer 3 multi-tenancy  — BGP EVPN разработан для поддержки нескольких арендаторов или клиентов в общей сетевой инфраструктуре, что делает его подходящим для провайдеров услуг и крупных предприятий с различными сетевыми требованиями.
• EVPN multihoming  — это отличный подход на основе стандартов для пропиетарных вариантов технологии M-LAG. Это обеспечивает взаимодействие между оборудованием разных производителей, способствуя созданию более разнообразной и гибкой сетевой среды.
• Поддержка сервисов Layer 2 и layer 3 — BGP EVPN может распространять как MAC-IP NLRI (также известный как маршрут тип 2 EVPN), так и полную подсеть NLRI (также известный как маршрут тип 5 EVPN); эти два типа маршрутов являются наиболее распространенными в вариантах использования EVPN.
• Это использует концепции route targets (RT) и route distinguishers (RD) для идентификации, классификации и фильтрации маршрутов в рамках BGP EVPN - эти концепции аналогичны тем, что используются в MPLS (Multiprotocol Label Switching) L3 VPN и L2 VPN (с сигнализацией BGP). Эта специфическая функция позволяет создавать очень масштабируемые развертывания сессий BGP (MP-BGP) в архитектуре "leaf-spine", поскольку вам не нужно настраивать  back to back VRF (virtual routing and forwarding) BGP сессии, если вы хотите добиться соединения между устройствами для нескольких арендаторов.
• Совместимость на основе стандартов. BGP EVPN основан на стандартах, поэтому есть совместимость между различными производителями сетевого оборудования.

Инкапсуляция VXLAN: BGP EVPN часто работает совместно с протоколом инкапсуляции VXLAN, позволяя создавать виртуальные сети уровня 2 поверх инфраструктуры уровня 3. VXLAN помогает преодолеть ограничения традиционных VLAN, позволяя создавать более масштабируемую и гибкую сетевую конструкцию. Функции VXLAN включают:

• Overlay network — инкапсулирует исходный пакет в новый заголовок MAC-in-IP, который полностью «скрывает» исходную информацию и позволяет пакету пересекать общую сеть центра обработки данных.
• Повышенная масштабируемость — VXLAN использует 24-битный идентификатор, называемый идентификатором сети VXLAN (VNI), для расширения VLAN и предоставления гораздо большего адресного пространства (16 миллионов) по сравнению с 12-битным ограничением идентификатора VLAN (4096) в традиционных VLAN. Это обеспечивает большую масштабируемость в больших и динамических средах.
• Поддержка MAC-IP mobility — VXLAN обеспечивает поддержку (вместе с BGP EVPN) для онлайн миграции виртуальных машин (например, VMWare vMotion) в центре обработки данных, но также возможна миграция между центрами обработки данных.
• Совместимость на основе стандартов — VXLAN (как BGP EVPN) основана на стандартах, поэтому возможна совместимость между различными поставщиками сетей.

Коммутаторы серии Vector Core Switch VC7200 представляют собой компактные высокопроизводительные коммутаторы, обеспечивающие подключение на современных скоростях 10, 25, 40 и 100 Гбит/с.

Более подробную информацию про решения ЦОД Вектор Технологии можно посмотреть: Vector Core Switch VC7200