Сетевая архитектура центра обработки данных должна сочетать надежность, производительность, гибкость, масштабируемость и экономичность. Кроме того, она должна поддерживать как существующие, так и будущие приложения, а также иметь резерв мощности для внедрения новых решений. В данной статье мы обсудим чем отличаются ЦОДы, какие протоколы и технологии используются про построении современного ЦОД, и как не ошибиться в выборе оборудования.
Давайте начнем с обсуждения различных типов Центров Обработки Данных (ЦОД) и их отличий:
Прежде всего, ЦОДы отличаются надежностью, Уровни сертификации показывают степень надежности и отказоустойчивости дата-центра. Система была разработана международной организацией Uptime Institute, которая занимается выдачей сертификатов соответствия. Существует четыре уровня сертификации, каждый из которых включает требования предыдущего.
Tier 1: Это базовый уровень, обеспечивающий минимальную надежность с реализацией схемы N. Однако этот уровень считается устаревшим и не используется последние 50 лет. Его требования не включают наличие источника бесперебойного питания, а доступность составляет примерно 99,671%, что соответствует около 30 часам простоя в год.
Tier 2: Этот уровень достигается при внедрении схемы резервирования N+1. Хотя система все еще может потребовать отключения для проверок или ремонта, имеется значительный уровень резервирования. Сертификация требует соблюдения определенных стандартов для системы охлаждения и электропитания, а фальшпол становится обязательным. Годовое время простоя составляет около 22 часов.
Tier 3: На этом уровне ЦОД может обслуживаться без отключения системы. Все основные компоненты имеют резервирование, а распределение электроэнергии осуществляется через два канала, при этом используется только один. Время простоя составляет примерно 1,6 часа в год.
Tier 4: ЦОД уровня 4 предлагает максимальную надежность благодаря продвинутым схемам резервирования. Каждая инженерная система имеет резервные узлы и копии, что позволяет достигать времени простоя в около 0,8 часа в год. Эта сертификация подтверждает соответствие лучшим практикам отрасли в области резервирования, надежности и обслуживания.
По целям можно выделить:
Корпоративные: Эти ЦОД принадлежат компаниям и предназначены для внутренних нужд, например, для хранения данных о продукции на собственных серверах.
Коммерческие: Эти ЦОД работают с целью получения прибыли, предлагая услуги хостинга и облачные решения, арендуя серверы и предоставляя пространство для оборудования других организаций.
Большинство веб-сайтов и внутренних систем полагаются на коммерческие ЦОД и услуги хостинга, тогда как корпоративные ЦОД, как правило, используются крупными компаниями.
По размеру:
Малые: Эти ЦОД могут размещаться в одном помещении, обеспечивая необходимую функциональность.
Большие: Эти центры занимают целые здания и обладают значительными мощностями, выполняя разнообразные задачи по обработке и хранению данных.
Компактные или модульные: Такие решения используют мобильные модули, спроектированные для экономии пространства, при этом сохраняя необходимое оборудование и функциональные возможности.
Чем коммутаторы центров обработки данных отличаются от стандартных сетевых коммутаторов?
Сети ЦОД разработаны для обеспечения более высокой производительности по сравнению с обычными сетевыми коммутаторами. Они акцентируют внимание на таких характеристиках, как высокая пропускная способность, низкие задержки и высокая масштабируемость. Эти коммутаторы чаще всего используются в центрах обработки данных, где требуется большее количество серверных подключений и высокая плотность портов.
Кроме того, коммутаторы ЦОД предлагают более продвинутые функции, например протоколы EVPN, VXLAN, MPLS, а также поддержку более быстрых соединений (10G, 40G, 100G и т. д.) и энергоэффективность, необходимую для крупных операций с высокими потребностями в мощности. Они также обеспечивают минимальные потери пакетов за счет больших буфферов и резервирование, используя современные протоколы и поддерживая виртуализацию, что критично для надежной и эффективной работы центров обработки данных. Таким образом, в то время как обычные коммутаторы хорошо подходят для простых сетей с низкими нагрузками, коммутаторы ЦОД оптимизированы для сложных сред с высокой нагрузкой и требованиями к пропускной способности и задержке.
Центр обработки данных IP Fabric следующего поколения Spine-Leaf
Центры обработки данных, основанные на архитектуре Spine-Leaf, существуют уже пару лет и считаются зрелой и стабильной технологией. Основная концепция этой архитектуры заключается в том, чтобы иметь предсказуемые параметры сетевого подключения на основе технологий уровня 3, которые позволяют избежать многих проблем, характерных для устаревших центров обработки данных.
Топология Spine-Leaf основана на сетевой архитектуре Clos (впервые формализованной американским инженером Чарльзом Клосом в 1952 году). В нем у нас есть два основных уровня (хотя некоторые масштабируемые сценарии развились дальше от этого двухслойного стандарта, например, архитектура super-spine):
Уровень spine — обычно состоит как минимум из двух коммутаторов уровня 3 с высокой пропускной способностью (два для целей резервирования)
Уровень leaf — обычно состоит из N коммутаторов уровня 3 с богатым набором функций, где N может быть любым числом (обычно четным числом, также для резервирования, и как можно большим, пока на коммутаторах spine достаточно портов для их подключения).
Основной характеристикой сети Clos и, следовательно, архитектуры spine-leaf является то, что все leaf подключены ко всем spine, и, обычно, нет прямого соединения между самими leaf коммутаторами.
На рынке представлено довольно много технологий spine-leaf от разных производителей — некоторые из них являются проприетарными, а некоторые также основаны на стандартах (например, BGP EVPN с инкапсуляцией VXLAN). Строить достаточно дорогой объект, используя закрытые технологии, которые работают только у одного производителя достаточно рискованно. В соответствии с преобладающими отраслевыми стандартами, с этого момента мы будем использовать BGP EVPN с инкапсуляцией VXLAN в качестве решения ЦОД.
Давайте кратко опишем технологии, упомянутые ранее, чтобы лучше понять, что мы на самом деле хотим сравнить:
BGP EVPN (Border Gateway Protocol Ethernet virtual private network) — это сетевая технология и набор протоколов, разработанные для эффективных и масштабируемых многоточечных служб Ethernet как в сетях провайдеров, так и в корпоративных сетях. BGP EVPN использует Border Gateway Protocol (BGP) в качестве базы управления для распределения и управления адресами MAC (управление доступом к среде) и информацией об IP-адресах таким образом, чтобы соответствовать требованиям виртуализированных и облачных инфраструктур. Некоторые ключевые особенности BGP EVPN:
- Поддержка Layer 2 и layer 3 multi-tenancy — BGP EVPN разработан для поддержки нескольких арендаторов или клиентов в общей сетевой инфраструктуре, что делает его подходящим для провайдеров услуг и крупных предприятий с различными сетевыми требованиями.
- EVPN multihoming — это отличный подход на основе стандартов для пропиетарных вариантов технологии M-LAG. Это обеспечивает взаимодействие между оборудованием разных производителей, способствуя созданию более разнообразной и гибкой сетевой среды.
- Поддержка сервисов Layer 2 и layer 3 — BGP EVPN может распространять как MAC-IP NLRI (также известный как маршрут тип 2 EVPN), так и полную подсеть NLRI (также известный как маршрут тип 5 EVPN); эти два типа маршрутов являются наиболее распространенными в вариантах использования EVPN.
- Это использует концепции route targets (RT) и route distinguishers (RD) для идентификации, классификации и фильтрации маршрутов в рамках BGP EVPN - эти концепции аналогичны тем, что используются в MPLS (Multiprotocol Label Switching) L3 VPN и L2 VPN (с сигнализацией BGP). Эта специфическая функция позволяет создавать очень масштабируемые развертывания сессий BGP (MP-BGP) в архитектуре "leaf-spine", поскольку вам не нужно настраивать back to back VRF (virtual routing and forwarding) BGP сессии, если вы хотите добиться соединения между устройствами для нескольких арендаторов.
- Совместимость на основе стандартов. BGP EVPN основан на стандартах, поэтому есть совместимость между различными производителями сетевого оборудования.
- Overlay network — инкапсулирует исходный пакет в новый заголовок MAC-in-IP, который полностью «скрывает» исходную информацию и позволяет пакету пересекать общую сеть центра обработки данных.
- Повышенная масштабируемость — VXLAN использует 24-битный идентификатор, называемый идентификатором сети VXLAN (VNI), для расширения VLAN и предоставления гораздо большего адресного пространства (16 миллионов) по сравнению с 12-битным ограничением идентификатора VLAN (4096) в традиционных VLAN. Это обеспечивает большую масштабируемость в больших и динамических средах.
- Поддержка MAC-IP mobility — VXLAN обеспечивает поддержку (вместе с BGP EVPN) для онлайн миграции виртуальных машин (например, VMWare vMotion) в центре обработки данных, но также возможна миграция между центрами обработки данных.
- Совместимость на основе стандартов — VXLAN (как BGP EVPN) основана на стандартах, поэтому возможна совместимость между различными поставщиками сетей.
Более подробную информацию про решения ЦОД Вектор Технологии можно посмотреть: Vector Core Switch VC7200