Решения для сетей ЦОД: новые горизонты
-
Upload
cisco-russia -
Category
Technology
-
view
430 -
download
6
Transcript of Решения для сетей ЦОД: новые горизонты
Решения для сетей ЦОД:
новые горизонты
Скороходов Александр
Системный инженер-консультант
Развитие решений для ЦОД:
эволюция и революции 7
Как просто было жить раньше...
Layer 2
Layer 3
Доступ
Ядро
Распределение Layer 2
Layer 3
Доступ
Ядро
Сервисы
Агрегация
Кампус ЦОД
...и как всё изменилось сейчас
Layer 2
Layer 3
Доступ
Ядро
Распределение Layer 2
Layer 3
Доступ
Ядро
Сервисы
Агрегация
Кампус ЦОД
Виртуализация
Оверлейные сети
40G/100G
Конвергентный транспорт
Облачные вычисления
SDN
Сверхнизкая задержка
Сетевые фабрики
Сетевые подключения
Повышение производительности
Причины Рост производительности процессоров
— Десятки ядер на сервер, многие десятки «ГГц»
Виртуализация: — Десятки VM на один хост – суммирование требований
Конвергентный транспорт: — Передача FCoE - производительность не менее 10Гбит/с
Решения 10 Гбит/с до серверов (с сохранением эффективной поддержки 1Гбит/с!)
— Варианты подключения 10G: DAC, AOC, 10GBASE-T
40/100 Гбит/с на магистрали — Требования к СКС
Горизонтальное масштабирование производительности — Cisco FabricPath, IETF TRILL
Кабель Задержка Потребление Расстояние Технология
Twinax ~0 ~0.1W 10m SFP+ CU Copper
MM 62.5mm MM 50mm
~0 1W 82m 300m
SFP+ SR short reach
MM OM2 MM OM3
~0 1W 10m 100m
SFP+ USR ultra short reach
Cat6 Cat6a/7 Cat6a/7
2.5ms 2.5ms 1.5ms
~6W ~6W ~4W
55m 100m 30m
10GBASE-T
100Mb 1Gb 10Gb
UTP Cat 5 UTP Cat 5
SFP Fiber
10Mb
UTP Cat 3
Mid 1980’s Mid 1990’s Early 2000’s Late 2000’s
X2
SFP+ Cu (BER better than 10 )
SFP+ Fiber Cat 6/7
1 8
10 Gigabit Ethernet варианты подключения серверов
Медные кабели SFP+ Direct Attach
● Спецификация: SFF-8431
● Называют DAC, 10G SFP+ Cu, CX1, 10G-CR...
● 2 пары твинаксиального кабеля
● Коннекторы установлены и протестированы на заводе
● Взаимозаменяемость с оптическими трансиверами SFP+
● Низкая стоимость, энергопотребление, минимальная задержка
● Небольшая длина (до ~10м)
● Нет официального стандарта: вопросы совместимости
● Нет средств полевого тестирования
● Оптимально для соединений внутри стойки или группы стоек
● Вариант: активные оптические кабели (AOC) (меньше диаметр)
Коннекторы SFP+
Сечение
Активный
оптический кабель
10GBase-T
● Стандарт: IEEE 802.3an
● Предпочтительный вариант для интегрированных адаптеров
в серверах: возможна совместимость с 10/100/1000
● До 100 метров (по СКС категории 6A или 7)
● Высокая сложность обработки -> высокое
энергопотребление (до 4-8 Вт на порт)
● Уровень ошибок (BER) до 10-12 - проблема для FCoE
● Решаются в новых поколениях микросхем/оборудования
● Поддержка FCoE уже сертифицирована на Nexus
5596T/2232TM-E (до 30м)
10 Gigabit по «витой паре»
Выскоскоростной Ethernet High Speed Ethernet: 40G/100G
Стандарт IEEE 802.3ba - одобрен в июне 2010 г
Утвержденные варианты интерфейсов 40G:
40GBASE-KR4: Соединения внутри устройств
40GBASE-CR4: 10 м по твинаксиальному кабелю – 4 x 10G
40GBASE-SR4 : 100 м по кабелю OM3 по 4 парам волокон
40GBASE-LR4(СWDM): 10 км по одномодовому волокну – 4λ x 10G
40GBASE-FR: до 2 км по одномодовому волокну, одна λ @40G (IEEE802.3bg)
Утвержденные варианты интерфейсов 100G
100GBASE-CR10 : 10 м по твинаксиальному кабелю – 10 x 10G
100GBASE-SR10: 100/125 м по кабелю OM3/OM4 по 10 парам волокон
100GBASE-LR4(DWDM):10 км по одномодовому волокну – 4λ x 25G
100GBASE-ER4(DWDM):40 км по одномодовому волокну – 4λ x 25G
Другие варианты разрабатываются: IEEE 802.3bm, 802.3bj, 802.3bq
40G: 12F MTP коннектор 100G: 24F MTP коннектор
Оптический 40G/100G Ethernet внутри ЦОД Параллельные оптические жилы
1 x QSFP+ обеспечивает замену 4 x 10G SFP+
(расстояние – до 100м на OM3) с меньшей ценой и
энергопотреблением
4 x QSFP+
- 160Gbps
12-fiber MPO
connector with
key on top
4 LC duplex connectors with latch on top
(unused channels 5 to 8 are cut)
~1.5W
QSFP+ SR
~1.5W ~1.5W ~1.5W ~1.5W
~1.5W ~1.5W ~1.5W ~1.5W
10G-SR 10G-SR
~1.5W
QSFP+ SR
Переходной кабель MTP12 – 4*LC
Cisco Nexus 6000
Cisco Nexus 2248PQ FEX
QSFP+ трансиверы и передача 10/40G Гибкость и экономия
Bi-Directional QSFP 40G-SR Передача 40G Ethernet по традиционной СКС!
Предлагается только Cisco!
Ключевые параметры
40G QSFP+ трансивер
Работа по одной многомодовой паре
Поддержка до 100м на OM3 и 125 м на OM4
TX/RX на 2 длинах волн (в диапазоне 850 нм) по 20G на каждой
Экономия
~75% экономии на 2 волоконной СКС по сравнению с 12-волоконной
~ 70% экономии на патч-кордах
40G на уровне цены 10G!
TX/RX
TX/RX
2 x 20G
2 x 20G
Duplex Multimode Fiber
QSFP-BIDI
Duplex Multimode Fiber
QSFP-BIDI
19
CPAK
Новое поколение трансиверов для 100G Ethernet
• Новый форм-фактор 100G трансивера, разработан Cisco с
использованием «кремниевой фотоники»
• Стандартный оптический интерфейс
• Высокая плотность
• Низкое энергопотребление
• Существенно меньше, чем 100G CFP (и меньше, чем CFP2)
• Поддержка на широком наборе устройств
SR10 CPAK (доступность
скоро)
LR4 CPAK
(уже доступен)
100m (OM3) or 150m (OM4)
MMF ribbon cable
MPO-24 connector
Can also run as 10X10G SR or 2X40G
SR4
10km
SMF duplex cable
SC connector
Экономика трансиверов 10G, 40G, 100G
0
0.2
0.4
0.6
0.8
1
1.2
1.4
1.6
1.8
$/Gbps, в сравнении с 10GBASE-SR
10GBASE-SR
40GBASE-SR4
40GBASE-CSR4
40GBASE-BD
100GBASE-SR4
Сравнение стоимости за единицу
пропускной способности:
• 40GBASE-SR4/CSR4 дешевле за 10G
линию, чем отдельные 10G трансиверы
• Трансивер 40GBASE-BD лишь
немногим дороже 10G и работает по
такой же оптической линии!
• Трансивер 100G дороже за 10G линию,
чем 10G/40G альтернативы
11.12.2013 © 2013 Cisco and/or its affiliates. All rights reserved. 20
Применение 40G и 100G
40G (и 100G) – внутри ЦОД, 100G для связи ЦОД
40GBASE-SR4:
• Стандартизовано
• Обратная совместимость с 10G – универсальные QSFP порты
• 4 параллельных пары, коннектор MTP12: 1x 40G = 6 x 10G с точки зрения СКС – используйте 40GBASE-BD, нужна одна пара и существенно ниже цена
• Расстояние 40GBASE-SR4 ограничено 100 м для кабеля OM3 (не 300м как для 10G-SR) – использйте 40GBASE-СSR4
Внедрение 100G:
• Многомодовое внедрение: 10 параллельных пар (коннектор MTP24)
• Одномодовая оптика 100G: большие и энергоёмкие решения (могут уменьшиться в размерах и мощности в следующих поколениях)
Обратная совместимость СКС:
• Патч-корды и патч-панели MTP <-> LC
• Патч-корды MTP24 – MTP12
Консолидация ввода-вывода
23
Консолидация ввода-вывода
Потребности
Рост числа подключений к SAN • Виртуализация с поддержкой мобильности и HA
• Кластерные системы
• Защита информации средствами СХД
Большое числе интерфейсов LAN — Требования виртуализированных внедрений
Распространение блейд-систем — Трудно обеспечить много интерфейсов
Решения
FCoE для SAN трафика — Консолидация и сохранение полной совместимости с моделью FC
DCB для обеспечения гарантий для FCoE трафика — PFC, ETS, DCBX
Adapter-FEX — Доведение множества логических интерфейсов на уровень ОС/гипервизора
Fibre Channel over Ethernet (FCoE)
Метод передачи фреймов FC по Ethernet
• Выглядит как FC для серверов и сети
• Сохраняет текущую инфраструктуру
и управление FC
• Фрейм FC остается неизменным
Стандарт утвержден 3 июня 2009 года (ANSI T11 FC-BB-5)
Семейство стандартов IEEE DCB для «улучшенного» Ethernet
• Priority Flow Control: отсутствие потерь (аналог BB_Credits в FC)
• Enhanced Transmission Selection: выделение полосы
• DCB Exchange: согласование настроек и логическое состояние
Fibre
Channel
Ethernet
Cisco первой представила основанный на стандартах
коммутатор FCoE Cisco Nexus 5000
Nexus 4000 Nexus 2232
NX-OS & DCNM
Nexus 5548
Nexus 5596
MDS 9500 Nexus 7000
Директорный класс
Фиксированная
конфигурация
Nexus 6001
Nexus 6004
Nexus 2248-PQ
MDS 9700* MDS 9250i
*Будущее
Коммутаторы Cisco с поддержкой FCoE
FCoE: консолидация на уровне доступа
Первый шаг – «консолидация доступа» («Unified Wire»)
Существенная экономия при сохранении существующего ядра сетей
Ethernet и Fibre Channel
Лежит в основе Cisco UCS
SAN A SAN B LAN
Backbone
VF порты
VN порты (CNA)
Ethernet core FCoE
Storage
DCB и FCoE
FCoE: консолидация в масштабах сети
Расширение консолидации ввода-вывода на магистраль
Сохранение изоляции SAN фабрик для отказоустойчивости
Поддержка систем хранения с подключением по DCB/FCoE
Теперь и для Cisco UCS (с релиза 2.1) !
VF
VN
VE порты
VE порты
FCoE на Nexus 7000 Выделенный Storage VDC
Storage VDC LAN VDC
FCoE& FIP Ethernet
Storage VDC: виртуальный
FC/FCoE коммутатор
Выполняет только процессы,
связанные с FC/FCoE
Только один на систему
Изоляция уровней управления и
коммутации
Выделенный Storage VDC
Модель для хостов/СХД, не для
ISL линков
Отдельный VDC для Storage
Ethernet трафик «расщепляется»
на основании Ethertype
FCoE трафик обрабатывается в
Storage VDC
LAN VDC Storage VDC
Converged I/O
FCoE & FIP Ethernet
Выделенный Storage VDC – разделяемые интерфейсы
SAN LAN
LAN VDC
Storage VDC
Nexus7000
Nexus7000
LAN VDC
Storage VDC
FCoE для связи SAN между ЦОД? Да! С картами F2/F2E
Поддерживаемые расстояния для FCoE транспорта:
Nexus 5500: до 3 км
Nexus 7000 с F1 картами: до 10 км
Nexus 7000 с F2/F2E картами: до 80 км с DWDM SFP+
Использование отдельных соединений для LAN и SAN трафика
До 80 км Nexus 7000
Nexus 7000
Storage VDC
Storage VDC
Storage VDC
Storage VDC
Развитие архитектуры сети ЦОД
Развитие архитектуры сети ЦОД
Причины
Рост масштабов ЦОД
Масштабирование производительности
Управляемость и программируемость
Растягивание подсетей
Виртуальные и физические нагрузки
Решения (подробнее – в следующей презентации)
Распределённый коммутатор доступа: архитектура FEX-Link
Cisco FabricPath/IETF TRILL
Dynamic Fabric Automation
Cisco ACI
32
Распределённый
виртуальный модульный
коммутатор
(3000+ портов Ethernet)
+
Cisco Nexus® 2000 FEX
Cisco Nexus® 5500/6000
Cisco Nexus® 2000 FEX
Cisco Nexus® 7000
+
Виртуальное модульное шасси с FEX Nexus 5500/6000/7000 + Nexus 2000
Nexus 2000 FEX выполняет роль виртуальной карты для Nexus 5500/7000
Единый конфигурационный файл
Между FEX и Nexus 5500/7000 не используется STP
Cisco FabricPath: ключевые возможности
• Маршрутизация на втором уровне – «лучшее из двух миров»: «надмножество» возможностей IETF TRILL
• Быстрая сходимость, оптимальные пути
• Устранение Spanning-Tree Protocol внутри сети
• Стабильность, сходимость, производительность
• Использование до 16 альтернативных путей (ECMP) – до 256 соединений!
• горизональное масштабирование производительности
• снижение чувствительности к отказам
• Выучивание MAC «по диалогам»
• эффективное использование таблиц
• Совместимость с «классическим» Ethernet
• VPC+ обеспечивает VPC в L2MP сеть
• Поддержка FEX для ещё большей масштабируемости
• Простота настройки
Архитектура Dynamic Fabric Automation
• Анонсирована Cisco в июне 2013
• Возможности:
• Оптимизированный распределённый транспорт: L2+L3, физические и виртуальные узлы
• Виртуальные «сетевые контейнеры» на основе виртуальных сегментов до уровня физических серверов и VM
• Программируемость, автоматизация, открытые API
• Опирается на существующие семейства оборудования: Nexus 6000/7000/7700
• Существующие технологиях Nexus с дополнительными улучшениями и единым управлением с возможностями программирования и автоматизации
Cisco ACI: новое поколение инфраструктуры ЦОД
ACI фабрика
Программируемость, масштабируемость, открытость
App DB Web
Внешняя сеть
передачи
данных
QoS
ACL
QoS
LB
QoS
МСЭ, LB
Application Policy
Infrastructure
Controller
APIC
Подробнее – в выступлении «Сетевая инфраструктура ЦОД,
ориентированная на приложения и Nexus 9000» 21 ноября
Сетевая поддержка виртуализации вычислений
Сетевая поддержка виртуализации вычислений
Проблемы:
Сетевая поддержка виртуализации:
• Расширяет сеть до VM
• Общие с физическими коммутаторами
функции сетевых сервисов
• Скоординированное с VM управление
VMotion • Возможна «миграция» VM на другой
сервер. Политика должна следовать
вслед за VM
• Сеть «не видит» локально
коммутируемый трафик и не может
применить к нему политику
• Сеть не может выделить на порту
трафик конкретной VM
VLAN 101
• Изменение модели эксплуатации
Cisco Nexus 1000V Виртуальный распределенный программный коммутатор
• Nexus 1000V обеспечивает полнофункциональную коммутацию для VMWare ESX и MS Hyper-V (скоро и для KVM, в планах – Xen)
• Ключевые возможности: –Управление VM по политикам
– Функции безопасности, поддержка Netflow, ERSPAN, мультикаста, etherchannel
–Мобильность настроек сети, безопасности и мониторинга
–Сохраняет эксплуатационную модель
• Сохранение политик и связи с сетью при миграции виртуальных машин
VMW ESX
Server 1
VMware vSwitch Nexus 1000V
VMW ESX
VMware vSwitch Nexus 1000V
Server 2
Nexus 1000V
VM
#4
VM
#3
VM
#2
VM
#1
VM
#8
VM
#7
VM
#5
VM
#5
VM
#2
VM
#3
VM
#4
VM
#5
VM
#6
VM
#7
VM
#8
VM
#1
VM
#1
vCenter
Nexus 1000V
VSM
Подробнее – в выступлениях «Коммутация и сервисы в виртуализированной
вычислительной среде» 19 ноября и «Практика внедрения
виртуализированной сетевой инфраструктуры» 21 ноября
vCenter
Cisco
Nexus
1000V
VEM
Cisco
Nexus
1000V
VEM
Cisco
Nexus
1000V
VEM
VM VM VM VM VM VM VM VM VM VM VM VM
Cisco Nexus 1000V VSM
vSphere ESXi vShpere ESXi vSphere ESXi
Server Server Server
Cisco Nexus 1000V для VMware vSphere
40
Cisco
Nexus
1000V
VEM
Cisco
Nexus
1000V
VEM
Cisco
Nexus
1000V
VEM
VM VM VM VM VM VM VM VM VM VM VM VM
Cisco Nexus 1000V VSM
System Center 2012 Virtual Machine Manager
Windows Server Hyper-V Windows Server Hyper-V Windows Server Hyper-V
Server Server Server
Cisco Nexus 1000V для Microsoft Windows 2012 Hyper-V
41
Virtual Appliance Nexus 1100
VSM NAM VSG VSM
VEM VEM vPath vPath
vSphere Hyper-V
VSM: Virtual Supervisor Module
VEM: Virtual Ethernet Module
vPath: Virtual Service Data-path
VSG: Virtual Security Gateway
vWAAS: Virtual WAAS
ASA1000V: Adaptive Security Appliance
CSR1000V: Cloud Services Router
Virtual Blades
Virtual Supervisor Module(VSM)
Network Analysis Module (NAM)
Virtual Security Gateway (VSG)
Datacenter Network Manager (DCNM)
vWAAS VSG ASA1000V
vPath • Перенаправление трафика
• Кэширование политик
Экосистема Cisco Nexus 1000V
Citrix
NetScaler VPX
Imperva
SecureSphere
WAF
CSR1000V
Программируемые сети
43
Разное значение для разных заказчиков
Программный доступ для приложений: аналитика и оптимальный транспорт
Разделение коммутации и управления (пример: OpenFlow): экспериментальные протоколы и функции, «нарезка сетей»
Виртуальные оверлейные сети: гибкость транспорта и сегментация для облачных сред
43
Программно-определяемые сети
Подробнее – в выступлении «Программируемые и программно-
определяемые сети» 21 ноября
Программируемые сети – на всех уровнях
z Уровень коммутации
Уровень управления
Сетевые сервисы
Управление и оркестрирование
Транспорт
Network Elements and Abstraction
Analysis and Monitoring, Performance and Security
OpenFlow/ SDN
Application Developer Environment
Сбор
информации
из сети
Оптимальное программирование
44
a
Самый широкий портфель сетевых решений для ЦОД Hardware + Software Physical + Virtual Network + Compute
Applications
www.cisco.com/go/one
Controllers
and
Agents SDN: - Контроллер (Open Daylight -> XNC)
- Приложения для контроллера
- OpenFlow агенты
2
Virtual
Overlays
Open Clouds with
Nexus 1000V - Multi-hypervisor
- Multi-service
- Multi-cloud
- Поддержка Openstack
3
Network
Platform
APIs
One Platform Kit
(onePK) - Программные APIs к
сетевому
оборудованию (IOS,
IOS-XR, NX-OS)
1
Программируемые и программно-определяемые сети:
стратегия и решения Cisco
Пожалуйста, заполните анкеты.
Ваше мнение очень важно для нас.
Спасибо
Contacts:
Name Александр Скороходов
Phone +7(495)961-1410
E-mail [email protected]
CiscoRu Cisco CiscoRussia
#CiscoConnectRu