Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton...

75
Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path Cisco Support Community Expert Series Webcasts in Russian:

Transcript of Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton...

Page 1: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

Created by Anton Tugai, Cisco TAC

Архитектура и особенности Cisco Nexus 5000, Fabric Extender (FEX), Virtual Port Channel (VPC) и Cisco Fabric Path

Cisco Support Community

Expert Series Webcasts in

Russian:

Page 2: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 2

Сегодня на семинаре эксперт Cisco TAC

Антон Тугай

CCIE in Routing and Switching

Expert’s photo

Page 3: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 3

Сегодняшняя презентация включает опросы аудитории

Пожалуйста, участвуйте!

Page 4: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 4

Если Вы хотите получить копию слайдов сегодняшнего семинара, пожалуйста, используйте следующие ссылки:

https://supportforums.cisco.com/community/russian/other

или, https://supportforums.cisco.com/docs/DOC-27769

Page 5: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 5

a) Нет, не знаком. Это новая платформа для меня.

b) Я знаю о существовании этой платформы, но не имею практического опыта

c) Я имею опыт работы с этой платформой в тестовой среде

d) Оборудование Nexus используется в production среде

Знакомы ли Вы с платформой Nexus (включая серии 7ххх/5ххх/4xxx/3ххх/2ххх/1ххх)

Page 6: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

Cisco Public © 2010 Cisco and/or its affiliates. All rights reserved. 6

Используйте Q&A панель, чтобы послать вопрос. Наши эксперты ответят на них

Page 7: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

Cisco Public © 2010 Cisco and/or its affiliates. All rights reserved. 7

Антон Тугай

Page 8: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 8

• Архитектура Nexus 5500

• VPC

• FEX

• Технология FabricPath

Page 9: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 9

Nexus 5010

20 Портов 10G/FCoE/IEEE DCB Неблоикируемые 10G порты 1 слот расширения Дублированные блоки питания и модули вентияции

Nexus 5020 40 Портов 10G/FCoE/IEEE DCB Неблоикируемые 10G порты 2 слота расширения Дублированные блоки питания и модули вентияции

Nexus 5548UP 32 порта 1/10G Ethernet or 1/2/4/8 FC Неблоикируемые 10G FCoE/IEEE DCB порты 1 слот расширения IEEE 1588, FabricPath и поддержка L3 Дублированные блоки питания и модули вентияции

Nexus 5596UP 48 портов 1/10G Ethernet or 1/2/4/8 FC Неблоикируемые 10G FCoE/IEEE DCB порты 3 слота расширения IEEE 1588, FabricPath и поддержка L3 Дублированные блоки питания и модули вентияции

End of SALE – Ноябрь 2012 для Nexus 5010 и 5020

Page 10: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 10

10GE / 1GE / FCoE / 8G FC

Reverse airflow / DC-питание

Поддержка 1G на всех портах

Новый функционал

Унифицированные порты

Поддержка L3

Возможность подключения до 24 FEX

Multi-hop FCoE

Adapter-FEX

Cisco FabricPath

VM-FEX

Lowest TCO for the Virtualized Datacenter

Page 11: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 11

Блок

питания

Блок

питания

Модуль

охлаждения

Модуль

охлаждения

Out of Band Mgmt

10/100/1000

Консольны

й порт

Fabric Interconnect

Не активен на Nexus

платформах Слот подключения USB

32 Унифицированных порта 1/10 GE or 1/2/4/8 FC Слот расширения

Nexus 5548 (5548P и 5548UP)

Page 12: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

Cisco Public © 2010 Cisco and/or its affiliates. All rights reserved. 12

Nexus 5596UP

Консоль Out of Band Mgmt

10/100/1000

Fabric Interconnect

Не активен на Nexus

платформах Слот USB

48 Унифицированных портов 1/10 GE or 1/2/4/8 FC

3 слота расширения

Блоки

питания Модуль

охлаждения

Модуль

охлаждения

Page 13: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

Cisco Public © 2010 Cisco and/or its affiliates. All rights reserved. 13

16 x 1/10GE 8 x 1/10GE +

8 x 1/2/4/8G FC

16 унифицированных портов настраиваемые индвидуально 1/10GE

or 1/2/4/8G FC

L3 модуль

Слоты расширения можно менять при включенном питании (В будующем будет поддержка OIR для L3 карты)

Содержит ASIC второго поколения (UPC-2)

Page 14: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 14

Expansion Module

16 Ports 1/10 GE

Expansion Module

8 Port FC 1/2/4/8 Gig

+ 8 Ports 1/10 GE

Fibre Channel Ethernet

Unified

Полноценная

поддержка

1/2/4/8G Fibre

Channel

Полноценная

поддержка

1G/10G and

FCoE. Поддержка

подключения FEX

устройств

Гибкая настройка

портов в режим

Ethernet, Fibre Channel

Page 15: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 15

ç

Архитектура Nexus 5500

Gen 2 UPC

Unified Crossbar Fabric Gen 2

Gen 2 UPC Gen 2 UPC

Gen 2 UPC Gen 2 UPC

PEX 8525 4 port PCIE

Switch

South Bridge

10 Gig

12 Gig

Mgmt0

PCIe x4

PCIe x8

PCIE Dual Gig

0 1

CPU Intel

. . . PCIE

Dual Gig

0 1

PCIE Dual Gig

0 1

Serial

Flash

Memory

NVRAM

DRAM

DDR3

Слот расширения

Консоль

Page 16: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 16

Все коммутаторы 5500 серии поддерживают 1/10G на всех портах

Все порты 5548UP, 5596UP и N55-M16UP (модуль расширения) могут работать в любом режиме:

1/10G Ethernet

10G DCB/FCoE

1/2/4/8G Fibre Channel

Архитектура Nexus 5500 5548UP/5596UP – UPC (Gen-2) и унифицированные порты

Unified Port

Controller 2

SFP+ Cage

Ethernet PHY

SFP+ Cage

5548UP, 5596UP & N55-M16UP 5548P

Unified Port

Controller 2

Ethernet PHY 1/10G on all ports

Page 17: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 17

UPC 2-го поколения

Carmel - port ASIC второго поколения (UPC-2)

Каждый Carmel обслуживает 8 портов

Состоит из 3-х основных компонентов

MAC контроллер

o 1/2/4/8G FC, 1/10 GE

Контроллер форварднига

Буферизация и обработка очередей

Page 18: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 18

Поддержка L3 на Nexus 5500

Nexus 5548P/UP

Возможность заказа с уже установленной картой или установка в уже имеющийся коммутатор

Nexus 5596UP

Поддержка OIR L3 карты и возможность установки до 3-х L3 карт (будет в будующих версиях NX-OS)

160Gbps (240Mpps) Производительность L3

Page 19: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 19

Поддержка L3 на Nexus 5500

N55-D160L3 • Дочерняя карта для Nexus 5548

• Поддержка L3 на всех 48 10GE портах

• 160Gbps (240Mpps) производительность L3

N55-M160L3 • Модуль расширения для Nexus 5596P

• Поддержка L3 на всех портах 5596

• 160Gbps (240Mpps) производительность L3

• Возможность расширения производитнльности

до 480Gbps*

* будет в будующих версиях NX-OS

Page 20: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 20

N55-BAS1K9 • Бесплатная базовая L3 лицензия

• Static Routing, RIPv2, OSPFv2, EIGRP-stub

• HSRP, VRRP

• IGMP v2/v3, PIMv2 (sparse mode)

• Routed ACL and uRPF

• Ограничение до 256 динамических маршрутов

N55-LAN1K9 • Расширенная L3 лицензия

• Полноценная поддержка EIGRP

• BGP

• Поддержка VRF-Lite (IP-VPN)

• До 8К динамических маршрутов

Page 21: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 21

• Базовая лицензия (N55-BAS1K9) необходима для включения Layer 3 функционала

• Только инсталляции L3 карты не достаточно

• Перед установкой Enterprise лицензии необходима базовая лицензия (N55-BAS1K9, бесплатная)

Page 22: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 22

L3 крта второго поколенияN55-D160L3-V2 и N55-M160L3-V2

2я версия L3 дочерней карты и

модуля

Capability Scale

IPv4 Longest Prefix

Match Routes

8k (16K with uRPF

disabled)

IPv4 16,000*

IP Multicast 8,000*

L3 Interfaces 1K

VRF 1K

Capability Scale

IPv4 Longest Prefix

Match Routes

8k (16K with uRPF

disabled)

IPv4 8,000

IP Multicast 4,000

L3 Interfaces 1K

VRF 1K

N55-D160L3-V2 и N55-M160L3-V2 N55-D160L3 и N55-M160L3

* Не поддерживается в NX-OS 5.(1)3N1

Page 23: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 23

• Архитектура Nexus 5500

• VPC

• FEX

• Технология FabricPath

Page 24: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 24

• vPC технология объединения физических каналов

подключенных к разным коммутаторам

• Нет необходимости в использовании STP

• Увеличение полосы пропускания

Все каналы активны

• vPC независимые control plane

• vPC коммутаторы образуют “домен” Virtual Port Channel

L2

SiSi SiSi

Non-vPC vPC

Физическая топология Логическая топология

vPC домен

Page 25: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 25

• vPC peer – один из коммутаторов в паре

• vPC member port – физический порт

образующий vPC

• vPC – объединенный port channel между

vPC пирами и нижестоящим устройством

• vPC peer link – канал синхронизации между

vPC пирами. Транспортировка данных -

multicast/broadcast/flooding когда локальные

vPC порты недоступны

• vPC peer keepalive link – обеспечения

механизма информирования о доступности

пира.

• CFS – протокол синхронизации между vPC

пирами

• Orphan port — порт не образующий vPC

vPC peer

keepalive link vPC peer link

Orphan

Port

Orphan

Port

Orphan

Port

Orphan

Port

Резервный Основной

vPC

vPC

member

port

vPC peer

Page 26: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 26

• Peer Keep-alive обеспечивает информирование о доступности пиров

• Основное назначение определение доступности и роли в случае сценария Split Brain (Dual Active)

• Peer Keep-alive не должна быть организована внутри peer-link

• Как правило используется mgmt0 интерфейс

• Опционально может быть выдеденным 1G каналом

• Также возможно использовать выделенный SVI интерфейс

dc11-5020-1(config)# vpc domain 20

dc11-5020-1(config-vpc-domain)# peer-keepalive destination 172.26.161.201 source

172.26.161.200 vrf management

Note:

--------:: Management VRF will be used as the default VRF ::--------

Peer Keepalive

организована

через внешнюю

сеть управления

int mgmt 0

Page 27: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 27

• Проблема в том что peer-link не может перейти в состояние forwarding до тех пор пока vpc peers не увидят друг друга через peer-keepalive

• В случае когда peer-keepalive настроен поверх peer-link VPC домен не функционирует

Page 28: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 28

• Оба коммутатора в домене имеют независимые control plane (в отличии от VSS)

• CFS обеспечиывате синхронизацию состояний между пирами (MAC таблица, IGMP, …)

• Существует 2 метода синхронизации конфигурации:

Ручная настройка с автоматической проверкой целостности

config-sync

2 типа проверки целостности

Тип 1 – Интерфейсы будут отключены в случае рассинхронизации настроек

Type 2 – Будут выведены сообщения об ощибках для информирования о потенциальных проблемах

Page 29: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 29

• c-nexus5010-1# show vpc consistency-parameters global

• Legend:

• Type 1 : vPC will be suspended in case of mismatch

• Name Type Local Value Peer Value

• ------------- ---- ---------------------- -----------------------

• QoS 2 ([], [3], [], [], [], ([], [3], [], [], [],

• Network QoS (MTU) 2 (1538, 2240, 0, 0, 0, (1538, 2240, 0, 0, 0,

• Network Qos (Pause) 2 (F, T, F, F, F, F) (F, T, F, F, F, F)

• STP Mode 1 Rapid-PVST Rapid-PVST

• STP Disabled 1 None None

• STP MST Region Name 1 "" ""

• STP MST Region Revision 1 0 0

• STP MST Region Instance to 1

• VLAN Mapping

• STP Loopguard 1 Disabled Disabled

• STP Bridge Assurance 1 Enabled Enabled

• STP Port Type, Edge 1 Normal, Disabled, Normal, Disabled,

• Allowed VLANs - 1,50 1

• Local suspended VLANs - 50 -

Page 30: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 30

√ √ X √

x

Page 31: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 31

• Когда коммутатор находится в VPC домене – только первичный VPC peer шлет STP BPDU

• Вторичный VPC peer только пересылает STP BPDU от коммутаторов достпа первичному

vPC primary

BPDUs

Page 32: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 32

Первичный Вторичный left# sh span vlan 101 VLAN0101 Spanning tree enabled protocol rstp Root ID Priority 8293 Address 0023.04ee.be01 This bridge is the root ... Bridge ID Priority 8293 (priority 8192) Address 0023.04ee.be01 ... Interface Role Sts Cost Prio.Nbr Type ---------------- ---- --- --------- -------- --------------- Po1 Desg FWD 1 128.4096 (vPC) P2p Po100 Root FWD 2 128.4195 (vPC peer-link) left# sh vpc role | i mac vPC system-mac : 00:23:04:ee:be:01 vPC local system-mac : 00:1b:54:c2:42:43

right# sh span vlan 101 VLAN0101 Spanning tree enabled protocol rstp Root ID Priority 8293 Address 0023.04ee.be01 This bridge is the root ... Bridge ID Priority 8293 (priority 8192) Address 0023.04ee.be01 ... Interface Role Sts Cost Prio.Nbr Type ---------------- ---- --- --------- -------- --------------- Po1 Desg FWD 1 128.4096 (vPC) P2p Po100 Desg FWD 2 128.4195 (vPC peer-link)

ROOT ROOT

Page 33: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

Cisco Public © 2010 Cisco and/or its affiliates. All rights reserved. 33

Peer-gateway и VPC

HSRP Active

HSRP Standby

L2

L3

RMAC-A RMAC-B

N5k-1 N5k-2

Некоторые устройства могут слать IP пакеты предназначенные одному из пиров но на MAC-адрес другого пира

Такие пакеты будут транспортированы через peer-link

Peer-gateway решает эту проблему – такие пакеты будут обработаны локальным коммутатором

L3-N5548-1(config-vpc-domain)# peer-gateway

Page 34: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 34

• Архитектура Nexus 5500

• VPC

• FEX

• Технология FabricPath

Page 35: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 35

=

Распределенное

модульная архитектура

+

Cisco Nexus Parent Switch

Cisco Nexus® 2000 FEX

Cisco Nexus® 5500

Nexus 2000 Fabric Extender (FEX) является модулем для Nexus 5000, сохраняя

централизованные настройки и управление на Nexus 5000 таким образом формируя

виртуальное шасси

Page 36: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 36

• Родительский коммутатор: Является супервизором и свич-фабрикой для виртуального коммутатора

• Fabric Links (NIF): Продлевают свич-фабрику к удаленным картам(Соединение Nexus 5000 и Fabric Extender)

• Хост-порты (HIF)

• Соединение Nexus 5000 и Nexus 2000 (FEX) может быть организованио либо пиннингом либо port-channels

Nexus 5000

FEX100 FEX101

dc11-5020-1# show interface fex-fabric

Fabric Fabric Fex FEX

Fex Port Port State Uplink Model Serial

---------------------------------------------------------------

100 Eth1/17 Active 1 N2K-C2148T-1GE JAF1311AFLL

100 Eth1/18 Active 2 N2K-C2148T-1GE JAF1311AFLL

100 Eth1/19 Active 3 N2K-C2148T-1GE JAF1311AFLL

100 Eth1/20 Active 4 N2K-C2148T-1GE JAF1311AFLL

101 Eth1/21 Active 1 N2K-C2148T-1GE JAF1311AFMT

101 Eth1/22 Active 2 N2K-C2148T-1GE JAF1311AFMT

Page 37: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 37

• Хост порты (HIF) не поддерживают STP

• HIF порты посылают несколько BPDUs во время активации линка для детектирования петель

• BPDU перестают генерироваться как только будет установлено что порт не подключен к другому коммутатору

• По умолчанию на HIF портах настроены:

Port type edge

BPDU guard

BPDU filter

• Трафик между хост портами на FEX коммутируюися родительским коммутатором

N5k01

1,2,3,4

Page 38: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 38

• Все хост порты настраиваются с родительского коммутатора

• A 50xx supports up to 12 FEX

• A 55XX supports up to 24 FEX

1-48 GigE

N5k01

Fabric Ports

Host Ports

1,2,3,4

Page 39: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

Cisco Public © 2010 Cisco and/or its affiliates. All rights reserved. 39

Хост порты статически привязаны к определенным аплинкам (NIF) либо все интерфесы привязаны к одному port-channel

Статический пиннинг – хост порты ассоциированные с определенным NIF будут недоступны в случае падения этого палинка

Port Channel – трафик хост портов будет перераспределен на другие аплинки в port-channel

Статический пиннинг

Port Channel

HIF будет недоступен

HIF остается активен

Page 40: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 40

• FEX не поддерживает локальный форвардинг

• Forwarding осуществляется на основании VNTag

• VNTag добавляется к пакету между Fabric Extender и Nexus 5000

• VNTag удаляется перед отправкой пакетов хостам

Ether type

Destination VIF

Source VIF

MAC DA MAC SA VNTag 802.1Q TL Frame Payload CRC

Page 41: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 41

Unified

Crossbar

Fabric

Ingress

UPC Egress

UPC Nexus 2000

ASIC

1. Пакет приходит на хост порт N2K

1

2 3 4 5

6

2. Nexus 2000 добавляет VNTag и

отправляет пакет на аплинк (NIF)

3. Nexus 5000 UPC осуществляет

форвардинг пакета

4. Обработка исходящих очередей и контроля доступа

5. Nexus 5000 UPC добавляет

исходящий VNTag и отправляет на FEX

6. VNTag удаляется и

пакет отпарвляется на

хост порт

Nexus 5000 Nexus 2000 Nexus 2000

Nexus 2000

ASIC

Page 42: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 42

Model Nexus 2148T Nexus 2224TP Nexus 2248TP Nexus 2248-TP-E

Form Factor 1 RU 1 RU 1 RU 1 RU

Uplink Ports 4 x 10GbE SFP+ 2 x 10GbE SFP+ 4 x 10GbE SFP+ 4 x 10GbE SFP+

Uplink Transceivers Supported

Copper CX-1 (passive): 1m, 3m, 5m. Copper CX1 (active): 7m, 10m Optical: FET (Nexus 2200 platforms), SR, LR

Host Facing Ports 48 x 1GbE RJ45 (note: 1000BaseT only)

24 x 100/1000Base-T RJ45 48 x 100/1000Base-T RJ45 48 x 100/1000Base-T RJ45

FCoE N/A N/A N/A N/A

Dimensions 1.72 x 17.3 x 20.0 in 1.72 x 17.3 x 17.7in 1.72 x 17.3 x 17.7in 1.72 x 17.3 x 17.7 in

Operational Power 165W 80-95W 95-110W

Supports FET No Yes Yes Yes

Multiple PortChannel member ports on a FEX

Not Supported Yes Yes Yes

Buffer 320KB per port-group (4 ports)

800KB peer port-group (8 ports)

800KB per port-group (8 ports)

32MB shared (48 ports)

Number of FEX 24 FEX per N5500 24 FEX per N5500 24 FEX per N5500 24 FEX per N5500

Page 43: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 43

2248TP-E

Nexus 2248TP

Nexus 2248TP-E

HIF

1-8

HIF 9-

16

HIF 17-

24

HIF 25-

32

HIF 33-

40

HIF 41-

48

NIF 1-4x10GE

800

KB

480

KB

800

KB

480

KB

800

KB

480

KB

800

KB

480

KB

800

KB

480

KB

800

KB

480

KB

NIF 1-4x10GE

HIF 1-48

32MB общий пул буферов

Page 44: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 44

Model Nexus 2232PP-10G Nexus 2232TM-10G

Form Factor 1 RU 1 RU

Uplink Ports 8 x 10GbE SFP+ 8 x 10GbE SFP+

Uplink Transceivers Supported Copper CX-1 (passive): 1m, 3m, 5m. Copper CX1 (active): 7m, 10m Optical: FET (Nexus 2200 platforms), SR, LR

Host Facing Ports 32 x SFP/SFP+ (1/10G) 32 x 1/10GBase-T RJ45

FCoE Yes No

Dimensions 1.72 x 17.3 x 17.7 in 1.72 x 17.3 x 17.7 in

Operational Power 225-270W 350-415W (10GT 100m) 215-260W(1GT)

Supports FET Yes Yes

Multiple PortChannel member ports on a FEX

Yes Yes

Scalability 768 10GE Ports /N5K 1024 10GE Ports /N5K

768 1/10GbT Ports per N5K

Number of FEX 24 FEX per N5500 32 FEX per N7K (Delhi)

24 FEX per N5500

Page 45: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 45

FE

X2

14

8T

sta

rtin

g f

rom

4.1

(3)N

1(1

)

FE

X 2

248,

2232 fro

m

4.2

(1)N

1(1

)

FE

X 2

24

8,

22

32

, 2

22

4

fro

m

4.2

(1)N

1(1

)

Page 46: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 46

Реализовано в 5.1(3)N1(1)

Page 47: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 47

Возможность включения до 16

линков

5548P/5548UP/5596UP

2148T/2248TP/2224TP 2232PP/2232TM

Page 48: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 48

Page 49: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

Cisco Public © 2010 Cisco and/or its affiliates. All rights reserved. 49

Nexus 2000 Fabric Extender is connected upstream to the Nexus 5000 by 10 GE links

Минимально – 1 x 10GE

Максимально до 4 x 10GE

Неблокируемая производительность для 40 x 1GE портов

Переподписка варьируется от 1.2:1 до 4.8:1

Переподписка 1.2 : 1

Переподписка 4.8 : 1

Page 50: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 50

a) Нет, в нашей сети нет необходимости в такой функциональности

b) Нет, мы используем оборудование другого вендора

c) Да, мы можем разделить функции между Nexus и другой платформой

d) Да, сможет

Сможет ли Nexus 5000 стать частью Вашей сети?

Page 51: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 51

• Архитектура Nexus 5500

• VPC

• FEX

• Технология FabricPath

Page 52: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 52

L2 необходим определенным приложениям

Перемещение / инсталляция новых серверов не требут вовлечения ижненеров сетевой команды

Отсутствие огрничений физического расположения серверов

Layer 2 в большинстве случаев является “plug and play”

Page 53: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 53

STP используется для построение дереве без петель

Недостатки топологии дерево:

Часть каналов простаивает

Не всегда оптимальный путь трафика

11 Физических каналов 5 логических

S1

S2

S3

Page 54: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 54

• 16 каналов ECMP, максимально до 256x10G каналов между 2 устройствами, 160Tbps пропускная способность

• Трафик идет по кратчайшему пути внутри FP облака

• Быстрая сходимость

Classical Ethernet

Mac Address Table

A B

MAC IF

A xx

… …

B yy

MAC Lookup

делается только 1

на границеFP

Пакеты балансируются

между всеми каналами

Форвардинг пакетов

основан не на MAC

внутри FP облака

Fabric

FabricPath

Classical

Ethernet

S42 S11

Page 55: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 55

• Classical Ethernet: Классический Ethernet

• Switch ID: 12 битный ID для уникальной идентификации каждого коммутатора внутри FP облака

• Mac in Mac: Инкапсуляция используемая в FP для транспортировки L2 внутри L2.

• Edge device: Устройство на границе FP и CE.

• Fabric: L2 сеть в которой работает FabricPath

• Topology: Группа линков в фабрике. Изначально все каналы принадлежат топологии 0. Другие топологии могут быть созданы перенесенним в нее каких-либо каналов.

Page 56: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 56

FabricPath Порт • Интерфейсы подключенные к другим FabricPath портам • Прием/передача FabricPath трафика • Не используется STP • Нет ‘MAC Learning’ • Обмен информацией о топологии по L2 ISIS • Форвардинг пакетов ‘Switch Routing Table’

Classic Ethernet (CE) Порт • Подключение non-FabricPAth устройств • Прием/передача Ethernet кадров • Работает STP • Используется MAC таблица

STP Domain

Fabric

(Network running

FabricPath)

Eth

ern

et

FabricPath Port

CE Port

Page 57: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 57

STP Domain FabricPath

STP Domain 1 STP Domain 2

• Заголовок FabricPath добавляется на входе в облако FP • Адреса Ingress и egress коммутаторов используются для

принятия решения по маршрутизации кадра • MAC learning не происходит внутри FP облака

A C

S11 S42

C

A

DATA

C

A

DATA

FabricPath

Header

Ingress Switch

S11

S42

Egress Switch

S11 S42

FabricPath Routing

L2 Bridging

A C A C

A C

Page 58: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 58

• Switch ID: 12-bit ID определяет устройство внутри FP облака

• Sub-Switch ID: Совместно с Switch ID используется для идентификации устройства в vPC+

• Tree ID: Уникальный номер для определения “дерева”

• TTL: Механизм предотвращения петель

Cisco FabricPath Frame

Ether

Type

Tree ID (10)

TTL

(6)

(Classical) Ethernet Frame

Switch ID

(12)

Sub-Switch ID

(8)

Port ID (16)

OOO/DL (1)

RSVD (1)*

EndNode_ID

(5:0)

EndNode_ID (7:6)

I/G

U/L

Outer

DA

(48)*

Outer

SA

(48)*

FP TAG (32*)

DMAC SMAC Ether

Type Payload

802.1Q

Header CRC

DMAC SMAC Ether

Type Payload

802.1Q

Header CRC(

New)

* Lengths for all fields are shown in “bits”

Page 59: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 59

HIT

LEARN

MAC IF MAC IF

C 3/1

Encap

Decap

Decap

L1

L2 L3 L4

A B C

L8 L5 L6 L7

L9

L10 L11 L12

S1 S2 S3 S4

S11 S12 S42 L2 Fabric

1/1 3/1

MAC IF

A 1/1 MISS

MISS

Don’t LEARN

MAC IF

A 1/1

C S42

FabricPath Port

CE Port

Page 60: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 60

Switch IF

… …

S42 L1, L2, L3, L4

L1

L2 L3 L4

A B C

L8

L5 L6 L7

L9

L10 L11 L12

S1 S2 S3 S4

S11 S12 S42

1/1 3/1

L2 Fabric

MAC IF

A 1/1

C S42

MAC IF

C 3/1 Encap

Switch IF

… …

S42 L12

HIT! Decap

HIT!

MAC IF

C 3/1

A S11

FabricPath Port

CE Port

Page 61: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 61

• Поддержка 2-х и более маршрутов (16 ECMP) через фабрики

Маршрутизация осуществляется на основе ‘маршрутной таблици FabricPath’

A

L1

L2

S1 S2 S3 S4

S11 S12 S42

L2 Fabric

L3

L4

C

Switch IF

… …

S42 L1, L2, L3, L4

MAC IF

A 1/1

… …

C S42 1/1

Page 62: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 62

• Control protocol (STP)

единственный механизм

предотвращения петель

• В случае нарушения STP – L2 петля, нет резервного механизма на уровне данных

Time To Live (TTL)

STP Domain

Root

L2 Fabric

S1

S10

S2

TTL=3

TTL=2 TTL=1

TTL=0

TTL в заголовке FabricPath

Уменьшение на 1 в каждом узле

Кадры с TTL =0 отбрасываются

Root

Page 63: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 63

• Ограничение – в таблице MAC адресов возможно только 1 соответствие MAC – Switch ID Каждый VPC представляется

как виртуальный коммутатор

Switch ID виртуального коммутатора используется для FP инкапсуляции

L2 Fabric

S1 S2

A

B

S3

MAC

Table

A ???

MAC

Table

B S3 B A Payload

B A Payload S2 S3 B A Payload S1 S3

MAC

Table

A S4

vPC

L2 Fabric

S1 S2

B

S3

B A Payload

A

S4

B A Payload S4 S3 B A Payload S4 S3

vPC+ MAC

Table

B S3

Page 64: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 64

• L2 фабрика должна быть рутом для всех подключенных STP доменов. Ethernet порты на граничных коммутаторах будут блокированы в случае получения BPDU с меньшим BID (rootguard)

• BPDUs не форвардятся через фабрику.

L2 Fabric

Classical Ethernet

(STP)

FabricPath (L2 IS-IS)

✖ STP Domain 1

STP Domain 2

FabricPath Port

CE Port

Page 65: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 65

L1

L2 L3 L4

L8 L5 L6 L7

L9

L10 L11 L12

L2 Fabric

Topology: Группа каналов внутри фабрики.

Изначально все каналы принадлежат топологии 0.

• Другие топологии могут быть созданы добавлением в них каналов.

• Канал может принадлежать нескольким топологиям

• VLAN может принадлежать только одной топологии

Разные топологии могут быть использованы для traffic engineering,

зон безопасности и т.д.

Topology 0

Topology 1

Topology 2

Page 66: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,
Page 67: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 67

a) Детальное рассмотрение технологии FabricPath

b) Детальное рассмотрение технологии OTV

c) Детальное рассмотрение технологии VPC

d) Вебинары посвященные устранению неполадок в коммутаторах серии Cisco Nexus

e) Платформа Cisco Nexus 3000

Какие темы будущих семинаров Вам интересны? Выберите из предложенных или предложите свои

Page 68: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

Cisco Public © 2010 Cisco and/or its affiliates. All rights reserved. 68

Эксперт ответит на некоторые Ваши вопросы. Используйте Q&A панель, чтобы задать еще вопросы

Page 69: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 69

Получить дополнительную информацию, а также задать вопросы экспертам в рамках данной темы вы можете в течение двух недель, на странице, доступной по ссылке

https://supportforums.cisco.com/community/russian/expert-corner/ask-the-experts

Вы можете получить видеозапись данного семинара и текст сессии Q&A в течение ближайших 5 дней по следующей ссылке https://supportforums.cisco.com/community/russian/expert-corner/webcast

Page 70: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 70

на английском

Среда, 28 ноября,

19:00 по московскому времени

Эксперт Cisco:

Mahesh Anjan

Во время презентация вы получите советы по решению проблем связанных с видео звонками, затрагивающими VCS (Video Communications Server) и CUCM.

Регистрация:

http://tools.cisco.com/gems/cust/customerSite.do?METHOD=E&LANGUAGE_ID=E&PRIORITY_CODE=4&SEMINAR_CODE=S17285

Тема: Troubleshooting Cisco Unified Communication

Manager Integration with Cisco Telepresence video

Communication Server

Page 71: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 71

на английском

Обе сессии начнутся, 2-го ноября, 2012

Присоединяйтесь:

https://supportforums.cisco.com/community/netpro/expert-corner#view=ask-the-experts

Troubleshoot Memory and other issues on CISCO ISR, ISR-G2 , 7200 (NPE-G1, NPE-G2

Эксперты Cisco: Srikanth Babu & Vishnu Asok

Узнайте как решать проблемы с высокой загрузкой CPU, памяти а так же с другими проблемами на Cisco ISRs и 7200s.

RF Matters in Mobility Design

Эксперт Cisco: Flavien Richard

Задайте свои вопросы о 802.11 radio, MIMO, новых точках доступа, антеннах и их установке, и о многом другом

Page 72: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 72

на английском

Тема: Concepts, Smart Call Home

Эксперт Cisco: Bryan Williams. Задайте вопросы о Cisco Smart Call Home, инструменте, который помогает обнаруживать и решать проблемы быстрее и с меньшими трудозатратами и который включен в большинство контрактов на поддержку

Сессии начнутся 5-го ноября

Присоединяйтесь:

https://supportforums.cisco.com/community/netpro/expert-corner#view=ask-the-experts

Тема: Configuring and troubleshooting Faxing in Cisco IP Voice Networks

Эксперт Cisco: Edson Pineiro Узнайте как решать проблемы, а также получите советы связанные с факсимильной связью в Cisco IP voice сетях.

Page 73: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 73

Приглашаем Вас активно участвовать в Cisco

Support Community и социальных сетях

https://supportforms.cisco.com/community/russian

http://www.facebook.com/CiscoRu

http://twitter.com/CiscoRussia

http://www.youtube.com/user/CiscoRussiaMedia

http://itunes.apple.com/us/app/cisco-technical-support/id398104252?mt=8

http://www.linkedin.com/groups/CSC-Cisco-Support-Community-3210019

Newsletter Subscription: https://tools.cisco.com/gdrp/coiga/showsurvey.do?surveyCode=589&keyCode=146298_2&P

HYSICAL%20FULFILLMENT%20Y/N=NO&SUBSCRIPTION%20CENTER=YES

Page 74: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,

Cisco Public © 2010 Cisco and/or its affiliates. All rights reserved. 74

Спасибо за Ваше время

Пожалуйста, участвуйте в опросе

Page 75: Архитектура и особенности Cisco Nexus 5000, Fabric ... · Created by Anton Tugai, Cisco TAC Архитектура и особенности Cisco Nexus 5000,