Cisco Expo 2012 Návrh středně velkého DC pro různé typy

39
Cisco Public 1 © 2012 Cisco and/or its affiliates. All rights reserved. Cisco Expo 2012 Návrh středně velkého DC pro různé typy aplikací Tomáš Michaeli - Consulting System Engeneer DCV Central [email protected] 29-Mar-2012

Transcript of Cisco Expo 2012 Návrh středně velkého DC pro různé typy

Cisco Public 1© 2012 Cisco and/or its affiliates. All rights reserved.

Cisco Expo 2012

Návrh středněvelkého DC pro různé typyaplikací

Tomáš Michaeli - Consulting System Engeneer – DCV Central

[email protected]

29-Mar-2012

© 2012 Cisco and/or its affiliates. All rights reserved. Cisco Public 2

Cisco Expo 2012

• Lokalita a fyzické prostředí

• Požadavky aplikací

• Plánování kapacity CPU

• Plánování kapacity RAM

• Doporučená topologie pro malé DC 100-300 VM

• Propojení s datovým úložištěm (iSCSI, FCoE and FC)

• Expo 2012 SMB DC

• Závěr

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 3

Obnova technologií (40%)

• 3Y nebo 5Y obnova podpory na server/úložiště

• Úplná výměna

• Navýšení stávající kapacity a výkonu

• Snadné uvedení nových technologií

Celková kapacita Náklady+-

Inovace

Fyzické do virtuálních – brown field (40%)

• Energetická a prostorová limitace, IT nedokáže plnit požadavky businessu

• Težší pozice pro nové technologie UCS-NEXUS-MDS -interoperabilita

• Migrace a integrace se stávajícím prostředím je náročná

Green field(20%)

• Ojedinělé

• Rozmístění, energie a plány chlazení

• Velmi snadné uvedení nových technologií

• DR je povinný

+- +-

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 4

Ochrana perimetru, strategická poloha

Ochrana vjezdu aut, biometrie, kontrola vstupu + ochranka

Vnitřní a venkovní kamerový systém, rozmístění racků

Výpočetní sál

HDA

MDA Main Distribution Area

Horizontal Distribution Area

EDA

Equipment Distribution Area

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 5

Kabel ZpožděníSpotřeba

VzdálenostMédium

Twinax ~ 0.1ms~ 0.1W<14mSFP+ CU*copper

MM OM2MM OM3

~ 01W82m300m

SFP+ SRMMF,short reach

MM OM2MM OM3

~ 01W10m100m

SFP+ USRMMF, ultra short reach

Cat6Cat6a/7Cat6a/7

2.5ms2.5ms1.5ms

~ 6W***~ 6W***~ 4W***

55m100m30m

RJ45 10GBASE-Tcopper

Standars

SFF 8431

IEEE 802.3ae

none

IEEE 802.3an

Twinax 15mX2 CX4copper

IEEE 802.3ak4W ~ 0.1ms

In-rackX-rack

Across racks

~50% power savings with

EEE

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 6

Napájení [kW]

Redundatní elektrická přípojka

Zelená energie – solární panely, LED

Rotační UPS systém, diesel agregát

Nádrže na naftu (chráněné)

Chlazení [BTU]

• Chlazení bez zvýšené podlahy

• Operační teplota ASHRAE 2008: 27°

• Strukturovaná kabeláž min. 10G

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 7

Tier I II III IV

Komponenty Pouze N N + 1 N + 1 2 (N + 1)

Aktivní Datové Cesty Jedna JednaAktivní / Pasivní

Dvě

Jeden Bod Selhání Ano Ano Ano Ne

Nezávislí Management

NeJenom

komponentyAno Ano

Dostupnost /Roční výpadek

99.671%28.8 hodin

99.749%22.0 hodin

99.982%1.6 hodin

99.995%0.4 hodin

Zdroj: The Uptime Institute

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 8

Application % Considering

SQL Server 66%

SharePoint 55%

Exchange Server 53%

.NET Framework 50%

System Center 30%

Visual Studio 27%

Office 26%

Storage Server 24%

Hyper-V 22%

• Podniky plánují na Cisco UCS aplikace jako SQL Server, SharePoint, Exchange Server a/nebo .NET Framework

• Průzkum pro Cisco provedli Penton Research, partner SQL Server Magazine a Windows IT Pro

• Průzkum v době od 27. Dubna do 30. Května 2011

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 9

Které aplikace virtualizujete?Jakou virtuální platformu jste u Vás

nasadili?

1%

1%

2%

6%

17%

72%

Other

Parallel's Virtuozzo

None

Critix XenServer

Microsoft Hyper-V

VMWare vSphere

0% 20% 40% 60% 80% 100%

16%

10%

15%

29%

46%

53%

73%

Other

DB2

MySQL

Oracle

Exchange

SharePoint

SQL Server

0% 20% 40% 60% 80% 100%

• VMware vSphere dominantní v hypervizorech

• Nejčastěji virtualizujete SQL Server (73%) SharePoint (53%) aExchange (46%).

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 10

• Požadavky pro jednoho uživatele virtuálního desktopu s Windows 7 –1.5GB RAM, 600MHz CPU, 12 IOPS, 50kB/s

200 živých uživatelů ~ 300GB, 120GHz, 2400IOPS ~ 2xC250/2.4/192G

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 11

• Nástroje – VMware/Capacity Planner, Novell/PlateSpin, Microsoft/MAP Toolkit

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 12

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 13

• Nesprávné osazení DIMM může mít až 50% dopad na výkon CPU

• Vliv má osazení kanálů a taktovací frekvence DIMM kanálu

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 14

vSphere5 Licence

Standard Enterprise Enterprise +

Processor 1 CPU 1 CPU 1 CPU

vRAM 32 64 96

vCPU 8 8 32

Kapacita RAM serveru v (GB)

2 CPU

2 licence

64 128 192

4 CPU

4 licence

128 256 384

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 15

2CPU Intel X55xx, X56xxKapacita DIMM (GB) DIMMy rychlost (MHz) Cena /GB

64 GB 8 x 8 1333 44

128 GB 8 x 16 800QR / 1333DR 62

192 GB 12 x 16 800QR / 1333DR 62

2CPU Intel E7192 GB 16 x 8 a 16 x 4 1066 50

4CPU Intel X75xx, E7128 GB 16 x 8 1333 44

256 GB 16 x 16 800QR / 1333DR 62

STD

ENT+

ENT

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 16

• O čem při návrhu mluvíme?

• Kritéria pro výběr návrhu

Výpočetní vrstva a škálování

Požadované vlastnosti a uplatnění Cisco výhod

Konkurenční prostředí

• Návrhy podle

> 128 CPUs

33 – 64 CPUs

8 – 32 CPUs (100-300VM)

< 6 CPUs

• VMDC, SP slouží pro velké

1KCisco Nexus

x86

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 17

1

Cisco Public© 2010 Cisco and/or its affiliates. All rights reserved. 18

LAN Switch SAN SwitchFCoE Storage FC Storage

Direct Attach

LAN

1,2,4,8 Link

20 – 160 Gb per chassis

SAN

FC Storage

MGMT

Až 160 rack serverů

Plná LAN a SAN konektivita

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 19

FCNFSVM DATA vMotionMGMT

Fabric A vmnic0 vmnic2 vmnic4 vmnic6 MP

Fabric B vmnic1 vmnic3 vmnic5 vmnic7 MP

Min BW 5% 25% 10% 30% 10%

Class Gold CoS 4 Silver CoS 2 Best Effort Plat CoS 5 CoS 3

10-40GE 10-40GE

Fabric

A

FEX

Fabric

B

FEX

vHBA

0

vHBA

1vNIC2 vNIC4 vNIC6 vNIC1 vNIC3 vNIC7

vSwitch / vDS / N1K

vNIC0 vNIC5

* Nastavení podle projektových požadavků

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 20

• Management provoz

Nízké zatížení, Relativně vysoká důležitost

• Ethernet Storage

Vysoké zatížení, Vysoká důležitost

• VM datový provoz

Střední zatížení, Vysoká důležitost

• vMotion

Špičky v provozu

Propustnost dostupná například při migraci

• Fault Tolerance

Vysoká důležitost (synchronní)

Střední zatížení (doporučení 10Gb)

• FCoE

Dedikovaný CoS = 3

20

* Adjust based on environment

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 22

+Adapter FEX – poskytne statické vNIC pro vSphere s různou hodnotou CoS

Podpora QoS s livovolným vSwitchem

Velmi časté při nasazení s UCS, 6x vNIC

+1000v – vlastnosti 1000v s podporou hardware queueingu VIC

V kombinaci s Adapter FEX

Vlastnost “Host Control – Full” a respektuje CoS from 1000v

+VM FEX – poskytne vNICky pro virtuální servery přímo z UCS

+DRS cluster – dostatek vNIC i při zmigrování na jeden server

+Fabric interconnect 61xx max 56, 62xx max 116

2

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 23

2

1

2

3

Platinum -> Mgmt Console

Silver -> VM Traffic

Bronze or Best Effort -> vMotion

Gold -> Available for IP Stor or VM High Pri

• Copy UCS QoS policy to Nexus 5k’s

• Connect nxos -> show running-config ipqos

Traffic Type CoS Value Bandwidth Weight%

NFS 5 3Gbps 30%

FT/Mgmt 4 2Gbps 20%

VM TrafficA 2 2.5Gbps 25%

VM TrafficB 1 0.5Gbps 5%

vMotion 0 1Gbps 10%

FCoE 3 1Gbps 10%

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 24

VM VM VM VM

Nexus

1000V

VEM

VM VM VM VM

Nexus

1000V

VEM

Nexus 1000V

VSM

Windows 8 Hyper-VNexus 1000V

VSM

VMware vSphere

VMware vCenter

Microsoft’s Service Console Virtual Machine Manager

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 25

• Redundatní VSM nebo duální Nexus 1010

• Využívejte VPC kde to je možné (ip hash) jinak (mac−pinning)

• Konfigurujte QoS na 1000v a upstream switchi

• Povinná „system vlan“ pro kritické spojení

• Využijte weighted QoS dostupné od 1.4

25

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 26

QoS disabled

QoS enabled

NFS, VM, a FT provoz

potlačený při vMotion

NFS, VM, a FT provoz

zachovaný při vMotion

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 27

2

• Unified fabric dovoluje flexibilitu

• iSCSI 1/10Gb

• NFS/CIFS 1/10Gb

• FC 2/4/8G

• FCoE 10Gb

• Saturace linek

Oddělení ve frontách

Uplinky ke storage

• Detekce poruchy

Multi pathing

Dvě fabriky

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 28

• Enables lossless Fabrics for each class of service

• PAUSE sent per virtual lane when buffers limit exceeded

Transmit QueuesEthernet Link

Receive Buffers

Eight

Virtual

Lanes

One One

Two Two

Three Three

Four Four

Five Five

Seven Seven

Eight Eight

Six SixSTOP PAUSE

10 GE Link Realized Traffic Utilization

3G/s HPC Traffic

3G/s2G/s

3G/sStorage Traffic

3G/s3G/s

LAN Traffic

4G/s5G/s3G/s

t1 t2 t3

Offered Traffic

t1 t2 t3

3G/s 3G/s

3G/s 3G/s 3G/s

2G/s

3G/s 4G/s 6G/s

Priority Flow Control

IEEE 802.1Qbb

Enhanced Transmission Selection IEEE 802.1Qaz

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 29

BW unavailable to other FlexNICs

BW unavailable to other FlexNICs

BW unavailable to other FlexNICs

BW unavailable to other FlexNICs

2.5G

2.5G

2.5G

2.5G

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 30

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 32

FCoE management je identický s manegementem FC na

úrovni initiatora, targetu a switche

Shodný operační

model

Identické technologie

pro řízení provozu

Identický management

a bezpečnostní model

Jednoduché na

pochopeníShodné s FC modelem

Identické řízení přístupu

přípojení do SAN

Například in order delivery

FSPF load balancing

WWNs, FC-IDs, hard/soft

zoning, DNS, RSCN

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 33

6 x 1Gb

(4948)

4 x 1Gb / SAN

(4948/9148)

2 x 10Gb

(Nexus)

2 x FCoE

(Nexus)

Switch Ports $1,938 $2,167 $1,600 $2,400

Server Ports $299 $599

Cabling $60 $326 $420 $420

FC Optics $260

10Gb CNA $1,429

HBA $1,780

1 Server $2,297 $4,533 $2,619 $4,249

6 Servers $13,779 $27,196 $15,714 $25,494

Cost Per Gigabit $2,297 $2,266 $786 $1,275

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 34

FC

oE

FC

VM

#4

VM

#3

VM

#2

NAS

iSCSI

FC

oE

FC

VM

#4

VM

#3

VM

#2

NAS

iSCSI

FCoE – 3km

• Konvergovaná fabrika sdílí jeden 10G kanál

• Pro SMB je FCoE ve čtvercové topologii vhodné na menší vzdálenost do 3km na Nexus 5k

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 35

Speed

(Gbps)

Distance

(Km)

2 240

4 120

8 60

Speed

(Gbps)

Distance

(Km)

2 128

4 64

8 32

Nexus 5000/5500 Fibre Channel Ports

MDS 9148 Fibre Channel Ports

Speed

(Gbps)

Distance

(Km)

8 1000

10 800

MDS 9500 Fibre Channel Ports

10G +50%

Cisco Public© 2010 Cisco and/or its affiliates. All rights reserved. 36

SAN Switch

Expo

EMC VNX 5500

MGMT

C2007x B200

FI 6120

8G FC

10G NFS/CIFS

10G FCoE

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 37

• 26 VM pro Expo,150 VM Celkem

• 60GHz CPU (7% vzužitých)

• 95GB RAM (50% využitých)

• 15TB DISK block-nfs

• SSD Cache

• Automaticke tierováníSSD, SAS, SATA

© 2012 Cisco and/or its affiliates. All rights reserved. Cisco Public 38

Cisco Expo 2012

• Vyhraďte si čas pro výpočet požadavků Aplikací

• Bez profilování aplikací to nejde

• Efektivní výběr CPU a konfigurace RAM

• POD návrh a topologie s unified fabric

• Respektujte best practices pro virtuální networking

• Vždy myslete na DR, vzdálená lokalita

© 2012 Cisco and/or its affiliates. All rights reserved. Cisco Public 39

Cisco Expo 2012

• Twitter www.twitter.com/CiscoCZ

• Talk2Cisco www.talk2cisco.cz/dotazy

• SMS tbd

Zveme Vás na Ptali jste se… v sále tbd, 17:45 – 18:30

© 2012 Cisco and/or its affiliates. All rights reserved. Cisco Public 40

Cisco Expo 2012

Prosíme, ohodnoťtetuto přednášku.

Kód přednášky

Thank you.