100GE Test @ DFN

Aufbau, Prozeduren, Erfahrungen

- Ein berblick

100GE Test @ DFN Jlich Karlsruhe

DFN Betriebstagung, Forum IP ber WiN27.10.2010, Robert Stoy

Tests in 3 Phasen (1)

Phase 1: Vorbereitung, Huawei Router @40G, back-to-back Whrend Wartens auf Huawei 100G Transponder und Cisco Router Interfaces:

Huawei Router am KIT back-to-back verbunden mit 40G (SDH) Aufbau von 10GE angeschlossenen Endsysteme und Verifikation der Aufbau von 10GE angeschlossenen Endsysteme und Verifikation der

Meprozeduren Iperf parameter tuning, Traffic injector Parameter Tests

Phase 2: Vorbreitung, Huawei Router @ 40G, verteilt nach FZ Jlich und KIT Ziel: Tuning der Endsysteme ber WAN, Iperf parameter tests Cisco Router waren aufgebaut, 100G interfaces noch unterwegs Huawei Router verteilt nach KIT and FZJ, verbunden durch 40G Wellenlnge

Seite 2

Huawei Router verteilt nach KIT and FZJ, verbunden durch 40G Wellenlnge 10GE Endsysteme an beiden Lokationen angeschlossen

Tests in 3 Phasen (2)

Phase 3: Tests mit 100G Inbetriebnahme 100GE Interface zwischen Cisco Routern and Huawei Transpondern

-> Es war eine Herausforderung (!) Inbetriebnahme des WAN IP Links ber 100GE zwischen Cisco Routern, Huawei Inbetriebnahme des WAN IP Links ber 100GE zwischen Cisco Routern, Huawei

bertragungssystem System und GasLine Fasern Messungen zwischen 10GE angeschlossenen Endsystemen ber 100G Wellenlnge

(und am Ende zustzlich gleichzeitig ber parallele 40G Wellenlnge)

Seite 3

Testbed Aufbau, Phase 3 : 100G

Dsseldorf

Kln

BonnFZ Jlich

Porz

93 km17 km

J 01 10.2.33.11

J 09 10.2.41.11

Huawei bertragungssystem(Zwei Wellenlngen 100G + 40G)zwischen LokationenKIT Karlsruhe, FZ JlichCFPs 100GBase-LR4

Cisco Router:CRS-3, Fabric Cards 140G/Slot Huawei

100GE DWDM

Koblenz

FrankfurtWiesbadenMainz

Darmstadt

Mannheim

Dernbach

Gernsheim

Naurod

88 km

60 km

96 km

64 km

Endsysteme fr Messungen:Linux Server, 10GE Interfaces Gemischte Menge von Rechnern genutzt fr

Iperf TCP Transfers@ KIT: 9 Systeme: Dual QuadCore (Intel Xeon)

Broadcom Corporation NetXtreme II BCM57711 10-Gigabit PCIe

CRS-3, Fabric Cards 140G/Slot MSC-40G + 10GE PLIMs + XENPAKsMSC-140G + 100G PLIM +CFPs 100GBase-LR4

ms-fzj1hades-

fzj1

Huawei100GE DWDM

Mannheim

KIT Karlsruhe

29 km

K 01 10.2.21.11

K 09 10.2.29.11

10-Gigabit PCIe

@ FZJ: unterschiedliche Systeme 3 + 1 + 5 Drei 2 * Dual Core AMD Opteron (P 265) Ein 2 * Dual Core (Intel Xeon) Fnf Dual QuadCore (Intel Core i7 )

Alle: Myricom Myri-10G Dual-Protocol NIC (10G-PCIE-8A)

DFN Measurement Systems, Hades : OWD, OWDV Messung

Iperf : Paket Verlust and Paket Vertauschung Zustzlich am KIT:

UDP Traffic Load Generator

ms-kit1hades-

kit1ti-kit1

Seite 4

Ziele

Herstellung Betriebszustand des gesamten Systems

Fllen der 100G Strecke mit IP Verkehr Fllen der 100G Strecke mit IP Verkehr

Stress Test, Last + berlast

Prfung der Stabilitt

Sammeln von Erfahrungen, aus Unvorhergesehenem lernen

Seite 5

Te0/1Te0/1Te0/1

Phase 3: PoP Aufbau Lokation KIT, 100G

Eth0

Eth-Eric

Eth0

Eth-Eric

Te2 (v) DFN-PF-174:9 (h)k-000-101-452 (vorne)

DFN-PF-175 (hinten)

1 2 3 4 5 6 7 8 9

1 2 3 4 5 6 7 8 9

10

10ms-kit1g-000-400-007

hades-kit2g-000-400-006

Eth2

Eth-Ipmi

Eth1

Gi9/31

Gi9/30

Eth-Ericg-000-400-006

ti-kit1g-000-400-009

Te0/1/0/1

Te0/1/0/2

Te0/1/0/3

Te0/2/0/0

Te0/2/0/1

Te0/2/0/2

Te0/2/0/3

Te0/3/0/0

Te0/3/0/2

trc-kit1 He0/0/0/0

tsc-kit1

Fe0

tsc-kit2

Fe0

Te2/1

Te2/3

Te1/3

Te1/1

Te1/5

Te2/2

Te2/4

Te1/4

Te1/2

Te1/6

Te0/1/0/0

Gi9/29

Te1/4

Te2/2

Te2/4

Te1/4

Te1/2

Te1/6

Te2/1

Te2/3

Te1/3

Te1/1

Te1/5

switch

Te0/3/0/1

Seite 6

xr-fzk1

Gi9/39

Gi9/40

Gi9/41

Gi9/42

X-WiN ms-kit1 DFN Iperf Measurement Station (UDP,TCP)

hades-kit1 DFN OWD, OWDV Measurements

ti-kit1 UDP Traffic Injector

trc-kit1 Cisco Router CRS-3

tsc-kit1, tsc-kit2 cisco Switch 4900 media converter SM-MM

xr-fzk1 X-WiN Router, provides inband management access

RP1 EthRP0 Eth

Te0/3/0/3

Gi9/25

Te1/2

Gi9/27

Gi9/28

Gi9/26

Cat5e oder Cat6, measurement traffic

Cat5e oder Cat6, admin access(monitoring+configuration)

LWL Multi-Mode, users 10GE endsystems

LWL Single-Mode, measurement traffic

KIT 10GE connected endsystems

Topologie im Endausbau

Te0/1/0/0

Te0/1/0/2

Te0/1/0/1

Te0/1/0/3

K1

K2

K3

K4

tsc-kit1

4900M

Te2/2

Te2/4

Te1/2

Te1/4

Te2/1

Te2/3

Te1/1

Te1/3

J1

J2

J3

J4

tsc-fzj1

4900M

Te1/1

Te1/3

Te1/5

Te2/1

Te1/2

Te1/4

Te1/6

Te2/2

Te0/1/0/0

Te0/1/0/2

Te0/1/0/1

Te0/1/0/3

trc-kit1

CRS-3

Te0/3/0/0

Te0/3/0/1

Te0/2/0/0

Te0/2/0/2

Te0/2/0/1

Te0/2/0/3

K4

K5

K6

K7

K8

K9

Te1/6

Te1/3

Te1/5

tsc-kit2

4900M

Te2/2

Te2/4

Te1/2

Te1/4

Te1/6

Te2/1

Te2/3

Te1/1

Te1/3

Te1/5

ms-kit1

J5

J6

J7

J8

J9

Te2/3 Te2/4

tsc-fzj2

4900M

Te1/1

Te1/3

Te1/5

Te2/1

Te2/3

Te1/2

Te1/4

Te1/6

Te2/2

Te2/4

trc-fzj1

CRS-3

Te0/3/0/0

Te0/3/0/2

Te0/3/0/3

Te0/3/0/1

Te0/2/0/0

Te0/2/0/2

Te0/2/0/1

Te0/2/0/3

Te0/3/0/2hades-

ms-fzj1

hades-

Hu0/0/0/0 Hu0/0/0/0

Seite 7

Multi-Mode Fiber

Single-Mode Fiber

Te0/3/0/3

Te0/3/0/2Te0/3/0/2hades-

kit2hades-

fzj2

end systems, administration: KIT, FZJ, 10GE Interface: 10GBase SR

end systems, administration: DFN, 10GE Interface: 10GBase LR

Karlsruhe Jlich

distance447km

ti-kit1

Methode

Monitoring SNMP Monitoring aller Router Interfaces mit hoher zeitlicher Granularitt (1min)

Daten wurden in RRD Datei mit erweiterter Round Robin Zeit gespeichert (6 Monate) Router CLI Kommando Ausgaben wurden geloggt (interval 10min) Speichern der Console Logs Speichern der Console Logs Fhrung eines Online Logbuchs mit Ereignissen und manuellen Aktivitten

Aktive Messungen Paket Verluste and Paket Vertauschungen

Iperf UDP Strom mit 5 Gbit/s, mit Ergebnissen und Richtungswechseln im 5min Intervall

Verfgbarkeit: Permanente Pings zwischen DFN Endsystemen (1s interval)

Page 8

Permanente Pings zwischen DFN Endsystemen (1s interval) One Way Delay, One Way Delay Variation:

Hades Messrechner

Datenbertragung und Link Belastung Hintergrundlast erzeugt durch konfigurierte IP Schleife zwischen den Routern, und

UDP Last Generator Software im Linux end system (Traffic Injector) Iperf TCP Durchsatzmessungen zwischen mehreren Endsystem.Paaren.

Topologie Test 1.2.2-1 UDP/IP Flows durch IP Routing Schleife

Seite 9

Topologie Test 1.2.2-1 UDP/IP Flows durch IP Routing Schleife

Seite 10

Topologie Test 1.2.2-1 UDP/IP Flows durch IP Routing Schleife

Seite 11

Topologie zur Test Suite 3

Te0/1/0/0

Te0/1/0/2

Te0/1/0/1

Te0/1/0/3

K1

K2

K3

K4

tsc-kit1

4900M

Te2/2

Te2/4

Te1/2

Te1/4

Te2/1

Te2/3

Te1/1

Te1/3

J1

J2

J3

J4

tsc-fzj1

4900M

Te1/1

Te1/3

Te1/5

Te2/1

Te1/2

Te1/4

Te1/6

Te2/2

Te0/1/0/0

Te0/1/0/2

Te0/1/0/1

Te0/1/0/3

trc-kit1

CRS-3

Te0/3/0/0

Te0/3/0/1

Te0/2/0/0

Te0/2/0/2

Te0/2/0/1

Te0/2/0/3

K4

K5

K6

K7

K8

K9

Te1/6

Te1/3

Te1/5

tsc-kit2

4900M

Te2/2

Te2/4

Te1/2

Te1/4

Te1/6

Te2/1

Te2/3

Te1/1

Te1/3

Te1/5

ms-kit1

J5

J6

J7

J8

J9

Te2/3 Te2/4

tsc-fzj2

4900M

Te1/1

Te1/3

Te1/5

Te2/1

Te2/3

Te1/2

Te1/4

Te1/6

Te2/2

Te2/4

trc-fzj1

CRS-3

Te0/3/0/0

Te0/3/0/2

Te0/3/0/3

Te0/3/0/1

Te0/2/0/0

Te0/2/0/2

Te0/2/0/1

Te0/2/0/3

Te0/3/0/2hades-

ms-fzj1

hades-

Hu0/0/0/0 Hu0/0/0/0

Seite 12

Multi-Mode Fiber

Single-Mode Fiber

Te0/3/0/3

Te0/3/0/2Te0/3/0/2hades-

kit2hades-

fzj2

end systems, administration: KIT, FZJ, 10GE Interface: 10GBase SR

end systems, administration: DFN, 10GE Interface: 10GBase LR

Karlsruhe Jlich

distance447km

ti-kit1

TCP Throughput and UDP Streams, Test 3.2.1

Te0/1/0/0

Te0/1/0/2

Te0/1/0/1

Te0/1/0/3

tsc-kit1

4900M

Te2/2

Te2/4

Te1/2

Te1/4

Te2/2

Te2/4

Te1/2

Te1/4

tsc-fzj1

4900M

Te

Te

Te

Te

Te

Te

Te

Te

Te0/1/0/0