Traffic Management Feature Guide for the QFX Series …BufferConfiguration).....681...

Traffic Management Feature Guide for the QFXSeries and EX4600 Switches

Modified: 2018-03-16

Copyright 2018, Juniper Networks, Inc.

Juniper Networks, Inc.1133 InnovationWaySunnyvale, California 94089USA408-745-2000www.juniper.net

Juniper Networks, the Juniper Networks logo, Juniper, and Junos are registered trademarks of Juniper Networks, Inc. and/or its affiliates inthe United States and other countries. All other trademarks may be property of their respective owners.

Juniper Networks assumes no responsibility for any inaccuracies in this document. Juniper Networks reserves the right to change, modify,transfer, or otherwise revise this publication without notice.

Traffic Management Feature Guide for the QFX Series and EX4600 SwitchesCopyright 2018 Juniper Networks, Inc. All rights reserved.

The information in this document is current as of the date on the title page.

YEAR 2000 NOTICE

Juniper Networks hardware and software products are Year 2000 compliant. Junos OS has no known time-related limitations through theyear 2038. However, the NTP application is known to have some difficulty in the year 2036.

ENDUSER LICENSE AGREEMENT

The Juniper Networks product that is the subject of this technical documentation consists of (or is intended for use with) Juniper Networkssoftware. Use of such software is subject to the terms and conditions of the End User License Agreement (EULA) posted athttps://www.juniper.net/support/eula/. By downloading, installing or using such software, you agree to the terms and conditions of thatEULA.

Copyright 2018, Juniper Networks, Inc.ii

https://www.juniper.net/support/eula/

Table of Contents

About the Documentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxiii

Documentation and Release Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxiii

Supported Platforms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxiii

Using the Examples in This Manual . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxiii

Merging a Full Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxiv

Merging a Snippet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxiv

Documentation Conventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxv

Documentation Feedback . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxvii

Requesting Technical Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxvii

Self-Help Online Tools and Resources . . . . . . . . . . . . . . . . . . . . . . . . . xxvii

Opening a Case with JTAC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxviii

Part 1 Basic CoS Configuration

Chapter 1 CoS Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

Overview of Junos OS CoS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

CoS Standards . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

How Junos OS CoS Works . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

Default CoS Behavior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

Overview of Policers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

Policer Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

Policer Types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

Policer Actions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

Policer Colors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

Filter-Specific Policers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

Suggested Naming Convention for Policers . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

Policer Counters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

Policer Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

How Many Policers Are Supported? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

Policers Can Limit Egress Firewall Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

Configuring CoS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

Understanding Junos CoS Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

Code-Point Aliases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

Policers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

Classifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

Forwarding Classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

Forwarding Class Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

Flow Control (Ethernet PAUSE, PFC, and ECN) . . . . . . . . . . . . . . . . . . . . . . . . 19

WRED Profiles and Tail Drop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

Schedulers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

Rewrite Rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

iiiCopyright 2018, Juniper Networks, Inc.

Understanding CoS Packet Flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

Understanding Default CoS Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

Default Forwarding Classes and Queue Mapping . . . . . . . . . . . . . . . . . . . . . . 24

Default Forwarding Class Sets (Priority Groups) . . . . . . . . . . . . . . . . . . . . . . . 25

Default Code-Point Aliases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

Default Classifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

Default Rewrite Rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

Default Drop Profile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

Default Schedulers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

Default Scheduler Maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

Default Shared Buffer Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

CoS Support on QFX Series Switches, EX4600 Switches, and QFabric

Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

CoS Feature Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

Classifier and Rewrite Rule Ethernet Interface Type Support . . . . . . . . . . . . . 38

CoS Operational Comparison Between QFX5100, QFX5200, and QFX5210

Switches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

QFX10000 Switch Classifier and Rewrite Rule Support (Scaling) . . . . . . . . . 43

Chapter 2 CoS on Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

CoS Inputs and Outputs Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

CoS on Virtual Chassis Switch Ports . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

Access Interface CoS Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

Similarities in CoS Support on Virtual Chassis Access Interfaces

Compared to StandaloneDevice (or QFabric systemNode device)

Access Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

Differences in CoS Support on Virtual Chassis Access Interfaces

Compared to StandaloneDevice (or QFabric systemNode device)

Access Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

VCP Interface CoS Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

Similarities inCoSSupportonVCP InterfacesandQFabricSystemNode

Device Fabric Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

Differences in CoS Support on VCP Interfaces and QFabric System

Node Device Fabric Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

CPU-Generated Host Outbound Traffic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

CoS on Virtual Chassis Fabric (VCF) EX4300 Leaf Devices (Mixed Mode) . . . . . . 51

VCF CoS in Mixed Mode with an EX4300 Leaf Device . . . . . . . . . . . . . . . . . . . 51

Scheduling on an EX4300 VCF Leaf Device . . . . . . . . . . . . . . . . . . . . . . . . . . 53

Understanding CoS on OVSDB-Managed VXLAN Interfaces . . . . . . . . . . . . . . . . . 57

Classifier and Rewrite Rule Interface Support . . . . . . . . . . . . . . . . . . . . . . . . . 58

Classifiers on OVSDB-Managed VXLAN Interfaces . . . . . . . . . . . . . . . . . . . . . 59

Classifiers on Access-Facing Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . 59

Classifiers on Network-Facing Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . 59

Rewrite Rules on OVSDB-Managed VXLAN Interfaces . . . . . . . . . . . . . . . . . . 60

Schedulers on OVSDB-Managed VXLAN Interfaces . . . . . . . . . . . . . . . . . . . . 60

Configuring CoS on OVSDB-Managed VXLAN Interfaces . . . . . . . . . . . . . . . . . . . 62

Assigning CoS Components to Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

Copyright 2018, Juniper Networks, Inc.iv

Traffic Management Feature Guide for the QFX Series and EX4600 Switches

Chapter 3 CoS Code-Point Aliases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

Understanding CoS Code-Point Aliases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

Defining CoS Code-Point Aliases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

Monitoring CoS Code-Point Value Aliases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

Chapter 4 CoS Classifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79

Understanding CoS Classifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

Interfaces and Output Queues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

Output Queues for Unicast and Multidestination Traffic . . . . . . . . . . . . . . . . . 81

Classifier Support by Type . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

Behavior Aggregate Classifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

Default Behavior Aggregate Classification . . . . . . . . . . . . . . . . . . . . . . . . 83

Importing a Classifier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

Multidestination Classifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

PFC Priorities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

Fixed Classifiers on Ethernet Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86

Fixed Classifiers on Native Fibre Channel Interfaces (NP_Ports) . . . . . . . . . . 87

Multifield Classifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87

MPLS EXP Classifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88

Packet Classification for IRB Interfaces and RVIs . . . . . . . . . . . . . . . . . . . . . . 88

Defining CoS BA Classifiers (DSCP, DSCP IPv6, IEEE 802.1p) . . . . . . . . . . . . . . . . 89

Example: Configuring Classifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90

Example: Configuring Unicast Classifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93

Example: Configuring Multidestination (Multicast, Broadcast, DLF)

Classifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97

Understanding Host Inbound Traffic Classification . . . . . . . . . . . . . . . . . . . . . . . 100

Configuring a Global MPLS EXP Classifier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100

Monitoring CoS Classifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101

Chapter 5 CoS Rewrite Rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

Understanding CoS MPLS EXP Classifiers and Rewrite Rules . . . . . . . . . . . . . . . 104

EXP Classifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105

EXP Rewrite Rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106

Schedulers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107

Understanding Applying CoS Classifiers and Rewrite Rules to Interfaces . . . . . . 107

Supported Classifier and Rewrite Rule Types . . . . . . . . . . . . . . . . . . . . . . . . . 107

Ethernet Interfaces Supported for Classifier and Rewrite Rule

Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109

Interface Types That Support Classifier and Rewrite Rule

Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109

Classifier and Rewrite Rule Physical and Logical Ethernet Interface

Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110

Routed VLAN Interfaces (RVIs) and Integrated Routing and Bridging

(IRB) Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

Default Classifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

Default Rewrite Rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

vCopyright 2018, Juniper Networks, Inc.

Table of Contents

Classifier Precedence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

Classifier Precedence on Physical Ethernet Interfaces (QFX5200,

QFX5100,EX4600,QFX3500,andQFX3600Switches,andQFabric

Systems) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

Classifier Precedence on Logical Ethernet Interfaces (All Switches) . . . 114

Classifier Behavior and Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

Rewrite Rule Precedence and Behavior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116

Classifier andRewriteRuleConfiguration InteractionwithEthernet Interface

Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116

QFX5100, QFX5200, EX4600, QFX3500, and QFX3600 Switch

Scenarios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

Understanding CoS Rewrite Rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120

Defining CoS Rewrite Rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

Troubleshooting an Unexpected Rewrite Value . . . . . . . . . . . . . . . . . . . . . . . . . . 124

Configuring Rewrite Rules for MPLS EXP Classifiers . . . . . . . . . . . . . . . . . . . . . . . 127

Monitoring CoS Rewrite Rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128

Chapter 6 CoS Forwarding Classes and Forwarding Class Sets . . . . . . . . . . . . . . . . . . . 131

Understanding CoS Forwarding Classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132

Default Forwarding Classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134

Forwarding Class Configuration Rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135

Queue Assignment Rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135

Scheduling Rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136

Rewrite Rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136

Lossless Transport Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137

Defining CoS Forwarding Classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139

Forwarding Policy Options Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141

Configuring CoS-Based Forwarding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142

Example: Configuring CoS-Based Forwarding . . . . . . . . . . . . . . . . . . . . . . . . . . . 145

Example: Configuring Forwarding Classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148

Understanding CoS Forwarding Class Sets (Priority Groups) . . . . . . . . . . . . . . . . 153

Defining CoS Forwarding Class Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155

Example: Configuring Forwarding Class Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155

Monitoring CoS Forwarding Classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159

Chapter 7 Lossless Traffic Flows, Ethernet PAUSE Flow Control, and PFC . . . . . . . . 163

Understanding CoS IEEE 802.1p Priorities for Lossless Traffic Flows . . . . . . . . . . 164

Default Lossless Priority Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164

Configuring Lossless Priorities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167

Configuring Lossless Forwarding Classes (Packet Drop Attribute) . . . . 167

Congestion Notification Profiles (PFC Configuration) . . . . . . . . . . . . . . 169

Configuring DCBX (Application Protocol TLV Exchange) . . . . . . . . . . . . 176

Fate Sharing Among Traffic Classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176

Transit Switch Configuration Versus FCoE-FC Gateway

Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178

Configuration Results and Commit Checks . . . . . . . . . . . . . . . . . . . . . . . 178

Configuration Rules and Recommendations . . . . . . . . . . . . . . . . . . . . . . . . . 180

Lossless Transport Features Introduced in Junos OS Release 12.3 (Legacy

Non-ELS CLI) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181

Copyright 2018, Juniper Networks, Inc.vi


Backward Compatibility with Junos OS Releases Earlier Than Release 12.3

(Legacy Non-ELS CLI) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182

Configuring CoS PFC (Congestion Notification Profiles) . . . . . . . . . . . . . . . . . . . 184

Understanding CoS Flow Control (Ethernet PAUSE and PFC) . . . . . . . . . . . . . . . 187

General Information about Ethernet PAUSE and PFC andWhen to Use

Them . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187

Ethernet PAUSE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188

Symmetric Flow Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189

Asymmetric Flow Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190

PFC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193

Lossless Transport Support Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196

Enabling and Disabling CoS Symmetric Ethernet PAUSE Flow Control . . . . . . . 199

Configuring CoS Asymmetric Ethernet PAUSE Flow Control . . . . . . . . . . . . . . . 200

Understanding PFC Functionality Across Layer 3 Interfaces . . . . . . . . . . . . . . . . 202

Example: Configuring PFC Across Layer 3 Interfaces . . . . . . . . . . . . . . . . . . . . . . 205

Understanding PFC Using DSCP at Layer 3 for Untagged Traffic . . . . . . . . . . . . . 226

Overview of DSCP-based PFC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226

Limitations of DSCP-based PFC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227

Configuring DSCP-based PFC for Layer 3 Untagged Traffic . . . . . . . . . . . . . . . . . 228

Chapter 8 CoS and Host Outbound Traffic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231

Understanding Host Routing Engine Outbound Traffic Queues and Defaults . . . 232

Changing the Host Outbound Traffic Default Queue Mapping . . . . . . . . . . . . . . 234

Part 2 Weighted Random Early Detection (WRED) and ExplicitCongestion Notification (ECN)

Chapter 9 WRED and Drop Profiles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237

Understanding CoS WRED Drop Profiles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238

Drop Profile Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239

Defining Drop Profiles on Switches Except QFX10000 . . . . . . . . . . . . . . . . . 239

Defining Drop Profiles on QFX10000 Switches . . . . . . . . . . . . . . . . . . . . . . . 240

Default Drop Profile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241

Packet Drop Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241

Packet Drop Example for Switches Except QFX10000 . . . . . . . . . . . . . . . . . 241

Drop Profile Maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242

Congestion Prevention . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242

Configuring a WRED Drop Profile and Applying it to an Output Queue . . . . 243

Drop Profiles on Explicit Congestion Notification Enabled Queues . . . . . . . 244

Configuring CoS WRED Drop Profiles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245

Drop Profiles on Switches Except QFX10000 . . . . . . . . . . . . . . . . . . . . . . . . 245

Drop Profiles on QFX 10000 Switches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246

Example: Configuring WRED Drop Profiles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247

Configuring CoS Drop Profile Maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253

Example: Configuring Drop Profile Maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253

viiCopyright 2018, Juniper Networks, Inc.

Table of Contents

Chapter 10 Explicit Congestion Notification (ECN) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257

Understanding CoS Explicit Congestion Notification . . . . . . . . . . . . . . . . . . . . . . 258

How ECN Works . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258

ECN Bits in the DiffServ Field . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259

End-to-End ECN Behavior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260

ECN Compared to PFC and Ethernet PAUSE . . . . . . . . . . . . . . . . . . . . . 262

WRED Drop Profile Control of ECN Thresholds . . . . . . . . . . . . . . . . . . . . . . . 263

Support, Limitations, and Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266

Example: Configuring ECN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267

Data Center Quantized Congestion Notification (DCQCN) . . . . . . . . . . . . . . . . . 272

Understanding Data Center Quantized Congestion Notification

(DCQCN) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273

Configuring Data Center Quantized Congestion Notification (DCQCN) . . . . 274

Part 3 CoSQueueSchedulers, TrafficControl Profiles, andHierarchicalPort Scheduling (ETS)

Chapter 11 Queue Schedulers and Scheduling Priority . . . . . . . . . . . . . . . . . . . . . . . . . . 279

Understanding Default CoS Scheduling and Classification . . . . . . . . . . . . . . . . . 280

Default Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280

Default Scheduling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284

Default DCBX Advertisement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287

Default Scheduling and Classification Summary . . . . . . . . . . . . . . . . . . . . . 288

Understanding CoS Scheduling Behavior and Configuration Considerations . . . 288

Understanding CoS Output Queue Schedulers . . . . . . . . . . . . . . . . . . . . . . . . . . 295

Output Queue Scheduling Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296

Default Schedulers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297

Transmit Rate (Minimum Guaranteed Bandwidth) . . . . . . . . . . . . . . . . . . . . 297

Sharing Extra Bandwidth . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298

Shaping Rate (Maximum Bandwidth) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299

Scheduling Priority . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299

Scheduler Drop-Profile Maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299

Buffer Size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300

Explicit Congestion Notification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301

Scheduler Maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301

Defining CoS Queue Schedulers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302

Example: Configuring Queue Schedulers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305

Defining CoS Queue Scheduling Priority . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312

Example: Configuring Queue Scheduling Priority . . . . . . . . . . . . . . . . . . . . . . . . . 314

Monitoring CoS Scheduler Maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318

Chapter 12 Port Scheduling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321

Understanding CoS Port Schedulers on QFX Switches . . . . . . . . . . . . . . . . . . . . 322

Queue Scheduling Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323

Default Schedulers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325

Scheduling Priority . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326

Copyright 2018, Juniper Networks, Inc.viii


Bandwidth Scheduling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 328

Minimum Guaranteed Bandwidth . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 328

Maximum Bandwidth (Rate Shaping on Low and High Priority Queues

and LAGs) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329

Limiting Bandwidth Consumed by Strict-High Priority Queues . . . . . . 330

Sharing Extra Bandwidth (Excess Rate on Low and High Priority

Queues) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331

Scheduler Drop-Profile Maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332

Buffer Size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333

Explicit Congestion Notification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334

Scheduler Maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334

Defining CoS Queue Schedulers for Port Scheduling . . . . . . . . . . . . . . . . . . . . . . 335

Example: Configuring Queue Schedulers for Port Scheduling . . . . . . . . . . . . . . . 338

Chapter 13 Troubleshooting Egress Bandwidth Issues . . . . . . . . . . . . . . . . . . . . . . . . . . 345

Troubleshooting Egress Bandwidth That Exceeds the Configured Minimum

Bandwidth . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345

Troubleshooting Egress Bandwidth That Exceeds the Configured Maximum

Bandwidth . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346

Troubleshooting Egress Queue Bandwidth Impacted by Congestion . . . . . . . . . 347

Chapter 14 Traffic Control Profiles and Priority Group Scheduling . . . . . . . . . . . . . . . . 349

Understanding CoS Traffic Control Profiles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350

Understanding CoS Priority Group Scheduling . . . . . . . . . . . . . . . . . . . . . . . . . . . 351

Priority Group Scheduling Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352

Default Traffic Control Profile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352

Guaranteed Rate (Minimum Guaranteed Bandwidth) . . . . . . . . . . . . . . . . . 352

Sharing Extra Bandwidth . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353

Shaping Rate (Maximum Bandwidth) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353

Scheduler Maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353

Understanding CoS Virtual Output Queues (VOQs) on QFX10000 Switches . . 355

VOQ Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355

Round-Trip Time Buffering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356

Requesting and Granting Egress Port Bandwidth . . . . . . . . . . . . . . . . . 356

VOQ Advantages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357

Eliminate Head-of-Line Blocking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357

Increase Fabric Efficiency and Utilization . . . . . . . . . . . . . . . . . . . . . . . . 359

Defining CoS Traffic Control Profiles (Priority Group Scheduling) . . . . . . . . . . . 360

Example: Configuring Traffic Control Profiles (Priority Group Scheduling) . . . . . 361

Understanding CoS Priority Group and Queue Guaranteed Minimum

Bandwidth . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364

Guaranteeing Bandwidth Using Hierarchical Scheduling . . . . . . . . . . . . . . . 364

Priority Group Guaranteed Rate (Guaranteed Minimum Bandwidth) . . . . . 366

Queue Transmit Rate (Guaranteed Minimum Bandwidth) . . . . . . . . . . . . . 366

Example: Configuring Minimum Guaranteed Output Bandwidth . . . . . . . . . . . . 367

Understanding CoS Priority Group Shaping and Queue Shaping (Maximum

Bandwidth) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372

Priority Group Shaping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372

Queue Shaping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373

Shaping Maximum Bandwidth Using Hierarchical Scheduling . . . . . . . . . . . 373

ixCopyright 2018, Juniper Networks, Inc.

Table of Contents

Example: Configuring Maximum Output Bandwidth . . . . . . . . . . . . . . . . . . . . . . 374

Chapter 15 Hierarchical Port Scheduling (ETS) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381

Understanding CoS Hierarchical Port Scheduling (ETS) . . . . . . . . . . . . . . . . . . . 381

Hierarchical Scheduling Tiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382

Hierarchical Scheduling and ETS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383

ETS Advertisement in DCBX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384

Hierarchical Scheduling Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384

Strict-High Priority Queues and Hierarchical Scheduling . . . . . . . . . . . . . . . 386

Default Hierarchical Scheduling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386

Example: Configuring CoS Hierarchical Port Scheduling (ETS) . . . . . . . . . . . . . 388

Disabling the ETS Recommendation TLV . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415

Part 4 Data Center Bridging and Lossless FCoE

Chapter 16 Data Center Bridging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 419

Understanding DCB Features and Requirements . . . . . . . . . . . . . . . . . . . . . . . . 420

Lossless Transport . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 420

PFC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421

Buffer Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421

Physical Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421

ETS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421

DCBX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422

Understanding DCBX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423

DCBX Basics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423

DCBX Modes and Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 424

DCBX Modes (Versions) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 424

Autonegotiation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 426

CNA Support for DCBX Modes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 427

Interface Support for DCBX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 427

DCBX Attribute Types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 427

Asymmetric Attributes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 427

Symmetric Attributes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 428

DCBX Application Protocol TLV Exchange . . . . . . . . . . . . . . . . . . . . . . . . . . 428

Application Protocol TLV Exchange . . . . . . . . . . . . . . . . . . . . . . . . . . . . 428

FCoE Application Protocol TLV Exchange . . . . . . . . . . . . . . . . . . . . . . . 428

Disabling Application Protocol TLV Exchange . . . . . . . . . . . . . . . . . . . . 429

DCBX and PFC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 429

DCBX and ETS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 430

Default DCBX ETS Advertisement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 430

ETS Advertisement and Peer Configuration . . . . . . . . . . . . . . . . . . . . . 430

ETS Recommendation TLV . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 431

Configuring the DCBX Mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432

Configuring DCBX Autonegotiation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433

Understanding DCBX Application Protocol TLV Exchange . . . . . . . . . . . . . . . . . 436

Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 436

Application Maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 437

Classifying and Prioritizing Application Traffic . . . . . . . . . . . . . . . . . . . . . . . 438

Enabling Interfaces to Exchange Application Protocol Information . . . . . . . 439

Disabling DCBX Application Protocol Exchange . . . . . . . . . . . . . . . . . . . . . . 439

Copyright 2018, Juniper Networks, Inc.x


Defining an Application for DCBX Application Protocol TLV Exchange . . . . . . . 440

Configuring an Application Map for DCBX Application Protocol TLV

Exchange . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 441

Applying an Application Map to an Interface for DCBX Application Protocol TLV

Exchange . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442

Example: Configuring DCBX Application Protocol TLV Exchange . . . . . . . . . . . . 443

Chapter 17 Lossless FCoE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 455

Example: Configuring CoS PFC for FCoE Traffic . . . . . . . . . . . . . . . . . . . . . . . . . . 455

Example: Configuring CoS for FCoE Transit Switch Traffic Across an MC-LAG . . 465

Example: Configuring CoS Using ELS for FCoE Transit Switch Traffic Across an

MC-LAG . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 490

Example: Configuring Lossless FCoE Traffic When the Converged Ethernet

Network Does Not Use IEEE 802.1p Priority 3 for FCoE Traffic (FCoE Transit

Switch) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 516

Example: Configuring Two or More Lossless FCoE Priorities on the Same FCoE

Transit Switch Interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 525

Example: Configuring Two or More Lossless FCoE IEEE 802.1p Priorities on

Different FCoE Transit Switch Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . 535

Example: Configuring Lossless IEEE 802.1p Priorities on Ethernet Interfaces for

Multiple Applications (FCoE and iSCSI) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 550

Troubleshooting Dropped FCoE Traffic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 570

Part 5 CoS Buffers and the Shared Buffer Pool

Chapter 18 CoS Buffers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 577

Understanding CoS Buffer Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 578

Buffer Pools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 580

Buffer Handling of Lossless Flows (PFC) Versus Ethernet PAUSE . . . . 582

Shared Buffer Pool and Partitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 582

Dedicated Port Buffer Pool and Buffer Allocation to Queues . . . . . . . . 584

Trade-off Between Shared Buffer Space and Dedicated Buffer

Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 587

Order of Buffer Consumption . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 588

Default Buffer Pool Values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 589

Total Buffer Pool Size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 589

Shared Buffer Pool Default Values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 590

Dedicated Buffer Pool Default Values . . . . . . . . . . . . . . . . . . . . . . . . . . 593

SharedBufferConfigurationRecommendations forDifferentNetworkTraffic

Scenarios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 593

Balanced Traffic (Default Configuration) . . . . . . . . . . . . . . . . . . . . . . . . 594

Best-Effort Unicast Traffic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 595

Ethernet PAUSE Traffic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 595

Best-Effort Multicast (Multidestination) Traffic . . . . . . . . . . . . . . . . . . 596

Lossless Traffic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 597

Optimizing Buffer Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 597

xiCopyright 2018, Juniper Networks, Inc.

Table of Contents

General Buffer Configuration Rules and Considerations . . . . . . . . . . . . . . . 599

Configuring Global Ingress and Egress Shared Buffers . . . . . . . . . . . . . . . . . . . . 600

Example: Recommended Configuration of the Shared Buffer Pool for Networks

with Mostly Best-Effort Unicast Traffic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 602


with Mostly Best-Effort Traffic on Links with Ethernet PAUSE Enabled . . . 608

Chapter 19 Shared Buffer Pool . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 615


with Mostly Multicast Traffic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 615


with Mostly Lossless Traffic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 621

Part 6 Configuration Statements and Operational Commands

Chapter 20 Configuration Statements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 631

application (Application Maps) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 634

application (Applications) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 635

application-map . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 636

application-maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 637

applications (Applications) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 638

applications (DCBX) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 639

buffer-partition (Egress) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 640

buffer-partition (Ingress) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 642

buffer-size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 644

cable-length (Congestion Notification) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 649

class (Forwarding Classes) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 650

class (Forwarding Class Sets) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 651

class-of-service . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 652

classifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 656

code-point-aliases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 658

code-point (Input Congestion Notification) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 659

code-point (Output Congestion Notification) . . . . . . . . . . . . . . . . . . . . . . . . . . . 660

code-point (Rewrite Rules) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 661

code-points (Application Maps) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 662

code-points (CoS) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 663

configured-flow-control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 664

congestion-notification-profile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 666

dcbx . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 668

dcbx-version . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 669

destination-port (Applications) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 670

disable (DCBX) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 671

drop-probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 672

drop-profile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 673

drop-profile-map . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 674

drop-profiles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 675

dscp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 676

dscp (Input Congestion Notification) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 678

dscp-ipv6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 679

dscp-code-point . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 680

Copyright 2018, Juniper Networks, Inc.xii


egress (Buffer Configuration) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 681

enhanced-transmission-selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 683

ether-type . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 684

excess-rate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 685

exp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 686

explicit-congestion-notification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 687

fill-level . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 688

flow-control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 690

flow-control-queue (Output Congestion Notification) . . . . . . . . . . . . . . . . . . . . 692

forwarding-class . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 694

forwarding-class (Forwarding Policy) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 695

forwarding-class (Host Outbound Traffic) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 696

forwarding-class-default (Forwarding Policy) . . . . . . . . . . . . . . . . . . . . . . . . . . . 697

forwarding-classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 698

forwarding-class-set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 700

forwarding-class-sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 701

forwarding-policy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 702

guaranteed-rate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 703

host-outbound-traffic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 704

ieee-802.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 705

ieee-802.1 (Input Congestion Notification) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 707

ieee-802.1 (Output Congestion Notification) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 708

import . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 709

ingress (Buffer Configuration) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 710

input (Congestion Notification) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 712

interface (DCBX) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 713

interfaces (Class of Service) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 714

interpolate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 715

loss-priority (Classifiers) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 716

loss-priority (Drop Profiles) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 717

loss-priority (Rewrite Rules) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 718

mru . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 719

multi-destination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 720

next-hop-map . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 721

output (Congestion Notification) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 722

output-traffic-control-profile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 723

pfc (Input Congestion Notification) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 724

pfc-priority . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 725

policy-options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 726

priority (Schedulers) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 727

priority-flow-control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 729

protocol (Applications) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 730

protocol (Drop Profile Map) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 731

queue-num . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 732

recommendation-tlv . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 734

rewrite-rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 735

rx-buffers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 737

scheduler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 738

scheduler-map . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 739

xiiiCopyright 2018, Juniper Networks, Inc.

Table of Contents

scheduler-maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 739

schedulers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 740

shaping-rate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 741

shared-buffer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 743

system-defaults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 745

traceoptions (Class of Service) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 746

traffic-control-profiles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 748

transmit-rate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 749

tx-buffers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 754

unit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 755

Chapter 21 Operational Commands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 757

show class-of-service . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 758

show class-of-service classifier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 763

show class-of-service code-point-aliases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 766

show class-of-service congestion-notification . . . . . . . . . . . . . . . . . . . . . . . . . . 768

show class-of-service drop-profile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 772

show class-of-service forwarding-class . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 775

show class-of-service forwarding-class-set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 778

show class-of-service forwarding-table . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 780

show class-of-service forwarding-table classifier . . . . . . . . . . . . . . . . . . . . . . . . 784

show class-of-service forwarding-table classifier mapping . . . . . . . . . . . . . . . . 786

show class-of-service forwarding-table drop-profile . . . . . . . . . . . . . . . . . . . . . 788

show class-of-service forwarding-table rewrite-rule . . . . . . . . . . . . . . . . . . . . . . 790

show class-of-service forwarding-table rewrite-rule mapping . . . . . . . . . . . . . . 792

show class-of-service forwarding-table scheduler-map . . . . . . . . . . . . . . . . . . . 794

show class-of-service interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 796

show class-of-service multi-destination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 825

show class-of-service rewrite-rule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 827

show class-of-service scheduler-map . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 829

show class-of-service shared-buffer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 832

show class-of-service traffic-control-profile . . . . . . . . . . . . . . . . . . . . . . . . . . . . 835

show dcbx . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 839

show dcbx neighbors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 840

show interfaces queue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 868

show interfaces voq . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 910

Copyright 2018, Juniper Networks, Inc.xiv


List of Figures



Figure 1: Packet Flow Across the Network . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

Figure 2: Flow of Tricolor Marking Policer Operation . . . . . . . . . . . . . . . . . . . . . . . . . 7

Figure 3: CoS Classifier, Queues, and Scheduler . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

Figure 4: Packet Flow Through Configurable CoS Components . . . . . . . . . . . . . . . 23


Figure 5: Sample CoS-Based Forwarding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146


Figure 6: Enabling PFC Across Layer 3 Interface Hops . . . . . . . . . . . . . . . . . . . . . 203

Figure 7: Enabling PFC Across Layer 3 Interface Hops . . . . . . . . . . . . . . . . . . . . . 206


Chapter 9 WRED and Drop Profiles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237

Figure 8: WRED-Drop Profile Packet Drop Pattern . . . . . . . . . . . . . . . . . . . . . . . . 239

Figure 9: WRED Drop Profile Packet Drop Example . . . . . . . . . . . . . . . . . . . . . . . 250


Figure 10: Explicit Congestion Notification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260



Figure 11: Congestion Occurs on EP-2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357

Figure 12: EP-2 Backpressures IP-1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357

Figure 13:Backpressure fromEP-2Causes IP-1 toBufferTraffic InsteadofSending

Traffic, Affecting EP-3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 358

Figure 14: Congestion on EP-2 Clears, Allowing IP-1 to Resume Sending Traffic

to Both Egress Ports . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 358

Figure 15: Each Egress Port Has a Separate Virtual Output Queue on IP-1 . . . . . 358

Figure 16: Congestion on EP-2 Does Not Affect Uncongested Port EP-3 . . . . . . 359

Figure 17: Allocating Guaranteed Bandwidth Using Hierarchical Scheduling . . . 365

Figure 18: Setting Maximum Bandwidth Using Hierarchical Scheduling . . . . . . . 374


Figure 19: Hierarchical Scheduling Tiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383

Figure 20: Hierarchical Scheduling Packet Flow . . . . . . . . . . . . . . . . . . . . . . . . . . 386

xvCopyright 2018, Juniper Networks, Inc.

Figure 21: Hierarchical Port Scheduling Components Block Diagram . . . . . . . . . 393

Figure 22: Hierarchical Port Scheduling Packet Flow Block Diagram . . . . . . . . . . 393



Figure 23: PFC for FCoE Traffic Configuration Components Block Diagram . . . . 458

Figure 24: Supported Topology for an MC-LAG on an FCoE Transit Switch . . . . 467

Figure 25: Supported Topology for an MC-LAG on an FCoE Transit Switch . . . . 492

Figure 26: Topology of the Two Lossless FCoE Priorities Example . . . . . . . . . . . . 537

Figure 27: Topology of the Lossless FCoE and iSCSI Priorities Example . . . . . . . 552

Copyright 2018, Juniper Networks, Inc.xvi


List of Tables

About the Documentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxiii

Table 1: Notice Icons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxv

Table 2: Text and Syntax Conventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxvi



Table 3: Policer Actions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

Table 4: CoS Configuration Tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

Table 5: Default Forwarding Classes and Queue Mapping . . . . . . . . . . . . . . . . . . . 24

Table 6: Default IEEE 802.1 Code-Point Aliases . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

Table 7: Default DSCP and DCSP IPv6 Code-Point Aliases . . . . . . . . . . . . . . . . . . 26

Table 8: Default IEEE 802.1 Classifiers for Ports in TrunkMode or Tagged Access

Mode (Trusted Classifier) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

Table 9: Default IEEE 802.1 Classifiers for Ports in Access Mode (Untrusted

Classifier) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

Table 10: Default IEEE 802.1 Multidestination Classifiers . . . . . . . . . . . . . . . . . . . . 28

Table 11: Default DSCP IP and IPv6 Classifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

Table 12: Default EXP Classifiers on QFX10000 Switches . . . . . . . . . . . . . . . . . . . 30

Table 13: Default Drop Profile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

Table 14: Default Schedulers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

Table 15: Default Scheduler Maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

Table 16: Default Ingress Shared Buffer Configuration . . . . . . . . . . . . . . . . . . . . . . 34

Table 17: Default Egress Shared Buffer Configuration . . . . . . . . . . . . . . . . . . . . . . . 34

Table 18: QFX10000, QFX5100, QFX5200, QFX5210, and EX4600 Switch CoS

Features (As of Software Release 15.1X53-D30) . . . . . . . . . . . . . . . . . . . . . . . 35

Table 19: QFX3500 and QFX3600 Switch, and QFabric System CoS Features

(As of Software Release 15.1X53-D30) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

Table20:Ethernet InterfaceSupport forClassifier andRewriteRuleConfiguration

(QFX10000 Switches) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

Table 21: Ethernet InterfaceSupport forClassifier andRewriteRuleConfiguration

(QFX5100,QFX5200,QFX5210,EX4600,QFX3500,andQFX3600Switches,

and QFabric Systems) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

Table 22: CoS Operational Comparison Between QFX5100, QFX5200, and

QFX5210 Switches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

Table 23: Classifier Support by Classifier Type on QFX10000 Switches . . . . . . . . 43

Table 24: Rewrite Rule Support by Rewrite Rule Type on QFX10000

Switches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

Chapter 2 CoS on Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

Table 25: CoS MappingsInputs and Outputs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

xviiCopyright 2018, Juniper Networks, Inc.

Table 26: Default Forwarding Class Configuration . . . . . . . . . . . . . . . . . . . . . . . . . 47

Table 27: Support ofQFXCoSFeatures on aVCF inMixedModewith anEX4300

Leaf Device . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

Table 28: OSVDB-Managed VXLAN Interface Support for Classifier and Rewrite

Rule Configuration on Network-Facing Interfaces . . . . . . . . . . . . . . . . . . . . . 58

Chapter 3 CoS Code-Point Aliases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

Table 29: Default IEEE 802.1 Code-Point Aliases . . . . . . . . . . . . . . . . . . . . . . . . . . 74

Table 30: Default DSCP and DSCP IPv6 Code-Point Aliases . . . . . . . . . . . . . . . . . 74

Table 31: Summary of Key CoS Value Alias Output Fields . . . . . . . . . . . . . . . . . . . . 77

Chapter 4 CoS Classifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79

Table 32: Classifier Support by Classifier Type . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

Table 33: Default BA Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

Table 34: Default IEEE 802.1p Code Point to PFC Priority, Output Queue, and

Forwarding Class Mapping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

Table 35: ba-classifier Loss Priority Assignments . . . . . . . . . . . . . . . . . . . . . . . . . . 91

Table 36: ba-ucast-classifier Loss Priority Assignments . . . . . . . . . . . . . . . . . . . . 95

Table 37: BA-mcast-classifier Loss Priority Assignments . . . . . . . . . . . . . . . . . . . 98

Table 38: Summary of Key CoS Classifier Output Fields . . . . . . . . . . . . . . . . . . . . 101

Chapter 5 CoS Rewrite Rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

Table 39: Supported Classifiers and Rewrite Rules . . . . . . . . . . . . . . . . . . . . . . . . 107

Table40:Ethernet InterfaceSupport forClassifier andRewriteRuleConfiguration

(QFX5100, QFX5200, EX4600, QFX3500, and QFX3600 Switches, and

QFabric Systems) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

Table41: Ethernet InterfaceSupport forClassifier andRewriteRuleConfiguration

(QFX10000 Switches) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

Table 42: Configuring Rewrite Rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121

Table 43: Summary of Key CoS Rewrite Rule Output Fields . . . . . . . . . . . . . . . . . 128


Table 44: Default Forwarding Classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134

Table 45: Default Forwarding Classes for Multidestination Packets . . . . . . . . . . . 135

Table 46: Forwarding-Class-to-Queue Example Configuration Except on

QFX10000 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151

Table 47: Forwarding-Class-to-Queue Example Configuration on QFX10000 . . 152

Table 48: Components of the Forwarding Class Sets Configuration Example . . . 157

Table 49: Summary of Key CoS Forwarding Class Output Fields on Switches

that Separate Unicast and Multidestination Traffic . . . . . . . . . . . . . . . . . . . . 160

Table 50: Summary of Key CoS Forwarding Class Output Fields on Switches

That Do Not Separate Unicast and Multidestination Traffic . . . . . . . . . . . . . . 161


Table 51: Mapping of Default Forwarding Class to Queue, IEEE 802.1p Priority,

and Drop Attribute . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166

Table52: FCoEandNo-LossForwardingClassConfiguration in JunosOSRelease

12.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169

Table 53: Default Output Flow Control Profile . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174

Table 54: User-Configred Output Flow Control Profile . . . . . . . . . . . . . . . . . . . . . 175

Table 55: Results of Lossless Priority Configuration . . . . . . . . . . . . . . . . . . . . . . . 179

Copyright 2018, Juniper Networks, Inc.xviii


Table 56: Asymmetric Ethernet PAUSE Flow Control Configuration . . . . . . . . . . 190

Table 57: Flow Control State Advertised to the Connected Peer

(Autonegotiation) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191

Table 58: Asymmetric Ethernet PAUSE Behavior on Local and Peer

Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192

Table 59: Default PFC Priority to Queue and Forwarding Class Mapping . . . . . . 194

Table 60: Components of the PFC Across Layer 3 Interfaces Topology . . . . . . . 207

Chapter 8 CoS and Host Outbound Traffic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231

Table 61: Routing Engine Protocol Default Queue Mapping . . . . . . . . . . . . . . . . . 232



Table 62: ECN Bit Codes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259

Table 63: Traffic Behavior on ECN-Enabled Queues . . . . . . . . . . . . . . . . . . . . . . 262

Table 64: Components of the ECN Configuration Example . . . . . . . . . . . . . . . . . 268


Chapter 11 Queue Schedulers and Scheduling Priority . . . . . . . . . . . . . . . . . . . . . . . . . . 279

Table65:Default IEEE802.1Classifiers forPorts inTrunkModeorTagged-Access

Mode (Trusted Classifier) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281

Table 66: Default IEEE 802.1 Classifiers for Ports in Access Mode (Untrusted

Classifier) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282

Table 67: Default IEEE 802.1 Multidestination Classifiers . . . . . . . . . . . . . . . . . . . 282

Table 68: Default DSCP IP and IPv6 Classifiers . . . . . . . . . . . . . . . . . . . . . . . . . . 283

Table 69: Default EXP Classifiers on QFX10000 Switches and NFX Series

Devices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284

Table 70: Default Scheduler Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285

Table 71: Output Queue Scheduler Components . . . . . . . . . . . . . . . . . . . . . . . . . 296

Table 72: Other Scheduling Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297

Table 73: Components of the Queue Scheduler Configuration Example . . . . . . 308

Table 74: Components of the Queue Scheduler Priority Configuration

Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316

Table 75: Summary of Key CoS Scheduler Maps Output Fields . . . . . . . . . . . . . . 318

Chapter 12 Port Scheduling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321

Table 76: Output Queue Scheduler Components . . . . . . . . . . . . . . . . . . . . . . . . . 323

Table 77: Related Scheduling Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324

Table 78: Default Scheduler Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325

Table 79: Components of the Port Output Queue Scheduler Configuration

Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341


Table 80: Priority Group Scheduler Components . . . . . . . . . . . . . . . . . . . . . . . . . 352

Table 81: Other Scheduling Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352

Table 82: Components of the MinimumGuaranteed Output Bandwidth

Configuration Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369

xixCopyright 2018, Juniper Networks, Inc.

List of Tables

Table 83: Components of the MaximumOutput Bandwidth Configuration

Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376


Table 84: Hierarchical Scheduling Tiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382

Table 85: Components of the Hierarchical Port Scheduling (ETS) Configuration

Topology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390


Chapter 16 Data Center Bridging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 419

Table 86: Summary of Differences Between IEEE DCBX and DCBX Version

1.01 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 425

Table 87: Default IEEE802.1 Classifiers for TrunkPorts andTagged-AccessPorts

(Default Trusted Classifier) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445

Table 88: Default IEEE 802.1 Unicast Classifiers for Access Ports (Default

Untrusted Classifier) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445

Table 89: Components of DCBX Application Protocol Exchange Configuration

Topology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446


Table 90: Components of the PFC for FCoE Traffic Configuration Topology . . . 457

Table 91: Components of the CoS for FCoE Traffic Across an MC-LAG

Configuration Topology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 467

Table 92: Components of the CoS for FCoE Traffic Across an MC-LAG

Configuration Topology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492

Table 93: Components of theConfigurationTopology for FCoETraffic ThatDoes

Not Use Priority 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 518

Table 94: Components of the Two Lossless FCoE Priorities on an Interface

Configuration Topology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 527

Table 95: Components of the Two Lossless FCoE Priorities Configuration

Topology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 537

Table 96: Components of the Lossless FCoE and iSCSI Priorities Configuration

Topology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 552

Part 5 CoS Buffers and the Shared Buffer Pool

Chapter 18 CoS Buffers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 577

Table 97: Common Packet Buffer Memory on Switches . . . . . . . . . . . . . . . . . . . 579

Table 98: Default Dedicated Buffer Allocation to Egress Queues (Based on

Default Scheduler) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 585

Table 99: Egress Queue Dedicated Buffer Allocation (Example 1) . . . . . . . . . . . 586

Table 100: Egress Queue Dedicated Buffer Allocation with Another Remainder

Queue (Example 2) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 587

Table 101: QFX5210 Switch Default Shared Ingress Buffer Values (KB) . . . . . . . 590

Table 102: QFX5200-48Y Switch Default Shared Ingress Buffer Values (KB) . . 590

Table 103: QFX5110 and QFX5200-32C Switch Default Shared Ingress Buffer

Values (KB) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 590

Table 104: QFX5100, EX4600, and OCX Series Switch Default Shared Ingress

Buffer Values (KB) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 591

Copyright 2018, Juniper Networks, Inc.xx


Table 105:QFX3500andQFX3600SwitchDefaultShared IngressBufferValues

(KB) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 591

Table 106: Default Shared Ingress Buffer Values (Percentage) . . . . . . . . . . . . . . 591

Table 107: QFX5210 Switch Default Shared Egress Buffer Values (KB) . . . . . . . . 591

Table 108: QFX5200-48Y Switch Default Shared Egress Buffer Values (KB) . . . 591

Table 109: QFX5110 and QFX5200-32C Switch Default Shared Egress Buffer

Values (KB) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 592

Table 110: QFX5100, EX4600, and OCX Series Switch Default Shared Egress

Buffer Values (KB) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 592

Table 111: QFX3500 and QFX3600 Switch Default Shared Egress Buffer Values

(KB) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 592

Table 112: Default Shared Egress Buffer Values (Percentage) . . . . . . . . . . . . . . . 592

Table 113: Default Ingress and Egress Dedicated Buffer Pool Values KB) per

Switch ( . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 593

Table 114: Default Ingress Shared Buffer Configuration . . . . . . . . . . . . . . . . . . . . 595

Table 115: Default Egress Shared Buffer Configuration . . . . . . . . . . . . . . . . . . . . . 595

Table 116: Recommended Ingress Shared Buffer Configuration for Networks

with Mostly Best-Effort Unicast Traffic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 595

Table 117: Recommended Egress Shared Buffer Configuration for Networks with

Mostly Best-Effort Unicast Traffic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 595


with Mostly Best-Effort Traffic and Ethernet PAUSE Enabled . . . . . . . . . . . 596

Table 119: Recommended Egress SharedBuffer Configuration for Networkswith

Mostly Best-Effort Traffic and Ethernet PAUSE Enabled . . . . . . . . . . . . . . . 596


with Mostly Best -Effort Multicast Traffic . . . . . . . . . . . . . . . . . . . . . . . . . . . 596

Table 121: Recommended Egress Shared Buffer Configuration for Networkswith

Mostly Best-Effort Multicast Traffic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 596


with Mostly Lossless Traffic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 597

Table 123: RecommendedEgressSharedBuffer Configuration forNetworkswith

Mostly Lossless Traffic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 597

Table 124: Components of the Recommended Shared Buffer Configuration for

Best-Effort Unicast Network Topologies . . . . . . . . . . . . . . . . . . . . . . . . . . . . 604


Best-Effort Network Topologies with Links Enabled for Ethernet PAUSE . . 610

Chapter 19 Shared Buffer Pool . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 615


Multicast Network Topologies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 617


Lossless Network Topologies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 624

Part 6 Configuration Statements and Operational Commands

Chapter 20 Configuration Statements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 631

Table 128: Default Egress Shared Buffer Partitioning . . . . . . . . . . . . . . . . . . . . . 640

Table 129: Default Ingress Shared Buffer Partitioning . . . . . . . . . . . . . . . . . . . . . 642

Table 130: Default Output Queue Buffer Sizes (QFX10000 Switches) . . . . . . . . 647

xxiCopyright 2018, Juniper Networks, Inc.

List of Tables

Table 131: Default Output Queue Buffer Sizes (QFX5100, EX4600, QFX3500,

and QFX3600 Switches, and QFabric Systems) . . . . . . . . . . . . . . . . . . . . . 648

Table 132: Default Transmit Rates for QFX5100, EX4600, QFX3500, and

QFX3600 Switches, and QFabric Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . 751

Table 133: Default Transmit Rates for QFX10000 Switches . . . . . . . . . . . . . . . . . 752

Chapter 21 Operational Commands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 757

Table 134: show class-of-service Output Fields . . . . . . . . . . . . . . . . . . . . . . . . . . 758

Table 135: show class-of-service classifier Output Fields . . . . . . . . . . . . . . . . . . 763

Table 136: show class-of-service code-point-aliases Output Fields . . . . . . . . . . 766

Table 137: show class-of-service congestion-notification Output Fields . . . . . . 769

Table 138: show class-of-service drop-profile Output Fields . . . . . . . . . . . . . . . . 772

Table 139: show class-of-service forwarding-class Output Fields . . . . . . . . . . . . 775

Table 140: show class-of-service forwarding-class-set Output Fields . . . . . . . . 778

Table 141: show class-of-service forwarding-table classifier Output Fields . . . . 784

Table 142: show class-of-service forwarding-table classifier mapping Output

Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 786

Table 143: show class-of-service forwarding-table drop-profile Output

Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 788

Table 144: show class-of-service forwarding-table rewrite-rule Output

Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 790

Table 145: showclass-of-service forwarding-table rewrite-rulemappingOutput

Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 792

Table 146: show class-of-service forwarding-table scheduler-map Output

Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 794

Table 147: show class-of-service interface Output Fields . . . . . . . . . . . . . . . . . . . 797

Table 148:

Traffic Management Feature Guide for the QFX Series …BufferConfiguration).....681...

Documents

Transcript of Traffic Management Feature Guide for the QFX Series …BufferConfiguration).....681...