Post on 10-Sep-2019
Расширенные возможности IOS и IOS-XE для поиска и устранения неисправностейДмитрий Леонтьев
инженер технической поддержки
2© 2018 Cisco and/or its affiliates. All rights reserved.
Проблемы, которые решаются с помощью Cisco TAC• Утечки памяти
• Определение причины крэша
• Аппаратный отказ• Анализ системных сообщений
• Отсутствие функционала
© 2018 Cisco and/or its affiliates. All rights reserved. 5
Проблемы, которые можно решить самостоятельно• Высокая загрузка процессора
• Потери пакетов
• Ошибки в конфигурации• Снижение производительности
• Нестабильная работа виртуальных соединений
• Анализ системных сообщений
• Конфигурирование устройства
© 2018 Cisco and/or its affiliates. All rights reserved. 6
Этапы проведения траблшутинга
8© 2018 Cisco and/or its affiliates. All rights reserved.
Нормальнаяработа?
Известныйсимптом?
Известнаяпричина?
Поискпричины Поисксимптома
Устранениепроблемы
Проблемаустранена?
стоп
нет
нет
нет
да
да
да
да
нет
Устройства, передающие пакеты с помощью центрального процессора
10© 2018 Cisco and/or its affiliates. All rights reserved.
Архитектура маршрутизаторов семейства ISR G1 (Cisco 2800, Cisco 3800), семейства ISR G2 (Cisco 2900, Cisco 3900),маршрутизаторов серии Cisco 7200 и т.д.
PowerSupply
CPU
ROM RAM
Flash BusInterface
Interface Interface
NVRAM
NetworkController
NetworkController
InterfaceNetworkController
SystemBus
Устройства, передающие пакеты с помощью специализированных процессоров
11© 2018 Cisco and/or its affiliates. All rights reserved.
Архитектура маршрутизаторов серии ASR 1000
Route Processor (standby)
RP
Interconn.
Embedded ServicesProcessor(active)
FECP
Interconn.
QFP subsys-tem
Crypto assist
Embedded ServicesProcessor(standby)
FECP
Interconn.
QFP subsystemCrypto
assist
SPASPA
IOCPSPA Agg.
…
Interconn.
SPASPA
IOCPSPA Agg.
…
Interconn.
SPASPA
IOCPSPA Agg.
…
Interconn.
Passive Midplane
Route Processor
(active)
RP
Interconn.
SIPs
Проверка потери пакетовПросмотр статистики на интерфейсах:Router#show interfaces
GigabitEthernet0/1 is up, line protocol is up
...
Input queue: 0/75/25350/0 (size/max/drops/flushes); Total output drops: 0
Queueing strategy: Class-based queueing
Output queue: 0/1000/0 (size/max total/drops)
5 minute input rate 53272000 bits/sec, 13620 packets/sec
5 minute output rate 95490000 bits/sec, 16657 packets/sec
Уменьшение интервала вычисление статистики на интерфейсах:Router(config-if)#load-interval 30
13© 2018 Cisco and/or its affiliates. All rights reserved.
Потеря входящих пакетовПричина потери приходящих пакетов чаще всего связана с проблемами с внутренними ресурсами устройства, которое по тем или иным причинам не успевает обрабатывать приходящие пакеты.Варианты решения проблемы:• Устранить проблемы с загрузкой внутренних компонентов• Увеличить размер очереди для приходящих пакетов
Router(config-if)#hold-queue ?
<0-240000> Queue length
Удалить статистику с интерфейсов после изменения размера очередиRouter#clear counters gigabitEthernet 0/0/0
Clear "show interface" counters on this interface [confirm]
14© 2018 Cisco and/or its affiliates. All rights reserved.
Причины Input errors и Overrun на ASR1000TenGigabitEthernet0/1/0 is up, line protocol is up
...
Input queue: 0/375/0/0 (size/max/drops/flushes); Total output drops: 0
Queueing strategy: fifo Output queue: 0/40 (size/max)
5 minute input rate 6281191000 bits/sec, 927759 packets/sec
5 minute output rate 6552635000 bits/sec, 991723 packets/sec
2739070738313 packets input, 2309716465895527 bytes, 0 no buffer
Received 12 broadcasts (0 IP multicasts)
0 runts, 0 giants, 0 throttles
9439290 input errors, 0 CRC, 0 frame, 9439290 overrun, 0 ignored
15© 2018 Cisco and/or its affiliates. All rights reserved.
Проверка загрузки процессораRouter#show process cpu history
...
111111111111111111111111111111111111111111111111111111111111111111111111
100
90
80
70
60
50
40
30
20
10
0....5....1....1....2....2....3....3....4....4....5....5....6....6....7..
0 5 0 5 0 5 0 5 0 5 0 5 0 CPU% per hour (last 72 hours)
* = maximum CPU% # = average CPU%
16© 2018 Cisco and/or its affiliates. All rights reserved.
Проверка загруженности QFPRouter#show platform hardware qfp active datapath utilization qfp 0
CPP 0: Subdev 0 5 secs 1 min 5 min 60 min
Input: Priority (pps) 1 2 2 2
(bps) 1328 2456 2600 2592
Non-Priority (pps) 1565455 1548418 1537575 1579971
(bps) 10211966456 10092549384 9995467136 10417804608
Total (pps) 1565456 1548420 1537577 1579973
(bps) 10211967784 10092551840 9995469736 10417807200
Output: Priority (pps) 0 0 0 0
(bps) 448 288 288 280
Non-Priority (pps) 1554012 1536990 1526164 1568631
(bps) 10201379664 10082326672 9985229536 10407201256
Total (pps) 1554012 1536990 1526164 1568631
(bps) 10201380112 10082326960 9985229824 10407201536
Processing: Load (pct) 33 32 32 33
17© 2018 Cisco and/or its affiliates. All rights reserved.
Решение проблемы с OverrunНа ESP пакеты уходят с шины в General Packet memory (GPM). Эта память разделена на равные части, привязанных к 16 возможным источникам трафика (input FIFO). Для SPA выделено два канала, низкоприоритетный канал и высокоприоритетный канал. Низкоприоритетному каналу выделено 18.27% GPM и высокоприоритетному каналу выделено 19.24% GPM.
Если пакеты покидают шину, но при этом нет свободного места в GPM, то в этом случае для модуля SPA передается команда удерживать пакеты в буферах на SPA. Если свободное место в буферах закончилось, то в этом случае наблюдаются потери пакетов вида overrun. Пакеты начинают отбрасываться когда GPM израсходована, а SPA передана команда придерживать пакеты. Все это происходит когда загрузка QFP далека от 100%, потому что свободные ресурсы заканчиваются у GPM.
Устранить проблему можно путем использования обеих частей GPM –низкоприоритетной и высокоприоритетной. По умолчанию Ethernet пакеты, с маркировкой CoS 6 и 7, считаются высокоприоритетными.
18© 2018 Cisco and/or its affiliates. All rights reserved.
Потери пакетов на QFPRouter#show platform hardware qfp active statistics drop
-------------------------------------------------------------------------
Global Drop Stats Packets Octets
-------------------------------------------------------------------------
Disabled 13 978
ForUs 39 24849
IpTtlExceeded 492 45165
Ipv4Acl 23231 2625104
Ipv4NoAdj 154710 8595744
Ipv4NoRoute 12 872
Ipv4RoutingErr 7 392
NatOut2in 49537 3071294
QosPolicing 267 166080
Unresolved 41 3378
19© 2018 Cisco and/or its affiliates. All rights reserved.
Механизм IOS-XE Datapath Packet Trace
Cisco добавила механизм packet trace в операционную систему Cisco IOS-XE, начиная с версии 3.11S (15.4(1)S) и последующие. Поддерживается на маршрутизаторах, работающих под управлением операционной системы Cisco IOS-XE, таких как Cisco 1000 Series Aggregation Services Routers (ASR1K), виртуальный маршрутизатор Cisco 1000V Series Cloud Services Router (CSR1000v) и Cisco 4451-X Series Integrated Services Router (ISR4451-X).Чтобы проанализировать путь передачи пакетов на ASR1K необходимо:• Активировать platform conditional debug, чтобы выбрать пакеты или трафик, который
нужно проверить;• Активировать platform packet trace (path-trace или Feature Invocation Array (FIA)).
https://www.cisco.com/c/en/us/support/docs/content-networking/adaptive-session-redundancy-asr/117858-technote-asr-00.html
20© 2018 Cisco and/or its affiliates. All rights reserved.
Определение идентификатора потери пакетаRouter#show platform hardware qfp active statistics drop detail
--------------------------------------------------------------------------------
ID Global Drop Stats Packets Octets
--------------------------------------------------------------------------------
60 IpTtlExceeded 4 416
8 Ipv4Acl 334 33672
92 Ipv4NoAdj 20 2348
19 Ipv4NoRoute 9 728
68 NatOut2in 3571 221402
20 QosPolicing 3 1782
21© 2018 Cisco and/or its affiliates. All rights reserved.
Пример конфигурирования механизма Packet TraceRouter#debug platform packet-trace enable
Router#debug platform packet-trace packet 128 fia-trace data-size 2048
Router#debug platform packet-trace copy packet both size 2048 L2
Router#debug platform packet-trace drop code 68
Router#debug platform condition ipv4 both
Router#debug platform condition start
Router#debug platform condition stop
Router#show platform packet-trace packet all
22© 2018 Cisco and/or its affiliates. All rights reserved.
Анализ результатов работы Packet TracePacket: 0 CBUG ID: 7010196
Summary
Input : GigabitEthernet1/1/1.1341
Output : GigabitEthernet1/1/1.1341
State : DROP 68 (NatOut2in)
Timestamp
Start : 1022626719296956 ns (03/18/2018 04:03:03.800053 UTC)
Stop : 1022626719400712 ns (03/18/2018 04:03:03.800156 UTC)
Path Trace
Feature: IPV4
Source : 172.16.15.116
Destination : 172.16.16.198
Protocol : 6 (TCP)
SrcPort : 135
DstPort : 4575
23© 2018 Cisco and/or its affiliates. All rights reserved.
Анализ результатов работы Packet TraceFeature: FIA_TRACE
Entry : 0x8a005aec - DEBUG_COND_INPUT_PKTLapsed time: 462 ns
Feature: FIA_TRACEEntry : 0x8a005dac - IPV4_INPUT_SRC_LOOKUP_ISSUELapsed time: 88 ns
Feature: FIA_TRACEEntry : 0x8a005ab8 - IPV4_INPUT_DST_LOOKUP_CONSUMELapsed time: 320 ns
Feature: FIA_TRACEEntry : 0x8a005dbc - IPV4_INPUT_ACLLapsed time: 1422 ns
Feature: FIA_TRACEEntry : 0x8a005dc0 - IPV4_INPUT_SRC_LOOKUP_CONSUMELapsed time: 231 ns
Feature: FIA_TRACEEntry : 0x8a005abc - IPV4_INPUT_FOR_US_MARTIANLapsed time: 106 ns
Feature: FIA_TRACEEntry : 0x8a005dec - IPV4_INPUT_FNF_FIRSTLapsed time: 3431 ns
Feature: FIA_TRACEEntry : 0x8a005e4c - IPV4_INPUT_VFRLapsed time: 124 ns
24© 2018 Cisco and/or its affiliates. All rights reserved.
Анализ результатов работы Packet TraceFeature: ALG PARSER
Type : MSRPC ALGCaller : NATAction : DROP
Feature: NATDirection : IN to OUTAction : DropSub-code : 007 - PARSE_ERR
Feature: FIA_TRACEEntry : 0x8a01966c - STILE_LEGACY_DROPLapsed time: 497 ns
Feature: FIA_TRACEEntry : 0x8a0176cc - INGRESS_MMA_LOOKUP_DROPLapsed time: 355 ns
Feature: FIA_TRACEEntry : 0x8a013378 - INPUT_DROP_FNF_AORLapsed time: 1244 ns
Feature: FIA_TRACEEntry : 0x8a00a994 - INPUT_FNF_DROPLapsed time: 13280 ns
Feature: FIA_TRACEEntry : 0x8a01337c - INPUT_DROP_FNF_AOR_RELEASELapsed time: 1368 ns
Feature: FIA_TRACEEntry : 0x8a006444 - INPUT_DROPLapsed time: 71 ns
Feature: FIA_TRACEEntry : 0x8a005e74 - IPV4_NAT_INPUT_FIALapsed time: 85493 ns
25© 2018 Cisco and/or its affiliates. All rights reserved.
26© 2018 Cisco and/or its affiliates. All rights reserved.
NetflowBGPAccountingNBARClassifyMQCClassify
LIFirewall/IDS/Proxy
SecurityACLRPF
MQCMarking
MQCPolicingMACAccountingPrec.Accounting
NATPBRWCCP
ServerLBDialerIDLERst
URD
Firewall/CBACTCPInterceptMQCMarkingIPAccounting
RSVPMQCPolicing
MACAccountingPrecAccounting
URDIPFrag
NetflowFirewall/IDS/Proxy
WCCPNAT
NBARClassifyBGPAccounting
LICrypto
MQCClassifyFWACL&PregenCheck
SecurityACLWREDQueuing
FF
F
F
F
Forwarding
• IPUnicast• Loadbalancing• IPMulticast• MPLSImposit.• MPLSDispos.• MPLSSwitch.• FRR• AToMDispos.• MPLSoGRE
L2/L3Classify
IPv4Validation
IPv6 IPv4 MPLS XConnect L2Switch
Проблемы передачи пакетов между компонентами маршрутизатора
27© 2018 Cisco and/or its affiliates. All rights reserved.
Устройства, передающие пакеты с помощью специализированных процессоров
28© 2018 Cisco and/or its affiliates. All rights reserved.
Архитектура маршрутизаторов серии ASR 1000
Route Processor (standby)
RP
Interconn.
Embedded ServicesProcessor(active)
FECP
Interconn.
QFP subsys-tem
Crypto assist
Embedded ServicesProcessor(standby)
FECP
Interconn.
QFP subsystemCrypto
assist
SPASPA
IOCPSPA Agg.
…
Interconn.
SPASPA
IOCPSPA Agg.
…
Interconn.
SPASPA
IOCPSPA Agg.
…
Interconn.
Passive Midplane
Route Processor
(active)
RP
Interconn.
SIPs
Проверка взаимодействия модулей ASR1000 (Serial Bridge ESI link)Router#show platform hardware slot f1 serdes status brief Slot F1 0,0 Locked -> Slot R1 0,2 Locked Link A 0,1 Locked -> Slot R0 0,2 Locked Link A 0,2 Locked -> Slot F0 0,2 Locked Link A 1,0 Locked -> Slot 3 0,2 Locked Link A 1,1 Locked -> Slot 2 0,2 Locked Link A 1,2 Locked -> Slot 1 0,2 Locked Link A 1,3 Locked -> Slot 0 0,2 Locked Link A 1,5 Locked -> Slot 5 0,2 Locked Link A 1,6 Locked -> Slot 0 0,3 Locked Link B 1,7 Locked -> Slot 1 0,3 Locked Link B
Router#show platform hardware slot 2 serdes status brief Slot 2 0,0 Locked -> Slot F0 1,1 Locked Link A 0,2 Locked -> Slot F1 1,1 Locked Link A
29© 2018 Cisco and/or its affiliates. All rights reserved.
Проверка взаимодействия модулей ASR1000Router#show platform hardware slot f1 serdes statusSlot 2-Link A RX link locked 58-bit scrambler, 100 Gbps0 Overruns, 0 Underruns 292 Reframe, 0 Disparity 0 Out of band, 42034281 Illegal control codes
Router#show platform hardware slot 2 serdes status Slot F0-Link A RX link locked 58-bit scrambler, 100 Gbps0 Overruns, 0 Underruns 0 Reframe, 0 Disparity 0 Out of band, 0 Illegal control codes
Slot F1-Link A RX link locked 58-bit scrambler, 100 Gbps0 Overruns, 0 Underruns 332 Reframe, 0 Disparity 753 Out of band, 1413 Illegal control codes
30© 2018 Cisco and/or its affiliates. All rights reserved.
Причины потери пакетов при отправке
Потери исходящих пакетов происходят из-за перегруженности интерфейсов. Это может произойти, например, если скорость поступления пакетов выше чем возможности исходящего интерфейса, который не может принять все пакеты, которые будут отправлены через него. Самое надежное решение в такой ситуации – это увеличить пропускную способность физической линии.
Однако, в большинстве случаев это сделать невозможно. В этой ситуации необходимо предотвращать, уменьшать или контролировать потери исходящих пакетов. Можно предотвратить потери исходящих пакетов в том случае, если увеличение их количество происходит кратковременно. Если потери пакетов вызваны происходят из-за постоянного высокого уровня передаваемого трафика, то в этом случае невозможно предотвратить потери пакетов.
32© 2018 Cisco and/or its affiliates. All rights reserved.
Проверка потери пакетовRouter>show interface g0/0/0GigabitEthernet0/0/0 is up, line protocol is upMTU 1500 bytes, BW 100000 Kbit/sec, DLY 100 usec,
reliability 255/255, txload 1/255, rxload 1/255Input queue: 0/375/0/0 (size/max/drops/flushes); Total output
drops: 178165Queueing strategy: Class-based queueingOutput queue: 0/40 (size/max)5 minute input rate 5000 bits/sec, 2 packets/sec5 minute output rate 9000 bits/sec, 4 packets/sec856504 packets output, 488952289 bytes, 0 underruns
0 output errors, 0 collisions, 1 interface resets0 unknown protocol drops0 babbles, 0 late collision, 0 deferred0 lost carrier, 0 no carrier, 0 pause output0 output buffer failures, 0 output buffers swapped out
33© 2018 Cisco and/or its affiliates. All rights reserved.
Проверка работы QoS на интерфейсе
34© 2018 Cisco and/or its affiliates. All rights reserved.
BRVIX-ZRH1#sh policy-map int g0/0/0Class-map: class-default (match-any) 643042 packets, 345960498 bytes 5 minute offered rate 6000 bps, drop rate 0000 bps Match: any Queueing queue limit 64 packets(queue depth/total drops/no-buffer drops) 0/178165/0 (pkts output/bytes output) 447171/191473902 bandwidth remaining 9% police:
rate 9 % rate 180000 bps, burst 5625 bytes, peak-burst 5625 bytes
conformed 382611 packets, 100736692 bytes; actions: set-dscp-transmit default
exceeded 8640 packets, 6046644 bytes; actions: transmit
violated 251791 packets, 239177162 bytes; actions: transmit
conformed 3000 bps, exceeded 0000 bps, violated 0000 bps
Embedded Event ManagerEEM (Embedded Event Manager) – встроенный компонент операционных систем Cisco IOS, XE, XR и NX-OS, который облегчает жизнь администратора, позволяя отслеживать и классифицировать события, которые происходят на устройствах, а также обеспечивать уведомления для этих событий. EEM позволяет автоматизировать задачи, выполнять расширения и создавать обходные маршруты решения проблем.
EEM использует детекторы событий и выполняет действия для уведомления об этих событиях.
https://supportforums.cisco.com/document/117596/cisco-eem-basic-overview-and-sample-configurations
36© 2018 Cisco and/or its affiliates. All rights reserved.
Детекторы событий Embedded Event Manager• SNMP – мониторинг объектов SNMP.
• Syslog – реагирует на появление различных сообщений syslog, при этом можно использовать регулярные выражения для поиска совпадений.
• Counter (счетчик) – мониторит и реагирует на превышение значений счетчиков на интерфейсах.
• События CLI – отслеживается CLI ввод с помощью регулярных выражений.
• None – этот детектор событий используется для тестирования скриптов EEM с помощью команды "event manager run".
• Timers (таймеры) - (Countdown, watchdog и CRON)• События IP SLA и Netflow.
37© 2018 Cisco and/or its affiliates. All rights reserved.
Действия Embedded Event Manager
• Отсылает сообщения email
• Выполняет команды cisco
• Генерирует SNMP trap
• Перегружает маршрутизатор
• Генерирует приоритетные сообщения syslog
• Переключается на резервный модуль в системах с избыточностью и отказоустойчивостью
• При наступлении события запрашивает системную информацию (show tech,show proccess cpu history и т.д.)
38© 2018 Cisco and/or its affiliates. All rights reserved.
Пример 1 использования Embedded Event Managerevent manager applet capture_cpu
event snmp oid 1.3.6.1.4.1.9.2.1.56 get-type next entry-op geentry-val 80 exit-time 180 poll-interval 30
action 1.01 cli command "enable"
action 1.02 syslog msg "TEST IN PROGRESS FOR CPU 80%"
action 1.03 cli command "show clock | append bootflash:cpuinfo.log"
action 1.04 cli command "show platform software status control-processor br | append bootflash:cpuinfo.log"
action 1.05 cli command "show process cpu sorted | append bootflash:cpuinfo.log"
39© 2018 Cisco and/or its affiliates. All rights reserved.
Пример 2 использования Embedded Event Managerevent manager applet HSRP_TRACKING authorization bypass
event syslog pattern "state Standby -> Active"
action 0.1 cli command "enable"
action 0.2 cli command "show clock | append bootflash:stat1.txt"
action 0.3 cli command "show process cpu sorted | appendbootflash:stat1.txt"
action 0.4 cli command "show process cpu platform sorted | appendbootflash:stat1.txt"
action 0.5 cli command "show platform hardware qfp active datapathutilization | append bootflash:stat1.txt"
action 0.6 cli command "show interfaces | append bootflash:stat1.txt"
40© 2018 Cisco and/or its affiliates. All rights reserved.
Embedded Packet Capture
После настройки механизм позволяет захватывать пакеты, которые получает или/и отправляет маршрутизатор. Захваченные пакеты накапливаются в буфере в оперативной памяти маршрутизатора и будут потеряны в результате перезагрузки. После захвата пакетов, их можно проанализировать на маршрутизаторе. Кроме этого, данные можно сохранить в формате packet capture (PCAP) file для того чтобы проанализировать более детально с помощью приложения, понимающий данный формат. Механизм конфигурируется в привилегированном режиме и относится к категории временных вспомогательных инструментов. В результате все настройки встроенного механизма захвата пакетов не сохраняются в конфигурации и удаляются после перезагрузки маршрутизатора.
42© 2018 Cisco and/or its affiliates. All rights reserved.
Embedded Packet Capture (старый формат)Настроить фильтр для захвата пакетов
ip access-list extended CONNECT_ACL
permit ip any any
Сконфигурировать захват пакетов
#monitor capture buffer CONNECT_CAPTURE size 4096 max-size 4000 circular
#monitor capture buffer CONNECT_CAPTURE filter access-list CONNECT_ACL
#monitor capture point ip process-switched CONNECT_CAPTURE_POINT both
<#monitor capture point ip cef CONNECT_CAPTURE_POINT GigabitEthernet0/0 both>
#monitor capture point associate CONNECT_CAPTURE_POINT CONNECT_CAPTURE
Начать захват пакетов
#monitor capture point start CONNECT_CAPTURE_POINT
Остановить захват пакетов
#monitor capture point stop CONNECT_CAPTURE_POINT
Скопировать собранную трассу из оперативной памяти на flash0:
#monitor capture buffer CONNECT_CAPTURE export flash0:CONNECT_CPU.pcap
43© 2018 Cisco and/or its affiliates. All rights reserved.
Embedded Packet Capture (новый формат)
#monitor capture cisco interface gigabitEthernet 0/0/0 out
<#monitor capture cisco control-plane both>
#monitor capture cisco buffer circular size 100
#monitor capture cisco match any
Запустить сбор трассы, когда трафик присутствует.#monitor capture cisco start
Остановить сбор трассы через некоторое время:#monitor capture cisco stop
Выгрузить с ASR трассу на TFTP сервер командой #monitor capture cisco export tftp://<IP-addr of TFTP server>/cisco.pcap
<#monitor capture cisco export bootflash:cisco.pcap>
44© 2018 Cisco and/or its affiliates. All rights reserved.
Анализ собранной трассы с помощью WireShark
© 2018 Cisco and/or its affiliates. All rights reserved. 45
Собранный РСАР файл необходимо скопировать с маршрутизатора на компьютер и открыть с помощью программы, понимающую данный формат.
Сообщество Технической поддержки Cisco
https://supportforums.cisco.com
http://russiansupportforum.cisco.com
email:
csc-russian@external.cisco.com
47© 2018 Cisco and/or its affiliates. All rights reserved.