L2VPN/EVPN E-BGP Peers Flapping
-
Здравствуйте, У меня возникла проблема с истечением срока действия сеансов BGP. Эта проблема, похоже, решается сама собой через несколько часов/дней, затем все работает стабильно в течение нескольких недель, а потом проблема возникает снова, и я не знаю, что делать. Все сеансы iBGP работают без проблем, только сеансы E-BGP доставляют мне неприятности. Я использую BGP multihop для пиринга с двумя 10-гигабитными каналами и многозональным OSPF-подложкой. Вот что я вижу в журналах 22 мая 24 12:35:51.876119 bgp: [23668] (по умолчанию) ADJ: 122.122.122.122 keepalive timer fired
2022 24 мая 12:35:51.876144 bgp: [23668] (по умолчанию) ADJ: 122.122.122.122 таймер keepalive сработал для однорангового узла
2022 24 мая 12:35:51.876155 bgp: [23668] (по умолчанию) ADJ: 122.122.122.122 отправляет KEEPALIVE
2022 24 мая 12:35:51.876639 bgp: [23668] (по умолчанию) ADJ: 122.122.122.122 следующий срок действия keepalive истекает через 00:00:59 24 мая 2022 г. 12:32:22.329490 bgp: [23668] (по умолчанию) ADJ: 121.121.121.121 таймер keepalive сработал 24 мая
2022 г. 12:32:22.329520 bgp: [23668] (по умолчанию) ADJ: 121.121.121.121 таймер keepalive сработал для однорангового узла
2022 24 мая 12:32:22.329537 bgp: [23668] (по умолчанию) ADJ: 121.121.121.121 отправляет KEEPALIVE
2022 24 мая 12:32:22.330033 bgp: [23668] (по умолчанию) ADJ: 121.121.121.121 следующий срок действия keepalive истекает через 00:00:59 С другой стороны я вижу следующее. 24 мая 2022 г. 12:34:18.077881 bgp: [26672] (по умолчанию) ADJ: 221.221.221.221 таймер keepalive сработал 24 мая
2022 г. 12:34:18.077907 bgp: [26672] (по умолчанию) ADJ: 221.221.221.221 таймер keepalive сработал для однорангового узла
2022 24 мая 12:34:18.077918 bgp: [26672] (по умолчанию) ADJ: 221.221.221.221 отправка KEEPALIVE
2022 24 мая 12:34:18.078387 bgp: [26672] (по умолчанию) ADJ: 221.221.221.221 следующий срок действия keepalive истекает через 00:00:59 24 мая
2022 г. 12:34:18.086460 bgp: [26672] (по умолчанию) ADJ: Peer 221.221.221.221 имеет ожидающие данные в сокете во время recv, продлевая таймер истечения 24
мая 2022 г. 12:34:18.086940 bgp: [26672] (по умолчанию) ADJ: 221.221.221.221 KEEPALIVE rcvd 24 мая 2022 г. 12:34:03.584558 bgp: [26672] (по умолчанию) ADJ: 222.222.222.222 keepalive timer fired
2022 24 мая 12:34:03.584588 bgp: [26672] (по умолчанию) ADJ: 222.222.222.222 таймер keepalive сработал для однорангового узла
2022 24 мая 12:34:03.584598 bgp: [26672] (по умолчанию) ADJ: 222.222.222.222 отправка KEEPALIVE
2022 24 мая 12:34:03.585085 bgp: [26672] (по умолчанию) ADJ: 222.222.222.222 следующий срок действия keepalive истекает через 00:00:59 24 мая
2022 г. 12:34:03.587219 bgp: [26672] (по умолчанию) ADJ: Peer 222.222.222.222 имеет ожидающие данные в сокете во время recv, продлевая таймер истечения 24
мая 2022 г. 12:34:03.587696 bgp: [26672] (по умолчанию) ADJ: 222.222.222.222 KEEPALIVE rcvd Таким образом, сигналы поддержания связи отправляются в обоих направлениях, но принимаются только на одной стороне. Каждый раз, когда другая сторона отправляет сигнал, она получает ошибку: «Имеются ожидающие данные в сокете во время приема, продлевается таймер истечения срока». Это приводит к истечению срока таймеров и началу всего процесса заново. Отношения сайта 1. show bgp l2vpn evpn summary Сводная информация
BGP для VRF по умолчанию, семейство адресов L2VPN EVPN Идентификатор
маршрутизатора BGP 121.121.121.121, локальный номер AS 65001 Версия
таблицы BGP — 879001, L2VPN EVPN config peers 4, capable peers 4
356 сетевых записей и 505 путей, использующих 104744 байт памяти Записи
атрибутов BGP [77/13244], записи путей BGP AS [1/6] Записи
сообществ BGP [0/0], записи кластеров BGP [0/0] Сосед V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd
111.111.111.111 4 65001 80151 67103 879001 0 0 6w5d 118
112.112.112.112 4 65001 69159 64569 879001 0 0 6w5d 89
221.221.221.221 4 65002 130290 71161 879001 0 0 00:00:50 149
222.222.222.222 4 65002 130307 71155 879001 0 0 00:00:05 149 Сайт 2 show bgp l2vpn evpn summary Сводная информация
BGP для VRF по умолчанию, семейство адресов L2VPN EVPN Идентификатор
маршрутизатора BGP 221.221.221.221, локальный номер AS 65002 Версия
таблицы BGP — 52220, L2VPN EVPN config peers 4, capable peers 4
149 сетевых записей и 149 путей, использующих 36356 байт памяти Записи
атрибутов BGP [36/6192], записи путей BGP AS [0/0] Записи
сообществ BGP [0/0], записи кластеров BGP [0/0] Сосед V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd
121.121.121.121 4 65001 48978 46551 52220 0 0 00:01:34 0
122.122.122.122 4 65001 48986 46548 52220 0 0 00:01:16 0
211.211.211.211 4 65002 48500 40812 52220 0 0 4w1d 92
212.212.212.212 4 65002 42174 39843 52220 0 0 4w1d 57 показать запуск bgp маршрутизатор bgp 65002
идентификатор маршрутизатора 221.221.221.221
log-neighbor-changes
address-family ipv4 unicast
address-family l2vpn evpn
retain route-target all
template peer INTER-BGP-PEER
remote-as 65001
update-source loopback0
ebgp-multihop 10
address-family ipv4 unicast
send-community
send-community extended
address-family l2vpn evpn
send-community
send-community extended
route-map NH-Unchanged out
template peer INTRA-BGP-PEER
remote-as 65002
update-source loopback0
address-family ipv4 unicast
send-community
send-community extended
route-reflector-client
address-family l2vpn evpn
send-community
send-community extended
route-reflector-client
neighbor 121.121.121.121
inherit peer INTER-BGP-PEER
remote-as 65001
neighbor 122.122.122.122
inherit peer INTER-BGP-PEER
remote-as 65001
neighbor 211.211.211.211
inherit peer INTRA-BGP-PEER
neighbor 212.212.212.212
inherit peer INTRA-BGP-PEER показать запуск bgp маршрутизатор bgp 65001
router-id 121.121.121.121
log-neighbor-changes
address-family ipv4 unicast
address-family l2vpn evpn
retain route-target all
template peer INTER-BGP-PEER
remote-as 65002
update-source loopback0
ebgp-multihop 10
address-family ipv4 unicast
send-community
send-community extended
address-family l2vpn evpn
send-community
send-community extended
route-map NH-Unchanged out
template peer INTRA-BGP-PEER
remote-as 65001
update-source loopback0
address-family ipv4 unicast
send-community
send-community extended
route-reflector-client
address-family l2vpn evpn
send-community
send-community extended
route-reflector-client
neighbor 111.111.111.111
inherit peer INTRA-BGP-PEER
neighbor 112.112.112.112
inherit peer INTRA-BGP-PEER
neighbor 221.221.221.221
inherit peer INTER-BGP-PEER
remote-as 65002
neighbor 222.222.222.222
inherit peer INTER-BGP-PEER
remote-as 65002 Версия программного обеспечения BIOS: версия 07.69 NXOS: версия 9.3(8) Буду благодарен за любую помощь. Как я уже сказал, проблема исправляется сама собой без каких-либо изменений, но после сбоя я не могу заставить соседей сформироваться. Спасибо -
Как несоответствие MTU между одноранговыми узлами, так и это приводят к огромной загрузке ЦП и зависанию маршрутизатора,
поэтому настройте MSS для tcp
и для spine и leaf. Сначала попробуйте настроить TCP под LO (который вы используете в качестве источника обновлений), если это не поможет
, то вам нужно настроить ip tcp mss в подлежащем интерфейсе, соединяющем leaf с spine (прямого соединения между leaf нет).
Проверьте еще раз с помощью show sockets connection tcp foreign
, чтобы убедиться, что новое значение mtg принято или нет. -
Показать сводку BGP без
OutQ
, чтобы оба пира отправляли и получали keep alive, но сообщение было отброшено в одном направлении
.
Показать краткую информацию о TCP
.
Проверить, что маршрутизатор, который не получает keep alive, использует известный порт TCP 179, а не неизвестный порт.
Это дает нам сигнал о том, что в пути есть FW, который отбрасывает TCP-соединение, и, поскольку KEEPalive не имеет флага SYN, FW отбрасывает его «в одну сторону»,
а затем, после того как оба пира обнаруживают, что TCP не работает, они устанавливают новую TCP-сессию с новым пакетом TCP с флагом SYN, и это позволяет пройти через FW.
Поэтому, в зависимости от вашей топологии, проверьте этот момент.
Примечание: если у вас есть два FW, и IGP перенаправляет трафик с одного FW на другой, вы также столкнетесь с той же проблемой. -
Здравствуйте, Между этими коммутаторами Nexus нет брандмауэра, это x-Connects между стойками DC. Всего пиров 4, установленных пиров 4
ASN 65002
VRF по умолчанию, локальный ASN 65002
пиров 4, установленных пиров 4, локальный идентификатор маршрутизатора 221.221.221.221
Состояние: I-Бездействующий, A-Активный, O-Открытый, E-Установленный, C-Закрывающийся, S-Выключенный Сосед ASN Флапы LastUpDn|LastRead|LastWrit St Порт (L/R) Notif(S/R)
121.121.121.121 65001 1136 00:02:12|00:02:12|00:00:11 E 179/31544 1136/0
122.122.122.122 65001 1136 00:02:00|00:02:00|00:00:59 E 179/45164 1136/0
211.211.211.211 65002 0 4w1d |00:00:51|00:00:02 E 179/31192 0/0
212.212.212.212 65002 0 4w1d |00:00:02|00:00:51 E 179/34865 0/0 Можно увидеть, используя порт 179. Спасибо Льюис -
Есть какие-нибудь идеи? Я действительно ломаю голову над этим.
-
Я не закончил анализ проблемы, но
нестабильная работа BGP Peer может быть вызвана следующими причинами
1-Неправильное обновление BGP 2-Несоответствие
MTU 3- Высокая загрузка ЦП
4-Неправильное регулирование контрольной плоскости
5-Истечение таймера удержания
Согласно информации, которую вы мне предоставили, я пришлю вам план действий, чтобы проверить, какой из пяти факторов вызывает флап BGP.
Но до этого момента вы можете проверить
высокую загрузку ЦП, контроль
контрольной плоскости
и несоответствие MTU.
Для несоответствия MTU просто
выполните ping BGP peer, используя MTU с установленным битом DF, и посмотрите, удался ли ping. -
Здравствуйте, MHM, Таймер удержания истекает из-за невозможности принять сообщения. Вот какую ошибку я получаю. Peer .... имеет ожидающие данные в сокете во время recv, продлевая таймер истечения В настоящее время я использую таймеры по умолчанию, но также пробовал настроить таймеры. В настоящее время у нас есть профиль Copp, установленный на строгий режим на 4 коммутаторах. Это не несоответствие MTU, потому что соединение формируется нормально, просто не удается его поддерживать. Я провел тест ping, чтобы убедиться. ping 222.222.222.222 размер пакета 9000
PING 222.222.222.222 (222.222.222.222): 9000 байт данных
9008 байт от 222.222.222.222: icmp_seq=0 ttl=252 time=3.918 ms
9008 байт от 222.222.222.222: icmp_seq=1 ttl=252 time=3.395 ms
9008 байт от 222.222.222.222: icmp_seq=2 ttl=252 время=3,346 мс
9008 байт от 222.222.222.222: icmp_seq=3 ttl=252 время=3,357 мс
9008 байт от 222.222.222.222: icmp_seq=4 ttl=252 время=3,452 мс Спасибо Льюис -
Пожалуйста, выполните еще один тест пинга,
используя IP-адрес источника BGP Peer IP. -
Сделал еще один # ping 2.2.2.3 источник 121.121.121.121 размер пакета 9000
PING 2.2.2.3 (2.2.2.3) от 121.121.121.121: 9000 байт данных
9008 байт от 2.2.2.3: icmp_seq=0 ttl=252 время=3,873 мс
9008 байт от 2.2.2.3: icmp_seq=1 ttl=252 время=3,468 мс
9008 байт от 2.2.2.3: icmp_seq=2 ttl=252 time=3.379 ms
9008 байт от 2.2.2.3: icmp_seq=3 ttl=252 time=3.379 ms
9008 байт от 2.2.2.3: icmp_seq=4 ttl=252 time=3.44 ms -
time-1 do
show bgp l2vpn evpn summary
для обоих Peer
time-2 do
show bgp l2vpn evpn summary
для обоих peer
Пожалуйста, поделитесь здесь, если можете. -
показать bgp l2vpn evpn summary Сводная информация
BGP для VRF по умолчанию, семейство адресов L2VPN EVPN Идентификатор
маршрутизатора BGP 121.121.121.121, локальный номер AS 65001 Версия
таблицы BGP — 786094, L2VPN EVPN config peers 4, capable peers 4
348 сетевых записей и 491 путей, использующих 102072 байт памяти Записи
атрибутов BGP [73/12556], записи путей BGP AS [1/6] Записи
сообществ BGP [0/0], записи кластеров BGP [0/0] Сосед V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd
111.111.111.111 4 65001 5243 4274 786094 0 0 2d22h 117
112.112.112.112 4 65001 4275 4113 786094 0 0 2d22h 88
221.221.221.221 4 65002 61058 9410 786094 0 0 00:01:41 143
222.222.222.222 4 65002 3759 646 786094 0 0 00:00:01 143 --------------------------- show bgp l2vpn evpn summary Сводная информация
BGP для VRF по умолчанию, семейство адресов L2VPN EVPN Идентификатор
маршрутизатора BGP 122.122.122.122, локальный номер AS 65001 Версия
таблицы BGP — 1686043, L2VPN EVPN config peers 4, capable peers 4
348 сетевых записей и 491 путей, использующих 102072 байт памяти Записи
атрибутов BGP [73/12556], записи путей BGP AS [1/6] Записи
сообществ BGP [0/0], записи кластеров BGP [0/0] Сосед V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd
111.111.111.111 4 65001 85526 71264 1686043 0 0 7w1d 117
112.112.112.112 4 65001 73554 68564 1686043 0 0 7w1d 88
221.221.221.221 4 65002 193260 80898 1686043 0 0 00:02:44 143
222.222.222.222 4 65002 192901 80862 1686043 0 0 00:01:36 143 ---------------------------- show bgp l2vpn evpn summary Сводная информация
BGP для VRF по умолчанию, семейство адресов L2VPN EVPN Идентификатор
маршрутизатора BGP 221.221.221.221, локальный номер AS 65002 Версия
таблицы BGP — 377, L2VPN EVPN config peers 4, capable peers 4
143 сетевых записей и 143 пути, использующие 34892 байт памяти Записи
атрибутов BGP [31/5332], записи пути BGP AS [0/0] Записи
сообщества BGP [0/0], записи кластера BGP [0/0] Сосед V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd
121.121.121.121 4 65001 142 534 377 0 0 00:00:34 0
122.122.122.122 4 65001 145 535 377 0 0 00:00:16 0
211.211.211.211 4 65002 253 218 377 0 0 03:23:49 86
212.212.212.212 4 65002 232 210 377 0 0 03:21:03 57 --------------------------- show bgp l2vpn evpn summary Сводная информация
BGP для VRF по умолчанию, семейство адресов L2VPN EVPN Идентификатор
маршрутизатора BGP 2.2.2.3, локальный номер AS 65002 Версия
таблицы BGP — 407, L2VPN EVPN config peers 4, capable peers 4
143 сетевых записей и 229 путей, использующих 45212 байт памяти Записи
атрибутов BGP [50/8600], записи путей BGP AS [0/0] Записи
сообществ BGP [0/0], записи кластеров BGP [1/8] Сосед V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd
121.121.121.121 4 65001 128 517 407 0 0 00:02:41 0
122.122.122.122 4 65001 140 517 407 0 0 00:02:57 0
211.211.211.211 4 65002 256 216 407 0 0 03:23:37 86
212.212.212.212 4 65002 267 207 407 0 0 03:21:37 143 -
показать bgp l2vpn даже сводку ... 222.222.222.222 4 65002
3759
646 786094 0 0 00:00:01 143 --------------------------- show bgp l2vpn evpn summary
...
222.222.222.222 4 65002
192901
80862 1686043 0 0 00:01:36 143
где другой Peer видит отправку около 50 сообщений, есть несоответствие MTU, одно отправляется с MTU 9000, другое использует по умолчанию 1500, поэтому мы видим много сообщений, полученных между двумя, даже если отправитель показывает около 50 сообщений.
Т.е. 9000 сообщений фрагментируются на много 1500 сообщений. -
рекомендуемая ссылка
ping
{
адрес
назначения
|
имя хоста
} [
количество
{число|
без
ограничений
}] [
df-bit
] [
интервал в секундах
] [
размер пакета в байтах
] [
адрес
источника
] [
время ожидания в секундах
] [
vrf
{
имя
vrf
|по умолчанию|управление}] # ping 2.2.2.3 source 121.121.121.121 packet-size 8500
df-bit<- без этого бита пакет является фрагментом, мы должны убедиться, что ВСЕ ПУТИ имеют MTU 9000 -
Когда я использую df-bit, я все еще могу выполнять ping. ping 2.2.2.3 источник 121.121.121.121 размер пакета 8500 df-bit
PING 2.2.2.3 (2.2.2.3) от 121.121.121.121: 8500 байт данных
8508 байт от 2.2.2.3: icmp_seq=0 ttl=252 time=3.685 ms
8508 байт от 2.2.2.3: icmp_seq=1 ttl=252 time=3.389 ms
8508 байт от 2.2.2.3: icmp_seq=2 ttl=252 time=3.343 ms
8508 байт от 2.2.2.3: icmp_seq=3 ttl=252 time=3.714 ms
8508 байт от 2.2.2.3: icmp_seq=4 ttl=252 time=3.305 ms Как я могу подтвердить, какой MTU используется? -
Для IOS и, я думаю, то же самое для Nexus, Show ip bgp neighbor x.x.x.x Segment show mtu size use to this neighbor
-
Ничего не возвращается, когда я добавляю сегмент include show ip bgp neighbor 121.121.121.121 Сосед
BGP — 121.121.121.121, удаленный AS 65001, связь ebgp, индекс соседа 3
Наследует конфигурацию соседа из шаблона peer-template INTER-BGP-PEER
BGP версии 4, удаленный ID маршрутизатора 121.121.121.121 Предыдущее
состояние соседа = OpenConfirm Состояние
BGP = Established, активен в течение 00:01:03
Сосед vrf: default
Использование loopback3 в качестве источника обновлений для этого соседа
Включить регистрацию событий соседа
Внешний сосед BGP может находиться на расстоянии до 10
прыжков Последнее чтение 00:01:03, время удержания = 180, интервал keepalive составляет 60 секунд
Последнее чтение 00:00:02, истечение таймера keepalive 00:00:57
Получено 188 сообщений, 0 уведомлений, 0 байт в очереди
Отправлено 759 сообщений, 93 уведомления, 0(0) байт в очереди
Расширенная обработка ошибок: 0
отброшенных атрибутов Установлено
94 соединения, отброшено 93
Последний сброс нами 00:01:14, из-за ошибки истечения
времени ожидания Длина последней отправленной ошибки: 0 Отправлено
значение сброса ошибки: 0 Отправлена
ошибка сброса: основная 4, второстепенная 0 Отправлены
данные уведомления:
Последний сброс со стороны партнера никогда, из-за отсутствия ошибки Длина
последней полученной ошибки: 0 Получено
значение сброса ошибки 0 Получена
ошибка сброса major: 0 minor: 0 Получены
данные уведомления: Возможности соседа:
Динамическая возможность: объявлена (mp, refresh, gr) получена (mp, refresh, gr)
Динамическая возможность (старая): объявлена получена Возможность
обновления маршрута (новая): объявлена получена Возможность
обновления маршрута (старая): объявлена получена
4-байтовая возможность AS: объявлена получена
Семейство адресов IPv4 Unicast: объявлено получено
Семейство адресов L2VPN EVPN: объявлено получено
Возможность плавного перезапуска: объявлена получена Параметры плавного перезапуска:
Семейства адресов, объявленные одноранговому узлу:
IPv4 Unicast L2VPN EVPN
Семейства адресов, полученные от однорангового узла:
IPv4 Unicast L2VPN EVPN Состояние
пересылки, сохраняемое одноранговым узлом для:
IPv4 Unicast L2VPN EVPN
Время перезапуска, объявленное одноранговому узлу: 120 секунд
Время устаревания маршрутов, объявленных одноранговым узлом: 300 секунд
Время перезапуска, объявленное одноранговым узлом: 120 секунд
Расширенная возможность кодирования следующего прыжка: объявлено получено
Возможность кодирования следующего прыжка IPv6 для AF:
IPv4 Unicast VPNv4 Unicast Статистика сообщений:
Отправлено Получено
Открытия: 95 94
Уведомления: 93 0
Обновления: 3309 0
Keepalives: 375 94 Обновление
маршрута: 0 0
Возможность: 2 0
Всего: 759 188
Всего байтов: 724366 0
Байты в очереди: 0 0 Для семейства адресов: IPv4 Unicast
BGP таблица версии 187, сосед версии 187
0 принятых префиксов (0 путей), занимающих 0 байт памяти
0 полученных префиксов, обработанных как отозванные
0 отправленных префиксов (0 путей)
Атрибут сообщества, отправленный этому соседу
Расширенный атрибут сообщества, отправленный этому соседу
Последний конец RIB отправлен через 00:00:01 после начала
сеанса Первая конвергенция через 00:00:01 после начала сеанса с 0 отправленными маршрутами Для семейства адресов: L2VPN EVPN
Таблица BGP версии 537, версия соседа 537
0 принятых префиксов (0 путей), занимающих 0 байт памяти
0 полученных префиксов, рассматриваемых как отозванные
146 отправленных префиксов (146 путей)
Атрибут сообщества, отправленный этому соседу
Расширенный атрибут сообщества, отправленный этому соседу
Разрешить мой ASN 3 раза
Рекламировать IP GW включено
Настроенный исходящий маршрутный план — NH-Unchanged, полученный
дескриптор Последний конец RIB отправлен через 00:00:01 после начала
сеанса Первая конвергенция через 00:00:01 после начала сеанса с отправкой 146 маршрутов Локальный хост: 2.2.2.3, локальный порт: 179
Внешний хост: 121.121.121.121, внешний порт: 42575
fd = 74
Здравствуйте! Похоже, вам интересна эта беседа, но у вас пока нет учетной записи.
Вы устали просматривать одни и те же посты каждый раз, когда заходите на сайт? После регистрации, вам не придётся искать обсуждения в которых вы принимали участие, настройте уведомления о новых сообщениях так как вам это удобно (по электронной почте или уведомлением). У вас появится возможность сохранять закладки и ставить лайки постам, чтобы выразить свою благодарность другим участникам сообщества.
С вашими комментариями этот пост может стать ещё лучше 💗
Зарегистрироваться Войти