Nexus 9K + FEX TX Pause

[morabusa]

Здравствуйте, я получаю огромное количество TX Pause в некоторых из моих интерфейсов хоста (HIF) и не могу найти причину этой проблемы. У нас есть 8 интерфейсов Fabric и всего 11 HIF (все интерфейсы TenGiga), и мои интерфейсы uplink, похоже, не загружены более чем на 30-40%. Хеш Port Channel — это IP-адрес источника — IP-адрес назначения (то же самое для MAC). Я думаю, что, возможно, что-то не так с распределением нагрузки для интерфейсов FEX uplink, и один или два из них в конечном итоге перегружаются. Есть ли способ устранить неполадки NIF (
физические интерфейсы uplink на FEX)? Большое спасибо.

[Sergiu.Daniluk]

Привет
[, @morabusa] В ссылках, на которые я ссылался в предыдущем посте, есть схема, показывающая, как выглядит внутренняя архитектура вашей модели N2K: ![200265-Troubleshooting-Fabric-Extender-FEX-Pe-02] Для стороны HIF есть 4 подсистемы. Вы должны распределить HIF по этим подсистемам. В другой ссылке есть дополнительные рекомендации о том, как избежать падения трафика из-за всплесков, в частности на 2232: Выводы и лучшие практики 1. TX Pause — это нормальный механизм работы, позволяющий избежать потери пакетов в 2232/2248UPQ/B22 FEX. 2. Максимизируйте количество восходящих каналов между 2232/2248UPQ/B22 FEX и родительским устройством. Это позволит иметь больше путей к сети, а также поможет обеспечить максимальные буферы для трафика N2H. 3. Если восходящие каналы между FEX и родительским устройством используются неравномерно, может помочь изменение хеширования портов. 4. Поскольку на FEX нет локального коммутации, избегайте профилей трафика восток-запад на хостах на FEX. 5. Избегайте использования устройств с высокой нагрузкой, таких как NAS-устройства и блейд-шасси на FEX. Они должны находиться на родительском устройстве. 6. Новый FEX 2348UPQ с общим буфером 32 МБ имеет общий буфер 1 МБ на HIF для трафика H2N, что обеспечивает лучшее поглощение всплесков. Кроме того, с восходящими каналами 40G NIF вероятность коллизий хеширования/перегрузки восходящего канала значительно минимизируется. Я рекомендую прочитать полный документ, чтобы понять причины этих рекомендаций. Будьте в безопасности, Серджиу

[Sergiu.Daniluk]

Привет
[, @morabusa] TX Pause frames на портах HIF означает, что сервер отправляет пакеты трафика, что приводит к исчерпанию буфера FEX. Это не связано с использованием восходящего канала (NIF). Для решения этой проблемы у вас есть два варианта: 1. Включите контроль потока на стороне сервера и убедитесь, что он учитывает кадры паузы, полученные от FEX. 2. Распределите 11 HIF по портам FEX. По сути, избегайте расположения всех 11 портов подряд (Eth111/1/10-20), а лучше расположите их примерно так: Eth111/1/1, Eth111/1/5, Eth111/1/9... и т. д. Более подробную информацию и доступные команды tshoot для FEX можно найти здесь: https://www.cisco.com/c/en/us/support/docs/switches/nexus-2000-series-fabric-extenders/200260-Troubleshooting-Tx-Pauses-on-Nexus-2232.html https://www.cisco.com/c/en/us/support/docs/switches/nexus-2000-series-fabric-extenders/200265-Troubleshooting-Fabric-Extender-FEX-Pe.html Будьте осторожны, Серджиу

[morabusa]

Большое спасибо. Еще один вопрос: есть ли способ проверить, как порты FEX привязаны к портам uplink? Мы используем статическую привязку (max-links 1), и я хотел бы проверить, какие порты HIF используют один и тот же NIF. EDIT: Уплинки сгруппированы в портовом канале, поэтому я думаю, что все интерфейсы HIF видят 8 уплинков как один локальный уплинк, и все HIF используют буфер 8 NIF (1 логический интерфейс), верно? С уважением.

[Sergiu.Daniluk]

Если порты FEX Fabric (порты на родительском коммутаторе) настроены в виде портового канала, то с точки зрения FEX будет один логический восходящий канал, а трафик будет распределяться по всем NIF. В качестве рекомендации никогда не используйте статический режим привязки и портовый канал — это наиболее неэффективная конфигурация. Кроме того, она не поддерживается на 7k/9k. С уважением, Серджиу

[morabusa]

Итак, просто для подтверждения: если я использую соединение Port Channel Fabric Interface (все NIF в одном Port Channel), то нет никаких проблем, если я подключаю HIF один за другим с помощью устройства FEX N2K-C2232PP-10GE
(например: Eth111/1/10-20)
, верно? Или все же лучше разделить HIF (я не смог найти никакой информации об этом при использовании NIF port-channel). Я читал, что N2K-C2232PP-10GE имеет только один ASIC, поэтому я полагаю, что при использовании NIF port channel способ подключения HIF не изменится, но я не совсем уверен в этом. Большое спасибо за помощь! С уважением.