Jump to content

Cisco 4948 broadcast probelm


darkavenger

Recommended Posts

Здравейте , проблема е следния от няколко дена започна да се случва прекъсване на трафика от време на време на опорния суич. Мртг то също отчита прекъсване в трафика за около минута , това почна да се случва няколко пъти на ден през 3- 4 часа. В логовете на суича не пише абсолютно нищо нито има MAC-FLAP , процесс цпу то е на 20% - 22% но все пак на интерфейсите на суича към които са закачени рутерите се отчита дроп на пакети. Забелязах също че потстъпва трафик на машини за които не е предназначен. Пример на машина с ип адрес 10.10.10.1 която няма достъп до интернет защото тя е предназначена да комуникира само с друг адрес от същата мрежа но се намира в влана на мрежата с абонатите ,идват пакети с сорс ип адреса на абонат и дестинеишън адреса на друг абонат от друга мрежа(тази машина няма нищо общос нито една от 2 те мрежи) ,многобройни SYN flood пакети . На рутерите има защита от SYN flood но защо пакетите се разхождат до другите машини , след като не са за тях това ме озадачава , държат се като броодкаст пакети а са уникаст . Явно това срива мрежата по някакъв начин. Пакетите преминават през и през други Cisco switch-ове по пътя но никои не пише нищо обезпокояващо в логовете си. Абонатите са описани по мак адрес на отделните клонове на мрежата , по 20 абоната най-много на порт на Cisco switch.

Ще бъда благодарен ако някой може да помогне !!!

Редактирано от darkavenger
Адрес на коментара
Сподели в други сайтове

Здравей,

Опитал ли си да запишеш трафика и преди и по време на проблема?

Говоря за RSPAN: https://docs.google.com/viewer?a=v&q=cache:VxFFZxlcMcQJ:www.cisco.com/en/US/docs/switches/lan/catalyst4500/12.2/54sg/configuration/guide/span.pdf+&hl=bg&pid=bl&srcid=ADGEESjk06yYDVVkRDPobxw0ZUGicIiDrm_VwA47jwSGNl3R77ZJTJ1obRBUWbggri5XXq3aWpb7L7scdmW6l3--_F7ik-Zk9OVCTB_8YUbzo6TWTiIBBtLLNOYFZAI02HQKYZkC8zlh&sig=AHIEtbSgnxxDG1IdWDm6feW182uY92Iq4A

Ако имаш машина с 2x 10G портове - бих прекарал трафика през тях (случвало се е проблемни пакети да се филтрират на входящия порт и мониторинга да ги изпуска).

Поразгледай кои процеси все пак отнемат най-много ресурси и как е ситуацията с ресурсите в суича.

Адрес на коментара
Сподели в други сайтове

Записвал съм трафика по време и преди проблема. Нищо обезпокоитоелно освен SYN Flood -a който до има и докато няма проблем но явно е по малко и не гъта цялата мрежа. Проблема е защо пакетите се виждат от всички машини все едно нямям switch a HUB и другото интересно е че флууда примерно от дадено ип се вижда с 4 или 5 различни мак адреса за адрес на изпращача въпреки че ип адреса е един , и тези адреси които се виждат са на абонати или на други рутери от мрежата. Лошото е че немога да ги огранича до повтарящи се мак адреси или ИП адреси винаги са различни. Те в даден момент флуди ип адрес 192.168.1.243 примерно като пакетите идват с различни мак адреси , следващия с 192.168.102.23 и пак различни мак адреси а и портовете винаги са различни , и така и така докато явно в един момент всичко се срива за минута и после тръгва отново . Нямам 10Г интерфейси на рутерите затова съм ги прекарал през гигабитови интерфейси. Друго което съм забелязал е че пускам пинг до даден ип адрес от моята мрежа след и след това забелязвам моите пакети да се повтарят многократно из мрежата дори когато съм издърпал кабела на компа от които е пуснат пинга и то с други мак адреси за сорс хоста. Има чувството че имам някъде лооп из мрежата но на всички cisco switch-ове съм пуснал loopguard а нямам никакви логове за лооп освен когато не го създам сам за да тествам какво се случва и дали сработва защитата , и другото основно нещо е че нямам абонат които да не минава поне през един cisco Layer 2 switch преди да стигне до 4849 - ката. Навсякъде ми спрян прокси арпа навсякъде са забранени редиректите на патети ,освен на рутерите на абонатите там не мога да направя нищо, навсякъде имам switchport block mulicatst i unicast , spaning tree-to e настроено коректно за всички Vlan-и , което ме подсеща да спомена че в другите влани не се случва този проблем с прекъсването , само в влана които е за абонатния интернет . Всички суичове след опорните Cisco суичове са на Неомонтана с включен порт влан за да не се виждат абонатите един с друг а на CIsco switch-овете имам включен port protected по същата причина и port-security с описани мак адресите на абонатите от клона. Имам и много Tiny-IP модули за да наблюдавам трасетата ако има паднало такова .

Това е резултата от натоварването на процесора на суича , като хисторито за дененощие не е по различно.

CPU utilization for five seconds: 21%/0%; one minute: 21%; five minutes: 23%

най много ресурси отнема

58 712251 3279152 217 13.99% 11.94% 12.46% 0 Cat4k Mgmt HiPri

14 180200 2335546 77 1.11% 1.13% 1.31% 0 ARP Input

другите са почти на нула

Направо ме побъркава тази ситуация и от къде може да идва проблема !!!

.

ИП адресите които съм дал са примерни, а не реалните публични ИП адреси на абонатите !!!

Редактирано от darkavenger
Адрес на коментара
Сподели в други сайтове

Наличието на loop не би трябвало да води до промяна на mac-а на пакетите. Пробвай в удобно време да ги изключваш един по един по бранчове и така да установиш къде евентуално се намира в дълбочина проблема.

Адрес на коментара
Сподели в други сайтове

  • Администратор

А имаш ли някъде по този влан нат или да мапваш мрежа към мрежа ?

Use since

OpenBSD 3.x

FreeBSD 4.x

Centos 5.x Debian 3.x Ubuntu 7.x

Аз съм фен на OpenWRT.

 

Горчивината от лошото качество остава дълго след като е преминало удоволствието от ниската цена.

_____________________________

___|____|____|____|____|____|__

_|____|____|____|____|____|____

___|____|_ Удряй _|____|____|__

_|____|___ главата ___|____|____

___|____|_ си тук!! |____|____|__

_|____|____|____|____|____|____

___|____|____|____|____|____|__

Адрес на коментара
Сподели в други сайтове

  • Администратор

каква е вероятността да има суич или кабел пълен с вода...

другото което се сещам е саботаж от клиент.

Не отговарям на постове написани с шльокавица!

Адрес на коментара
Сподели в други сайтове

Някой от мрежите в този влан не са публични и правя нат но интерфейсите на рутерите през които се натват са вързани за друга 4948 на routed interface като този влан го няма на другия суич. Естествено абонатите с рутери в мрежата натват вътрешните си мрежи .

Адрес на коментара
Сподели в други сайтове

Разгледай за нещо странно в: show platform cpu packet statistics (разгледай и другите show platform ... - TCAM, ASIC)

Спомена STP-то, че е активно. Как е ситуацията в show spanning-tree summary

Можеш да опиташ да вдигнеш на интерфейсите ip verify unicast reverse-path

Разгледай и тази статия - http://www.ciscopress.com/articles/article.asp?p=336872 , както и тази http://www.cisco.com/en/US/products/hw/switches/ps700/products_tech_note09186a00801d0808.shtml

Адрес на коментара
Сподели в други сайтове

Вероятноста да има вода е голяма и за саботаж съм мислил но как да го хвана от къде идва , немислимо е да гася всичко . Пробвах да гася отделни клонове и проблема се решава не защото е спрял проблема (пакетите още ги има но много по малко ) а защото не са толкова многобройни пакетите и обуръдвнето някак се спрявя с тях. Което ме навежда на мисълта че проблема не идва само от един клон.

Forwarding STPActive

14 vlans 0 0 0 103 103

Това ми дава show platform cpu packet statistics

Packets Dropped In Processing Overall

Total 5 sec avg 1 min avg 5 min avg 1 hour avg

-------------------- --------- --------- --------- ----------

1133 0 0 0 0

Packets Dropped In Processing by CPU event

Event Total 5 sec avg 1 min avg 5 min avg 1 hour avg

----------------- -------------------- --------- --------- --------- ----------

SA Miss 1133 0 0 0 0

Packets Dropped In Processing by Priority

Priority Total 5 sec avg 1 min avg 5 min avg 1 hour avg

----------------- -------------------- --------- --------- --------- ----------

Medium 1133 0 0 0 0

Packets Dropped In Processing by Reason

Reason Total 5 sec avg 1 min avg 5 min avg 1 hour avg

------------------ -------------------- --------- --------- --------- ----------

SrcAddrTableFilt 440 0 0 0 0

STPDrop 690 0 0 0 0

L2DstDrop 3 0 0 0 0

Total packet queues 16

Packets Dropped In Hardware By CPU Subport (txQueueNotAvail)

CPU Subport TxQueue 0 TxQueue 1 TxQueue 2 TxQueue 3

------------ --------------- --------------- --------------- ---------------

0 0 0 0 6414775

Има много дропове на TxQueue 3 6414775

-A POSTROUTING -s 192.168.0.0/16 -o eth0 -j SNAT --to-source ИП така правя нат на линукс машините

Редактирано от darkavenger
Адрес на коментара
Сподели в други сайтове

Виж тук как да прихванеш трафика за процесора - http://www.cisco.com/en/US/products/hw/switches/ps663/products_tech_note09186a00804cef15.shtml

Предполагам си надградил IOS-а с някой последен (не си написал версията), а не е някой от преди 3-4 години?

Адрес на коментара
Сподели в други сайтове

...и другото интересно е че флууда примерно от дадено ип се вижда с 4 или 5 различни мак адреса за адрес на изпращача въпреки че ип адреса е един , и тези адреси които се виждат са на абонати или на други рутери от мрежата. Лошото е че немога да ги огранича до повтарящи се мак адреси или ИП адреси винаги са различни. Те в даден момент флуди ип адрес 192.168.1.243 примерно като пакетите идват с различни мак адреси , следващия с 192.168.102.23 и пак различни мак адреси а и портовете винаги са различни , и така и така докато явно в един момент всичко се срива за минута и после тръгва отново ....

Пробвах да гася отделни клонове и проблема се решава не защото е спрял проблема (пакетите още ги има но много по малко ) а защото не са толкова многобройни пакетите и обуръдвнето някак се спрявя с тях. Което ме навежда на мисълта че проблема не идва само от един клон....

Колко по-малко са пакетите? Прати ми конфиденциален пакет кепчър .pcap снифнат от span-нат порт на networkpro(AT) mikrotik-BG.Net да ги видя тия пакети.

Поздрави.

Прилича на DoS флуд който суичовете прехвърлят защото не знаят къде е дестинейшън мак адреса.

Какво ще кажеш за storm-control unicast ?

Редактирано от NetworkPro
Адрес на коментара
Сподели в други сайтове

ние във обзор 480 клиента онлайн същия проблем оказа са дефектен 1043ND махнахме го и мрежата светна'

Пробвах да гася отделни клонове и проблема се решава не защото е спрял проблема (пакетите още ги има но много по малко ) а защото не са толкова многобройни пакетите

разкачахме трасета намаляваше докато накрая не намерихме на кое трасе е след като му видяхме мака и от кутия на кутия с неомонтански суич

и пикоип с мак сърч

Редактирано от danielskiii
  • Харесай 1
Адрес на коментара
Сподели в други сайтове

Само да вметна че Даниел и компания не са си играли да сменят софтуера на 1043 така че не си правете изводи за хардуера от проблема.

Адрес на коментара
Сподели в други сайтове

странното е че в управляемите суичове делл излизаха 1043-ките с 2-та си мака лан/ван все едно ги меши и от там стаа луп-а

Адрес на коментара
Сподели в други сайтове

Създайте нов акаунт или се впишете, за да коментирате

За да коментирате, трябва да имате регистрация

Създайте акаунт

Присъединете се към нашата общност. Регистрацията става бързо!

Регистрация на нов акаунт

Вход

Имате акаунт? Впишете се оттук.

Вписване
  • Потребители разглеждащи страницата   0 потребители

    • No registered users viewing this page.
×
×
  • Създай нов...

Important Information

By using this site, you agree to our Terms of Use.