darkavenger Posted September 17, 2012 Report Share Posted September 17, 2012 (edited) Здравейте , проблема е следния от няколко дена започна да се случва прекъсване на трафика от време на време на опорния суич. Мртг то също отчита прекъсване в трафика за около минута , това почна да се случва няколко пъти на ден през 3- 4 часа. В логовете на суича не пише абсолютно нищо нито има MAC-FLAP , процесс цпу то е на 20% - 22% но все пак на интерфейсите на суича към които са закачени рутерите се отчита дроп на пакети. Забелязах също че потстъпва трафик на машини за които не е предназначен. Пример на машина с ип адрес 10.10.10.1 която няма достъп до интернет защото тя е предназначена да комуникира само с друг адрес от същата мрежа но се намира в влана на мрежата с абонатите ,идват пакети с сорс ип адреса на абонат и дестинеишън адреса на друг абонат от друга мрежа(тази машина няма нищо общос нито една от 2 те мрежи) ,многобройни SYN flood пакети . На рутерите има защита от SYN flood но защо пакетите се разхождат до другите машини , след като не са за тях това ме озадачава , държат се като броодкаст пакети а са уникаст . Явно това срива мрежата по някакъв начин. Пакетите преминават през и през други Cisco switch-ове по пътя но никои не пише нищо обезпокояващо в логовете си. Абонатите са описани по мак адрес на отделните клонове на мрежата , по 20 абоната най-много на порт на Cisco switch. Ще бъда благодарен ако някой може да помогне !!! Edited September 17, 2012 by darkavenger Link to comment Share on other sites More sharing options...
hgd Posted September 17, 2012 Report Share Posted September 17, 2012 Здравей, Опитал ли си да запишеш трафика и преди и по време на проблема? Говоря за RSPAN: https://docs.google.com/viewer?a=v&q=cache:VxFFZxlcMcQJ:www.cisco.com/en/US/docs/switches/lan/catalyst4500/12.2/54sg/configuration/guide/span.pdf+&hl=bg&pid=bl&srcid=ADGEESjk06yYDVVkRDPobxw0ZUGicIiDrm_VwA47jwSGNl3R77ZJTJ1obRBUWbggri5XXq3aWpb7L7scdmW6l3--_F7ik-Zk9OVCTB_8YUbzo6TWTiIBBtLLNOYFZAI02HQKYZkC8zlh&sig=AHIEtbSgnxxDG1IdWDm6feW182uY92Iq4A Ако имаш машина с 2x 10G портове - бих прекарал трафика през тях (случвало се е проблемни пакети да се филтрират на входящия порт и мониторинга да ги изпуска). Поразгледай кои процеси все пак отнемат най-много ресурси и как е ситуацията с ресурсите в суича. Link to comment Share on other sites More sharing options...
darkavenger Posted September 17, 2012 Author Report Share Posted September 17, 2012 (edited) Записвал съм трафика по време и преди проблема. Нищо обезпокоитоелно освен SYN Flood -a който до има и докато няма проблем но явно е по малко и не гъта цялата мрежа. Проблема е защо пакетите се виждат от всички машини все едно нямям switch a HUB и другото интересно е че флууда примерно от дадено ип се вижда с 4 или 5 различни мак адреса за адрес на изпращача въпреки че ип адреса е един , и тези адреси които се виждат са на абонати или на други рутери от мрежата. Лошото е че немога да ги огранича до повтарящи се мак адреси или ИП адреси винаги са различни. Те в даден момент флуди ип адрес 192.168.1.243 примерно като пакетите идват с различни мак адреси , следващия с 192.168.102.23 и пак различни мак адреси а и портовете винаги са различни , и така и така докато явно в един момент всичко се срива за минута и после тръгва отново . Нямам 10Г интерфейси на рутерите затова съм ги прекарал през гигабитови интерфейси. Друго което съм забелязал е че пускам пинг до даден ип адрес от моята мрежа след и след това забелязвам моите пакети да се повтарят многократно из мрежата дори когато съм издърпал кабела на компа от които е пуснат пинга и то с други мак адреси за сорс хоста. Има чувството че имам някъде лооп из мрежата но на всички cisco switch-ове съм пуснал loopguard а нямам никакви логове за лооп освен когато не го създам сам за да тествам какво се случва и дали сработва защитата , и другото основно нещо е че нямам абонат които да не минава поне през един cisco Layer 2 switch преди да стигне до 4849 - ката. Навсякъде ми спрян прокси арпа навсякъде са забранени редиректите на патети ,освен на рутерите на абонатите там не мога да направя нищо, навсякъде имам switchport block mulicatst i unicast , spaning tree-to e настроено коректно за всички Vlan-и , което ме подсеща да спомена че в другите влани не се случва този проблем с прекъсването , само в влана които е за абонатния интернет . Всички суичове след опорните Cisco суичове са на Неомонтана с включен порт влан за да не се виждат абонатите един с друг а на CIsco switch-овете имам включен port protected по същата причина и port-security с описани мак адресите на абонатите от клона. Имам и много Tiny-IP модули за да наблюдавам трасетата ако има паднало такова . Това е резултата от натоварването на процесора на суича , като хисторито за дененощие не е по различно. CPU utilization for five seconds: 21%/0%; one minute: 21%; five minutes: 23% най много ресурси отнема 58 712251 3279152 217 13.99% 11.94% 12.46% 0 Cat4k Mgmt HiPri 14 180200 2335546 77 1.11% 1.13% 1.31% 0 ARP Input другите са почти на нула Направо ме побъркава тази ситуация и от къде може да идва проблема !!! . ИП адресите които съм дал са примерни, а не реалните публични ИП адреси на абонатите !!! Edited September 17, 2012 by darkavenger Link to comment Share on other sites More sharing options...
solar_sea Posted September 17, 2012 Report Share Posted September 17, 2012 Наличието на loop не би трябвало да води до промяна на mac-а на пакетите. Пробвай в удобно време да ги изключваш един по един по бранчове и така да установиш къде евентуално се намира в дълбочина проблема. Link to comment Share on other sites More sharing options...
Administrator kokaracha Posted September 17, 2012 Administrator Report Share Posted September 17, 2012 А имаш ли някъде по този влан нат или да мапваш мрежа към мрежа ? Use since OpenBSD 3.x FreeBSD 4.x Centos 5.x Debian 3.x Ubuntu 7.x Аз съм фен на OpenWRT. Горчивината от лошото качество остава дълго след като е преминало удоволствието от ниската цена. _____________________________ ___|____|____|____|____|____|__ _|____|____|____|____|____|____ ___|____|_ Удряй _|____|____|__ _|____|___ главата ___|____|____ ___|____|_ си тук!! |____|____|__ _|____|____|____|____|____|____ ___|____|____|____|____|____|__ Link to comment Share on other sites More sharing options...
Administrator Велин Posted September 17, 2012 Administrator Report Share Posted September 17, 2012 каква е вероятността да има суич или кабел пълен с вода... другото което се сещам е саботаж от клиент. Не отговарям на постове написани с шльокавица! Link to comment Share on other sites More sharing options...
darkavenger Posted September 17, 2012 Author Report Share Posted September 17, 2012 Някой от мрежите в този влан не са публични и правя нат но интерфейсите на рутерите през които се натват са вързани за друга 4948 на routed interface като този влан го няма на другия суич. Естествено абонатите с рутери в мрежата натват вътрешните си мрежи . Link to comment Share on other sites More sharing options...
hgd Posted September 17, 2012 Report Share Posted September 17, 2012 Разгледай за нещо странно в: show platform cpu packet statistics (разгледай и другите show platform ... - TCAM, ASIC) Спомена STP-то, че е активно. Как е ситуацията в show spanning-tree summary Можеш да опиташ да вдигнеш на интерфейсите ip verify unicast reverse-path Разгледай и тази статия - http://www.ciscopress.com/articles/article.asp?p=336872 , както и тази http://www.cisco.com/en/US/products/hw/switches/ps700/products_tech_note09186a00801d0808.shtml Link to comment Share on other sites More sharing options...
darkavenger Posted September 17, 2012 Author Report Share Posted September 17, 2012 (edited) Вероятноста да има вода е голяма и за саботаж съм мислил но как да го хвана от къде идва , немислимо е да гася всичко . Пробвах да гася отделни клонове и проблема се решава не защото е спрял проблема (пакетите още ги има но много по малко ) а защото не са толкова многобройни пакетите и обуръдвнето някак се спрявя с тях. Което ме навежда на мисълта че проблема не идва само от един клон. Forwarding STPActive 14 vlans 0 0 0 103 103 Това ми дава show platform cpu packet statistics Packets Dropped In Processing Overall Total 5 sec avg 1 min avg 5 min avg 1 hour avg -------------------- --------- --------- --------- ---------- 1133 0 0 0 0 Packets Dropped In Processing by CPU event Event Total 5 sec avg 1 min avg 5 min avg 1 hour avg ----------------- -------------------- --------- --------- --------- ---------- SA Miss 1133 0 0 0 0 Packets Dropped In Processing by Priority Priority Total 5 sec avg 1 min avg 5 min avg 1 hour avg ----------------- -------------------- --------- --------- --------- ---------- Medium 1133 0 0 0 0 Packets Dropped In Processing by Reason Reason Total 5 sec avg 1 min avg 5 min avg 1 hour avg ------------------ -------------------- --------- --------- --------- ---------- SrcAddrTableFilt 440 0 0 0 0 STPDrop 690 0 0 0 0 L2DstDrop 3 0 0 0 0 Total packet queues 16 Packets Dropped In Hardware By CPU Subport (txQueueNotAvail) CPU Subport TxQueue 0 TxQueue 1 TxQueue 2 TxQueue 3 ------------ --------------- --------------- --------------- --------------- 0 0 0 0 6414775 Има много дропове на TxQueue 3 6414775 -A POSTROUTING -s 192.168.0.0/16 -o eth0 -j SNAT --to-source ИП така правя нат на линукс машините Edited September 17, 2012 by darkavenger Link to comment Share on other sites More sharing options...
hgd Posted September 18, 2012 Report Share Posted September 18, 2012 Виж тук как да прихванеш трафика за процесора - http://www.cisco.com/en/US/products/hw/switches/ps663/products_tech_note09186a00804cef15.shtml Предполагам си надградил IOS-а с някой последен (не си написал версията), а не е някой от преди 3-4 години? Link to comment Share on other sites More sharing options...
Guest Posted September 18, 2012 Report Share Posted September 18, 2012 (edited) ...и другото интересно е че флууда примерно от дадено ип се вижда с 4 или 5 различни мак адреса за адрес на изпращача въпреки че ип адреса е един , и тези адреси които се виждат са на абонати или на други рутери от мрежата. Лошото е че немога да ги огранича до повтарящи се мак адреси или ИП адреси винаги са различни. Те в даден момент флуди ип адрес 192.168.1.243 примерно като пакетите идват с различни мак адреси , следващия с 192.168.102.23 и пак различни мак адреси а и портовете винаги са различни , и така и така докато явно в един момент всичко се срива за минута и после тръгва отново .... Пробвах да гася отделни клонове и проблема се решава не защото е спрял проблема (пакетите още ги има но много по малко ) а защото не са толкова многобройни пакетите и обуръдвнето някак се спрявя с тях. Което ме навежда на мисълта че проблема не идва само от един клон.... Колко по-малко са пакетите? Прати ми конфиденциален пакет кепчър .pcap снифнат от span-нат порт на networkpro(AT) mikrotik-BG.Net да ги видя тия пакети. Поздрави. Прилича на DoS флуд който суичовете прехвърлят защото не знаят къде е дестинейшън мак адреса. Какво ще кажеш за storm-control unicast ? Edited September 18, 2012 by NetworkPro Link to comment Share on other sites More sharing options...
danielskiii Posted September 18, 2012 Report Share Posted September 18, 2012 (edited) ние във обзор 480 клиента онлайн същия проблем оказа са дефектен 1043ND махнахме го и мрежата светна' Пробвах да гася отделни клонове и проблема се решава не защото е спрял проблема (пакетите още ги има но много по малко ) а защото не са толкова многобройни пакетите разкачахме трасета намаляваше докато накрая не намерихме на кое трасе е след като му видяхме мака и от кутия на кутия с неомонтански суич и пикоип с мак сърч Edited September 18, 2012 by danielskiii Link to comment Share on other sites More sharing options...
darkavenger Posted September 18, 2012 Author Report Share Posted September 18, 2012 Аз мисля през ноща да направя това упражнение но при мен сигурно не е един . Link to comment Share on other sites More sharing options...
Guest Posted September 18, 2012 Report Share Posted September 18, 2012 Само да вметна че Даниел и компания не са си играли да сменят софтуера на 1043 така че не си правете изводи за хардуера от проблема. Link to comment Share on other sites More sharing options...
danielskiii Posted September 18, 2012 Report Share Posted September 18, 2012 странното е че в управляемите суичове делл излизаха 1043-ките с 2-та си мака лан/ван все едно ги меши и от там стаа луп-а Link to comment Share on other sites More sharing options...
Recommended Posts
Create an account or sign in to comment
You need to be a member in order to leave a comment
Create an account
Sign up for a new account in our community. It's easy!
Register a new accountSign in
Already have an account? Sign in here.
Sign In Now