Тодор Лазаров Posted December 23, 2012 Report Share Posted December 23, 2012 (edited) колеги обръщам се за малко помощ Имам следната ситуация: при превишаване на трафика над 150Mbit почва НЕТ-а да лагва. От доставчика взимам 200Мбит така че не би трябвало да съм стигнал тaвана. Нета го взимам по оптика. Схемата е следната - 1 сървер (Dell PowerEdge 1750 cpu 2 x Xeon 3Ghz 2G RAM) с 2 lan cart (Broadcom Corporation NetXtreme BCM5704 Gigabit Ethernet) по едната лан идва НЕТА другата е вързана към VLAN switch Ruby GS-2108C - 1 switch Ruby GS-2108C http://www.videomaxa...idProduct=88719 прикачвам и малко статистика натоварване на cpu натоварване на трафика протокол статистика латенция към dir.bg на сървера e с Debian 5.0.8 kernel 2.6.26-imq-xt-l7 има: - apache2 - не е натоварен - mysql - shaper - 100 опашки - ползвам htb с ifb - bind9 - cacti, smokeping та въпроса е дали машинката е слаба и не издържа Edited December 23, 2012 by Тодор Лазаров Link to comment Share on other sites More sharing options...
gbdesign Posted December 23, 2012 Report Share Posted December 23, 2012 Ако дъното ти поддържа smp_affinity пробвай да разхвърляш натоварването по всичките ядра. Инсталирай htop за да следиш в реално време кой процес, колко CPU взима. Инсталирай вmon, за да виждаш колко трафик минава в реално време, без да товариш CPU-то. Пусни Smokeping до няколко дестинации, на вътре и навън в мрежата ти, за да знаеш ти или доставчика ти се дъните. 1 Link to comment Share on other sites More sharing options...
master Posted December 23, 2012 Report Share Posted December 23, 2012 Аз точно това мислех, сигурен ли си в доставчика си ? Analog Audio™ Link to comment Share on other sites More sharing options...
Administrator Велин Posted December 23, 2012 Administrator Report Share Posted December 23, 2012 или препълваш БГ-то или ИНТернешънала .. Не отговарям на постове написани с шльокавица! Link to comment Share on other sites More sharing options...
Тодор Лазаров Posted December 23, 2012 Author Report Share Posted December 23, 2012 Ако дъното ти поддържа smp_affinity пробвай да разхвърляш натоварването по всичките ядра. Инсталирай htop за да следиш в реално време кой процес, колко CPU взима. Инсталирай вmon, за да виждаш колко трафик минава в реално време, без да товариш CPU-то. Пусни Smokeping до няколко дестинации, на вътре и навън в мрежата ти, за да знаеш ти или доставчика ти се дъните. разхвърлил съм натоварването погледнете графиката на cpu-то въпроса ми беше при този хард колко може да се пренесе Link to comment Share on other sites More sharing options...
Guest Posted December 23, 2012 Report Share Posted December 23, 2012 (edited) Наскоро видях проблем такъв да е от доставчика. Тествай моля те до всеки хоп латенцията по пътя, за да имаш видимост къде е добре и къде става зле. П.С. по-нов кърнъл дали няма да ти намали ЦПУ графиката ? Edited December 23, 2012 by NetworkPro Link to comment Share on other sites More sharing options...
Administrator 111111 Posted December 23, 2012 Administrator Report Share Posted December 23, 2012 Имаш проблем с ланикте или от праисторическия кърнел или от зле компилиран такъв на последната графика дори ти пише че имаш хардуерни грешки инсталирай рестриктед пакета с фирмовете Харесай поста ^^^ Форумът е за взаимопомощ а не за свършване на чужда работа ɹɐǝɥ uɐɔ noʎ ǝɹoɯ ǝɥʇ 'ǝɯoɔǝq noʎ ɹǝʇǝınb ǝɥʇ Link to comment Share on other sites More sharing options...
gbdesign Posted December 23, 2012 Report Share Posted December 23, 2012 E той е с пачван кернел с imq. Ако не го е правил сам, ако обнови кернела, ще загуби шейпъра... Link to comment Share on other sites More sharing options...
Administrator kokaracha Posted December 23, 2012 Administrator Report Share Posted December 23, 2012 Свали си шейпъра и пробвай в почивните дни без него,като си следиш пак трасетата. Този трафик е много малко за тази машина. За да можеш да разпределяш товара по карти и ядра ти трябва кернел 2.6.38 и нагоре. Use since OpenBSD 3.x FreeBSD 4.x Centos 5.x Debian 3.x Ubuntu 7.x Аз съм фен на OpenWRT. Горчивината от лошото качество остава дълго след като е преминало удоволствието от ниската цена. _____________________________ ___|____|____|____|____|____|__ _|____|____|____|____|____|____ ___|____|_ Удряй _|____|____|__ _|____|___ главата ___|____|____ ___|____|_ си тук!! |____|____|__ _|____|____|____|____|____|____ ___|____|____|____|____|____|__ Link to comment Share on other sites More sharing options...
Тодор Лазаров Posted December 24, 2012 Author Report Share Posted December 24, 2012 (edited) Свали си шейпъра и пробвай в почивните дни без него,като си следиш пак трасетата. Този трафик е много малко за тази машина. За да можеш да разпределяш товара по карти и ядра ти трябва кернел 2.6.38 и нагоре. но с изпълнявайки това: #Bind eth to CPU echo 8 > /proc/irq/16/smp_affinity # bind CPU1 eth0 echo 2 > /proc/irq/17/smp_affinity # bind CPU3 eth1 натоварването се разпределя. CPU0 CPU1 CPU2 CPU3 0: 66 0 0 0 IO-APIC-edge timer 1: 2 0 0 0 IO-APIC-edge i8042 6: 3 0 0 0 IO-APIC-edge floppy 8: 2 0 0 0 IO-APIC-edge rtc0 9: 0 0 0 0 IO-APIC-fasteoi acpi 11: 0 0 0 0 IO-APIC-fasteoi ohci_hcd:usb1 12: 4 0 0 0 IO-APIC-edge i8042 14: 0 0 0 0 IO-APIC-edge ide0 15: 84 0 0 0 IO-APIC-edge ide1 [b]16: 2217074 0 0 1457049240 IO-APIC-fasteoi eth0[/b] [b]17: 1084367 489151015 0 0 IO-APIC-fasteoi eth1[/b] 18: 337140964 0 0 0 IO-APIC-fasteoi megaraid NMI: 2 0 0 0 Non-maskable interrupts LOC: 2185391460 3604206534 674192115 1325237716 Local timer interrupts RES: 490765347 631526574 486264160 786168079 Rescheduling interrupts CAL: 785125 972070 1035279 1081777 function call interrupts TLB: 111694165 97793909 118175699 112281854 TLB shootdowns TRM: 0 0 0 0 Thermal event interrupts SPU: 0 0 0 0 Spurious interrupts ERR: 0 MIS: 0 Иначе и при ядра 2.4 има SMP IRQ Affinity https://cs.uwaterloo...MP-affinity.txt ето и какво друго съм добавил: echo "1743087" > /proc/sys/net/nf_conntrack_max echo "1743087" > /proc/sys/net/ipv4/netfilter/ip_conntrack_max echo "16777216" > /proc/sys/net/core/rmem_max echo "16777216" > /proc/sys/net/core/wmem_max echo "4096 87380 16777216" > /proc/sys/net/ipv4/tcp_rmem echo "4096 87380 16777216" > /proc/sys/net/ipv4/tcp_wmem echo "4096" > /proc/sys/net/core/netdev_max_backlog echo "4096" > /proc/sys/net/ipv4/tcp_max_syn_backlog echo "255" > /proc/sys/net/ipv4/ip_default_ttl echo "15" > /proc/sys/kernel/panic echo "1" > /proc/sys/kernel/panic_on_oops Edited December 25, 2012 by 111111 Link to comment Share on other sites More sharing options...
Networker Posted December 24, 2012 Report Share Posted December 24, 2012 Изглежда прекалено натоварена машина само от този трафик. Предполагам, че проблма е от шейпър частта (маркиране/ifb) - инсталирай си oprofile и виж кои процеси колко ти вземат (натоварване). Пробвал ли си с imq за шейпъра (с ifb не съм пробвал). Как насочваш трафика по опашките (mark или)? Пробвай да си добавиш едно програме - irqbalance - балансира прекъсванията (има ефект при многопроцесорни машини). “...ние, можещите водени от незнаещите, вършим невъзможното за кефа на неблагодарните. И сме направили толкова много, с толкова малко, за толкова дълго време, че сме се квалифицирали да правим всичко от нищо...”, Константин Йозеф Иречек, 13.12.1881 г. Link to comment Share on other sites More sharing options...
Administrator kokaracha Posted December 24, 2012 Administrator Report Share Posted December 24, 2012 разхвърлил съм натоварването погледнете графиката на cpu-то въпроса ми беше при този хард колко може да се пренесе Около 3 пъти повече,ако действително е BCM5704 pci-x. Конкретно от тези съм нямал и незная точно pci или pci-x e. Имам BCM572x и нагоре,pci-e са,стари евтини и работещи.При достигане на 350-mb/s почваха леко да дропят,в границите на допустимото.Оказа се бъг в драйвъра,които после остраниха и заради слабия процесор при мен. Със smp_affinity/irqbalance правиш разпределение по процесорите само. От 2.6.35 нагоре има нови техники за разпределениЯ. На тебе ти трябва минимум 2.6.38 за да се възползваш от всички тези нововъведения,отделно по драйвъра е доработено. Кардинално си решаваш проблема с X9SCI-LN4F ,4x1gb 82574L,евтин процесор. http://kernelnewbies.org/Linux_2_6_35#head-94daf753b96280181e79a71ca4bb7f7a423e302a http://lwn.net/Articles/362339/ http://lwn.net/Articles/382428/ http://kernelnewbies.org/Linux_2_6_38#head-3f9849b9abd6e516d0d7f037bff3ce64984ffdd5 Use since OpenBSD 3.x FreeBSD 4.x Centos 5.x Debian 3.x Ubuntu 7.x Аз съм фен на OpenWRT. Горчивината от лошото качество остава дълго след като е преминало удоволствието от ниската цена. _____________________________ ___|____|____|____|____|____|__ _|____|____|____|____|____|____ ___|____|_ Удряй _|____|____|__ _|____|___ главата ___|____|____ ___|____|_ си тук!! |____|____|__ _|____|____|____|____|____|____ ___|____|____|____|____|____|__ Link to comment Share on other sites More sharing options...
MiPSus Posted December 24, 2012 Report Share Posted December 24, 2012 Процесорите под Дебиан ги решаваш автоматично с apt-get install irqbalancer Проблем две ще се реши предполагам със sysctl net.ipv4.netfilter.ip_conntrack_max=256000 Предполагам е пуснат Проблем три ще го решиш със hardware Ruby GS-2108C remove ... и яз можем, и тате може, ма козата си сака пръч! Link to comment Share on other sites More sharing options...
gbdesign Posted December 24, 2012 Report Share Posted December 24, 2012 (edited) irqbalancer както и ръчно сетване на smp_affinity ще имат ефект, само ако се поддържат от дъното и ядрото. С неговото няма да стане. Сложили сте копи/пейст от Ваши конфигурации без да предупредите човека че трябва да се съобрази с определени неща. Примерно irq-тата при него ще са най-вероятно с други номера. После, размера на контракс таблицата зависи от наличната памет, която не е кой знае колко голяма и ако просто е така плясне сетване на sysctl или писане в /proc/sys/net/ipv4... само може да си събори цялата система. Хубаво е питащият да качи iptables-save дъмп, за да може да се види какъв е проблема. Също и част от кернел лога, като интересно е, дали се вдигат софтуерни irq-та, които ще обяснят недвусмислено CPU лоада. С кой драйвер работи мрежовата карта? Оригиналните, но древни атероски или tg3? Edited December 24, 2012 by gbdesign Link to comment Share on other sites More sharing options...
MiPSus Posted December 24, 2012 Report Share Posted December 24, 2012 (edited) Е те толко глупости на едно место не бех очаквал Жоре съпри се бе, личи си че не работиш с Дебиан и че не си минал 2000 абоната преди да напуснеш. А и спомних си , че ти имаше по-големи проблеми от колегата при подобно "натоварване" и се купуваха едни "комбайни" като за НАСА И не аз нямам конфигурации, всичко се пише при старта на рутера и при нужда от нещо , след което си остава с RAM-а , разчитаме на ъптайм Просто пишем наново когато купим нов рутер , винаги има и нещо ново да се добави, и нещо да се забрави. Edited December 24, 2012 by MiPSus ... и яз можем, и тате може, ма козата си сака пръч! Link to comment Share on other sites More sharing options...
Recommended Posts
Create an account or sign in to comment
You need to be a member in order to leave a comment
Create an account
Sign up for a new account in our community. It's easy!
Register a new accountSign in
Already have an account? Sign in here.
Sign In Now