Натоварен ли е сървера ???

[Тодор Лазаров]

Е те толко глупости на едно место не бех очаквал Жоре съпри се бе, личи си че не работиш с Дебиан и че не си минал 2000 абоната преди да напуснеш.

А и спомних си , че ти имаше по-големи проблеми от колегата при подобно "натоварване" и се купуваха едни "комбайни" като за НАСА

И не аз нямам конфигурации, всичко се пише при старта на рутера и при нужда от нещо , след което си остава с RAM-а , разчитаме на ъптайм Просто пишем наново когато купим нов рутер , винаги има и нещо ново да се добави, и нещо да се забрави.

shaper-a го правя така

http://vcalinus.gemenii.ro/

драйверите на картата сa

eth0: Tigon3 [partno(BCM95704A6) rev 2002 PHY(5704)] (PCIX:133MHz:64-bit) 10/100/1000Base-T Ethernet 00:0f:1f:67:51:f0

iptables -t nat -nL | wc -l

147

iptables -nL | wc -l

27

прикачвам и филтъра на shaper-a

tc.txt

Редактирано 24 Декември, 2012 от Тодор Лазаров

[gbdesign]

Е те толко глупости на едно место не бех очаквал Жоре съпри се бе, личи си че не работиш с Дебиан и че не си минал 2000 абоната преди да напуснеш.

А и спомних си , че ти имаше по-големи проблеми от колегата при подобно "натоварване" и се купуваха едни "комбайни" като за НАСА

Като напуснах, имах един бордер рутер, 2 акаунтинг рутера, един резерва, един билинг сървър и един уеб сървър, който правеше и мониторинг на мрежата. първите 4 бяха по 1800 лв. парчето, останалите доста по-евтини. Все-пак мрежата беше от единият до другият си край, над 20 км. Имаше и 30-тина училища, във всяко с по ~30-тина бъкани от вируси компютри, от които им забиваха Циско-та за по ~1800 лв. .В сегашната ми работа, последните 3 сървъра които купих са за над 5 К лв. парчето, така че нещата са несравними. Доста съм сигурен че всичкото, което написах е вярно.

Както и да е, весело изкарване на празниците и дано скоро се видим, на по ракия или в краен случай на кафе. Рано или късно ще бачкаме пак заедно

[MiPSus]

Добре бе Пампоровец , като сперш шейпърите , какво се получава. Пробвай поне за 12 часа и дай графиките.

Дай резултата от :

sysctl -a | grep "net.ipv4.netfilter"

и един скрииншот от htop в по-натоварен момент

[NetworkPro]

За тест - с RouterOS (6rc6+) да се види грешки на интерфейсите и ЦПУ. Колегата по-горе препоръчва смяна на суича?

За Linux забавленията - като цяло съм съгласен : IRQ-тата на NICs - ръчно на двата отделни процесора, и след това да се гледа с разни инструменти какво прави CPU. Драйверите на NICs да се погледнат (показаното горе от Тодор не дава информация за драйвера). И най-вече кърнъла - аз харесвам версия 3.3+ Останалите tweaks може след тези работи.

P.S. аз обръщам внимание и на мрежовия трафик при такива проблеми - колко идва до рутера и дали пак толкова излиза от него. Ако не съотвества - може да се наложи да се нулрутне или блекхолне нещо.

Редактирано 25 Декември, 2012 от NetworkPro

[111111]

Само за пробата ,защо не изтеглиш restricted-firmware пакета от най актуалната версия, и не го заместиш с актуалния за праисторическия ти кърнел?

[Тодор Лазаров]

Добре бе Пампоровец , като сперш шейпърите , какво се получава. Пробвай поне за 12 часа и дай графиките.

Дай резултата от :

sysctl -a | grep "net.ipv4.netfilter"

и един скрииншот от htop в по-натоварен момент

net.ipv4.netfilter.ip_conntrack_generic_timeout = 600

net.ipv4.netfilter.ip_conntrack_tcp_timeout_syn_sent = 120

net.ipv4.netfilter.ip_conntrack_tcp_timeout_syn_recv = 60

net.ipv4.netfilter.ip_conntrack_tcp_timeout_established = 432000

net.ipv4.netfilter.ip_conntrack_tcp_timeout_fin_wait = 120

net.ipv4.netfilter.ip_conntrack_tcp_timeout_close_wait = 60

net.ipv4.netfilter.ip_conntrack_tcp_timeout_last_ack = 30

net.ipv4.netfilter.ip_conntrack_tcp_timeout_time_wait = 120

net.ipv4.netfilter.ip_conntrack_tcp_timeout_close = 10

net.ipv4.netfilter.ip_conntrack_tcp_timeout_max_retrans = 300

net.ipv4.netfilter.ip_conntrack_tcp_loose = 1

net.ipv4.netfilter.ip_conntrack_tcp_be_liberal = 0

net.ipv4.netfilter.ip_conntrack_tcp_max_retrans = 3

net.ipv4.netfilter.ip_conntrack_udp_timeout = 30

net.ipv4.netfilter.ip_conntrack_udp_timeout_stream = 180

net.ipv4.netfilter.ip_conntrack_icmp_timeout = 30

net.ipv4.netfilter.ip_conntrack_max = 1743087

net.ipv4.netfilter.ip_conntrack_count = 375725

net.ipv4.netfilter.ip_conntrack_buckets = 16384

net.ipv4.netfilter.ip_conntrack_checksum = 1

net.ipv4.netfilter.ip_conntrack_log_invalid = 0

в момента съм спрял shaper за bg/int и има само тотален на клиент

cpu-to падна с 10%

Редактирано 25 Декември, 2012 от Тодор Лазаров

[MiPSus]

700-800 маймунки активни ли има?

Шейпъра свали само 10% от кой процесор ? Виждам по горе че от 4-те CPU 3 ти е на вътрешната ЛАН карта а CPU 1 на външната, съответно CPU 0 и 2 седят за украса.

Единственият ти вариянт да разхвърляш динамично прекъсванията на двете карти върху 4-те ядра е просто да инсталираш irqbalancer , дал съм ти по горе.

Прави впечатление че

net.ipv4.netfilter.ip_conntrack_max = 1743087

net.ipv4.netfilter.ip_conntrack_count = 375725

Ако не е нужно (мисля че не е ) намали паметта за връзките от 1743087 на 512000 примерно и си следи дали ги достига.

А и друго, тази графика на процесорното натоварване която си дал те подвежда, натоварването практически е по-малко.

Инсталирай си HTOP и виж , примерно това е дебина с някъв измекярски хардуер и 40% от твоята клиентела:

Intel® Pentium® Dual CPU E2140 @ 1.60GHz

01:00.0 Ethernet controller: Intel Corporation 82540EM Gigabit Ethernet Controller (rev 02)

01:01.0 Ethernet controller: Intel Corporation 82540EM Gigabit Ethernet Controller (rev 02)

02:00.0 Ethernet controller: Atheros Communications L1 Gigabit Ethernet (rev b0)

Редактирано 25 Декември, 2012 от MiPSus

[Тодор Лазаров]

700-800 маймунки активни ли има?

Шейпъра свали само 10% от кой процесор ? Виждам по горе че от 4-те CPU 3 ти е на вътрешната ЛАН карта а CPU 1 на външната, съответно CPU 0 и 2 седят за украса.

Единственият ти вариянт да разхвърляш динамично прекъсванията на двете карти върху 4-те ядра е просто да инсталираш irqbalancer , дал съм ти по горе.

Прави впечатление че

net.ipv4.netfilter.ip_conntrack_max = 1743087

net.ipv4.netfilter.ip_conntrack_count = 375725

Ако не е нужно (мисля че не е ) намали паметта за връзките от 1743087 на 512000 примерно и си следи дали ги достига.

А и друго, тази графика на процесорното натоварване която си дал те подвежда, натоварването практически е по-малко.

Инсталирай си HTOP и виж , примерно това е дебина с някъв измекярски хардуер и 40% от твоята клиентела:

Маймунките са малко 150-180

Това че CPU 0 и 2 седят за украса е така мъчих го но не мога да ги разпределя с smp_affinity

да не би за това че има реално две CPU-ta и с Hyper-threading стават 4

За net.ipv4.netfilter.ip_conntrack_max = 1743087 го сложих тъй като имам NAT

ето и screen на htop.

Дано не съм досадил на някой

ако може един въпрос IMQ или IFB

гледам че ipacct използват IMQ

Редактирано 25 Декември, 2012 от Тодор Лазаров

[gbdesign]

irqbalance не е панацея и в същност, нищо не балансира или поне не динамично, а при стартирането му, праска някакви стойности на smp_affinity. Дебиан и без него слага стойност "f" /всички ядра/. Но за да сработи, дъното трябва да поддържа APIC и да е разрешено от биоса, като там се нарича по усмотрение на производителя и може да се среща под всевъзможни имена. Освен това влиза в конфликт с някои други функции на процесора и ако са задействани пак няма да работи или още по-лошо, ще цъфне Kernel panic. Обаче, доста съм сигурен че APIC се поддържа от повечето SOHO дъна и от много малко истински сървърни бордове. А дали се поддържа от ядрото, може да се види с:

cat /boot/config`undme -r` | grep CONFIG_HOTPLUG_CPU=y

Редактирано 25 Декември, 2012 от gbdesign

[hgd]

Здр.,

Ето една идея и от мен - провери RX и TX-а. Broadcom картите имат "бъг" - трябва да са сетнати на 511.

#ethtool -g eth0

Ring parameters for eth0:

Pre-set maximums:

RX: 511

RX Mini: 0

RX Jumbo: 0

TX: 511

Current hardware settings:

RX: 511

RX Mini: 0

RX Jumbo: 0

TX: 511

Преди години имах такива проблеми - единия път беше преноса (доставчика), вторият път бяха лан картите (оправи го Intel Pro/1000 82541 или по-нов чип).

Няма да успееш да преразпределиш по-добре натоварването - това е заради чипсет-а - засяга Dell 1750/1850 сериите.

Ruby-то (този модел) се държи - справя се с 700-800Mbps трафик.

[Тодор Лазаров]

Здр.,

Ето една идея и от мен - провери RX и TX-а. Broadcom картите имат "бъг" - трябва да са сетнати на 511.

#ethtool -g eth0

Ring parameters for eth0:

Pre-set maximums:

RX: 511

RX Mini: 0

RX Jumbo: 0

TX: 511

Current hardware settings:

RX: 511

RX Mini: 0

RX Jumbo: 0

TX: 511

Преди години имах такива проблеми - единия път беше преноса (доставчика), вторият път бяха лан картите (оправи го Intel Pro/1000 82541 или по-нов чип).

Няма да успееш да преразпределиш по-добре натоварването - това е заради чипсет-а - засяга Dell 1750/1850 сериите.

Ruby-то (този модел) се държи - справя се с 700-800Mbps трафик.

при мен е:

ethtool -g eth0

Ring parameters for eth0:

Pre-set maximums:

RX: 511

RX Mini: 0

RX Jumbo: 0

TX: 511

Current hardware settings:

RX: 200

RX Mini: 0

RX Jumbo: 0

TX: 511

какво да направя

а относно IMQ или IFB кое препоръчвате

гледам че в кернела налагат IFB

[hgd]

За сетването:

#ethtool -G eth0 rx 511 tx 511

Опитай и "ifconfig eth0 txqueuelen 10000"

Това, разбира се, го приложи на всички интерфейси.

Добре е да разгледаш/публикуваш в ifconfig за грешки, дропове и т.н.

Все пак имаш SmokePing - пусни си мониторинг на трасето на всички рутери до dir.bg например....

Относно IMQ или ifb - и двете си имат плюсове и минуси, но най-добре е без тях.

С IMQ ми се е случвало да се задръсти и да става мазало.

Ако не е pppoe, ingress върши работа на един интерфейс. Има си и минуси.

[NetworkPro]

Относно ACPI, APIC и IRQ - възможността е да се force-не нещо с boot options? https://help.ubuntu.com/community/BootOptions#Common_Kernel_Options - не ми се е налагало да търся такова решение в рутерски контекст но стискам палци и полежавам успех.

Защото Intel-ските чипове които движат всичко, си върват с такива поддръжки, това че BIOS не ги пуска не означава че Linux не може да ги пусне след това.

Редактирано 25 Декември, 2012 от NetworkPro

[MiPSus]

Пропускате факта че irqbalancer работи като демон и не просто сетва прекъсвания при стартиране.

Тодоре, казах ти че графиката те лъже тя сумира %-тите

net.ipv4.netfilter.ip_conntrack_max = 1743087

net.ipv4.netfilter.ip_conntrack_count = 375725

Маймунките са малко 150-180

От къде над 370 хиляди връзки при само 180 клиента? Това е неестествено!

[Тодор Лазаров]

Пропускате факта че irqbalancer работи като демон и не просто сетва прекъсвания при стартиране.

Тодоре, казах ти че графиката те лъже тя сумира %-тите

От къде над 370 хиляди връзки при само 180 клиента? Това е неестествено!

Сега виждам че ip_conntrack_tcp_timeout_established ми е 432000

намалих го на 3600

в ipacct гледам че го слагат с доста по малка стойност 600

и оттам сега мога да намаля и ip_conntrack_max на 512000