https://www.auul.pri.ee/wiki/index.php?action=history&feed=atom&title=OpenBSD_tulem%C3%BC%C3%BCri_v%C3%B5rgu_koormustest 2026-05-03T20:27:39Z Selle lehekülje redigeerimiste ajalugu MediaWiki 1.39.13 https://www.auul.pri.ee/wiki/index.php?title=OpenBSD_tulem%C3%BC%C3%BCri_v%C3%B5rgu_koormustest&diff=1192&oldid=prev 2024-07-21T08:36:23Z

<p>Uus lehekülg: &#039;===Sissejuhatus=== Tulemüüri koormustestil sobiks tähelepanu pöörata sellistele asjaoludele * kui palju ruuditakse liiklust läbi väljalülitatud paketifiltriga * kui palju võib tulemüürile taustal saata pakette, mida paketifilter blokeerib, et sama ajal vajalik liiklus veel läbi käiks * kui palju liiklust tulemüür suudab sisselülitatud paketifiltriga läbi lasta (nö ühe state vs palju state liiklust, st pakettide src ja dst ip ning src ja dst port aadress...&#039;</p> <p><b>Uus lehekülg</b></p><div>===Sissejuhatus===<br /> <br /> Tulemüüri koormustestil sobiks tähelepanu pöörata sellistele asjaoludele<br /> <br /> * kui palju ruuditakse liiklust läbi väljalülitatud paketifiltriga<br /> * kui palju võib tulemüürile taustal saata pakette, mida paketifilter blokeerib, et sama ajal vajalik liiklus veel läbi käiks<br /> * kui palju liiklust tulemüür suudab sisselülitatud paketifiltriga läbi lasta (nö ühe state vs palju state liiklust, st pakettide src ja dst ip ning src ja dst port aadresse varieerides)<br /> <br /> ===Koormustesti korraldus===<br /> <br /> Tulemüüri koormustesti korralduseks võiks olla üles seadistatud nt selline asjakorraldus<br /> <br /> klient 1 klient 2 ..... klient n<br /> _____ _____ _____<br /> | | | | | |<br /> |_____| |_____| |_____| <br /> | | |<br /> <br /> <br /> võrk<br /> <br /> tm 1 tm 2<br /> <br /> -----|----------------|-----------------|-----<br /> | | |<br /> | __|__ |<br /> __|__ | | __|__<br /> | | |_____| | |<br /> |_____| |_____|<br /> | tmh |<br /> | |<br /> ----|-------|----------|-----------------------|--------|-------<br /> | | |<br /> __|__ __|__ __|__<br /> | | | | | |<br /> |_____| |_____| |_____| <br /> <br /> server 1 server 2 .... server n<br /> <br /> kus<br /> <br /> * tm 1 - tulemüüri klastri õlg 1<br /> * tm 2 - tulemüüri klastri õlg 2<br /> * tmh - tulemüüri klastri haldusarvuti (/syweb, /nfsen)<br /> <br /> Koormustesti alguses tuleks tulemüüri paketifilter välja lülitada<br /> <br /> # pfctl -d<br /> <br /> ning aru saada (eeldusel, et serverid kasutavad avalikke aadresse)<br /> <br /> * kui palju üksikuid pakette (nt udp) sekundis suudab võrk klientidest serveriteni toimetada<br /> * kui palju liiklust suudab OpenBSD tulemüür ära ruutida kasutades vähe tcp ühendusi (nt 1000)<br /> * kui palju uusi tcp ühendusi sekundis suudab OpenBSD tulemüür ära kannatada ruutides vastavat liiklust läbi<br /> <br /> Seda võiks mõõta nt selliselt<br /> <br /> * hping3 abil syn pakette saates<br /> * pktgen abil udp pakettide saatmine<br /> * queryperf ja teisel pool nsd nimeserver<br /> * ab või weighttp ja teiselt poolt nginx abil (korrektsed tcp ühendused)<br /> <br /> Seejärel käivitada võimalikult lihtne ja efektiivne paketifilter, nt mis sisaldab ühte reeglit<br /> <br /> pass<br /> <br /> ning tuunida nn pf.optioneid. Samal ajal jälgida<br /> <br /> * /syweb/ graafikuid<br /> * systat väljundit<br /> * tcpstat abil kui palju pakette jõuab läbi tulemüüri serverisse<br /> <br /> Lisaks käivitada rdr-to reegliga paketifilter.<br /> <br /> ===Liikluse genereerimine===<br /> <br /> Nö tavalise arvuti ja 1G võrguliidesega suudab Linuxi hping3 --flood suvandi abil genereerida ca 58 k paketti sekundis tcp syn pakette (suurusega 42 baiti, kokku tekitab see liikluse 20 Mbit/s). Genereerimiseks sobib konkreetselt öelda nt<br /> <br /> # hping3 -q -i u10 -S -p 443 10.184.41.180<br /> <br /> ning sama arvuti teises aknas jälgida tcpstat programmiga reaalset väljundit<br /> <br /> # tcpstat -i eth0 -o &quot;Time:%S\tn=%n\tavg=%a\tstddev=%d\tpps=%p\n&quot; -f &quot;tcp and host 10.184.41.180&quot; 1<br /> <br /> või <br /> <br /> # tcpstat -i eth0 -o &quot;Time:%S\tn=%n\tavg=%a\tstddev=%d\tbps=%B\n&quot; -f &quot;tcp and host 10.184.41.180&quot; 1<br /> <br /> * Tundub, et 1 G PCI võrgukaart ja nö 2009 aasta arvuti ning Debian v. 6 või 7 operatsioonisüsteem suudab tekitada kuni 100k paketti sekundis ilma eriliselt midagi modifitseerimata.<br /> <br /> * Tundub, et 2010 aasta ca 200 eurose switchi portidest käib läbi kuni 130k paketti sekundis.<br /> <br /> * Tundub, et 2009 aasta arvuti 1 G liides suudab võtta vastu ca 130k paketti sekundis.<br /> <br /> Liiklust genereerivas arvutis paistab olevat os load 1-2 (kahe core arvutis) kusjuures jaguneb sy ja si vahel<br /> <br /> top - 17:08:00 up 17 days, 5:18, 5 users, load average: 1.00, 1.03, 0.81<br /> %Cpu0 : 0.3 us, 1.0 sy, 2.3 ni, 96.3 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st<br /> %Cpu1 : 10.6 us, 40.4 sy, 0.0 ni, 0.0 id, 0.0 wa, 0.0 hi, 49.0 si, 0.0 st<br /> KiB Mem: 1994696 total, 1633992 used, 360704 free, 15308 buffers<br /> KiB Swap: 4194300 total, 665208 used, 3529092 free, 1277768 cached<br /> <br /> PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND <br /> 6843 root 20 0 16724 872 676 R 99.8 0.0 5:08.61 hping3<br /> <br /> Liiklust vastu võtvas arvutis tekib si (software interrupt) koormus, näiteks kaks arvutit teevad hping3 abil flood'i<br /> <br /> # timeout 50 hping3 -q -p 80 --flood -S 192.168.10.119<br /> <br /> ja tulemuseks on<br /> <br /> Tasks: 131 total, 4 running, 127 sleeping, 0 stopped, 0 zombie<br /> Cpu0 : 0.0%us, 0.0%sy, 0.0%ni, 79.8%id, 0.0%wa, 0.0%hi, 20.2%si, 0.0%st<br /> Cpu1 : 0.0%us, 1.2%sy, 0.0%ni, 90.6%id, 0.0%wa, 0.0%hi, 8.2%si, 0.0%st<br /> Cpu2 : 0.0%us, 0.0%sy, 0.0%ni, 58.8%id, 0.0%wa, 0.0%hi, 41.2%si, 0.0%st<br /> Cpu3 : 0.0%us, 0.0%sy, 0.0%ni, 89.1%id, 0.0%wa, 0.0%hi, 10.9%si, 0.0%st<br /> Mem: 3849616k total, 961420k used, 2888196k free, 101836k buffers<br /> Swap: 1048568k total, 0k used, 1048568k free, 726500k cached<br /> <br /> PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND <br /> 10 root 20 0 0 0 0 R 42 0.0 2:10.96 ksoftirqd/2 <br /> 4 root 20 0 0 0 0 S 17 0.0 4:31.57 ksoftirqd/0 <br /> 13 root 20 0 0 0 0 S 17 0.0 2:45.77 ksoftirqd/3 <br /> 7 root 20 0 0 0 0 S 5 0.0 4:20.70 ksoftirqd/1 <br /> <br /> ja kui pordil töötab teenus, saab ip_conntrack täis<br /> <br /> # cat /proc/net/ip_conntrack | wc -l<br /> 65381<br /> <br /> ===OpenBSD käitumine võrgukoormuse tingimustes===<br /> <br /> * ühe hping3 tulemusena tekib OpenBSD peale ca 300-400k state'i<br /> <br /> ===Misc===<br /> <br /> Linux kirjutab suure pakketide saabumise puhul dmesgi<br /> <br /> [170625.309661] nf_conntrack: table full, dropping packet.<br /> <br /> aitab (või iptables moodulite maha laadimine)<br /> <br /> # sysctl -w net.netfilter.nf_conntrack_max=131072<br /> <br /> Kui pordil teenus töötab ning ning on sisse lülitatud tcp_syncookies<br /> <br /> sysctl -w net.ipv4.tcp_syncookies=1<br /> <br /> öeldakse dmesgis<br /> <br /> [ 806.525077] TCPv6: Possible SYN flooding on port 80. Dropping request.<br /> <br /> ===NginX test===<br /> <br /> Kahes arvutist pöördutakse<br /> <br /> # ab -n 800000 -c 700 http://192.168.10.119/<br /> <br /> Server teenindab<br /> <br /> Active connections: 381 <br /> server accepts handled requests<br /> 4324070 4324070 4323758 <br /> Reading: 380 Writing: 1 Waiting: 0<br /> <br /> ja võrgus on näha 72 k sisenevat paketti sekundis.<br /> <br /> Kliendud saavad kokku vastuseks ca 18 k päringut sekundis.<br /> <br /> ab juures lisaks -k võtme kasutamisel jaotatakse -n abil näidatus arv päringuid -c järel näidatud arvu tcp ühenduste vahel, seda saab kergesti jälgida vaadates teises aknas<br /> <br /> # tcpdump -nli eth0 'tcp[13] &amp; 2 != 0' and dst 192.168.10.119 and port 80 1&gt;/dev/null<br /> <br /> ===Siege===<br /> <br /> * http://www.joedog.org/siege-home/<br /> <br /> ===OpenBSD ruudib tcp ühendusi===<br /> <br /> Neljast arvutist pöördutakse läbi OpenBSD ruuteri kahe teenuse poole<br /> <br /> # /root/bin/weighttp -n 40000000 -c 100 -t 4 http://10.184.41.179/<br /> # /root/bin/weighttp -n 40000000 -c 100 -t 4 http://10.184.41.185/<br /> <br /> Tulemusena teenindadakse veel ilma oluliste vigadeta, mida näitaks<br /> <br /> # netstat -I em0 -w 1<br /> <br /> http päringuid, seejuures tulemüüri välisel seadmel on 290 kpps. Kuna antud juhul ühele päringule vastab üks tcp ühendus ning sellega liigub serverisse kuus ip paketti, siis tähendab, et tulemüür suudab teenindada ca 50 k tcp ühendust sekundis.<br /> <br /> Seejuures tulemüüris ei ole olulist load'i (17k interrupti)<br /> <br /> ===OpenBSD ruudib ja filtreerib tcp ühendusi===<br /> <br /> Korrates sama katset, aga sisselülitatud paketifiltriga suudab tulemüür tegeleda ca 25 k uue ühendusega sekundis<br /> <br /> # pfctl -Fi; sleep 10; pfctl -si | grep -A 4 &quot;State Table&quot;<br /> pf: statistics cleared<br /> State Table Total Rate<br /> current entries 466621 <br /> searches 4239544 423954.4/s<br /> inserts 497542 49754.2/s<br /> removals 502588 50258.8/s<br /> <br /> kus<br /> <br /> * kuna ühele ühendusele vastab kaks olekut, siis tuleb inserts väärtus jagada kahega<br /> <br /> Seejuures on interrupt load veidi kõrgem. Kuna pakette saabub vähem, siis netstat vigu ei näita.<br /> <br /> ===Kasulikud lisamaterjalid===<br /> <br /> * http://kuutorvaja.eenet.ee/wiki/Võrgudiagnostika<br /> * http://dpdk.org/<br /> * [[:Httperf kasutamine]]</div>

Imre