Intel E810 - Redigeerimiste ajalugu

Imre: /* RoCEv2 kasutamine */

2025-01-03T20:01:29Z

RoCEv2 kasutamine

←Vanem redaktsioon		Redaktsioon: 3. jaanuar 2025, kell 23:01
1835. rida:		1835. rida:
	</pre>		</pre>

		+	kus iser lülitatakse sisse käsuga
−	ning initiator
		+
		+	<pre>
		+	/> iscsi/iqn.2003-01.org.setup.lun.test/tpg1/portals/10.47.218.226:3261 enable_iser boolean=true
		+	iSER enable now: True
		+	</pre>
		+
		+	iscsi kliendi poolega ehk initiator poolega tegelemine

	<pre>		<pre>
1848. rida:		1855. rida:
	root@pve-01:~# iscsiadm -m discoverydb		root@pve-01:~# iscsiadm -m discoverydb
	</pre>		</pre>
		+
		+	Kasulikud lisamaterjalid
		+
		+	* https://gist.github.com/hiroyuki-sato/1be13ebf4872a98315f2

	===Scalable Functions===		===Scalable Functions===

Imre – 23. juuli 2024, kell 08:14

2024-07-23T08:14:01Z

←Vanem redaktsioon		Redaktsioon: 23. juuli 2024, kell 11:14
10. rida:		10. rida:
	81:00.1 Ethernet controller: Intel Corporation Ethernet Controller E810-XXV for SFP (rev 02)		81:00.1 Ethernet controller: Intel Corporation Ethernet Controller E810-XXV for SFP (rev 02)
	</pre>		</pre>
		+
		+	===Mõisted===
		+
		+	* vvu - 'virtio vhost user' protokoll

	===dpdk abil liikluse kohale toomine ovs switchi juurde===		===dpdk abil liikluse kohale toomine ovs switchi juurde===

Imre: /* dpdk abil liikluse kohale toomine ovs switchi kaudu qemu virtuaalse arvuti juurde - vhost user protokoll */

2024-07-23T08:13:13Z

dpdk abil liikluse kohale toomine ovs switchi kaudu qemu virtuaalse arvuti juurde - vhost user protokoll

←Vanem redaktsioon		Redaktsioon: 23. juuli 2024, kell 11:13
391. rida:		391. rida:
	</pre>		</pre>

−	Proxmox PVE host võrgu seadistamine /etc/network/interfaces faili abil st traditsiooniliselt	+	Proxmox PVE host võrgu seadistamine /etc/network/interfaces faili abil st traditsiooniliselt, esmalt tuleb füüsilised dpdk protokolliga tegelevad seadmed käivitada vfio osakonnas, muudatus on persistent ja registreeritakse kataloogis 'root@valgustaja1:~# cat /etc/driverctl.d', ja kehtestub nt reboodil ka)
		+
		+	<pre>
		+	root@valgustaja1:~# driverctl set-override 0000:81:00.0 vfio-pci
		+	root@valgustaja1:~# driverctl set-override 0000:81:00.1 vfio-pci
		+	</pre>

	<pre>		<pre>

Imre: /* dpdk abil liikluse kohale toomine ovs switchi kaudu qemu virtuaalse arvuti juurde - vhost user protokoll */

2024-07-23T08:10:18Z

dpdk abil liikluse kohale toomine ovs switchi kaudu qemu virtuaalse arvuti juurde - vhost user protokoll

←Vanem redaktsioon		Redaktsioon: 23. juuli 2024, kell 11:10
389. rida:		389. rida:
	root@valgustaja1:~/20240715# cat /sys/kernel/mm/hugepages/hugepages-1048576kB/free_hugepages		root@valgustaja1:~/20240715# cat /sys/kernel/mm/hugepages/hugepages-1048576kB/free_hugepages
	20		20
		+	</pre>
		+
		+	Proxmox PVE host võrgu seadistamine /etc/network/interfaces faili abil st traditsiooniliselt
		+
		+	<pre>
		+	root@valgustaja1:~# cat /etc/network/interfaces
		+	auto lo
		+	iface lo inet loopback
		+
		+	auto vmbr0
		+	iface vmbr0 inet manual
		+	ovs_type OVSBridge
		+	ovs_options datapath_type=netdev
		+	ovs_extra set Open_vSwitch . other_config:dpdk-socket-mem=16384 other_config:pmd-cpu-mask=0xfff0 other_config:vhost-iommu-support=true other_config:userspace-tso-enable=false other_config:dpdk-lcore-mask=0x1 other_config:dpdk-init=true
		+	pre-up mkdir /var/run/vhostuserclient
		+
		+	auto dpdk-p0
		+	iface dpdk-p0 inet manual
		+	ovs_type OVSPort
		+	ovs_bridge vmbr0
		+	ovs_extra set Interface ${IFACE} type=dpdk options:dpdk-devargs=0000:81:00.0 options:n_rxq=12
		+
		+	auto dpdk-p1
		+	iface dpdk-p1 inet manual
		+	ovs_type OVSPort
		+	ovs_bridge vmbr0
		+	ovs_extra set Interface ${IFACE} type=dpdk options:dpdk-devargs=0000:81:00.1 options:n_rxq=12
		+
		+	auto inter
		+	iface inter inet static
		+	address 10.40.134.18/29
		+	gateway 10.40.134.17
		+	ovs_type OVSIntPort
		+	ovs_bridge vmbr0
		+
		+	auto vhost-user-1
		+	iface vhost-user-1 inet manual
		+	ovs_type OVSPort
		+	ovs_options tag=3564
		+	ovs_extra set Interface ${IFACE} type=dpdkvhostuserclient "options:vhost-server-path=/var/run/vhostuserclient/vhost-user-client-1"
		+	ovs_bridge vmbr0
		+
		+	auto vhost-user-2
		+	iface vhost-user-2 inet manual
		+	ovs_type OVSPort
		+	ovs_options tag=3564
		+	ovs_extra set Interface ${IFACE} type=dpdkvhostuserclient "options:vhost-server-path=/var/run/vhostuserclient/vhost-user-client-2"
		+	ovs_bridge vmbr0
		+
		+	auto vhost-user-3
		+	iface vhost-user-3 inet manual
		+	ovs_type OVSPort
		+	ovs_options tag=3564
		+	ovs_extra set Interface ${IFACE} type=dpdkvhostuserclient "options:vhost-server-path=/var/run/vhostuserclient/vhost-user-client-3"
		+	ovs_bridge vmbr0
		+
		+	auto vhost-user-4
		+	iface vhost-user-4 inet manual
		+	ovs_type OVSPort
		+	ovs_options tag=3564
		+	ovs_extra set Interface ${IFACE} type=dpdkvhostuserclient "options:vhost-server-path=/var/run/vhostuserclient/vhost-user-client-4"
		+	ovs_bridge vmbr0
	</pre>		</pre>

Imre: /* iperf */

2024-07-17T17:32:32Z

iperf

←Vanem redaktsioon		Redaktsioon: 17. juuli 2024, kell 20:32
1211. rida:		1211. rida:
	Samal ajal oli iperf server (kuhu pöörduti) virtuaalses arvutis normaalne käsurea kasutajakogemus st arvuti ei olnud nö hangumise piiril ja top paistis sedasi		Samal ajal oli iperf server (kuhu pöörduti) virtuaalses arvutis normaalne käsurea kasutajakogemus st arvuti ei olnud nö hangumise piiril ja top paistis sedasi

		+	[[Fail:20240717-e810-iperf-01.png]]
−	TODO

	kus		kus

		+	* 'si' st interrupt load on jaotunud mitme protsessori vahel (kuna iperf on threaded rakendus ja tema poole pöördub mitu nö ühendust (6)
−	* TODO
		+	* top vaates ei ole arvuti ebaloomulikult koormatud ja selle arvuti käsurea kasutajakogemus on ka selline

	===Koormustestimine - tava lahendus===		===Koormustestimine - tava lahendus===

Imre: /* iperf */

2024-07-17T17:29:30Z

iperf

@@ 1163. rida: / 1163. rida: @@
 ====iperf====
 TODO
 ===Koormustestimine - tava lahendus===

Imre: /* Koormustestimine - vhost user lahendus */

2024-07-17T17:23:14Z

Koormustestimine - vhost user lahendus

←Vanem redaktsioon		Redaktsioon: 17. juuli 2024, kell 20:23
1161. rida:		1161. rida:

	Tulemusena saavutab iga ühendus nii 7-11 Gbit/s. Samal ajal virtuaalsed iperf3 serverid ei ole os mõttes koormatud, interrupt load on seotud ühe cpu'ga (ju see on iperf3 töötamist või kasutamise eripära).		Tulemusena saavutab iga ühendus nii 7-11 Gbit/s. Samal ajal virtuaalsed iperf3 serverid ei ole os mõttes koormatud, interrupt load on seotud ühe cpu'ga (ju see on iperf3 töötamist või kasutamise eripära).
		+
		+	====iperf====
		+
		+	TODO

	===Koormustestimine - tava lahendus===		===Koormustestimine - tava lahendus===

Imre: /* dpdk abil liikluse kohale toomine ovs switchi kaudu qemu virtuaalse arvuti juurde - vhost user protokoll */

2024-07-17T00:52:50Z

dpdk abil liikluse kohale toomine ovs switchi kaudu qemu virtuaalse arvuti juurde - vhost user protokoll

←Vanem redaktsioon		Redaktsioon: 17. juuli 2024, kell 03:52
342. rida:		342. rida:
	</pre>		</pre>

		+	kus
⚫	~~mille tulemusel~~ on PVE host peal (/run/hugepages/kvm/2048kB ja /run/hugepages/kvm/1048576kB tekivad automaatselt peale 'hugepage: xxx' virtuaalse arvuti esmakordset käivitamist)
		+
		+	* oluline on parameetrite järjekord
		+	* 'hugepagesz=1G hugepages=24' - tähistab asjaolu, et 1G suurusi pagesid on kasutusel 24 tükki (st 24 G)
		+	* 'hugepagesz=2M hugepages=8192' - tähistab asjaolu, et 2M suurusi pagesid on kasutusel 8192 tükki (st 16 G)
		+	* tuuma käsurealt on eelistatuim viis hugepage kasutus lähtestada, sest siis ei ole mälu fragmenteerunud (erinevalt operatsioonisüsteemi käigus tehtud hugepages kasutuse seadistamisele, nt sysctl väärtustega toimetamisest)
		+
		⚫	Tulemusena on PVE host peal (/run/hugepages/kvm/2048kB ja /run/hugepages/kvm/1048576kB tekivad automaatselt peale 'hugepage: xxx' virtuaalse arvuti esmakordset käivitamist)

	<pre>		<pre>

Imre: /* dpdk abil liikluse kohale toomine ovs switchi kaudu qemu virtuaalse arvuti juurde - vhost user protokoll */

2024-07-17T00:38:27Z

dpdk abil liikluse kohale toomine ovs switchi kaudu qemu virtuaalse arvuti juurde - vhost user protokoll

@@ 242. rida: / 242. rida: @@
 virtio0: local-to-valgustaja-1-lvm-over-mdadm:vm-1102-disk-2,backup=0,iothread=1,size=20G
 vmgenid: ec8bc8c2-1279-43d2-bfca-9d7b9081c97f
 </pre>
@@ 247. rida: / 278. rida: @@
 * TODO
-ja teise arvuti puhul
+Teise arvuti puhul
 <pre>

Imre: /* dpdk abil liikluse kohale toomine ovs switchi kaudu qemu virtuaalse arvuti juurde - vhost user protokoll */

2024-07-17T00:28:27Z

dpdk abil liikluse kohale toomine ovs switchi kaudu qemu virtuaalse arvuti juurde - vhost user protokoll

←Vanem redaktsioon		Redaktsioon: 17. juuli 2024, kell 03:28
301. rida:		301. rida:

	dpdk-devbind.py --bind=vfio-pci 0000:81:00.1		dpdk-devbind.py --bind=vfio-pci 0000:81:00.1
		+	</pre>
		+
		+	Seejuures on PVE host käivitatud selliselt 2M ja 1G hugepage toega ja ettevalmistusega
		+
		+	<pre>
		+	root@valgustaja1:~/20240715# cat /proc/cmdline
		+	initrd=\EFI\proxmox\6.8.8-2-pve\initrd.img-6.8.8-2-pve root=ZFS=rpool/ROOT/pve-1 boot=zfs default_hugepagesz=2M hugepagesz=1G hugepages=24 hugepagesz=2M hugepages=8192
		+	</pre>
		+
		+	mille tulemusel on PVE host peal (/run/hugepages/kvm/2048kB ja /run/hugepages/kvm/1048576kB tekivad automaatselt peale 'hugepage: xxx' virtuaalse arvuti esmakordset käivitamist)
		+
		+	<pre>
		+	root@valgustaja1:~/20240715# hugeadm --explain
		+	Total System Memory: 192906 MB
		+
		+	Mount Point Options
		+	/dev/hugepages rw,relatime,pagesize=2M
		+	/run/hugepages/kvm/2048kB rw,relatime,pagesize=2M
		+	/run/hugepages/kvm/1048576kB rw,relatime,pagesize=1024M
		+
		+	Huge page pools:
		+	Size Minimum Current Maximum Default
		+	2097152 8192 8192 8192 *
		+	1073741824 24 24 24
		+	</pre>
		+
		+	ning (tundub, et esitab default hugepage suuruse kohta andmeid peamiselt)
		+
		+	<pre>
		+	root@valgustaja1:~/20240715# grep -i huge /proc/meminfo
		+	AnonHugePages: 0 kB
		+	ShmemHugePages: 0 kB
		+	FileHugePages: 0 kB
		+	HugePages_Total: 8192
		+	HugePages_Free: 8192
		+	HugePages_Rsvd: 0
		+	HugePages_Surp: 0
		+	Hugepagesize: 2048 kB
		+	Hugetlb: 41943040 kB
		+	</pre>
		+
		+	ning parasjagu kasutus ühe ja teise suurusega huge pagenduse osas
		+
		+	<pre>
		+	root@valgustaja1:~/20240715# cat /sys/kernel/mm/hugepages/hugepages-2048kB/free_hugepages
		+	8192
		+
		+	root@valgustaja1:~/20240715# cat /sys/kernel/mm/hugepages/hugepages-1048576kB/free_hugepages
		+	20
	</pre>		</pre>