Proxmox v. 7 kasutamine
Sissejuhatus
TODO
Probleemid
WebGUI vasakus paneelis on kõigi asjade juures küsimärgid
Kui WebGUI vasakus paneelis on kõigi asjade juures küsimärgid, siis võib olla põhjuseks, et mingi salvestusressuss on nö kinni kiilunud, nt btrfs hangutas io. Kontrollimiseks maksab vaadata protsesside nimekirjast, kas midagi jääb silma uninterrubtable sleep olekus
root@pm60-trt:~# ps auxf | grep -A 1 pvestatd | tail -n 2 root 12963 1.0 0.2 279272 97536 ? Ss Oct22 16:46 pvestatd root 1667024 0.0 0.0 25804 11272 ? D Oct23 0:00 \_ /sbin/vgs --separator : --noheadings --units b --unbuffered --nosuffix --options vg_name,vg_size,vg_free,lv_count
kus
- pvestatd deemon tegeleb igasuguste ressursside nagu virtuaalsed arvutid, storage jne olukorra hindamisega
- pvestatd kutsub enda töö käigus välja tavalisi linux utiliite, vgs on lvm jaoks ja paistab, et see kiilus ka kinni omakorda
ZFS storage ressusi kasutamine cpu-koormab host'i
Kui ZFS storage ressusi kasutamine cpu-koormab host'i, siis võib olla lahenduseks kasutada btrfs failisüsteemi. St nad mõlemad võimaldavad nt proxmox snapshot kasutamist.
Proxmox snapshot kasutamine gpu passthru virtuaalse arvutiga
Paistab, et Proxmox snapshot kasutamine gpu passthruga töötava ja running olekus virtuaalse arvutiga ei kulge selles mõttes ootuspäraselt, et virtuaalne arvuti krahhib. Kõige praktilisem on snapshottida mitte töötavas olekus arvutit.
Proxmox v. 7 node kasutab storage kettakasti
Peale qla2xxx mooduli laadimist ja eeldusel, et fc kaabeldus on füüsiliselt ühendatud saab arvutis küsida tema adapterite wwid väärtusi, nende väärtuste abil lubatakse kettakasti poolel kettakasti ressurssile ligipääs
# systool -c fc_host -v | grep port_name port_name = "0x500143802426ba24" port_name = "0x500143802426ba36"
Lisaks tavalisele multipath-tools, qla2xxx kerneli moodulile jms on oluline multipath edukaks kasutamiseks scsi seadmed lisada multipath wwids nimekirja, väärtused saab küsida plokkseadmetelt nt nii, esmalt küsida plokkseadmete nimekiri
# lsscsi -s -g
ja siis wwid väärtused iga plokkseadme kohta
# /lib/udev/scsi_id --page=0x83 --whitelisted --device=/dev/sdg >> /etc/multipath/wwids
Peale multipath stop ja start peaks 'multipath -ll' väljundis olemas ressursid näha.
Kasulikud lisamaterjalid
btrfs storage kasutamine
btrfs storage kasutamine paistab välja nii
root@pve-moraal-x570:~# pvesm list sn_srv_btrfs_2x_mx500 Volid Format Type Size VMID sn_srv_btrfs_2x_mx500:2291/vm-2291-disk-0.raw raw images 540672 2291 sn_srv_btrfs_2x_mx500:2291/vm-2291-disk-1.raw raw images 21474836480 2291 sn_srv_btrfs_2x_mx500:2301/vm-2301-disk-0.raw raw images 540672 2301 sn_srv_btrfs_2x_mx500:2301/vm-2301-disk-1.raw raw images 53687091200 2301 ..
ning vastav osakond failisüsteemis
root@pve-moraal-x570:~# ls -ld /srv/btrfs_2x_mx500/images/2291/*/* -rw-r----- 1 root root 540672 Apr 23 18:01 /srv/btrfs_2x_mx500/images/2291/vm-2291-disk-0/disk.raw -rw-r----- 1 root root 540672 Apr 23 18:01 /srv/btrfs_2x_mx500/images/2291/vm-2291-disk-0@ssennemuudatust/disk.raw -rw-r----- 1 root root 21474836480 Apr 23 18:02 /srv/btrfs_2x_mx500/images/2291/vm-2291-disk-1/disk.raw -rw-r----- 1 root root 21474836480 Apr 23 18:02 /srv/btrfs_2x_mx500/images/2291/vm-2291-disk-1@ssennemuudatust/disk.raw
kus
- /srv/btrfs_2x_mx500/images/2291 - nö tavaline kataloog
- /srv/btrfs_2x_mx500/images/2291/vm-2291-disk-0 - btrfs subvolume objekt
- /srv/btrfs_2x_mx500/images/2291/vm-2291-disk-0/disk.raw - fail
- /srv/btrfs_2x_mx500/images/2291/vm-2291-disk-0@ssennemuudatust - btrfs snapshot objekt
btrfs tasemel virtuaalse arvuti storage migreerimine
root@pve-moraal-x570:~# mkdir /srv/btrfs_2x_mx500/images/7001 root@pve-moraal-x570:~# btrfs subvolume create /srv/btrfs/images/7001/vm-7001-disk-0 root@pve-moraal-x570:~# cp -a /srv/btrfs_2x_mx500/images/9000/vm-9000-disk-0/disk.raw /srv/btrfs/images/7001/vm-7001-disk-0/disk.raw
Kasulikud lisamaterjalid
SSD salvestusseadme kasutamine - PVE host
pve storage btrfs
Väited
- virtuaalse arvuti plokkseadmele vastab pve host peal btrfs failisüsteemis fail
- trim signaal tuleb saata failisüsteemist st antud juhul pve host peal öeldes
root@pve-moraal-x570:~# fstrim -v /srv/btrfs_2x_mx500 /srv/btrfs_2x_mx500: 2.9 GiB (3071885312 bytes) trimmed
trim protsessi võib olla sobiv jälgida nt selliselt, st iseloomulik on dkB/s tüüpi liiklus (eeldusel, et sar abil kogutakse statistikat)
root@pve-moraal-x570:~# sar -d --dev=nvme0n1,nvme1n1 5 Linux 6.2.9-1-pve (pve-moraal-x570) 04/24/2023 _x86_64_ (24 CPU) 01:44:22 AM DEV tps rkB/s wkB/s dkB/s areq-sz aqu-sz await %util 01:44:27 AM nvme0n1 742.20 2.40 384.80 18941.60 26.04 0.57 0.75 100.00 01:44:27 AM nvme1n1 742.40 1.60 384.80 18952.80 26.05 0.56 0.74 100.00 01:44:27 AM DEV tps rkB/s wkB/s dkB/s areq-sz aqu-sz await %util 01:44:32 AM nvme0n1 754.80 76.80 1309.30 20864.00 29.48 0.54 0.71 100.00 01:44:32 AM nvme1n1 754.00 0.00 1309.30 20852.80 29.39 0.55 0.72 100.00
Samuti näeb block trace utiliidi btrace abil vastavaid discard signaale
root@pve-moraal-x570:~# blktrace -a discard -d /dev/nvme0n1 -o - | blkparse -i - .. 259,0 18 26 1266874889.708816421 396200 A DS 2635144592 + 32 <- (259,4) 485561744 259,0 18 27 1266874889.708816501 396200 Q DS 2635144592 + 32 [fstrim] 259,0 18 28 1266874889.708816751 396200 G DS 2635144592 + 32 [fstrim] 259,0 18 29 1266874889.708816941 396200 I DS 2635144592 + 32 [fstrim] 259,0 18 30 1266874889.708818301 314 D DS 2635144592 + 32 [kworker/18:1H ...
Või
root@pve-moraal-x570:~# btrace -a discard /dev/nvme0n1 ...
Kuna btrfs puhul tegeleb virtuaalse arvuti plokkseadmega pve host peal btrfs failisüsteemis fail, siis ainuke võimalus btrace kinnitamiseks ongi füüsiline plokkseade.
pve storage lvm
Väited
- virtuaalse arvuti plokkseadmele vastab pve host peal lvm voluum
- virtuaalse arvuti storage controller on 'VirtIO SCSI single'
- virtuaalse arvuti plokkseadme on VirtIO ning Discard on linnutatud
- võimalik, et muude kombinatsioonidega ka toimib
- btrace saab kinnitada /dev/pve/vm-168-disk-0 vms seadme külge
Tulemusena on DS käske näha host peal füüsilise plokkseadme suunal samal ajal kui virtuaalses arvutis fstrim öeldakse.
pve storage mdadm
TODO
btrace saab kinnitada /dev/md127 vms seadme külge.
pve storage zfs
TODO
TODO
SSD salvestusseadme kasutamine - PVE guest
ext4
TODO
lvm
TODO
btrfs
TODO
zfs - passthru
trim algamiseks sobib öelda (lisades 'trim' elemendi järele -w antakse prompt tagasi alles peale trim tegevuse lõppu)
# root@pbs-ssd-1st:~# zpool trim zp_pbs_ssd_1st
root@pbs-ssd-1st:~# zpool status -t
pool: zp_pbs_ssd_1st
state: ONLINE
scan: scrub repaired 0B in 02:33:42 with 0 errors on Sun Apr 9 02:57:43 2023
config:
NAME STATE READ WRITE CKSUM
zp_pbs_ssd_1st ONLINE 0 0 0
raidz2-0 ONLINE 0 0 0
scsi-0QEMU_QEMU_HARDDISK_drive-scsi0 ONLINE 0 0 0 (1% trimmed, started at Mon 24 Apr 2023 01:58:38 AM EEST)
scsi-0QEMU_QEMU_HARDDISK_drive-scsi1 ONLINE 0 0 0 (1% trimmed, started at Mon 24 Apr 2023 01:58:38 AM EEST)
scsi-0QEMU_QEMU_HARDDISK_drive-scsi2 ONLINE 0 0 0 (1% trimmed, started at Mon 24 Apr 2023 01:58:38 AM EEST)
scsi-0QEMU_QEMU_HARDDISK_drive-scsi3 ONLINE 0 0 0 (1% trimmed, started at Mon 24 Apr 2023 01:58:38 AM EEST)
scsi-0QEMU_QEMU_HARDDISK_drive-scsi4 ONLINE 0 0 0 (1% trimmed, started at Mon 24 Apr 2023 01:58:38 AM EEST)
scsi-0QEMU_QEMU_HARDDISK_drive-scsi5 ONLINE 0 0 0 (1% trimmed, started at Mon 24 Apr 2023 01:58:38 AM EEST)
errors: No known data errors
Kasulikud lisamaterjalid
- TODO
