Proxmox v. 7 kasutamine: erinevus redaktsioonide vahel
| 134. rida: | 134. rida: | ||
... |
... |
||
</pre> |
</pre> |
||
| + | |||
| + | Kuna btrfs puhul tegeleb virtuaalse arvuti plokkseadmega pve host peal btrfs failisüsteemis fail, siis ainuke võimalus btrace kinnitamiseks ongi füüsiline plokkseade. |
||
====pve storage lvm==== |
====pve storage lvm==== |
||
| + | Väited |
||
| ⚫ | |||
| + | |||
| + | * virtuaalse arvuti plokkseadmele vastab pve host peal lvm voluum |
||
| ⚫ | |||
===Kasulikud lisamaterjalid=== |
===Kasulikud lisamaterjalid=== |
||
Redaktsioon: 24. aprill 2023, kell 01:49
Sissejuhatus
TODO
Probleemid
WebGUI vasakus paneelis on kõigi asjade juures küsimärgid
Kui WebGUI vasakus paneelis on kõigi asjade juures küsimärgid, siis võib olla põhjuseks, et mingi salvestusressuss on nö kinni kiilunud, nt btrfs hangutas io. Kontrollimiseks maksab vaadata protsesside nimekirjast, kas midagi jääb silma uninterrubtable sleep olekus
root@pm60-trt:~# ps auxf | grep -A 1 pvestatd | tail -n 2 root 12963 1.0 0.2 279272 97536 ? Ss Oct22 16:46 pvestatd root 1667024 0.0 0.0 25804 11272 ? D Oct23 0:00 \_ /sbin/vgs --separator : --noheadings --units b --unbuffered --nosuffix --options vg_name,vg_size,vg_free,lv_count
kus
- pvestatd deemon tegeleb igasuguste ressursside nagu virtuaalsed arvutid, storage jne olukorra hindamisega
- pvestatd kutsub enda töö käigus välja tavalisi linux utiliite, vgs on lvm jaoks ja paistab, et see kiilus ka kinni omakorda
ZFS storage ressusi kasutamine cpu-koormab host'i
Kui ZFS storage ressusi kasutamine cpu-koormab host'i, siis võib olla lahenduseks kasutada btrfs failisüsteemi. St nad mõlemad võimaldavad nt proxmox snapshot kasutamist.
Proxmox snapshot kasutamine gpu passthru virtuaalse arvutiga
Paistab, et Proxmox snapshot kasutamine gpu passthruga töötava ja running olekus virtuaalse arvutiga ei kulge selles mõttes ootuspäraselt, et virtuaalne arvuti krahhib. Kõige praktilisem on snapshottida mitte töötavas olekus arvutit.
Proxmox v. 7 node kasutab storage kettakasti
Peale qla2xxx mooduli laadimist ja eeldusel, et fc kaabeldus on füüsiliselt ühendatud saab arvutis küsida tema adapterite wwid väärtusi, nende väärtuste abil lubatakse kettakasti poolel kettakasti ressurssile ligipääs
# systool -c fc_host -v | grep port_name port_name = "0x500143802426ba24" port_name = "0x500143802426ba36"
Lisaks tavalisele multipath-tools, qla2xxx kerneli moodulile jms on oluline multipath edukaks kasutamiseks scsi seadmed lisada multipath wwids nimekirja, väärtused saab küsida plokkseadmetelt nt nii, esmalt küsida plokkseadmete nimekiri
# lsscsi -s -g
ja siis wwid väärtused iga plokkseadme kohta
# /lib/udev/scsi_id --page=0x83 --whitelisted --device=/dev/sdg >> /etc/multipath/wwids
Peale multipath stop ja start peaks 'multipath -ll' väljundis olemas ressursid näha.
Kasulikud lisamaterjalid
btrfs storage kasutamine
btrfs storage kasutamine paistab välja nii
root@pve-moraal-x570:~# pvesm list sn_srv_btrfs_2x_mx500 Volid Format Type Size VMID sn_srv_btrfs_2x_mx500:2291/vm-2291-disk-0.raw raw images 540672 2291 sn_srv_btrfs_2x_mx500:2291/vm-2291-disk-1.raw raw images 21474836480 2291 sn_srv_btrfs_2x_mx500:2301/vm-2301-disk-0.raw raw images 540672 2301 sn_srv_btrfs_2x_mx500:2301/vm-2301-disk-1.raw raw images 53687091200 2301 ..
ning vastav osakond failisüsteemis
root@pve-moraal-x570:~# ls -ld /srv/btrfs_2x_mx500/images/2291/*/* -rw-r----- 1 root root 540672 Apr 23 18:01 /srv/btrfs_2x_mx500/images/2291/vm-2291-disk-0/disk.raw -rw-r----- 1 root root 540672 Apr 23 18:01 /srv/btrfs_2x_mx500/images/2291/vm-2291-disk-0@ssennemuudatust/disk.raw -rw-r----- 1 root root 21474836480 Apr 23 18:02 /srv/btrfs_2x_mx500/images/2291/vm-2291-disk-1/disk.raw -rw-r----- 1 root root 21474836480 Apr 23 18:02 /srv/btrfs_2x_mx500/images/2291/vm-2291-disk-1@ssennemuudatust/disk.raw
kus
- /srv/btrfs_2x_mx500/images/2291 - nö tavaline kataloog
- /srv/btrfs_2x_mx500/images/2291/vm-2291-disk-0 - btrfs subvolume objekt
- /srv/btrfs_2x_mx500/images/2291/vm-2291-disk-0/disk.raw - fail
- /srv/btrfs_2x_mx500/images/2291/vm-2291-disk-0@ssennemuudatust - btrfs snapshot objekt
btrfs tasemel virtuaalse arvuti storage migreerimine
root@pve-moraal-x570:~# mkdir /srv/btrfs_2x_mx500/images/7001 root@pve-moraal-x570:~# btrfs subvolume create /srv/btrfs/images/7001/vm-7001-disk-0 root@pve-moraal-x570:~# cp -a /srv/btrfs_2x_mx500/images/9000/vm-9000-disk-0/disk.raw /srv/btrfs/images/7001/vm-7001-disk-0/disk.raw
Kasulikud lisamaterjalid
SSD salvestusseadme kasutamine
pve storage btrfs
Väited
- virtuaalse arvuti plokkseadmele vastab pve host peal btrfs failisüsteemis fail
- trim signaal tuleb saata failisüsteemist st antud juhul pve host peal öeldes
root@pve-moraal-x570:~# fstrim -v /srv/btrfs_2x_mx500 /srv/btrfs_2x_mx500: 2.9 GiB (3071885312 bytes) trimmed
trim protsessi võib olla sobiv jälgida nt selliselt, st iseloomulik on dkB/s tüüpi liiklus (eeldusel, et sar abil kogutakse statistikat)
root@pve-moraal-x570:~# sar -d --dev=nvme0n1,nvme1n1 5 Linux 6.2.9-1-pve (pve-moraal-x570) 04/24/2023 _x86_64_ (24 CPU) 01:44:22 AM DEV tps rkB/s wkB/s dkB/s areq-sz aqu-sz await %util 01:44:27 AM nvme0n1 742.20 2.40 384.80 18941.60 26.04 0.57 0.75 100.00 01:44:27 AM nvme1n1 742.40 1.60 384.80 18952.80 26.05 0.56 0.74 100.00 01:44:27 AM DEV tps rkB/s wkB/s dkB/s areq-sz aqu-sz await %util 01:44:32 AM nvme0n1 754.80 76.80 1309.30 20864.00 29.48 0.54 0.71 100.00 01:44:32 AM nvme1n1 754.00 0.00 1309.30 20852.80 29.39 0.55 0.72 100.00
Samuti näeb block trace utiliidi btrace abil vastavaid discard signaale
root@pve-moraal-x570:~# btrace -a discard /dev/nvme0n1 .. 259,0 18 26 1266874889.708816421 396200 A DS 2635144592 + 32 <- (259,4) 485561744 259,0 18 27 1266874889.708816501 396200 Q DS 2635144592 + 32 [fstrim] 259,0 18 28 1266874889.708816751 396200 G DS 2635144592 + 32 [fstrim] 259,0 18 29 1266874889.708816941 396200 I DS 2635144592 + 32 [fstrim] 259,0 18 30 1266874889.708818301 314 D DS 2635144592 + 32 [kworker/18:1H ...
Kuna btrfs puhul tegeleb virtuaalse arvuti plokkseadmega pve host peal btrfs failisüsteemis fail, siis ainuke võimalus btrace kinnitamiseks ongi füüsiline plokkseade.
pve storage lvm
Väited
- virtuaalse arvuti plokkseadmele vastab pve host peal lvm voluum
- TODO
Kasulikud lisamaterjalid
- TODO
