Proxmox v. 7 kasutamine: erinevus redaktsioonide vahel

Allikas: Imre kasutab arvutit
Mine navigeerimisribaleMine otsikasti
 
(ei näidata sama kasutaja 5 vahepealset redaktsiooni)
93. rida: 93. rida:
 
* https://www.auul.pri.ee/wiki/Btrfs_failis%C3%BCsteemi_kasutamine_Debianiga
  
* https://www.auul.pri.ee/wiki/Btrfs_failis%C3%BCsteemi_kasutamine_Debianiga
   
−
===SSD salvestusseadme kasutamine===
 +
===SSD salvestusseadme kasutamine - PVE host===
   
 
====pve storage btrfs====
  
====pve storage btrfs====
125. rida: 125. rida:
   
 
<pre>
  
<pre>
−
root@pve-moraal-x570:~# btrace -a discard /dev/nvme0n1
 +
root@pve-moraal-x570:~# blktrace -a discard -d /dev/nvme0n1 -o - | blkparse -i -
 
..
  
..
 
259,0 18 26 1266874889.708816421 396200 A DS 2635144592 + 32 <- (259,4) 485561744
  
259,0 18 26 1266874889.708816421 396200 A DS 2635144592 + 32 <- (259,4) 485561744
134. rida: 134. rida:
 
...
  
...
 
</pre>
  
</pre>
  +
  +
Või
  +
  +
<pre>
  +
root@pve-moraal-x570:~# btrace -a discard /dev/nvme0n1
  +
...
  +
</pre>
  +
  +
  +
Kuna btrfs puhul tegeleb virtuaalse arvuti plokkseadmega pve host peal btrfs failisüsteemis fail, siis ainuke võimalus btrace kinnitamiseks ongi füüsiline plokkseade.
   
 
====pve storage lvm====
  
====pve storage lvm====
  +
  +
Väited
  +
  +
* virtuaalse arvuti plokkseadmele vastab pve host peal lvm voluum
  +
* virtuaalse arvuti storage controller on 'VirtIO SCSI single'
  +
* virtuaalse arvuti plokkseadme on VirtIO ning Discard on linnutatud
  +
* võimalik, et muude kombinatsioonidega ka toimib
  +
* btrace saab kinnitada /dev/pve/vm-168-disk-0 vms seadme külge
  +
  +
Tulemusena on DS käske näha host peal füüsilise plokkseadme suunal samal ajal kui virtuaalses arvutis fstrim öeldakse.
  +
  +
====pve storage mdadm====
   
 
TODO
  
TODO
  +
  +
btrace saab kinnitada /dev/md127 vms seadme külge.
  +
  +
====pve storage zfs====
  +
  +
TODO
  +
  +
<pre>
  +
TODO
  +
</pre>
  +
  +
===SSD salvestusseadme kasutamine - PVE guest===
  +
  +
====ext4====
  +
  +
TODO
  +
  +
====lvm====
  +
  +
TODO
  +
  +
====btrfs====
  +
  +
TODO
  +
  +
====zfs - passthru====
  +
  +
trim algamiseks sobib öelda (lisades 'trim' elemendi järele -w antakse prompt tagasi alles peale trim tegevuse lõppu)
  +
  +
# root@pbs-ssd-1st:~# zpool trim zp_pbs_ssd_1st
  +
  +
<pre>
  +
root@pbs-ssd-1st:~# zpool status -t
  +
pool: zp_pbs_ssd_1st
  +
state: ONLINE
  +
scan: scrub repaired 0B in 02:33:42 with 0 errors on Sun Apr 9 02:57:43 2023
  +
config:
  +
  +
NAME STATE READ WRITE CKSUM
  +
zp_pbs_ssd_1st ONLINE 0 0 0
  +
raidz2-0 ONLINE 0 0 0
  +
scsi-0QEMU_QEMU_HARDDISK_drive-scsi0 ONLINE 0 0 0 (1% trimmed, started at Mon 24 Apr 2023 01:58:38 AM EEST)
  +
scsi-0QEMU_QEMU_HARDDISK_drive-scsi1 ONLINE 0 0 0 (1% trimmed, started at Mon 24 Apr 2023 01:58:38 AM EEST)
  +
scsi-0QEMU_QEMU_HARDDISK_drive-scsi2 ONLINE 0 0 0 (1% trimmed, started at Mon 24 Apr 2023 01:58:38 AM EEST)
  +
scsi-0QEMU_QEMU_HARDDISK_drive-scsi3 ONLINE 0 0 0 (1% trimmed, started at Mon 24 Apr 2023 01:58:38 AM EEST)
  +
scsi-0QEMU_QEMU_HARDDISK_drive-scsi4 ONLINE 0 0 0 (1% trimmed, started at Mon 24 Apr 2023 01:58:38 AM EEST)
  +
scsi-0QEMU_QEMU_HARDDISK_drive-scsi5 ONLINE 0 0 0 (1% trimmed, started at Mon 24 Apr 2023 01:58:38 AM EEST)
  +
  +
errors: No known data errors
  +
</pre>
   
 
===Kasulikud lisamaterjalid===
  
===Kasulikud lisamaterjalid===

Viimane redaktsioon: 5. september 2023, kell 01:32

Sissejuhatus

TODO

Probleemid

WebGUI vasakus paneelis on kõigi asjade juures küsimärgid

Kui WebGUI vasakus paneelis on kõigi asjade juures küsimärgid, siis võib olla põhjuseks, et mingi salvestusressuss on nö kinni kiilunud, nt btrfs hangutas io. Kontrollimiseks maksab vaadata protsesside nimekirjast, kas midagi jääb silma uninterrubtable sleep olekus 

root@pm60-trt:~# ps auxf | grep -A 1 pvestatd | tail -n 2
root       12963  1.0  0.2 279272 97536 ?        Ss   Oct22  16:46 pvestatd
root     1667024  0.0  0.0  25804 11272 ?        D    Oct23   0:00  \_ /sbin/vgs --separator : --noheadings --units b --unbuffered --nosuffix --options vg_name,vg_size,vg_free,lv_count

kus

  • pvestatd deemon tegeleb igasuguste ressursside nagu virtuaalsed arvutid, storage jne olukorra hindamisega
  • pvestatd kutsub enda töö käigus välja tavalisi linux utiliite, vgs on lvm jaoks ja paistab, et see kiilus ka kinni omakorda

ZFS storage ressusi kasutamine cpu-koormab host'i

Kui ZFS storage ressusi kasutamine cpu-koormab host'i, siis võib olla lahenduseks kasutada btrfs failisüsteemi. St nad mõlemad võimaldavad nt proxmox snapshot kasutamist.

Proxmox snapshot kasutamine gpu passthru virtuaalse arvutiga

Paistab, et Proxmox snapshot kasutamine gpu passthruga töötava ja running olekus virtuaalse arvutiga ei kulge selles mõttes ootuspäraselt, et virtuaalne arvuti krahhib. Kõige praktilisem on snapshottida mitte töötavas olekus arvutit.

Proxmox v. 7 node kasutab storage kettakasti

Peale qla2xxx mooduli laadimist ja eeldusel, et fc kaabeldus on füüsiliselt ühendatud saab arvutis küsida tema adapterite wwid väärtusi, nende väärtuste abil lubatakse kettakasti poolel kettakasti ressurssile ligipääs 

# systool -c fc_host -v | grep port_name
   port_name           = "0x500143802426ba24"
   port_name           = "0x500143802426ba36"

Lisaks tavalisele multipath-tools, qla2xxx kerneli moodulile jms on oluline multipath edukaks kasutamiseks scsi seadmed lisada multipath wwids nimekirja, väärtused saab küsida plokkseadmetelt nt nii, esmalt küsida plokkseadmete nimekiri 

# lsscsi -s -g

ja siis wwid väärtused iga plokkseadme kohta 

# /lib/udev/scsi_id --page=0x83 --whitelisted --device=/dev/sdg >> /etc/multipath/wwids

Peale multipath stop ja start peaks 'multipath -ll' väljundis olemas ressursid näha.

Kasulikud lisamaterjalid

btrfs storage kasutamine

btrfs storage kasutamine paistab välja nii 

root@pve-moraal-x570:~# pvesm list sn_srv_btrfs_2x_mx500
Volid                                         Format  Type             Size VMID
sn_srv_btrfs_2x_mx500:2291/vm-2291-disk-0.raw raw     images         540672 2291
sn_srv_btrfs_2x_mx500:2291/vm-2291-disk-1.raw raw     images    21474836480 2291
sn_srv_btrfs_2x_mx500:2301/vm-2301-disk-0.raw raw     images         540672 2301
sn_srv_btrfs_2x_mx500:2301/vm-2301-disk-1.raw raw     images    53687091200 2301
..

ning vastav osakond failisüsteemis 

root@pve-moraal-x570:~# ls -ld /srv/btrfs_2x_mx500/images/2291/*/*
-rw-r----- 1 root root      540672 Apr 23 18:01 /srv/btrfs_2x_mx500/images/2291/vm-2291-disk-0/disk.raw
-rw-r----- 1 root root      540672 Apr 23 18:01 /srv/btrfs_2x_mx500/images/2291/vm-2291-disk-0@ssennemuudatust/disk.raw
-rw-r----- 1 root root 21474836480 Apr 23 18:02 /srv/btrfs_2x_mx500/images/2291/vm-2291-disk-1/disk.raw
-rw-r----- 1 root root 21474836480 Apr 23 18:02 /srv/btrfs_2x_mx500/images/2291/vm-2291-disk-1@ssennemuudatust/disk.raw

kus

  • /srv/btrfs_2x_mx500/images/2291 - nö tavaline kataloog
  • /srv/btrfs_2x_mx500/images/2291/vm-2291-disk-0 - btrfs subvolume objekt
  • /srv/btrfs_2x_mx500/images/2291/vm-2291-disk-0/disk.raw - fail
  • /srv/btrfs_2x_mx500/images/2291/vm-2291-disk-0@ssennemuudatust - btrfs snapshot objekt

btrfs tasemel virtuaalse arvuti storage migreerimine 

root@pve-moraal-x570:~# mkdir /srv/btrfs_2x_mx500/images/7001
root@pve-moraal-x570:~# btrfs subvolume create /srv/btrfs/images/7001/vm-7001-disk-0
root@pve-moraal-x570:~# cp -a /srv/btrfs_2x_mx500/images/9000/vm-9000-disk-0/disk.raw /srv/btrfs/images/7001/vm-7001-disk-0/disk.raw

Kasulikud lisamaterjalid

SSD salvestusseadme kasutamine - PVE host

pve storage btrfs

Väited

  • virtuaalse arvuti plokkseadmele vastab pve host peal btrfs failisüsteemis fail
  • trim signaal tuleb saata failisüsteemist st antud juhul pve host peal öeldes
root@pve-moraal-x570:~# fstrim -v /srv/btrfs_2x_mx500
/srv/btrfs_2x_mx500: 2.9 GiB (3071885312 bytes) trimmed

trim protsessi võib olla sobiv jälgida nt selliselt, st iseloomulik on dkB/s tüüpi liiklus (eeldusel, et sar abil kogutakse statistikat) 

root@pve-moraal-x570:~# sar -d --dev=nvme0n1,nvme1n1 5
Linux 6.2.9-1-pve (pve-moraal-x570)     04/24/2023      _x86_64_        (24 CPU)

01:44:22 AM       DEV       tps     rkB/s     wkB/s     dkB/s   areq-sz    aqu-sz     await     %util
01:44:27 AM   nvme0n1    742.20      2.40    384.80  18941.60     26.04      0.57      0.75    100.00
01:44:27 AM   nvme1n1    742.40      1.60    384.80  18952.80     26.05      0.56      0.74    100.00

01:44:27 AM       DEV       tps     rkB/s     wkB/s     dkB/s   areq-sz    aqu-sz     await     %util
01:44:32 AM   nvme0n1    754.80     76.80   1309.30  20864.00     29.48      0.54      0.71    100.00
01:44:32 AM   nvme1n1    754.00      0.00   1309.30  20852.80     29.39      0.55      0.72    100.00

Samuti näeb block trace utiliidi btrace abil vastavaid discard signaale 

root@pve-moraal-x570:~# blktrace -a discard -d /dev/nvme0n1 -o - | blkparse -i -
..
259,0   18       26 1266874889.708816421 396200  A  DS 2635144592 + 32 <- (259,4) 485561744
259,0   18       27 1266874889.708816501 396200  Q  DS 2635144592 + 32 [fstrim]
259,0   18       28 1266874889.708816751 396200  G  DS 2635144592 + 32 [fstrim]
259,0   18       29 1266874889.708816941 396200  I  DS 2635144592 + 32 [fstrim]
259,0   18       30 1266874889.708818301   314  D  DS 2635144592 + 32 [kworker/18:1H
...

Või 

root@pve-moraal-x570:~# btrace -a discard /dev/nvme0n1
...


Kuna btrfs puhul tegeleb virtuaalse arvuti plokkseadmega pve host peal btrfs failisüsteemis fail, siis ainuke võimalus btrace kinnitamiseks ongi füüsiline plokkseade.

pve storage lvm

Väited

  • virtuaalse arvuti plokkseadmele vastab pve host peal lvm voluum
  • virtuaalse arvuti storage controller on 'VirtIO SCSI single'
  • virtuaalse arvuti plokkseadme on VirtIO ning Discard on linnutatud
  • võimalik, et muude kombinatsioonidega ka toimib
  • btrace saab kinnitada /dev/pve/vm-168-disk-0 vms seadme külge

Tulemusena on DS käske näha host peal füüsilise plokkseadme suunal samal ajal kui virtuaalses arvutis fstrim öeldakse.

pve storage mdadm

TODO

btrace saab kinnitada /dev/md127 vms seadme külge.

pve storage zfs

TODO 

TODO

SSD salvestusseadme kasutamine - PVE guest

ext4

TODO

lvm

TODO

btrfs

TODO

zfs - passthru

trim algamiseks sobib öelda (lisades 'trim' elemendi järele -w antakse prompt tagasi alles peale trim tegevuse lõppu) 

# root@pbs-ssd-1st:~# zpool trim zp_pbs_ssd_1st

root@pbs-ssd-1st:~# zpool status -t
  pool: zp_pbs_ssd_1st
 state: ONLINE
  scan: scrub repaired 0B in 02:33:42 with 0 errors on Sun Apr  9 02:57:43 2023
config:

        NAME                                      STATE     READ WRITE CKSUM
        zp_pbs_ssd_1st                            ONLINE       0     0     0
          raidz2-0                                ONLINE       0     0     0
            scsi-0QEMU_QEMU_HARDDISK_drive-scsi0  ONLINE       0     0     0  (1% trimmed, started at Mon 24 Apr 2023 01:58:38 AM EEST)
            scsi-0QEMU_QEMU_HARDDISK_drive-scsi1  ONLINE       0     0     0  (1% trimmed, started at Mon 24 Apr 2023 01:58:38 AM EEST)
            scsi-0QEMU_QEMU_HARDDISK_drive-scsi2  ONLINE       0     0     0  (1% trimmed, started at Mon 24 Apr 2023 01:58:38 AM EEST)
            scsi-0QEMU_QEMU_HARDDISK_drive-scsi3  ONLINE       0     0     0  (1% trimmed, started at Mon 24 Apr 2023 01:58:38 AM EEST)
            scsi-0QEMU_QEMU_HARDDISK_drive-scsi4  ONLINE       0     0     0  (1% trimmed, started at Mon 24 Apr 2023 01:58:38 AM EEST)
            scsi-0QEMU_QEMU_HARDDISK_drive-scsi5  ONLINE       0     0     0  (1% trimmed, started at Mon 24 Apr 2023 01:58:38 AM EEST)

errors: No known data errors

Kasulikud lisamaterjalid

  • TODO
Pärit leheküljelt "https://www.auul.pri.ee/wiki/index.php?title=Proxmox_v._7_kasutamine&oldid=751"