DM-Multipath kasutamine operatsioonisüsteemiga Debian
Sissejuhatus
Multipathing ehk täpsemini DM-Multipathing (device-mapper multipath), aga ka tuntud kui Linux Native Multipath ja DM-MPIO (device-mapper multipath I/O), viitab üldiselt võimalusele arvutist ühe ja sama salvestusressurssi (ingl. k. storage; nt kettakastist välja jagatud LUN või iSCSI target) kasutada erinevaid teid (ingl. k. path) mööda. Tavaliselt on sel juhul salvestusressurss arvuti külge ühendatud vastavalt FC või iSCSI transpordi meedia abil, mis vahetavad andmeid vastavalt üle optika või etherneti.
Multipath plokkseade on operatsioonisüsteemi kõrgemate kihtide jaoks moodustatud loogiline seade, mille komponentideks on erinevad teed arvutist kettakastis asuva loogise plokkseadme ehk LUN'ini (Logical Unit).
Sõltuvalt multipath seadistusest võib multipath seadmel olla selliseid omadusi
- redundantsus - töötab vaatamata mõne arvuti ja salvestusressursi vahel oleva ühenduse riknemisele
- jõudlus - võimaldab kiiremat andmevahetust kui üksik arvuti ja salvestusressursi vaheline ühenduskanal
Multipath lahendus keskendub arvuti ja salvestusressursi vaheliste ühenduste redundantsuse tagamisele.
Multipath lahenduse juures töötavad koostöös neli komponenti
- salvestusressurssi arvutiga ühendava seadme draiver - nt FC ühenduse puhul QLogic kontrolleri (ehk HBA - host bus adapter) draiver qla2xxx
- tuuma dm_multipath moodul - tuuma device-mapperi, mis üldiselt võimaldab konstrueerida mitmekihilisi loogilisi plokkseadmeid (sh nt füüsilistest seadmetest erinevate omadustega loogilisi seadmeid), multipath komponent
- udev - dünaamiline plokkseadmete moodustamine, vastavalt toimuvatele sündmustele, nt arvuti ja salvestusressursi vahel ühenduse kadumine
- multipath tarkvara - võimaldab muudustada seadistusfaili alusel multpath plokkseadet ning juhib udev ja device mapperi tööd kontrollides multipath plokkseadet moodustavate seadmete kättesaadavust
Multipath tarkvara ülesandeks on ära tunda, et erinevaid teid mööda on arvutiga ühendatud üks ja sama salvestusressurss ning moodustada loogiline seade, tavaliselt on sellel seadmel nimi kujul, nime viimase komponendi väärtus on juhitav
/dev/mapper/mpath0
Lisaks multipath tarkvara jälgib ühenduste korrasolekut ning teeb vastavaid ümberlülitusi.
Multipath seadmete kasutamiseks on lisaks vaba tarkvara DM-Multipath lahendusele olemas ka kommertslahendusi, nt EMC PowerPath. Ühe või teise implementatsiooni eelistamine sõltub konkreetselt kasutusel olevast riistavarast, operatsioonisüsteemist ja eelkõige nõuetest lahendusele.
Tööpõhimõte
Käesolevas punktis kirjeldatakse arvutist salvestusressursi kättesaadavusega seotud redundantsuse probleemile kahte võimalikku lahendust
- käsitsi ümberlülitus
- automaatne ümberlülitus multipath abil
Olgu kasutada arvuti ja kettakast
______________ lun1 | Kettakast | |______________| | | | | | | /dev/sda | | /dev/sdb _|____|_ | arvuti | |________| /dev/cciss/c0d0
kus
- arvutis on kaks FC porti (täpsemini optika, mis esineb kahe TX/RX paarina)
- arvuti on ühendatud kettakastiga kasutades dubleeritud ühendust
- kettakastist on tehtud arvutile kättesaadavaks üks LUN nimega lun1 (arvuti mõttes plokkseade)
- arvuti /boot ja juurfailisüsteemid asuvad lokaalsel plokkseadmel /dev/cciss/c0d0
- peale seda, kui arvutis on laaditud FC kontrolleri moodul ilmub arvutisse juurde kaks plokkseadet, /dev/sda ja /dev/sdb
Käsitsi path ümberlüĺitus
/dev/sda ja /dev/sdb on arvuti jaoks tavalised plokkseadmed, mida saab tavalisel viisil kasutada, kui välja arvata oluline asjaolu, et nad mõlemad vastavad ühele ja samale kettakasti ressursile. See väljendub nt selles, et kui /dev/sda peale moodustada partitsioonitabel, teisele partitsioonile LVM ja omakorda LVM köitele ext3 failisüsteem, siis on need kohe olemas ka /dev/sdb peal. Seejuures ei tohi arvutist kasutada /dev/sda ja /dev/sdb seadmeid samaaegselt, vastaselt korral tekkiks konflikt (nt failisüsteem läheb katki), võib olla, et arvuti ei lasegi seda teha.
Dubleeritud ühendusest kettakastiga võiks olla abi nt hooldustöö tegemisel, olgu vajalik nt arvuti ja kettakasti vahelise ühenduskaabli asendamine. Kui antud asjakorralduse puhul parasjagu töötab süsteem /dev/sda pealt ning on kavas vastavat kaablit hooldada, siis võiks põhimõtteliselt olla hoolduse protseduur nt selline
- peatatakse LVM peal asuvat failisüsteemi kasutatavad protsessid
- /dev/sda kasutamine lõpetatakse (ühendatakse failisüsteem lahti)
- kirjeldatakse LVM seadmele vastava füüsilise seadmena /dev/sdb
- ühendatakse failisüsteem külge
- käivitatakse protsessid
Ilmselt ei ole see kõige mõistlikum, topelt ühendused on salvestusressursiga olemas, aga kuna nende haldamine on kohmakas, siis tuleb teha teenuse töös katkestus.
Automaatne ümberlülitus multipath tarkvaraga
Alternatiiv oleks /dev/sda ja /dev/sdb baasil moodustada arvutisse uus loogiline seade, mis oskab arvestada seda asjaolu, et tema komponentidele vastavad mitte erinevad plokkseadmed, vaid erinevad teed samale plokkseadmele. Ja lisaks võiks see loogiline seade
- osata kasutada ära mõlemat ühendust, kui mõlemad töötavad
- jätkata töötamist, kui on kasutada ka ainult üks tee, emb-kumb
Sellise lahenduse nimi on multipathing. Vaikimisi on esimese multipath seadme nimi /dev/mapper/mpath0.
Multipath seadmega sisu on täpselt samasugune nagu tema komponentidel, mingit formaati plokkseadmel multipathiga ei kaasne. Multipath seade nö eksisteerib arvuti mälus ja ta tekitatakse peale sellise käsu arvutile ütlemist (taustal kasutab ta oma seadistusfaili, kus on näidatud milliseid komponente tal on kasutada; reeglina seadistusfaili puudumisel rakenduvad mõistlikud vaikeväärtused ja moodustatakse ootuspärane multipath seade)
# multipath -v 2
Multipath seadmele moodustatakse edasi partitsioonid, partitsioonile LVM, LVM köitele failisüsteem, nagu tavalisele plokkseadmele. Multipathi kasutava arvuti salvestusressursi kasutamist võiks kujutleda selliste kihtidena
failisüsteem -> LVM -> fdisk partitsioonid -> multipath seade -> multipathi komponendid ext3, ext4 volume group 'data' /dev/mapper/mpath0-part2 /dev/mapper/mpath0 /dev/sda, /dev/sdb
Multipath lahenduse kirjelduse näide
Et käesolev tekst hoida terviklikumana ja mitte liialt valguda üldistustesse, esitatakse konkreetse multipath lahenduse kirjelduse, millele toetutakse ka järgmistes punktides.
Kasutada olev riistvara
- üks EMC CLARiiON CX3 kettakast
- üks CISCO MDS9505 FC kommutaator (ingl. k. switch)
- igas arvutis üks QLogic QLA2432 kahe pordine FC kontroller
Multipath lahenduse omadused
- arvutis võib rikneda kuni üks FC kontrolleri port
- rikneda võib kuni üks kaabel arvuti ja FC lüliti vahel
- rikneda võib kuni üks kaabel lüliti ja kettakasti vahel
- rikneda võib kuni üks FC port kettakastil
- hooldustööde ajal saab LUN'isid kolida ühe SP (service processor) juurest teise juurde
- normaalses olekus kasutab arvuti andmevahetuseks mõlemat FC kontrollerit
Multipath juures võib põhimõtteliselt kasutada igasuguseid SCSI protokolli kasutavaid seadmeid, sh lokaalseid seadmeid. Milliste seadmetega multipathi kasutatakse, määratakse /etc/multipath.conf seadistusfailis, eriti blacklist sektsiooniga. Reeglina pakuvad aga praktilist huvi sellised juhtumid, kus arvuti ja salvestusressursi vahel on tõepoolest mitu erinevat füüsilist teed. Levinud on nt selline skeem, kus on FC meedia abil ühendatud FC kommutaatoriga omavahel üks kettakast ja mitu arvutit, kusjuures kõik ühendused arvutitest ja kettakastist kommutaatorini on füüsiliselt dubleeritud
_____________ | Kettakast | lun1 |_____________| SPA || SPB || ___||_______________________ | | | FC kommutaator | |____________________________| || || || || || || || || || FC port 1 || FC port 2 || || /dev/sda || /dev/sdc || ..... arvuti n /dev/sdb || /dev/sdd || _||_ || arvuti 1 | | || |____| || || _||_ | | arvuti 2 |____|
kus
- arvutis on kaks FC porti (st kaks RX/TX paari optikat)
- arvutis on ühele salvestusressursile lun1 vastavaid seadmeid neli seetõttu, et arvutist salvestusressursini on neli võimalikku ühendusteed
- samaväärne on rääkida kas mõne tee (ingl. k. path) riknemisest või multipath seadmele vastava komponendi (nt sda antud juhul) riknemisest
Arvuti FC kontrolleri draiveri kasutamine
FC kontrolleri tarkvara jagatakse tavaliselt mitmel moel, kusjuures ta võib esineda nö kahe komponendiliselt, draiver ning firmware
- distributsiooni paketihalduses
- tootja kodulehel
- draiver kopeerib firmware FC kontrollerilt
Debian GNU/Linux puhul soovitatakse QLogic FC kontrolleri jaoks kasutada non-free repositooriumist paketti firmware-qlogic
# apt-get install firmware-qlogic
Tulemusena peab peale arvuti järgmist alglaadimist olema näha FC ressurssidele vastavad SCSI seadmed, nt /dev/sda, /dev/sdb, /dev/sdc ja /dev/sdd eeldusel, et arvuti lokaalne kõvaketas on mingi muu nimega SCSI seade, nt /dev/cciss/c0d0, dmesgi ilmuvad teated kahe FC kontrolleri kohta
Üks kontroller
qla2xxx 0000:49:00.0: Found an ISP2432, irq 57, iobase 0xffffc20007972000 qla2xxx 0000:49:00.0: Configuring PCI space... PCI: Setting latency timer of device 0000:49:00.0 to 64 qla2xxx 0000:49:00.0: Configure NVRAM parameters... qla2xxx 0000:49:00.0: Verifying loaded RISC code... firmware: requesting ql2400_fw.bin qla2xxx 0000:49:00.0: Allocated (64 KB) for EFT... qla2xxx 0000:49:00.0: Allocated (1413 KB) for firmware dump... scsi0 : qla2xxx qla2xxx 0000:49:00.0: QLogic Fibre Channel HBA Driver: 8.02.01-k4 QLogic HPAE312A - ISP2432: PCIe (2.5GT/s x4) @ 0000:49:00.0 hdma+, host#=0, fw=4.04.00 [IP] [84XX] ... qla2xxx 0000:49:00.0: LIP reset occured (f7f7). qla2xxx 0000:49:00.0: LOOP UP detected (4 Gbps). scsi 0:0:0:0: Direct-Access DGC RAID 5 0326 PQ: 0 ANSI: 4 scsi 0:0:1:0: Direct-Access DGC RAID 5 0326 PQ: 0 ANSI: 4 .. sd 0:0:0:0: [sda] READ CAPACITY failed sd 0:0:0:0: [sda] Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE,SUGGEST_OK sd 0:0:0:0: [sda] Sense Key : Illegal Request [current] sd 0:0:0:0: [sda] Add. Sense: Logical unit not supported sd 0:0:0:0: [sda] Test WP failed, assume Write Enabled sd 0:0:0:0: [sda] Asking for cache data failed sd 0:0:0:0: [sda] Assuming drive cache: write through sd 0:0:0:0: [sda] Attached SCSI disk sd 0:0:1:0: [sdb] READ CAPACITY failed sd 0:0:1:0: [sdb] Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE,SUGGEST_OK sd 0:0:1:0: [sdb] Sense Key : Illegal Request [current] sd 0:0:1:0: [sdb] Add. Sense: Logical unit not supported sd 0:0:1:0: [sdb] Test WP failed, assume Write Enabled sd 0:0:1:0: [sdb] Asking for cache data failed sd 0:0:1:0: [sdb] Assuming drive cache: write through sd 0:0:1:0: [sdb] Attached SCSI disk
Teine kontroller
qla2xxx 0000:49:00.1: Found an ISP2432, irq 54, iobase 0xffffc20007974000 qla2xxx 0000:49:00.1: Configuring PCI space... PCI: Setting latency timer of device 0000:49:00.1 to 64 qla2xxx 0000:49:00.1: Configure NVRAM parameters... qla2xxx 0000:49:00.1: Verifying loaded RISC code... qla2xxx 0000:49:00.1: Allocated (64 KB) for EFT... qla2xxx 0000:49:00.1: Allocated (1413 KB) for firmware dump... scsi1 : qla2xxx qla2xxx 0000:49:00.1: QLogic Fibre Channel HBA Driver: 8.02.01-k4 QLogic HPAE312A - ISP2432: PCIe (2.5GT/s x4) @ 0000:49:00.1 hdma+, host#=1, fw=4.04.00 [IP] [84XX] .. qla2xxx 0000:49:00.1: LIP reset occured (f7f7). qla2xxx 0000:49:00.1: LOOP UP detected (4 Gbps). scsi 1:0:0:0: Direct-Access DGC RAID 5 0326 PQ: 0 ANSI: 4 scsi 1:0:1:0: Direct-Access DGC RAID 5 0326 PQ: 0 ANSI: 4 .. sd 1:0:0:0: [sdc] READ CAPACITY failed sd 1:0:0:0: [sdc] Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE,SUGGEST_OK sd 1:0:0:0: [sdc] Sense Key : Illegal Request [current] sd 1:0:0:0: [sdc] Add. Sense: Logical unit not supported sd 1:0:0:0: [sdc] Test WP failed, assume Write Enabled sd 1:0:0:0: [sdc] Asking for cache data failed sd 1:0:0:0: [sdc] Assuming drive cache: write through sd 1:0:0:0: [sdc] Attached SCSI disk sd 1:0:1:0: [sdd] READ CAPACITY failed sd 1:0:1:0: [sdd] Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE,SUGGEST_OK sd 1:0:1:0: [sdd] Sense Key : Illegal Request [current] sd 1:0:1:0: [sdd] Add. Sense: Logical unit not supported sd 1:0:1:0: [sdd] Test WP failed, assume Write Enabled sd 1:0:1:0: [sdd] Asking for cache data failed sd 1:0:1:0: [sdd] Assuming drive cache: write through sd 1:0:1:0: [sdd] Attached SCSI disk
Väljundist võiks panna tähele järgmisi asjaolusid
- firmware: requesting ql2400_fw.bin - firmware laaditakse failisüsteemist, mitte kontrolleri flash'ilt; vastasel korral esineks teade
qla2xxx 0000:49:00.0: Firmware image unavailable. qla2xxx 0000:49:00.0: Firmware images can be retrieved from: ftp://ftp.qlogic.com/outgoing/linux/firmware/. qla2xxx 0000:49:00.0: Attempting to load (potentially outdated) firmware from flash.
- LOOP UP detected (4 Gbps) - kasutatakse 4Gbps fiibriühendust
- üle FC on kättesaadavad neli SCSI plokkseadet: /dev/sda, /dev/sdb, /dev/sdc ja /dev/sdd
Lisaks, toodud andmed klapivad ilusti lspci väljundiga, nt langevad kokku FC kontrollerite PCI identifikaatorid
49:00.0 Fibre Channel: QLogic Corp. ISP2432-based 4Gb Fibre Channel to PCI Express HBA (rev 03) 49:00.1 Fibre Channel: QLogic Corp. ISP2432-based 4Gb Fibre Channel to PCI Express HBA (rev 03)
Multipath tarkvara paigaldamine
Kaasaegsed Linuxi distributsioonide sh Debian GNU/Linux paketihalduses sisaldub multipathing jaoks vajalik multipath tarkvara ja kui ei ole selget põhjust talitada muud moodi, tuleks eelistada seda. Debian GNU/Linux puhul tuleb paigaldada paketti multipath-tools öeldes (Etch ehk v 4.0 puhul on multipath tarkvara versioon 0.4.7, Lenny ehk v. 5.0 ja Debian Squeeze v. 6.0 puhul 0.4.8)
# apt-get install multipath-tools
Lisaks kasutatakse automaatselt tuuma moodulit dm_multipath.
Paketi koosseisu kuuluvad
- dokumentatsioon ja seadistusnäited
/usr/share/doc/multipath-tools/examples/multipath.conf.annotated.gz /usr/share/doc/multipath-tools/examples/multipath.conf.synthetic
- multipathd deemon - /sbin/multipathd
- multipath seadmete seadistamise utiliit - /sbin/multipath
- käivitusskript - /etc/init.d/multipath-tools
Multipath seadmete moodustamine
Multipath tarkvara tööd kontrollib seadistusfail /etc/multipath.conf, milles on määratletud sektsioonides
- defaults - multipath seadmete üldised omadused
- blacklist - milliseid SCSI seadmeid ei kasutata multipath seadmete moodustamisel
- multipaths - konkreetsete multipath seadmete kirjeldused
- devices - salvestusressursside kirjeldused, nt fiibrivõrgus asuvad erinevate tootjate kettakastid
Multipath töötab mõnel juhul ka ilma seadistusfailita põhjusel, et tarkvarasse on nö hardcode'itud populaarsete kettakastide mõistlikud vaikeväärtused, kuid reeglina võiks siiski seadistusfailis kasutusel olevad väärtused ilmutatud kujul esitada ja vajadusel asjaolusid täpsustada. Üle seadistada ilmselt ei ole ka tarvis.
- Multipath seadet moodustavate komponentide SCSI unikaalne identifikaatori saab teha kindlaks selliselt ja seda scsi-id väärtust kasutatakse seadistusfailis wwid parameetrina, kusjuures kõigi plokkseadete scsi-id väärtus on sama kuna need plokkseadmed vastavad sama füüsilise salvestusressursi juurde viivatele erinevatele teedele
# /lib/udev/scsi_id -g -u -s /block/sda 3600601602cc01d008a360bdb7d14de11 # /lib/udev/scsi_id -g -u -s /block/sdb 3600601602cc01d008a360bdb7d14de11 # /lib/udev/scsi_id -g -u -s /block/sdc 3600601602cc01d008a360bdb7d14de11 # /lib/udev/scsi_id -g -u -s /block/sdd 3600601602cc01d008a360bdb7d14de11
- Kasutatava kettakasti mudelit teades saab kirjeldada sobiva device'i devices sektsiooni, mis võib olla parem kui nö generic väärtusi kasutav juhtum
- Lähtudes lahendusele esitatavatest nõuetest saab valida muu seas sobiva nime tekkivale multipath seadmele, parameeter alias
Näiteks võiks ülalkirjeldatud riistvara puhul kasutada sellise sisuga seadistusfaili
defaults { udev_dir /dev polling_interval 5 default_selector "round-robin 0" user_friendly_names yes } blacklist { wwid 200d04efd1804f38e devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*" devnode "^hd[a-z][[0-9]*]" devnode "^cciss!c[0-9]d[0-9]*[p[0-9]*]" } multipaths { multipath { wwid 3600601602cc01d008a360bdb7d14de11 alias pgdata } } devices { device { vendor "DGC" product "*" path_grouping_policy group_by_prio getuid_callout "/lib/udev/scsi_id -g -u -s /block/%n" prio_callout "/sbin/mpath_prio_emc /dev/%n" hardware_handler "1 emc" features "1 queue_if_no_path" no_path_retry 300 path_checker emc_clariion failback immediate } }
Kommentaarid seadistusfailile
- Seadistusfailis esineb neli sektsiooni: default, blacklist, multipaths ja devices
- multipaths all kirjeldatakse süsteemile kättesaadavad multipath seadmed
- devices all kirjeldatakse süsteemile kättesaadavad salvestusressurssid, nt kui sama fiibri küljes on erinevate tootjate kettakastid
- antud juhul on kirjeldatud ühele salvestusressursi tüübile vastav device
- antud juhul on kirjeldatud üks multipath seade pgdata, millele vastab plokkseade nimega /dev/mapper/pgdata
Selleks, et seadistusfaili põhjal moodustada multipath seade, tuleb öelda multipath seadmete seadistamise utiliidi multipath abil öelda
# multipath -v2 create: pgdata (3600601602cc01d008a360bdb7d14de11) DGC ,RAID 5 [size=250G][features=1 queue_if_no_path][hwhandler=1 emc] \_ round-robin 0 [prio=2][undef] \_ 0:0:1:0 sdb 8:16 [undef][ready] \_ 1:0:1:0 sdd 8:48 [undef][ready] \_ round-robin 0 [prio=0][undef] \_ 0:0:0:0 sda 8:0 [undef][ready] \_ 1:0:0:0 sdc 8:32 [undef][ready] libdevmapper: libdm-common.c(312): Created /dev/mapper/pgdata
Kui käsk õnnestus, siis antud juhul peaks olema ilmunud seade nimega /dev/mapper/pgdata
# fdisk /dev/mapper/pgdata -l Disk /dev/mapper/pgdata: 268.4 GB, 268435456000 bytes 255 heads, 63 sectors/track, 32635 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes Disk identifier: 0x00000000 Disk /dev/mapper/pgdata doesn't contain a valid partition table
multipath programmiga saab muu hulgas küsida millised seadmed on parasjagu aktiivsed
- -l argumendi kasutamisel kasutatakse esitatakse tulemus sysfs ja device mapper käest saadud info põhjal, on vähem-informatiivsem
# multipath -l pgdata (3600601602cc01d008a360bdb7d14de11) dm-6 DGC ,RAID 5 [size=250G][features=1 queue_if_no_path][hwhandler=1 emc] \_ round-robin 0 [prio=0][active] \_ 0:0:1:0 sdb 8:16 [active][undef] \_ 1:0:1:0 sdd 8:48 [active][undef] \_ round-robin 0 [prio=0][enabled] \_ 0:0:0:0 sda 8:0 [active][undef] \_ 1:0:0:0 sdc 8:32 [active][undef]
- -ll argumendi kasutamisel kasutatakse esitatakse tulemus kõigi olemasolevate allikate käest saadud info põhjal, on informatiivsem
# multipath -ll pgdata (3600601602cc01d008a360bdb7d14de11) dm-6 DGC ,RAID 5 [size=250G][features=1 queue_if_no_path][hwhandler=1 emc] \_ round-robin 0 [prio=2][active] \_ 1:0:1:0 sdb 8:16 [active][ready] \_ 0:0:1:0 sdd 8:48 [active][ready] \_ round-robin 0 [prio=0][enabled] \_ 1:0:0:0 sda 8:0 [active][ready] \_ 0:0:0:0 sdc 8:32 [active][ready]
Multipath seadme omadusi saab küsida ka dmsetup programmi abil, kus seadme minor väärtus 6 esineb ka seadme nimes, dm-6
# dmsetup status -v pgdata Name: pgdata State: ACTIVE Read Ahead: 256 Tables present: LIVE Open count: 0 Event number: 0 Major, minor: 254, 6 Number of targets: 1 UUID: mpath-3600601602cc01d008a360bdb7d14de11 0 524288000 multipath 2 0 1 0 2 1 A 0 2 0 8:16 A 0 8:48 A 0 E 0 2 0 8:0 A 0 8:32 A 0
Multipath seadme eemaldamiseks sobib öelda
# multipath -v2 -F libdevmapper: libdm-common.c(374): Removed /dev/mapper/pgdata
Probleemide korral on abiks uurida käsu väljundit
# multipath -v3 -d
Multipathd deemoni kasutamine
Seadistusfaili testimiseks on hea multipath seadme moodustamiseks kasutada vahetult utiliiti multipath. Kuid multipath seadme kasutamisel on oluline, et süsteem automaatselt avastaks, kui mõni multipath seadmeni viiv tee on läinud kakti või on uuesti saanud korda ning automaatselt kohendatataks multipath seadet vastavaks kujunenud olukorrale.
Multipathd deemoni ülesanne on jälgida multipath seadmetega seotud teede olekut ning reageerida sündmustele. Kui selline sündmus aset leiab, kasutab multipathd välist multipath utiliiti vajaliku muudatuse tegemiseks.
Multipath deemoni käivitamist ja seiskamist sobib juhtida skriptiga, tavaliselt käivitatakse see süsteemi alglaadimisel
# /etc/init.d/multipath-tools start|stop
multipathd programmi saab lisaks kasutada töötava multipathd deemoni kontrollimiseks, interaktiivsesse rezhiimi sattumiseks peab deemon töötama ning lisaks tuleb käivitada multipathd võtmega -k
# multipathd -k # multipathd>
Väljumiseks tuleb öelda Ctrl+D
- Esitada teede nimekiri
# multipathd> show paths hcil dev dev_t pri dm_st chk_st next_check 0:0:0:0 sda 8:0 0 [active][ready] XXXXXXX... 14/20 0:0:1:0 sdb 8:16 1 [active][ready] XXXXX..... 10/20 1:0:0:0 sdc 8:32 0 [active][ready] XXXXXX.... 13/20 1:0:1:0 sdd 8:48 1 [active][ready] XXXXX..... 10/20
- märkida tee sda katkiseks
# multipathd> fail path sda ok multipathd> show paths hcil dev dev_t pri dm_st chk_st next_check 0:0:0:0 sda 8:0 0 [failed][ready] XXXXXXXXXX 5/5 0:0:1:0 sdb 8:16 1 [active][ready] XXXXX..... 11/20 1:0:0:0 sdc 8:32 0 [active][ready] XXXXXXX... 14/20 1:0:1:0 sdd 8:48 1 [active][ready] XXXXX..... 11/20
- vaadata kehtivat konfiguratsiooni
multipathd> show config
Multipath seadmete kasutamine
Üldiselt soovitatakse multipath seadmetele moodustada LVM kusjuures on abiks kirjeldada LVM seadistusfailis sobiv filter, et mitte saada veateateid /dev/sda, /dev/sdb, /dev/sdc ja /dev/sdd kohta, nt
filter = [ "r/disk/", "r/sd.*/", "a/.*/" ]
ning võiks kasutada sellist preferred_names väärtust
preferred_names = [ "^/dev/mapper" ]
LVM moodustamine toimub iseensest tavalisel moel, nt
# pvcreate /dev/mapper/pgdata # vgcreate pgdata /dev/mapper/pgdata # lvcreate -L 160G -n pgdata pgdata
Multipath seadmete ümberseadistamine
Selleks, et multipath seadme seadistusi muuta, sobib tegutseda sellises järjekorras
- lõpetada seadme kasutamine, nt ühendada lahti failisüsteem
# umount /dev/pgdata/pgdata
- märkida vastav LVM grupp mitteaktiivseks, sellised io teated on normaalsed kui /dev/sda ja /dev/sdc ei ole parasjagu aktiivses kasutuses ja /etc/lvm/lvm.conf filter parameeter on korrastamata
# vgchange -a n pgdata /dev/sda: read failed after 0 of 4096 at 0: Input/output error /dev/sdc: read failed after 0 of 4096 at 0: Input/output error /dev/sdc: read failed after 0 of 4096 at 268435390464: Input/output error /dev/sdc: read failed after 0 of 4096 at 0: Input/output error 0 logical volume(s) in volume group "pgdata" now active
- seisata multipathd deemon
# /etc/init.d/multipath-tools stop Stopping multipath daemon: multipathd.
- eemaldada kõik olemasolevad multipath seadmed
# multipath -F libdevmapper: libdm-common.c(374): Removed /dev/mapper/pgdata
või konkreetne seade
# multipath -f multpathressursinimi
- muuta seadistusfaili /etc/multipath.conf
- multipath seadmete tekitamiseks käivitada multipathd deemon
# /etc/init.d/multipath-tools start
- lülitame LVM grupi aktiivseks
# vgchange -a y pgdata /dev/sda: read failed after 0 of 4096 at 0: Input/output error /dev/sdc: read failed after 0 of 4096 at 0: Input/output error 1 logical volume(s) in volume group "pgdata" now active
- ühendada failisüsteemid külge ja jätkata failisüsteemide kasutamist
Multipath lahenduse testimine
- dd & iostat - näiteks võiks ülaltoodud riistvara ja seadistuste kasutamisele vastata selline io väljund dd abil andmete kopeerimisele, kust on näha, et kasutatakse mõlemat FC porti paralleelselt, dm-6 on multipath seade ise ning dm-7 multipath seadmele moodustatud LVM voluum
Device: tps MB_read/s MB_wrtn/s MB_read MB_wrtn .. sda 0.00 0.00 0.00 0 0 sdb 89.50 0.00 39.79 0 159 dm-6 21353.00 0.00 83.41 0 333 dm-7 21348.50 0.00 83.39 0 333 sdc 0.00 0.00 0.00 0 0 sdd 90.50 0.00 39.71 0 158
Edasi võiks multipathd -k abil määrata teid riknenuks ja jälgida, et salvestusressurss on jätkuvalt nii nagu tarvis kasutatav.
- FC kaablite ükshaaval lahtiühendamine või samaväärne tegevust nt FC lülitis vastavate portide olekute muutmiseks
- kettakastis LUN'ide liigutamine teine SP (service processor) külge
Logi
Reegline tekib multipath seadet kasutava arvuti bootimisel dmesg logisse rikkalikult sarnaseid teateid, mis iseenesest ei viita veasituatsioonile
sd 1:0:0:0: [sda] Device not ready: Sense Key : Not Ready [current] sd 1:0:0:0: [sda] Device not ready: Add. Sense: Logical unit not ready, manual intervention required end_request: I/O error, dev sda, sector 0 Buffer I/O error on device sda, logical block 0 ...
/boot ja juurfailisüsteemide kasutamine multipath seadmelt
Juurfailisüsteemi kasutamine multipath seadmelt võimaldab nt paindlikumalt migreerida operatsioonisüsteemi teisele riistavarale, st lihtsalt kettakastist ühendatakse sama plokkseade mõnele muule arvutile külge.
Põhimõtteliselt on juurfailisüsteemi üle FC kasutamise puhul kaks võimalust
- /boot failisüsteem asub lokaalsel kettal ja juurfailisüsteem tuleb üle FC võrgu
- /boot ja juurfailisüsteem tulevad mõlemad üle FC võrgu (käesolevas punktis kirjeldatakse edasi seda juhtumit)
/boot ja juurfailisüsteemi multipath seadmelt kasutava arvuti alglaadimisel toimuvad sündmused sellises järjekorras
- FC kontroller esitab FC ressursi BIOSile nö kõvaketastena (/dev/sda, /dev/sdb), millelt esimese pealt laaditakse bootloader
- küljes oleva tarkusega laaditakse FC seadmelt bootloader (kas /dev/sda või /dev/sdb pealt, kusjuures siis veel multipathing ei tööta selles mõttes, et tegu ei ole ühe loogilise multipathitud seadmega, vaid tema komponentidega)
- bootloader laadib /boot failisüsteemist tuuma ja ramdiski
- ajutiselt ühendatakse külge juurfailisüsteem ramdiskilt
- laaditakse ramdiskil olevad FC kontrolleri draiver ning muu multipath'i kasutamiseks vajalik tarkvara (tulemusena saab edasi kasutada multipathitud seadet)
- ühendakse külge päris operatsioonisüsteemi juurfailisüsteem multipath seadmelt, tulemusena operatsioonisüsteem töötab
Selliselt töötava süsteemi ettevalmistamiseks on 2012 aastal nt kaks sellist võimalust
- kasutada nö lisafirmwarega Debian Squeeze v. 6 net installerit
http://www.debian.org/releases/stable/debian-installer/ http://cdimage.debian.org/cdimage/unofficial/non-free/cd-including-firmware/6.0.5/amd64/iso-cd/firmware-6.0.5-amd64-netinst.iso
- tuleb installeeritav arvuti üles bootida nt RIPLinux abil ning seejärel kopeerida mõnest töötavast süsteemist /boot ja juurfailisüsteemid sh sobivalt ettevalmistatud initramfs tõmmis
Kui /boot ja juurfailisüsteemid tulevad üle võrgu, siis on oluline, et süsteemis oleks olemas multipath-tools-boot pakett, paigaldamise käigus moodustatakse uus initramfs tõmmis (sisuliselt sisaldab see pakett vajalikke nn hook'isid, et tõmmisesse lisataks multipath binari jms et initramfs'ist käivitatud pisikese linuxi sees saaks multipathi kasutada)
# apt-get install multipath-tools-boot
Sõltuvalt asjaoludest võib olla vajalik redigeerida bootloaderi seadistusfail /boot/grub/grub.cfg
# update-grub
Kui kasutatakse /etc/mutipath.conf faili, siis tuleks peale selle faili muutmist ka uuesti genereerida initramfs, et see fail muudetud kujul initramfs'i jõuaks
# update-initramfs -u
Tulemus peaks paistama selline
- kasutatakse nt selliseid multipath seadmeid
# multipath -ll mpath0 (360060e80102d1dc00511c56400000005) dm-0 HITACHI,DF600F size=20G features='1 queue_if_no_path' hwhandler='0' wp=rw `-+- policy='round-robin 0' prio=1 status=active |- 0:0:0:0 sda 8:0 active ready running `- 1:0:0:0 sdb 8:16 active ready running
- multipath seadmele on tektitatud kaks partitsiooni
# parted /dev/mapper/mpath0 p Model: Linux device-mapper (multipath) (dm) Disk /dev/mapper/mpath0: 21.5GB Sector size (logical/physical): 512B/512B Partition Table: msdos Number Start End Size Type File system Flags 1 1049kB 256MB 255MB primary ext3 boot 2 256MB 21.5GB 21.2GB primary lvm
- teisele partitsioonile on moodustatud LVM
# pvdisplay --- Physical volume --- PV Name /dev/mapper/mpath0-part2 VG Name system PV Size 19.76 GiB / not usable 3.00 MiB Allocatable yes PE Size 4.00 MiB Total PE 5058 Free PE 1640 Allocated PE 3418 PV UUID cbk9o6-XJga-PnK7-BOb1-hP8U-KTXX-5sdWhZ
- kokkuvõttes on failisüsteemid ühendutud selliselt, nb! kuidas /boot on monteeritud
# df -h Filesystem Size Used Avail Use% Mounted on /dev/mapper/system-root 12G 756M 10G 7% / tmpfs 2.0G 0 2.0G 0% /lib/init/rw udev 2.0G 180K 2.0G 1% /dev tmpfs 2.0G 0 2.0G 0% /dev/shm /dev/mapper/mpath0-part1 236M 58M 166M 26% /boot
Debian Etch kasutamise iseärasused
Kui Debian Etch puhul seletamatutel põhjustel ei ole multipath abil LUN paista, siis on tõenäoliselt abi sellise paiga http://kuutorvaja.eenet.ee/mw-1.9.3/images/4/44/Get_class_devices.patch rakendamisest
--- sysfsutils-2.1.0old/lib/sysfs_class.c 2006-08-07 08:08:01.000000000 +0300 +++ sysfsutils-2.1.0/lib/sysfs_class.c 2008-10-08 19:24:12.000000000 +0300 @@ -65,8 +65,7 @@ if (!a || !b) return 0; - if (strncmp((char *)a, ((struct sysfs_class_device *)b)->name, - strlen((char *)a)) == 0) + if (strcmp((char *)a, ((struct sysfs_class_device *)b)->name) == 0) return 1; return 0;
Rakendamine toimub sellise järgnevusena
- paigaldame libsysfs2 paketi kompileerimiseks vajalikud vahendid ning kopeerime paketi lähteteksti
# cd /usr/src # apt-get build-dep libsysfs2 # apt-get source libsysfs2
- kopeerime paiga lähteteksti juurde
# cp get_class_devices.patch sysfsutils-2.1.0/debian/patches
- kompileerime paketi
# dpkg-buildpackage -uc
- paigaldame paketi libsysfs2_2.1.0-5_amd64.deb
# dpkg -i libsysfs2_2.1.0-5_amd64.deb
Debian Squeeze kasutamise iseärasused
Debian Squeeze puhul tuleb kasutada scsi_id programmi muutunud parameetritega, nt
getuid_callout "/lib/udev/scsi_id --whitelisted --device=/dev/%n"
Multipath kasutamine iSCSI seadmete nimede fikseerimiseks
Tegu ei ole sisulise multipathinguga, multipath tarkvara kasutatakse lihtsalt plokkseadmete nimede fikseerimiseks.
Üle iSCSI külge ühendatud plokkseadmete nimed esinevad tavaliselt kujul /dev/sda, /dev/sdb jne kusjuures järjekord sõltub iSCSI ressursi külge ühendamise järjekorrast. Tundub, et sellise sisuga /etc/multipath.conf faili kasutamine sobib iSCSI abil külge ühendatud plokkseadmete nimede fikseerimiseks
defaults { udev_dir /dev polling_interval 60 default_selector "round-robin 0" user_friendly_names yes } blacklist { wwid 200d04efd1804f38e devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*" devnode "^hd[a-z][[0-9]*]" devnode "^cciss!c[0-9]d[0-9]*[p[0-9]*]" } multipaths { multipath { wwid 149455400000000000000000001000000228c50000d000000 alias shared1 } multipath { wwid 14945540000000000000000000200000049a529000d000000 alias shared2 } } devices { device { vendor "IET" product "*" path_grouping_policy failover getuid_callout "/lib/udev/scsi_id -g -u -s /block/%n" no_path_retry 300 path_checker readsector0 failback immediate } }
kus
- iSCSI seadmetel on reeglina vendori nimeks IET
- wwid väärtuse saab küsida sarnaselt, /lib/udev/scsi_id -g -u -s /block/sda
Multipath tarkvara kasutamine toimub eelpool kirjeldatud viisil, tulemusena tekivad sellised seadmed /dev/mapper/shared1 ja /dev/mapper/shared2
# multipath -ll shared2 (14945540000000000000000000200000049a529000d000000) dm-14 IET ,VIRTUAL-DISK [size=8.0G][features=1 queue_if_no_path][hwhandler=0] \_ round-robin 0 [prio=1][active] \_ 30:0:0:0 sda 8:0 [active][ready] shared1 (149455400000000000000000001000000228c50000d000000) dm-15 IET ,VIRTUAL-DISK [size=6.0G][features=1 queue_if_no_path][hwhandler=0] \_ round-robin 0 [prio=1][active] \_ 31:0:0:0 sdb 8:16 [active][ready]
SCSI seadmetega töötamine
NB! Käesoleva punkti sisu on testimata. SCSI seadmete eemaldamiseks sobib öelda
# echo 1 > /sys/block/seadmenimi/device/delete
SCSI seadmete re-skaneerimiseks sobib kasutada
/sys/class/scsi_host/hostN/scan
Lisaks on scsitools paketis skript rescan-scsi-bus.sh.
Olemasoleva readme suuruse muutuse avastamiseks sobib öelda
# echo 1 > /sys/class/block/sdb/device/rescan
Märkused
- Põhimõtteliselt saab suvalist SCSI seadet kasutada multipath seadme moodustamiseks, aga praktiliselt ei ole sellel suurt mõtet kui välja jätta kastsetamise väärtus. Nt lokaalse ketta scsi-id väärtuse küsimine toimub nii
# /lib/udev/scsi_id -g -u -s /block/cciss/c0d0 3600508b1001050395357553155410002
- FC puhul on tavaline, et iostat ei näita midagi kuigi protsess kirjutab ägedalt; ja vastupidi, protsess ei kirjuta ning ometi on suur IO. Põhjuseks on tüüpiliselt FC kontrolleritel kasutatavad mitmesaja MBait suurused cache'id.
- Kui GRUB2 bootloader on paigaldatud multipath seadmele, siis saab update-grub ütlemisel teate, aga tundub, et /boot/grub/grub.cfg üldiselt genereeritakse, vt http://www.auul.pri.ee/wiki/GRUB2_alglaaduri_kasutamine_operatsioonis%C3%BCsteemiga_Debian_Squeeze#GRUB2_alglaaduri_kasutamine_multipath_.2Fboot_seadmega
# update-grub Generating grub.cfg ... Found linux image: /boot/vmlinuz-2.6.32-5-amd64 Found initrd image: /boot/initrd.img-2.6.32-5-amd64 /usr/sbin/grub-probe: error: cannot find a GRUB drive for /dev/mapper/mpath0-part1. Check your device.map. /usr/sbin/grub-probe: error: cannot find a GRUB drive for /dev/mapper/mpath0-part1. Check your device.map. done
TODO
- Kettakasti seadistamine
- FC lüliti seadistamine
- Edasiarenenud kettakasti võimaluste kasutamine, snapshot, kloon
- Kirjeldada Path Group mõistet
Hitachi DF600F kettakasti ja QLogic ISP2532 FC kontrolleri kasutamine
Hitachi DF600F kettakasti ja QLogic ISP2532 FC kontrolleri kasutamiseks sobivad Debian Lenny AMD64 paketihalduse vahendid
# apt-get install multipath-tools firmware-qlogic
Vaikimisi st ilma /etc/multipath.conf faili ettevalmistamata peaks paistama sarnane tulemus
# multipath # multipath -ll 360060e80102d1dc00511c56400000003dm-0 HITACHI ,DF600F [size=100G][features=1 queue_if_no_path][hwhandler=0] \_ round-robin 0 [prio=1][active] \_ 1:0:0:0 sda 8:0 [active][ready] \_ round-robin 0 [prio=0][enabled] \_ 2:0:0:0 sdb 8:16 [active][ready]
või Debian Squeeze puhul
# multipath -ll mpath0 (360060e80102d1dc00511c56400000006) dm-0 HITACHI,DF600F size=20G features='1 queue_if_no_path' hwhandler='0' wp=rw |-+- policy='round-robin 0' prio=1 status=active | `- 1:0:0:0 sdb 8:16 active ready running `-+- policy='round-robin 0' prio=0 status=enabled `- 0:0:0:0 sda 8:0 active ready running
Näiteks selline ilmutatud kujul esitatud seadistusfail võiks töötada
defaults { udev_dir /dev polling_interval 5 default_selector "round-robin 0" user_friendly_names yes } blacklist { wwid 200d04efd1804f38e devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*" devnode "^hd[a-z][[0-9]*]" devnode "^cciss!c[0-9]d[0-9]*[p[0-9]*]" } multipaths { multipath { wwid 360060e80102d1dc00511c56400000003 alias test } } devices { device { vendor "HITACHI" product "DF.*" getuid_callout "/lib/udev/scsi_id -g -u -s /block/%n" prio_callout "/sbin/mpath_prio_hds_modular /dev/%n" path_grouping_policy multibus path_checker tur features "1 queue_if_no_path" failback immediate } }
ja tulemuseks, kusjuures liiklus käib paralleelselt üle /dev/sda kui ka /dev/sdb
# multipath -ll mpath0 (360060e80102d1dc00511c56400000006) dm-0 HITACHI,DF600F size=20G features='1 queue_if_no_path' hwhandler='0' wp=rw `-+- policy='round-robin 0' prio=1 status=active |- 0:0:0:0 sda 8:0 active ready running `- 1:0:0:0 sdb 8:16 active ready running
Hitachi DF600F kettakasti ja Emulex Corporation Saturn-X: LightPulse FC kontrolleri kasutamine
Seade paistab selline
a:~# lspci | grep Fibre 05:00.0 Fibre Channel: Emulex Corporation Saturn-X: LightPulse Fibre Channel Host Adapter (rev 03) 08:00.0 Fibre Channel: Emulex Corporation Saturn-X: LightPulse Fibre Channel Host Adapter (rev 03)
Kasutamiseks sobib vabatarkvaraline lpfc draiver, sisaldub nt v. 2.6.26 Linuxi tuumas
# modprobe lpfc
Muus osas toimub kasutamine sarnaselt muidu tekstis kirjeldatule.
Kettakasti kontroller on katki
Kui kettakastil on mitu kontrollerit (nagu tavaliselt) ja neis üks läheb katki, siis tavalisel juhul arvutil olevast kahest path'ist kaob üks ära. Lähtepunktiks oleks töötaval juhul selline multipath utiliidi väljund
# multipath -ll mpath_pgdata (360060e80102595000511318000000260) dm-4 HITACHI,DF600F size=1.0T features='1 queue_if_no_path' hwhandler='0' wp=rw `-+- policy='round-robin 0' prio=0 status=active |- 0:0:0:0 sdb 8:48 active ready running `- 2:0:0:0 sdc 8:32 active ready running
Ühe kontrolleri rike paistab operatsioonisüsteemi logis välja nt sedasi
# cat /var/log/kern.log Jun 13 22:56:19 mia-pg-rvk2a kernel: [1984185.226328] rport-0:0-0: blocked FC remote port time out: removing target and saving binding Jun 13 22:56:19 mia-pg-rvk2a kernel: [1984185.228053] sd 0:0:0:0: rejecting I/O to offline device Jun 13 22:56:19 mia-pg-rvk2a kernel: [1984185.229114] sd 0:0:0:0: rejecting I/O to offline device Jun 13 22:56:19 mia-pg-rvk2a kernel: [1984185.229175] device-mapper: multipath: Failing path 8:16. Jun 13 22:56:19 mia-pg-rvk2a kernel: [1984185.230173] sd 0:0:0:0: rejecting I/O to offline device Jun 13 22:56:19 mia-pg-rvk2a kernel: [1984185.231230] sd 0:0:0:0: rejecting I/O to offline device Jun 13 22:56:19 mia-pg-rvk2a kernel: [1984185.235027] sd 0:0:0:0: [sdb] Synchronizing SCSI cache Jun 13 22:56:19 mia-pg-rvk2a kernel: [1984185.235057] sd 0:0:0:0: [sdb] Jun 13 22:56:19 mia-pg-rvk2a kernel: [1984185.235060] Result: hostbyte=DID_NO_CONNECT driverbyte=DRIVER_OK
ning multipath utiliidi väljund on selline
# multipath -ll mpath_pgdata (360060e80102595000511318000000260) dm-4 , size=1.0T features='1 queue_if_no_path' hwhandler='0' wp=rw `-+- policy='round-robin 0' prio=1 status=active |- #:#:#:# - #:# failed faulty running `- 2:0:0:0 sdc 8:32 active ready running
kus
- alles on vaid üks multipath komponent, sdc (varem oli lisaks sdb ka)
- esimene komponent sdb on märgitud 'faulty' ehk katkiseks
Kui aga multipath töötab, siis tulemusena jääb teenus käima st vastav failisüsteem kasutatavaks operatsioonisüsteemi jaoks.
Multipath ressursi online suurendamine
Multipath ressursi online suurendamine toimub tavaliselt selliselt, et ühelt poolt on multipath seadme peale tehtud nt lvm kasutus ja sinna omakorda ext4 failisüsteem mis on operatsioonisüsteemi juures külge monteeritud. Ja kui seal on ruumi puudu, siis teises otsas olevas kettakastis suurendadakse üle fc võrgu kättesaadavaks tehtud scsi plokkseadme suurust. Ning eesmärgiks on selle kettakastist lisatud ressursi online'is kättesaadavaks tegemine failisüsteemile
kettakast -> fc või iscsi võrk -> scsi seade -> multipath seade -> lvm seade -> ext4 failisüsteem
scsi seadmete suuruse muudatuse äratundmiseks sobib öelda
# echo 1 > /sys/class/block/sda/device/rescan # echo 1 > /sys/class/block/sdb/device/rescan
multipath seadme suuruse muudatuse äratundmiseks sobib öelda
# multipathd -k'resize map mpath-seadme-nimi-nagu-see-paistab-multipath-ll-käsu-väljundis' ok
seejuures tekib logisse
Mar 1 13:51:39 kontor-tookoht multipathd[2332]: 36001405068f7781422b4b41b30a760db: resize map (operator) Mar 1 13:51:39 kontor-tookoht multipathd[2332]: 36001405068f7781422b4b41b30a760db: load table [0 41943040 multipath 0 0 2 1 service-time 0 1 1 8:0 1 service-time 0 1 1 8:16 1 Mar 1 13:51:39 kontor-tookoht multipathd[2332]: ] Mar 1 13:51:39 kontor-tookoht multipath: dm-3: usable paths found
lvm volume grupile suuruse kättesaadavaks tegemiseks
# pvresize /dev/mapper/mpathnimi
lvm suuruse muutmiseks sobib öelda
# lvresize -LuussuuremsuurusG /dev/vg_test/lv_test
failisüsteemi suurendamiseks
# resize2fs -p /dev/vg_test/lv_test
Kirjeldatud protseduur toimub Ubuntu 18.04 juures, nt Ubuntu 14.04 mitte, resize map XXX puhul jääb suurus samaks ja logisse kirjutatakse
Mar 1 06:29:06 kontor-server-1404 multipathd: uevent trigger error Mar 1 06:29:06 kontor-server-1404 multipathd: message repeated 2 times: [ uevent trigger error] Mar 1 06:30:54 kontor-server-1404 multipathd: 36001405068f7781422b4b41b30a760db: resize map (operator) Mar 1 06:30:54 kontor-server-1404 multipathd: 36001405068f7781422b4b41b30a760db: map is still the same size (25165824)
Kasulikud lisamaterjalid
Kasulikud lisamaterjalid
- http://christophe.varoqui.free.fr/
- https://www.redhat.com/docs/manuals/csgfs/browse/4.6/DM_Multipath/index.html
- https://powerlink.emc.com/ - EMC registreeritud kasutajatele, tekst 'Native Multipath Failover Based on DM-MPIO for v2.6.x Linux Kernel and EMC® Storage Arrays'
- http://blog.core-it.com.au/?p=80
- http://blog.thilelli.net/post/2009/02/09/Comparison:-EMC-PowerPath-vs-GNU/Linux-dm-multipath
- http://www.tchetch.net/wiki/debian/multipath_ibm_ds4000
- http://kuutorvaja.eenet.ee/wiki/FAI_kasutamine_Debianiga#Multipath_kasutamine_FAI_kliendi_juurfailis.C3.BCsteemina
- http://www.hp.com/go/devicemapper
- http://www.linux-admins.net/2010/10/multipath-usage-guide-for-san-in-rhel.html
- https://help.ubuntu.com/lts/serverguide/multipath-dm-multipath-config-file.html