https://www.auul.pri.ee/wiki/index.php?action=history&feed=atom&title=Apt-mirror_kasutamine 2026-05-03T17:42:13Z Selle lehekülje redigeerimiste ajalugu MediaWiki 1.39.13 https://www.auul.pri.ee/wiki/index.php?title=Apt-mirror_kasutamine&diff=93&oldid=prev 2021-12-22T20:14:09Z

<p>Uus lehekülg: &#039;===Sissejuhatus=== apt-mirror https://apt-mirror.github.io/ võimaldab pidada lokaalselt apt repositooriumi koopiat. Tavaliselt tehakse seda nt sellistel kaalutlustel * kohtvõ...&#039;</p> <p><b>Uus lehekülg</b></p><div>===Sissejuhatus===<br /> <br /> apt-mirror https://apt-mirror.github.io/ võimaldab pidada lokaalselt apt repositooriumi koopiat. Tavaliselt tehakse seda nt sellistel kaalutlustel<br /> <br /> * kohtvõrgus (ühes või mitmes ip subnetis) on hulgal arvutitel vaja hallata tarkvara apt paketihaldusega ja ühendus internetiga pole väga kiire; või seda ei soovita tarkvara kopeerimisega koormata<br /> * kohtvõrgus on mitu komplekti arvuteid, nt arendus, test ja toodangu keskkonnad ning protseduurid näevad ette, et arendus ja test uuendatakse iga kuu esimesel neljapäeval ning toodang uuendatakse iga kuu kolmandal neljapäeval; kui uuendusi teha otse nö isandate repodest, siis võib juhtuda, et vahepeal on repo sisu muutunud ja erinevatesse keskkondadesse ei rakendata samu uuendusi<br /> <br /> Lisaks apt distributsioonidele (nt Debian ja Ubuntu) jagavad paljud projektid oma tarkvara ise apt repode abil, nt PostgreSQL, Elasticsearch. apt-mirror on programeeritud Perl keeles ja kasutab kopeerimiseks wget programmi.<br /> <br /> Tundub, et kõige töökindlama tulemuse saab kui apt-mirror programmi töötamise ajal upstream mirrori sisu ei muutu. Nt olles ise Ubuntu push mirrori pidaja saab seda väga otsekoheselt korraldada, praktiliselt piisab jälgida ubuntu upstream mirrori trace faile. Käesolev tekst keskendub amd64 ja i386 arhitektuuridele.<br /> <br /> ===Tööpõhimõte===<br /> <br /> ftp.ee.debian.org ee.archive.ubuntu.com<br /> _____ _____<br /> | | | |<br /> | | | |<br /> |_____| |_____|<br /> <br /> .. ..<br /> internet<br /> <br /> ...<br /> <br /> .<br /> <br /> | |<br /> ___|___ ___|___<br /> | | asutus 1 tulemüür | | asutus 2 tulemüür<br /> |_______| |_______|<br /> | |<br /> | |<br /> --|-------|------ kohtvork --|-------------|---- ----|----|--- kohtvork------|------------|-----------|-------<br /> | | | | | | |<br /> ___|___ ___|___ ___|___ ___|___ ___|___ ___|___ ___|___<br /> | | | | | | | | | | | | | |<br /> |_______| |_______| |_______| |_______| |_______| |_______| |_______|<br /> <br /> apt-mirror server 1 server 2 apt-mirror server server server <br /> arendus test toodang<br /> kus<br /> <br /> * intenetis on kaks apt repositooriumit, ftp.ee.debian.org ja ee.archive.ubuntu.com<br /> * kujutatud on kahe asutuse võrgud, oma tulemüüride taga<br /> * kummaski võrgus on oma lokaalne apt mirror<br /> * kummagi võrgu kõik servereid (sh apt mirror ise) kasutavad paketihalduse jaoks oma kohalikku apt mirrorit (see on seadistatud nn /etc/apt/sources.list failist)<br /> * apt-mirror programm kopeerib andmed oma lokaalsesse failisüsteemi internetis olevatest tarkvara repositooriumitest<br /> <br /> Tundub, et uuemal ajal on amd64 apt kliendid (Debian v. 8, Ubuntu 14.04 jt) seadistatud amd64 ja i386 multiarch režiimis, st mirrordada tuleb neid kahte arhitektuuri.<br /> <br /> apt-mirror kasutamisel tuleks programme käivitada apt-mirror kasutajana. Siis toimuvad kõik tegevused selle kasutajana sh kõik failid ja kataloogid on kasutaja:grupp apt-mirror:apt-mirror omanduses.<br /> <br /> Mitut apt-mirror eksemplari ei saa samaaegselt hästi käivitada<br /> <br /> $ apt-mirror etc/mirror-elasticsearch.list <br /> apt-mirror is already running, exiting at /usr/bin/apt-mirror line 209.<br /> <br /> ja lukk on<br /> <br /> /var/spool/apt-mirror/var/apt-mirror.lock<br /> <br /> apt-mirror elab üle hästi töötamise katkestamise Ctrl-C abil ja taasalustamise. Mingeid kavalaid binary state faili vms /var all kuskil ei ole. Paistab, et ise apt-mirror oskab kasutada ainult ühte protsessorit, aga wget kopeerimise osas tekib load nii suur nagu threads parameeter näitab.<br /> <br /> ===Tarkvara paigaldamine ja seadistamine===<br /> <br /> apt-mirror tarkvara paigaldamiseks sobib öelda<br /> <br /> # apt-get install apt-mirror<br /> <br /> Failisüsteemi paigaldadakse<br /> <br /> * /etc/cron.d/apt-mirror - cron töö - selguse mõttes alguses välja kommenteerida seal olev rida<br /> * /etc/apt/mirror.list - seadisusfail (neid võib teha mitu, iga peegli jaoks oma; tundub, et see pole parim kataloog kuhu kataloog on root:root omanduses ja apt-mirror skripti kasutatakse kasutajana)<br /> * /var/spool/apt-mirror/skel - abi struktuur, igal mirroril oma<br /> * /var/spool/apt-mirror/mirror - moodustatavad peeglid, iga omas kataloogis<br /> * /var/spool/apt-mirror/var - logi<br /> * tekitatakse kasutaja:grupp apt-mirror:apt-mirror<br /> <br /> Seadistusfail võib olla nt selline<br /> <br /> $ cat /etc/apt/mirror-pgdg.list<br /> ############# config ##################<br /> #<br /> set base_path /var/spool/apt-mirror<br /> #<br /> set mirror_path $base_path/mirror<br /> set skel_path $base_path/skel<br /> set var_path $base_path/var<br /> set cleanscript $var_path/clean-pgdg.sh<br /> # set defaultarch &lt;running host architecture&gt;<br /> # set postmirror_script $var_path/postmirror.sh<br /> # set run_postmirror 0<br /> set limit_rate 40k<br /> set nthreads 5<br /> set _tilde 0<br /> #<br /> ############# end config ##############<br /> <br /> deb-amd64 http://apt.postgresql.org/pub/repos/apt/ jessie-pgdg main<br /> deb-i386 http://apt.postgresql.org/pub/repos/apt/ jessie-pgdg main<br /> deb-src http://apt.postgresql.org/pub/repos/apt/ jessie-pgdg main<br /> <br /> # deb-amd64 http://ftp.ee.debian.org/debian jessie-updates main<br /> # deb-i386 http://ftp.ee.debian.org/debian jessie-updates main<br /> # deb-src http://ftp.ee.debian.org/debian jessie-updates main<br /> <br /> kus<br /> <br /> * set base_path - millise kataloog all üldiselt tegevus toimub<br /> * set nthreads - mitu wget protsess taustal käivitatakse<br /> * set var_path - kuhu logitakse indeksite, translationite ja archive kopeerimisi jms<br /> * kõige all on nö sources.list formaadis repositooriumide aadressid, mida mirrordatakse<br /> * set defaultarch - millist arhitektuuri mirrordatakse, vaikimisi sama, mis töötav arvuti<br /> * set cleanscript - millise nimega cleanscript moodustatakse<br /> * set _tilde - 0 tähendab, et kopeeritakse ka ~ sümbolit sisaldavad failinimed<br /> * deb-amd64, deb-i386, deb-src - millised arhitektuure kopeeritakse, seejuures src on kõigile üks ja sama; oluline on just nii kopeerida, vastasel korral moodustub clean skript valesti (kustutab ära kõik v.a. ühe arhitektuuri (kui konf failid on per arhitektuur)<br /> * set limit_rate 40k - ühe wget protsessi kiiruse piirang, kokku maksimaalset 5 x 40 k = 200 kBait/s<br /> <br /> ===apt-mirror käivitamine ja logi lugemine===<br /> <br /> Programmi käivitamisel kirjutatakse terminalile midagi sellist<br /> <br /> $ apt-mirror /etc/apt/mirror-pgdg.list<br /> Downloading 28 index files using 20 threads...<br /> Begin time: Thu Nov 5 23:36:51 2015<br /> [4]... [3]... [2]... [1]... [0]... <br /> End time: Thu Nov 5 23:36:51 2015<br /> <br /> Processing tranlation indexes: [TT]<br /> <br /> Downloading 0 translation files using 0 threads...<br /> Begin time: Thu Nov 5 23:36:51 2015<br /> [0]... <br /> End time: Thu Nov 5 23:36:51 2015<br /> <br /> Processing indexes: [PP]<br /> <br /> 417.4 MiB will be downloaded into archive.<br /> Downloading 505 archive files using 20 threads...<br /> Begin time: Thu Nov 5 23:36:52 2015<br /> [5]... [4]... [3]... [2]... [1]... <br /> End time: Thu Nov 5 23:37:17 2015<br /> <br /> 0 bytes in 0 files and 0 directories can be freed.<br /> Run /var/spool/apt-mirror/var/clean-pgdg.sh for this purpose.<br /> <br /> Running the Post Mirror script ...<br /> (/var/spool/apt-mirror/var/postmirror.sh)<br /> <br /> Post Mirror script has completed. See above output for any possible errors.<br /> <br /> kus<br /> <br /> * TT - tegeldakse translationitega<br /> * PP - tegeldakse pakettidega<br /> * SS - tegeldakse source pakettidega<br /> * [5]... [4]... [3]... [2]... [1]... - esitab progressina, kui palju parasjagu wget protsesse veel paralleelselt töötab<br /> * mida kauem [5] peal progress on, seda parem, st siis kopeeritakse ühtlaselt kõigi wget protsessidega<br /> <br /> Neet wget protsessid paistavad taustal sarnased<br /> <br /> $ ps auxf | grep apt<br /> ..<br /> wget --no-cache --limit-rate=40k -t 5 -r -N -l inf -o /var/spool/apt-mirror/var/index-log.0 -i /var/spool/apt-mirror/var/index-urls.0<br /> wget --no-cache --limit-rate=40k -t 5 -r -N -l inf -o /var/spool/apt-mirror/var/index-log.1 -i /var/spool/apt-mirror/var/index-urls.1<br /> ...<br /> <br /> Lisaks moodustatakse var_path peale failid<br /> <br /> * ALL - failide nimekiri<br /> * MD5 - failide md5 summmad (kogutakse Packages jms failidest)<br /> * NEW - urlide nimekiri mida hakataks üle võrgu kopeerima<br /> * archive-log.x - pakettide kopeerimise logi<br /> * archive-urls.x - kopeeritud pakettide urlid<br /> * index-log.x - indeksite kopeerimise logi<br /> * index-urls.x - <br /> * translation-log.x - translationite kopeerimise logi<br /> * translation-urls.x -<br /> <br /> Vanade ja enam mittevajalike mirrorisse kopeeritud failide kustutamiseks sobib seadistusfailis kasutada rida<br /> <br /> clean http://apt.postgresql.org/pub/repos/apt/<br /> <br /> Tulemusena genereeritakse apt-mirror kasutamise käigus sobiva sisuga clean skript ning selle käivitamisel vastavad failid kustutatakse. See on oluline tegevus, et kohalik mirror failisüsteemis asjatult ruumi ei raiskaks.<br /> <br /> ===Veebiserveri seadistamine===<br /> <br /> Kohalikuks kopeeritud repo tehakse tavaliselt veebiserveri abil kohtvõrgus kasutamiseks kättesaadavaks. Nt sellised sektsioonid NginX veebiserver seadistufailis<br /> <br /> ..<br /> location /ubuntu-pgdg {<br /> alias /var/spool/apt-mirror/mirror/apt.postgresql.org/pub/repos/apt/;<br /> autoindex on;<br /> }<br /> <br /> location /ubuntu-logstash {<br /> alias /var/spool/apt-mirror/mirror/packages.elastic.co/logstash/2.1/debian/;<br /> autoindex on;<br /> }<br /> <br /> location /ubuntu-elasticsearch {<br /> alias /var/spool/apt-mirror/mirror/packages.elastic.co/elasticsearch/2.x/debian;<br /> autoindex on;<br /> }<br /> ...<br /> <br /> ===Kohaliku mirrori kasutamine===<br /> <br /> Kohaliku mirrori kasutamiseks sobib kasutada selliseid ridu uuendatava arvuti apt sources seadistusfailis<br /> <br /> # cat /etc/apt/sources.conf<br /> ..<br /> deb http://apt.moraal/ubuntu-pgdg jessie-pgdg main<br /> deb http://apt.moraal/ubuntu-logstash stable main<br /> deb http://apt.moraal/ubuntu-elasticsearch stable main<br /> <br /> ning seejärel tavalisel viisil<br /> <br /> # apt update<br /> # apt install paketinimi<br /> <br /> ===Kohaliku mirrori kustutamine===<br /> <br /> Kui mingit mirrordatud tarkvara pole enam vaja mirrordada ning eesmärk on failisüsteemist vastav osa vabastada, siis piisab kustutada kaks kataloogi<br /> <br /> $ rm -rf /var/spool/apt-mirror/skel/apt.postgresql.org<br /> $ rm -rf /var/spool/apt-mirror/mirror/apt.postgresql.org<br /> <br /> Ning enam mitte käivitada vastava mirrori kopeerimist.<br /> <br /> ===Misc===<br /> <br /> * Debiani mirror<br /> <br /> $ cat etc/mirror.list-debian<br /> ..<br /> set cleanscript $var_path/clean-debian.sh<br /> ...<br /> <br /> deb-amd64 http://ftp.ee.debian.org/debian/ jessie main contrib non-free<br /> deb-i386 http://ftp.ee.debian.org/debian/ jessie main contrib non-free<br /> deb-src http://ftp.ee.debian.org/debian/ jessie main contrib non-free<br /> <br /> deb-amd64 http://security.debian.org/ jessie/updates main contrib non-free<br /> deb-i386 http://security.debian.org/ jessie/updates main contrib non-free<br /> deb-src http://security.debian.org/ jessie/updates main contrib non-free<br /> <br /> clean http://ftp.ee.debian.org/debian/<br /> clean http://security.debian.org/<br /> <br /> * Ubuntu mirror<br /> <br /> $ cat etc/mirror.list-ubuntu<br /> ..<br /> set cleanscript $var_path/clean-ubuntu.sh<br /> ...<br /> <br /> deb-amd64 http://ee.archive.ubuntu.com/ubuntu/ xenial main restricted universe multiverse<br /> deb-i386 http://ee.archive.ubuntu.com/ubuntu/ xenial main restricted universe multiverse<br /> deb-src http://ee.archive.ubuntu.com/ubuntu/ xenial main restricted universe multiverse<br /> <br /> deb-amd64 http://ee.archive.ubuntu.com/ubuntu/ xenial-updates main restricted universe multiverse <br /> deb-i386 http://ee.archive.ubuntu.com/ubuntu/ xenial-updates main restricted universe multiverse <br /> deb-src http://ee.archive.ubuntu.com/ubuntu/ xenial-updates main restricted universe multiverse <br /> <br /> deb-amd64 http://ee.archive.ubuntu.com/ubuntu/ xenial-backports main restricted universe multiverse<br /> deb-i386 http://ee.archive.ubuntu.com/ubuntu/ xenial-backports main restricted universe multiverse<br /> deb-src http://ee.archive.ubuntu.com/ubuntu/ xenial-backports main restricted universe multiverse<br /> <br /> deb-amd64 http://security.ubuntu.com/ubuntu xenial-security main restricted universe multiverse<br /> deb-i386 http://security.ubuntu.com/ubuntu xenial-security main restricted universe multiverse<br /> deb-src http://security.ubuntu.com/ubuntu xenial-security main restricted universe multiverse<br /> <br /> clean http://ee.archive.ubuntu.com/ubuntu/<br /> clean http://security.ubuntu.com/ubuntu<br /> <br /> * Salt 2016.3 major versioon, http://repo.saltstack.com/<br /> <br /> $ cat etc/mirror.list-salt<br /> ..<br /> set cleanscript $var_path/clean-salt.sh<br /> ...<br /> <br /> deb-amd64 http://repo.saltstack.com/apt/debian/7/amd64/2016.3 jessie main<br /> deb-amd64 http://repo.saltstack.com/apt/debian/8/amd64/2016.3 jessie main<br /> clean http://repo.saltstack.com/apt/debian/7/amd64/2016.3<br /> clean http://repo.saltstack.com/apt/debian/8/amd64/2016.3<br /> <br /> * Zabbix<br /> <br /> deb-amd64 http://repo.zabbix.com/zabbix/3.0/debian jessie main<br /> deb-i386 http://repo.zabbix.com/zabbix/3.0/debian jessie main<br /> clean http://repo.zabbix.com/zabbix/3.0/debian<br /> <br /> * Mingid vead võivad esineda ressursipuuduse tõttu, nt ja aitab arvutile mälu lisada (tundub, et 2020 kevadel Ubuntu mirrordamiseks on 4 G sobilik)<br /> <br /> &lt;pre&gt;<br /> ...<br /> Downloading 2667 archive files using 20 threads...<br /> Use of uninitialized value $pid in numeric lt (&lt;) at /usr/bin/apt-mirror line 252.<br /> Use of uninitialized value $pid in numeric eq (==) at /usr/bin/apt-mirror line 254.<br /> &lt;/pre&gt;<br /> <br /> * 2020 suvel 20.04 mirrordamise iseärasused<br /> <br /> - https://github.com/apt-mirror/apt-mirror/issues/118<br /> - https://github.com/apt-mirror/apt-mirror<br /> - https://github.com/josbraden/apt-mirror<br /> - https://github.com/Stifler6996/apt-mirror<br /> <br /> ===Kasulikud lisamaterjalid===<br /> <br /> * [[:Operatsioonisüsteem Debian GNU/Linux paketihalduse kasutamine]]</div>

Imre