Lehekülje Postfix, Postscreen ja before-queue kontrollide kasutamine lähteteksti vaatamine

===Sissejuhatus===

Postfix, Postscreen ja before-queue kontrollide kasutamisele on iseloomulik, et enne kui internetist saabunud kirja osas võtab vastutuse postimasin, toimuvad nö igasugused kontrollid sh viiruste ja spämmi osas. See peaks oluliselt vähendama võimalusi, et mõni kiri nö kaob karantiini, kusutatakse vaikselt kuna sisaldas viiruse tunnuseid vms kohta. Kirja saatja saab kohe teate ja küllap ise otsib võimalusi kirja uuesti saata. Võimalikud probleemid võivad tekkida sellest, et kirjade saatmisel eeldatakse teatud ajaaknasse mahtumist, aga teisipidi need täiendavad kontrollid nõuavad lisaks aega. St edukaks töötamiseks võib nõuda antud süsteem rohkem ressurssi, samas postscreen jms esmaselt toimuvad testid blokeerivad üsna varases staadiumis märkimisväärselt pahalaste pöördumisi.

Lisaks on püütud jälgida seda, et epostiga tegelemise logi oleks analüüsisõbralikum. Käesolev tekst eeldab Postfix v. 2.11 kasutamist kuigi teatud mööndustega saab kasutada ka varasemaid versioone.

===Mõisted===

* client hostname - tundub, et see on pöörduja ip aadressile vastava ptr kirje väärtus juhul kui viimane lahendub tagasi pöörduja ip aadressiks
* unverified reverse client hostname - tundub, et see on pöörduja ip aadressile vastava ptr kirje väärtus

===Tööpõhimõte===

Postix, Postscreen ja before-queue kontrollide süsteemi kasutamist kirjeldab üldiselt selline skeem

                        ____                        ____
                       |    | zen.spamhaus.net     |    | dbl.spamhaus.org
                       |____|                      |____|
 
     ____                     ____                            ____
    |    | smtp klient       |    | frontend smtp server     |    | backend postfix + dovecot postkastid
    |____| 10.204.62.116     |____| 192.168.7.80             |____| 192.168.7.143
 

kus

* 10.204.62.116 - smtp klient (ka server)
* 192.168.7.80 - frontend smtp server 
* 192.168.7.143 - backend postfix + dovecot postkastid
* zen.spamhaus.net poole esitatakse reversed ip aadresside kujul dns päring
* dbl.spamhaus.org poole esitatakse rhsbl päring (mail from aadressis kasutatud domeeninimi + dbl.spamhaus.org, nt moraal.ee.dbl.spamhaus.org)

Kontrollid toimuvad enne kirja nn sabasse võtmist, sellises järjekorras

* postscreen (muu hulgas dnsbl, greylisting)
* postfix-policyd-spf-python - smtpd_recipient_restrictions -> check_policy_service unix:private/policyd-spf abil
* postfwd - smtpd_recipient_restrictions -> check_policy_service inet:127.0.0.1:10045 abil
* clamav-milter - lisaks nö traditsioonilistele viiruste nimekirjadele kasutatakse ka http://c4s.pikker.ee/ nimekirju
* spamass-milter - ilma bayes tehnikata

Süsteemist läbi mineva kirjaga kaasneb selline logi

 Jan  4 23:21:55 http-dns-7-80 postfix/postscreen[32612]: CONNECT from [10.204.62.116]:51893 to [192.168.7.80]:25
 Jan  4 23:21:55 http-dns-7-80 postfix/dnsblog[32614]: addr 10.204.62.116 listed by domain zen.spamhaus.net as 127.0.5.1
 
 Postscreen viivitus mõni sekund
 
 Jan  4 23:22:00 http-dns-7-80 postfix/postscreen[32612]: NOQUEUE: reject: RCPT from [10.204.62.116]:51893: \
   450 4.3.2 Service currently unavailable; from=<priit@imool.org>, to=<imre@auul.pri.ee>, proto=ESMTP, helo=<mail.imool.org>
 Jan  4 23:22:00 http-dns-7-80 postfix/postscreen[32612]: PASS NEW [10.204.62.116]:51893
 Jan  4 23:22:00 http-dns-7-80 postfix/postscreen[32612]: DISCONNECT [10.204.62.116]:51893
 
 Postscreen katkestab ühenduse kuna kasutatakse nn 'deep protocol tests' kontrolle
 
 Jan  4 23:22:22 http-dns-7-80 postfix/postscreen[32612]: CONNECT from [10.204.62.116]:55369 to [192.168.7.80]:25
 Jan  4 23:22:22 http-dns-7-80 postfix/postscreen[32612]: PASS OLD [10.204.62.116]:55369
 
 Jan  4 23:22:22 http-dns-7-80 postfix/smtpd[32618]: connect from mail.imool.org[10.204.62.116]
 
 Jan  4 23:22:22 http-dns-7-80 policyd-spf[32623]: None; identity=helo; client-ip=10.204.62.116; helo=mail.imool.org; \
   envelope-from=priit@imool.org; receiver=imre@auul.pri.ee
 Jan  4 23:22:22 http-dns-7-80 policyd-spf[32623]: Softfail; identity=mailfrom; client-ip=10.204.62.116; helo=mail.imool.org; \
   envelope-from=priit@imool.org; receiver=imre@auul.pri.ee
 
 Jan  4 23:22:22 http-dns-7-80 postfix/smtpd[32618]: 806EF41847: client=mail.auul.pri.ee[10.204.62.116]
 Jan  4 23:22:22 http-dns-7-80 postfix/cleanup[32624]: 806EF41847: message-id=<56262.9227965488-sendEmail@moraal>
 
 Jan  4 23:22:22 http-dns-7-80 clamav-milter[27596]: Clean message from <priit@imool.org> to <imre@auul.pri.ee>
 
 Jan  4 23:22:22 http-dns-7-80 spamd[25832]: spamd: connection from localhost [127.0.0.1]:54275 to port 783, fd 6
 Jan  4 23:22:22 http-dns-7-80 spamd[25832]: spamd: processing message <56262.9227965488-sendEmail@moraal> for spamass-milter:1002
 Jan  4 23:22:22 http-dns-7-80 spamd[25832]: spamd: clean message (2.0/5.0) for spamass-milter:1002 in 0.0 seconds, 1896 bytes.
 Jan  4 23:22:22 http-dns-7-80 spamd[25832]: spamd: result: . 2 - SPF_SOFTFAIL scantime=0.0,size=1896,\
   user=spamass-milter,uid=1002,required_score=5.0,rhost=localhost,raddr=127.0.0.1,\
   rport=54275,mid=<56262.9227965488-sendEmail@moraal>,autolearn=no autolearn_force=no
 
 Jan  4 23:22:22 http-dns-7-80 postfix/qmgr[32598]: 806EF41847: from=<priit@imool.org>, size=1770, nrcpt=1 (queue active)
 Jan  4 23:22:22 http-dns-7-80 postfix/smtpd[32618]: disconnect from mail.imool.org[10.204.62.116]
 Jan  4 23:22:22 http-dns-7-80 spamd[25831]: prefork: child states: II
 Jan  4 23:22:22 http-dns-7-80 postfix/smtp[32627]: 806EF41847: to=<imre@auul.pri.ee>, relay=192.168.7.143[192.168.7.143]:25, \
   delay=0.5, delays=0.36/0.01/0/0.13, dsn=2.0.0, status=sent (250 2.0.0 Ok: queued as B2C0840223)
 Jan  4 23:22:22 http-dns-7-80 postfix/qmgr[32598]: 806EF41847: removed

kus

* kell 23:21:55 pöördub klient ja kuigi tema ip on kirjas spamhaus andmebaasis ei ole skoor piisav, et selle alusel blokeeritakse
* seejärel toimub esimene Postscreen põhjustatud viivitus, näidatakse kaherealist bannerit kliendile (nb! esimesel real on 220- ja teisel 220 tühik)

 # tcpflow -c -i eth0 port 25
 tcpflow[1016]: listening on eth0
 
 192.168.007.080.00025-190.204.062.116.59799: 220-mail.auul.pri.ee ESMTP Postfix (Debian/GNU)
 viivitus
 
 192.168.007.080.00025-190.204.062.116.59799: 220 mail.auul.pri.ee ESMTP Postfix (Debian/GNU)

* kell 23:22:00 algavad deep protocol testid ja seejärel ühendus lõpetatakse (greylistingu moodi tegevus)

 10.204.062.116.59799-192.168.007.080.00025: MAIL FROM:<priit@imool.org> SIZE=1348 BODY=7BIT
 192.168.007.080.00025-10.204.062.116.59799: 250 2.1.0 Ok
 10.204.062.116.59799-192.168.007.080.00025: RCPT TO:<imre@auul.pri.ee> ORCPT=rfc822;imre@auul.pri.ee
 192.168.007.080.00025-10.204.062.116.59799: 450 4.3.2 Service currently unavailable
 10.204.062.116.59799-192.168.007.080.00025: RSET
 192.168.007.080.00025-10.204.062.116.59799: 250 2.0.0 Ok
 10.204.062.116.59799-192.168.007.080.00025: QUIT
 192.168.007.080.00025-10.204.062.116.59799: 221 2.0.0 Bye

* kell 23:22:22 pöördub klient uuesti, nüüd ta enam ei takerdu nn greylistinguss (PASS OLD)
* esimesena rakendatakse postfix-policyd-spf-python kontrolli smtpd_recipient_restrictions -> check_policy_service abil
* seejärel viiruste kontrolli, clamav-milter abil
* ja lõpuks spammikontrolli spamass-milter abil (logis on mitte spamass-milteri logi vaid tema poolt välja kutsutud spamd st spamassassini logi)
* antud juhul miski ei takistanud kirja liikumist ja kiri saadetakse edasi backend dovecot arvutile, 192.168.7.143
* sellist logi on äärmiselt hea lugeda kuna postfix ei saada nö ise enda sees kirju ringi, ainult üks message id väärtus 806EF41847 on kasutusel
* piirangute kirjeldamise direktiivide (nt smtpd_recipient_restrictions) loetelu töötab selliselt, et esimene, mis kirjaga klapib rakendatakse (Restrictions are applied in the order as specified; the first restriction that matches wins.)

===DNS===

Postimasina ip aadressiga seoses peab olemas üks ja ainult üks PTR kirje, mis nö selle ip aadressi samaks nimeks lahendab. Ja see sedasi saadud nimi peab lahenema samaks postimasina ip aadressiks

 $ dig +short -x 10.198.206.1
 mx1.imool.org
 $ dig +short 1.206.198.10.in-addr.arpa.
 $ dig +short mx1.imool.org
 10.198.206.1

Kui ip aadressil on mitu PTR kirjet ja nad lahenduvad erinevateks nimedeks, ja ainult üks vastab samale ip aadressile, siis see ei ole piisvalt hea.

Lisaks peab postimasin 

* välja pöördudes ütlema sama nimega helo

 EHLO mx1.imool.org

* väljast pöördujat teenindades tervitama teda sama nimega

 220 mx1.imool.org ESMTP Postfix (Debian/GNU)

===Postfix===

====Debian v. 8 Jessie====

Postfix v. 2.11 tarkvara paigaldamiseks Debian v. 8 Jessie keskkonnas sobib öelda

 # apt-get install postfix postfix-ldap procmail

====Debian v. 7 Wheezy====

Debian v. 7 Wheeze keskkonnas saab Postfix v. 2.11 paigaldada backports repositooriumist lisades /etc/apt/sources.list faili

 deb http://ftp.ee.debian.org/debian/ wheezy-backports main contrib non-free
 deb-src http://ftp.ee.debian.org/debian/ wheezy-backports main contrib non-free

Ning seejärel saab kasutada Backportsidest pakette öeldes

 # apt-get -t wheezy-backports install postfix postfix-ldap

===Ligipääsupiirangud===

Postfix abil saab piirata otsekoheselt kahel alusel

* ip from
* mail from

Isegi kui süsteemi seadistamise ajal ei ole need vajalikud, nad ikkagi seadistada mingite dummy andmetega, et vajadusel saaks neid kiiresti rakendada.

====ip from aadressi põhised====

CIDR vahemike blokeermiseks sobib kaustada sellist lookup table't

 # cat /etc/postfix/smtpd_client_restrictions_ip_access
 10.255.141.0/24 WARN 20160111_priit_kask_reported_spammijad
 10.63.104.0/22 WARN 20160111_priit_kask_reported_spammijad

hash andmebaasi moodustamiseks tuleb öelda

 # postmap /etc/postfix/smtpd_client_restrictions_ip_access

ning Postfix main.cf seadisusfailis nt

 smtpd_client_restrictions = warn_if_reject reject_unknown_client_hostname
   check_client_access cidr:/etc/postfix/smtpd_client_restrictions_ip_access

====mail from aadressi põhised====

Ümbriku mail from aadressi alusel piiramiseks sobib kasutada sellist lookup table't (nb! ümbriku mail from aadress on hõlpsasti võltsitav, aga võib sellegi poolest olla efektiivne meede)

 # cat /etc/postfix/smtpd_recipient_restrictions_mail_from_access
 priit@imool.org REJECT

hash andmebaasi moodustamiseks tuleb öelda

 # postmap /etc/postfix/smtpd_recipient_restrictions_mail_from_access

ning Postfix main.cf seadisusfailis nt

 smtpd_recipient_restrictions = ... 
   check_sender_access hash:/etc/postfix/smtpd_recipient_restrictions_mail_from_access

====Misc====

Vaikimisi teeb Postfix internetist sisse tuleva ühendusega seoses kaks dns päringut

 23:34:45.363276 IP 192.168.1.250.43650 > 10.192.0.53.53: 30547+ PTR? 1.206.198.10.in-addr.arpa. (43)
 23:34:45.468384 IP 10.192.0.53.53 > 192.168.1.250.43650: 30547 1/2/0 PTR mx1.imool.org. (110)
 23:34:45.468826 IP 192.168.1.250.44838 > 10.192.0.53.53: 22332+ A? mx1.imool.org. (33)
 23:34:45.469374 IP 10.192.0.53.53 > 192.168.1.250.44838: 22332 1/2/1 A 10.198.206.1 (97)

kus

* pöörduja ip aadressi peale revers nimelahendus
* saadud vastusele päripidi nimelahendus

Kui need ei klapi, siis logitakse midagi sellist

 Jan  8 22:35:01 post-relay postfix/smtpd[6842]: warning: hostname mx2.imool.org does not resolve \
   to address 10.198.206.158: Name or service not known

Postfixi seadistustes kasutatud smtpd_*_restriction parameetritest sõltub, kui otsustavalt selle omandatud teadmisega edasi töötatakse. Nt keeldutakse sellistelt saatjatelt kirju vastu võtmast

 smtpd_client_restrictions = reject_unknown_client_hostname

Postfix reject_* direktiivide ette sobib kirjutada warn_if_reject, sel juhul reject ei toimu, aga logitakse võimalikud toimumised, nt

 smtpd_helo_restrictions = warn_if_reject reject_unknown_helo_hostname

===Postscreen===

Postscreen on Postfix komponent, eraldi paigaldada ei ole midagi tarvis, ainult seadistada.

* greylisting - postscreen greylisting erineb nö tavalisest greylistingust (nt OpenBSD spamd) selle poolest, et hõlpsasti saab rakendada dns põhiseid whitelist'isid mille kasutamist kontrollib muu hulgas parameeter postscreen_dnsbl_whitelist_threshold.

NB! Tänu ajutiste vigade andmise jms viguritele ei pruugi olla selline teenus sobiv lõppkasutajale eposti releetamise jaoks (nn MUA programmidele nagu Icedove, Outlook jt).

====Tööpõhimõte====

MX policy test kasutamisel pannakse nö söödaks üles 2nd MX postimasina aadress, mille poole pöördumisi teenindab tegelikult sama Postfix protsess, mis teenindab 1st MX poole pöördumisi. Kui pahalane pöördub ainult 2nd MX aadressi poole, siis teada kunagi ei whitelistita; ja teada on, et mõned spammarid arvavad, et on kavalad ja töötavad 2nd MX'iga (kuna see saadab ise kirjad edasi 1st MX'ile). Tõsi, kui spämmar pöördub ka 1st MX poole ja tal õnnestub ennast lasta whitelistida, siis edasi saab ta kasutada teenust mõlema kanali kaudu. 2nd MX käest saab pöörduja ajutise veateate

 Feb 26 23:19:03 www-2 sendemail[5953]: WARNING => The recipient <priit@moraal.ee> was rejected by the mail server, error follows:
 Feb 26 23:19:03 www-2 sendemail[5953]: WARNING => Received:     450 4.3.2 Service currently unavailable
 Feb 26 23:19:03 www-2 sendemail[5953]: ERROR => Exiting. No recipients were accepted for delivery by the mail server.

====Seadistamine====

Seoses Postscreen kasutamisega on /etc/postfix/master.cf failis tehtud sellised muudatused

 # diff /var/tmp/etc-20150101-postfix/master.cf /etc/postfix/master.cf 
 11,15c11,15
 < smtp       inet  n       -       -       -       -       smtpd
 < #smtp      inet  n       -       -       -       1       postscreen
 < #smtpd     pass  -       -       -       -       -       smtpd
 < #dnsblog   unix  -       -       -       -       0       dnsblog
 < #tlsproxy  unix  -       -       -       -       0       tlsproxy
 ---
 > # smtp     inet  n       -       -       -       -       smtpd
 > smtp       inet  n       -       -       -       1       postscreen
 > smtpd      pass  -       -       -       -       -       smtpd
 > dnsblog    unix  -       -       -       -       0       dnsblog
 > tlsproxy   unix  -       -       -       -       0       tlsproxy

kus

* smtp inet teenus, st port 25/tcp peal tegeleb klientidega mitte nö tavaline smtpd protsess aga postscreen

ning /etc/postfix/main.cf failis kasutusel sellised direktiivid

 # POSTSCREEN ALGUS
 
 # testid enne before 220 teste
 # permanent white/blacklist (postscreen_blacklist_action ytleb kui otsustavalt kaituda)
 postscreen_access_list = permit_mynetworks
   cidr:/etc/postfix/postscreen_access.cidr
 
 postscreen_blacklist_action = enforce
 
 # mx policy test
 postscreen_whitelist_interfaces = !192.168.7.81 static:all
 
 # tests before 220 greeting
 postscreen_greet_banner = "PGB at RT"
 postscreen_greet_action = enforce
 
 # dnsbl testid
 postscreen_dnsbl_sites = zen.spamhaus.org*3
   list.dnswl.org=127.[0..255].[0..255].0*-2
   list.dnswl.org=127.[0..255].[0..255].1*-3
   list.dnswl.org=127.[0..255].[0..255].[2..255]*-4
 
 postscreen_dnsbl_threshold = 3
 postscreen_dnsbl_whitelist_threshold = -2
 
 # mida teha vastavalt permanent blacklist, pregreet ja dnsbl tabamuste puhul
 postscreen_dnsbl_action = enforce
 
 # test after 220 greeting i.e. deep protocol test
 postscreen_pipelining_enable = yes
 postscreen_pipelining_action = enforce  
 
 postscreen_non_smtp_command_enable = yes
 postscreen_non_smtp_command_action = drop
 
 postscreen_bare_newline_enable = yes
 postscreen_bare_newline_action = enforce  
 
 # POSTSCREEN LOPP

kus

* TODO

/etc/postfix/postscreen_access.cidr faili sisu on nt selline

 # cat /etc/postfix/postscreen_access.cidr 
 192.168.10.0/24 permit

Näiteks, mingi komplekti nn Eesti ip aadresse saab aadressilt ftp://ftp.ripe.net/ripe/stats/delegated-ripencc-latest.

====Kasutamine====

Millegipärast kirjutatakse mail.log logisse episoodiliselt sellist teadet, aga väidetavalt ei pea selle pärast muretsema

 Jan 11 06:26:52 post-relay postfix/postscreen[15938]: close database \
   /var/lib/postfix/postscreen_cache.db: No such file or directory (possible Berkeley DB bug)

postscreen_cache.db sisu esitamiseks sobib öelda nt

 # db_dump -d a /var/lib/postfix/postscreen_cache.db
 In-memory DB structure:
 btree: 0x110000 (open called, read-only)
 bt_meta: 0 bt_root: 1
 bt_minkey: 2
 bt_compare: 0x7fbabdb42ea0 bt_prefix: 0x7fbabdb43080
 bt_compress: 0 bt_decompress: 0
 bt_lpgno: 0
 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=
 page 0: btree metadata: LSN [0][1]: level 0
         magic: 0x53162
         version: 9
         pagesize: 4096
 ..
         root: 1
 page 1: btree internal: LSN [0][1]: level 2 records: 0
         entries:    4 offset: 4020
         [000] 4084 pgno:    2 type: 1 len:   0
         [001] 4036 pgno:    4 type: 1 len:   5 data: 207.8
         [002] 4056 pgno:    3 type: 1 len:  15 data: 213.129.163.50\0
         [003] 4020 pgno:    5 type: 1 len:   1 data: 37
 page 2: btree leaf: LSN [0][1]: level 1
         prev:    0 next:    4 entries:   64 offset: 1564
         [000] 4080 len:  13 data: 109.74.0.211\0
         [001] 4020 len:  55 data: 1420809183;1420809183;1420809183;1420809183;1420809183\0
         [002] 4000 len:  15 data: 113.105.168.20\0
         [003] 3940 len:  55 data: 1420816370;1420733570;1423321971;1423321971;1423321971\0
         [004] 3920 len:  16 data: 136.173.162.208\0
 ...

====Kasulikud lisamaterjalid====

* http://www.postfix.org/POSTSCREEN_README.html

===DNS blocklistid===

====DNSBL====

DNSBL (DNS Blacklist) töö põhineb asjaolul, et smtp ühenduse alguses on teada, milliselt ip aadressilt pöördutakse. Kui see ip aadress on seotud tuntud pahalasega vms, siis kiri blokeeritakse. Nende ip aadresside pahasust kontrollitakse reaalajas üle DNS'i, mitmed teenusepakkujad pakuvad sellist teenust. Üks on Spamhaus zen.spamhaus.org. Kasutamine toimub postscreen seest nii nagu allpool kirjeldatakse.

DNSBL päringus kasutatakse reversed ip aadressi + teenusepakkuja teenuse domeeninime, nt

 1.2.3.4.zen.spamhaus.org

Vastuseks on NXDOMAIN (non existent domainname) või 127.x.x.x ip aadress.

====RHSBL====

RHSBL ehk Right Hand Side Block List töö põhineb asjaolul, et smtp ühenduse alguses ütleb klient kirja 'mail from' ehk ümbriku from aadressi. Kui selles aadressis kasutatud domeeninime osa on seotud tuntud pahalasega vms, siis kiri blokeeritakse. Nende domeeninimede pahasust kontrollitakse reaalajas üle DNS'i, mitmed teenusepakkujad pakuvad sellist teenust. Üks on Spamhaus DBL (Domain Blocklist). Kasutamiseks sobib kasutada nt sellist rida

 smtpd_sender_restrictions = reject_unknown_sender_domain, reject_rhsbl_sender dbl.spamhaus.org

DNSBL päringus kasutatakse mail from domeeninime osa + teenusepakkuja teenuse domeeninime, nt

 moraal.ee.zen.spamhaus.org

Vastuseks on NXDOMAIN (non existent domainname) või 127.x.x.x ip aadress.

====DNSWL====

DNSWL (DNS Whitelist) töö põhineb asjaolul, et smtp ühenduse alguses on teada, milliselt ip aadressilt pöördutakse. Kui see ip aadress on seotud tuntud korraliku kaustajaga, siis kiri lubatakse läbi. Nende ip aadresside korralikkust kontrollitakse reaalajas üle DNS'i, mitmed teenusepakkujad pakuvad sellist teenust. Üks on Spamhaus zen.spamhaus.org. Kasutamine toimub postscreen seest nii nagu allpool kirjeldatakse.

===SPF kontroll===

SPF ise ei blokeeri kõiki kirju, mida ta blokeerida saaks, osalt kasutatakse SPF poolt lisatud päiseid Spamassassini poolt.

====Paigaldamine====

Tarkvara paigaldamiseks sobib öelda

 # apt-get install postfix-policyd-spf-python

Paigaldamise käigus

* tekitatakse kasutaja:grupp policyd-spf:policyd-spf
* seadistusfail /etc/postfix-policyd-spf-python/policyd-spf.conf

====Seadistamine====

postfix-policyd-spf-python tööd juhib seadistusfail

 # cat /etc/postfix-policyd-spf-python/policyd-spf.conf 
 #  For a fully commented sample config file see policyd-spf.conf.commented
 
 debugLevel = 1 
 defaultSeedOnly = 0
  
 HELO_reject = SPF_Not_Pass
 Mail_From_reject = Fail
 
 PermError_reject = False
 TempError_Defer = False
 
 skip_addresses = 127.0.0.0/8,::ffff:127.0.0.0//104,::1//128

kus

* TODO

Kasutamiseks tuleb /etc/postfix/main.cf faili lisada rida smtpd_receipient_restrictions juurde vastav rida

 smtpd_recipient_restrictions = permit_mynetworks, permit_sasl_authenticated, reject_unauth_destination
  check_policy_service unix:private/policyd-spf

ning /etc/postfix/master.cf faili lisada read (nb! python v. 3 Jessie kasutamisel; kui järgmine rida algab whitespace'iga, siis käsitletakse seda eelmise rea jätkumisena)

 policyd-spf  unix  -       n       n       -       0       spawn
  user=nobody argv=/usr/bin/python /usr/bin/policyd-spf
    /etc/postfix-policyd-spf-python/policyd-spf.conf

====Kasutamine====

postfix-policyd-spf-python programmiga seoses mingit deemon protsessi vms ei käi.

====Kasulikud lisamaterjalid====

* [[:SPF kasutamine Postfixiga]]

===Header checks===

Postfix võimaldab kontrollida regulaaravaldiste abil kirja erinevaid headereid ja kirja sisu.

====mime_header_checks====

mime_header_checks kasutamiseks peab /etc/postfix/main.cf failis sisalduma rida

 mime_header_checks = regexp:/etc/postfix/mime_header_checks.regexp

ja mime header checks seadistusfailis võiks kasutada midagi sellist

 # cat /etc/postfix/mime_header_checks.regexp
 /filename=\"?(.*)\.(bat|chm|cmd|com|do|exe|hta|jse|rm|scr|pif|vbe|vbs|vxd|xl)\"?$/
   REJECT For security reasons we reject attachments of this type
 /^\s*Content-(Disposition|Type).*name\s*=\s*"?(.+\.(lnk|asd|hlp|ocx|reg|bat|c[ho]m|cmd|exe|dll|vxd|pif|scr|hta|jse?|sh[mbs]|vb[esx]|ws[fh]|wav|mov|wmf|xl))"?\s*$/
   REJECT Attachment type not allowed. File "$2" has the unacceptable extension "$3"

Kus

* \"? - kaldkriips iskeibid " märgi ja ? ütleb, et temast vasakul olev sümbol või esineda või puududa
* (.*) - suvaline sümbol või esineda suvaline arv kordi, sulud võimaldavad edaspidi $N abil viidata
* (bat|cdm..) - püstkriips väljendab, et võib esineda üks mitmete hulgast
* \. - iskeibitud punkt tähistab punkti esinemist nö literally
* $ - tähistab rea lõppu
* $2 - tähistab teisel positsioonil esinenud sulgude sisu

Mõnelpool soovitatakse nt sellist regulaararvaldist

 /name=[^>]*\.(bat|com|exe|dll|vbs)/ REJECT

kus

* [^>]* - caret (^) märk kasutamine kantsulgudes tähistab eitust, tundub, et antud juhul soovitakse väljendada, et praktiliselt suvaline sümbol (kõik v.a. > märk) võib esineda 0 või enam kordi

====Testimine====

Käsurealt kontrollimiseks

 # postmap -q 'filename=tere.exe' regexp:/etc/postfix/mime_header_checks.regexp 
 REJECT For security reasons we reject attachments of this type

Kirjaga (.exe faili sisu ei ole oluline)

 # sendemail -a /tmp/tere.exe -f imre@auul.pri.ee -t imre@imool.org -u 'test kiri' -m 'sisu' -o tls=no
 Dec 27 17:48:34 www-2 sendemail[30765]: ERROR => Received:      550 5.7.1 Attachment type not allowed. File "tere.exe" has the unacceptable extension "exe"

====Kasulikud lisamaterjalid====

* http://www.arschkrebs.de/postfix/postfix_sobigf.shtml
* http://www.zytrax.com/tech/web/regex.htm
* http://www.cyberciti.biz/tips/postfix-block-mime-attachment-files.html

===ClamAV===

ClamAV töötab tasuta internetis jagatava viiruste andmebaasiga kusjuures lisaks kasutatakse ka C4S aadressil http://c4s.pikker.ee/ olevaid reegleid.

====Paigaldamine====

Tarkvara paigaldamiseks sobib öelda

 # apt-get install clamav-daemon
 # apt-get install clamav-freshclam

====Seadistamine====

clamav-daemon tööd juhib seadistusfail /etc/clamav/clamd.conf

 TODO

clamav-freshclam tööd juhib seadistusfail /etc/clamav/freshclam.conf, sobib default ja kus saab vajadusel näidata http proxy asukoha

 HTTPProxyServer 192.168.9.39
 HTTPProxyPort 3128

====C4S reeglite kasutamine====

2016 aasta suvel leivitatakse aadressil http://c4s.pikker.ee/

* reeglite komplekti 3RDP (http://c4s.pikker.ee/3rdp.database.list.txt) - partnerite poolt tehtud analüüsi põhjal koostatud ja C4S projekti poolt vahendatud andmestik
* reeglite kompleti C4S (http://c4s.pikker.ee/c4s.database.list.txt) - C4S projekti tehtud analüüsi põhjal koostatud andmestik
* C4S update versiooni 3.15 (versioonide erinevused seisnevad nt clamd reload tegemises, logimise võimalustes, pixz vs xz kasutamises jms)

C4S http://c4s.pikker.ee/ reeglite kasutamiseks tuleb paigaldada kolm utiliiti

* curl - kopeerib reeglite nimekirjad
* gpg - kontrollib signatuurid
* pixz - paralleelet tööd tegev pakkimise tarkvara

Paigaldamiseks sobub Debian v. 8 Jessie keskkonnas öelda

 # apt-get install curl gnupg pixz

Debian v. 7 Wheezy keskkonnas tuleb pixz kompileerida või kasutada pixz asemel tavalist versiooni

 # apt-get install xz-utils

Tööd teeb üks shell skript http://c4s.pikker.ee/c4s.updater.sh, mille alguses on kasutamisõpetus. Skript sobib paigutada kataloogi

 # mkdir -p /opt/c4s/bin
 # cd /opt/c4s/bin
 # wget http://c4s.pikker.ee/c4s.updater.sh

Seejärel üle vaadata selliste muutujate väärtused, nt kasutada selliseid

 # cat /etc/C4S.cfg 
 # kommenteerida valja http proxy kasutamiseks
 # export http_proxy="http://192.168.1.241:3128"
 
 CLAMAV_USER=`grep User /etc/clamav/clamd.conf  | cut -d " " -f2`
 DOWNLOAD_DIR=`grep DatabaseDirectory /etc/clamav/clamd.conf  | cut -d " " -f2`
 C4S_DB_IGNORE_LIST="c4s.0days|c4s.adult.0days|c4s.junk.0days"
 MY_3RDP_DB_IGNORE_LIST="3rdp.doppelstern|3rdp.something.else"
  
 C4S_CLIENT_OUTPUT="LOG"
 C4S_XZ_TOOL=pixz
 C4S_CLIENT_AUTOUPDATE="OFF"

kus

* C4S ja 3RDP ignore listid
* kuhu logitakse, TTY või LOG
* kas C4S uuendamise skripti uuendatakse võimalusel automaatselt

Lisada root kasutaja võtmehoidjasse teenusega soetud gpg võti

 # gpg --keyserver keyserver.ubuntu.com --recv-keys DAD341E9
 gpg: directory `/root/.gnupg' created
 gpg: new configuration file `/root/.gnupg/gpg.conf' created
 gpg: WARNING: options in `/root/.gnupg/gpg.conf' are not yet active during this run
 gpg: keyring `/root/.gnupg/secring.gpg' created
 gpg: keyring `/root/.gnupg/pubring.gpg' created
 gpg: requesting key DAD341E9 from hkp server keyserver.ubuntu.com
 gpg: /root/.gnupg/trustdb.gpg: trustdb created
 gpg: key DAD341E9: public key "Heiki Pikker <heiki.pikker@pikker.ee>" imported
 gpg: Total number processed: 1
 gpg:               imported: 1  (RSA: 1)

Kui serverist on suvaline internetti pääsemine piiratud, siis saab võtme paigaldada ajutise ssh tunneli kaudu

 tookohaarvuti-kust-saab-piiramatult-internetti$ ssh imre@10.249.6.186 -R 11371:keyserver.ubuntu.com:11371
 server# gpg --keyserver 127.0.0.1 --recv-keys DAD341E9

Käivitada esmakordselt

 # chmod 0755 /opt/c4s/bin/c4s.updater.sh
 # /opt/c4s/bin/c4s.updater.sh

Skripti töö tulemusena tekib olemasolevasse kataloogi /var/lib/clamav juurde hulka selliseid faile, uute signatuuride kasutuselevõtmine toimub automaatselt

 /var/lib/clamav/c4s*

C4S logisse kirjutatakse midagi sellist

 ###############################################################
 # C4S Updater 3.15 started at: Sun Jul 17 13:40:23 EEST 2016
 ###############################################################
 
 Signature for c4s.malware.email.autogen.ndb database is missing
 No updates for c4s.adult.bin.hdb
 No updates for c4s.adult.dom.ndb
 ..
 Summary: Some databases where updated at. Reloading clamd at: Sun Jul 17 13:43:16 EEST 2016

ClamAV logisse kirjutatakse midagi sellist

 # tail -f /var/log/clamav/clamav.log
 ..
 Thu Jan  8 13:48:20 2015 -> Reading databases from /var/lib/clamav
 Thu Jan  8 13:50:01 2015 -> Database correctly reloaded (4406737 signatures)

Selleks, et C4S nimekiri uueneks edaspidi automaatselt, sobib kasutada nt sellist cron tööd

 # cat /etc/cron.daily/c4s-updater
 #!/bin/sh
 /opt/c4s/bin/c4s.updater.sh 1>>/var/log/c4s.updater.log 2>&1
 # /etc/init.d/clamav-daemon reload-daemon 1>/dev/null 2>&1

 # chmod 0755 /etc/cron.daily/c4s-updater

Mustrite haldamiseks sobib öelda nt

 # sigtool --find-sigs C4S.STOCK.DOM.45 | sigtool --decode-sigs
 VIRUS NAME: C4S.STOCK.DOM.45
 FUNCTIONALITY LEVEL: >=48
 TARGET TYPE: MAIL
 OFFSET: *
 DECODED SIGNATURE:
 {BOUNDARY_LEFT}imool.orgCHAR_ALTERNATIVE:'|"| |/|=|_|
 |?|&|>}

Whitelist jaoks, nt tutvuda olemasolevatega ning moodustada nende eeskujul juurde (muudatus kehtestub automaatselt 'natukese aja pärast' või peale clamd deemoni restarti)

 # find /var/lib/clamav/ -name \*ign2
 /var/lib/clamav/3rdp.sanesecuritywhitelist.ign2
 /var/lib/clamav/c4s.whitelists.ign2

Nt Eicar läbilubamiseks sobib selline nimekiri, millegipärast tunneb ClamAV teda kolme erineva nimega ja nad kõik on vaja lubada

 # cat /var/lib/clamav/imre.whitelists.ign2 
 Eicar-Test-Signature
 Clamav.Test.File-7
 Win.Test.EICAR_NDB-1

Üldiselt, probleeme tekitava nime loetakse ClamAV logist, antud juhul 'C4S.MALWARE.URL.AUTOGEN.8170799', UNOFFICIAL lisatakse whitelist kasutamisel automaatselt

 May 18 16:22:38 post-relay clamav-milter[28658]: Message 5A47E6368F from <trac@arendus.moraal.ee> to <trac@auul.pri.ee> \
   with subject 'Minu kiri' message-id '<062.b420a68e87a7f62a01d87bf10783da68@arendus.tarkvaralabor.ee>' date \
  'Wed, 18 May 2016 13:22:38 -0000' infected by C4S.MALWARE.URL.AUTOGEN.8170799.UNOFFICIAL

Märkused

* Kui updater skript ei moodusta puhtasse kataloogi sisu ära, sel juhul tuleb kopeerid alla mingi varaseme versiooni seis ning käivitada uuem updater

C4S sissekande nimi

 C4S.MALWARE.DOM.AUTOGEN.43349

kus

* toode - C4S
* tüüp - malware
* dom - domeenid
* autogen - genereeritud s.t. üle küll kiirelt vaadatud aga pole käsitsi kirjutatud reeglid
* id - mille järgi baasist leida

====Probleemid====

Tundub, et kui ClamAV loeb andmebaasi sisse, siis sel ajal on süsteemis suur koormus ning praktiliselt SMTP teenuste ei pakuta, logisse tekivad veateated

 ..
 Jul 14 12:45:07 post-relay clamav-milter[16919]: Timed out while reading clamd reply
 Jul 14 12:45:07 post-relay clamav-milter[16919]: No reply from clamd
 ...

ning strace abil clamd protssessi jälgides paistab midagi sellist

 # strace -p 21758 
 Process 21758 attached
 read(636, "3742e65752f6d61646f6e6e612d66617"..., 4096) = 4096
 read(636, "3686d617262726561645f31302e61737"..., 4096) = 4096
 read(636, "MALWARE.URL.AUTOGEN.6177736:4:*:"..., 4096) = 4096
 read(636, "*:(B)7777772e70617472656e612e636"..., 4096) = 4096
 read(636, "2e363231353638343538393139:48\nC4"..., 4096) = 4096
 read(636, "682d737461727475702d746861742d61"..., 4096) = 4096
 read(636, "772e706179732d70657269676f72642d"..., 4096) = 4096
 read(636, "6f6e696e732e636f6d2f666565642f3f"..., 4096) = 4096
 read(636, "0:4:*:(B)7777772e7062636f6e66657"..., 4096) = 4096
 read(636, "772e7062636f6e666572656e6365732e"..., 4096) = 4096
 ...

Tundub, et vahel ei lase clamd lahti kustutatud faile

 # zgrep "Lib" /var/log/syslog.1 | grep open | tail -n 5
 Jul 25 23:44:07 clamav-node1 clamd[22500]: LibClamAV Error: cli_gentempfd: Can't create temporary file /tmp/clamav- 96e4e691bb8582169020c2768523d6b1.tmp: Too many open files
 Jul 25 23:54:07 clamav-node1 clamd[22500]: LibClamAV Error: cli_gentempfd: Can't create temporary file /tmp/clamav-ee9bf463650e05adc1f100b77918c2e5.tmp/clamav-e06ca48c48ed802d63762619c500a30c.tmp: Too many open files
 ...

 # lsof -u clamav | grep deleted | nl | tail -n 5
   962  clamd   6234 clamav  974u   REG              253,0     1682   19670 /tmp/clamav-f541120373cb14246373558040cc14a3.tmp (deleted)
   963  clamd   6234 clamav  975u   REG              253,0     1617   19674 /tmp/clamav-ff81947319c7dff89561756657a049cc.tmp (deleted)
   964  clamd   6234 clamav  976u   REG              253,0     4395   19672 /tmp/clamav-f199c6bccf9801dc59ce20976eb35a25.tmp (deleted)
   965  clamd   6234 clamav  977u   REG              253,0     2501   19676 /tmp/clamav-e4d307356f89a9b44558b3cc1b5d66c0.tmp (deleted)
   966  clamd   6234 clamav  978u   REG              253,0     2219   19678 /tmp/clamav-f74efe200480353f0f9c41f84b04a7c2.tmp (deleted)

paistab Debian, et aitab

 # grep Temp /etc/clamav/clamd.conf        
 TemporaryDirectory /var/tmp/clamd
 LeaveTemporaryFiles true

ning

 # cat /etc/cron.d/clamav-workaround
 # 10 1 * * * find /var/tmp/clamd ! -name clamd -mtime +4 -delete
 # */20 * * * * root find /var/tmp/clamd -maxdepth 1 -user clamav -mmin +60 -exec rm -rf {} \;
 */20 * * * * root find /var/tmp/clamd -maxdepth 1 ! -name clamd -user clamav -mmin +60 -exec rm -rf {} \;

Või Ubuntu peal (tundub, et seal TemporaryDirectory nagu ei toimi ja failid asuvad /tmp kataloogis)

 # cat /etc/cron.d/clamav-workaround 
 */20 * * * * root find /tmp -maxdepth 1 ! -name clamd -user clamav -mmin +60 -exec rm -rf {} \;

====Kontrollide väljalülitamine====

Võib juhtuda, et nt C4S.JUNK.IP.AUTOGEN tabab nö ebaõiglaselt saatjat, nt

<pre>
# sigtool --find-sigs C4S.JUNK.IP.AUTOGEN.5274350 | sigtool --decode-sigs
VIRUS NAME: C4S.JUNK.IP.AUTOGEN.5274350
FUNCTIONALITY LEVEL: >=48
TARGET TYPE: MAIL
OFFSET: *
DECODED SIGNATURE:
{STRING_ALTERNATIVE:://| [|) (| ([}209.85.192.178
</pre>

kus 209.85.192.178 on Google ip aadress ja seega küllap piisavalt hea, et siiski vastu võtta. Ükshaaval ei saa ip aadresse whitelistida, lahenduseks võib olla kogu C4S.JUNK.IP.AUTOGEN välja lülitada. Selleks tuleb kasutada nt sellist C4S seadistusfaili

<pre>
# cat /etc/C4S.cfg 
C4S_CLIENT_AUTOUPDATE="ON"
C4S_CLIENT_OUTPUT="LOG"
C4S_DB_IGNORE_LIST="c4s.0days|c4s.adult.0days|c4s.junk.0days|c4s.junk.ip.autogen"
</pre>

kustutada ära vastav .ndb ja .ndb.sig

 # rm /var/lib/clamav/c4s.junk.ip.autogen.ndb*

ning öelda

 # /opt/c4s/bin/c4s.updater.sh

====C4S RBL kasutamine====

C4S RBL jagatakse aadressil https://lab.pikker.ee/ ja tõenäoliselt piisab kasutamiseks nad lisada olemasolevate vastavate parameetrite väärtuste lõppu. Blokeeritud kiri paistab logis sarnaselt

<pre>
Sep 17 13:50:30 post-relay postfix/smtpd[4005]: NOQUEUE: reject: RCPT from unknown[10.122.156.197]: 554 5.7.1 Service unavailable; 
  Client host [10.122.156.197] blocked using ipbl.lab.pikker.ee; E-mail was rejected due to the 10.122.156.197 reputation. 
  Look your mailserver logs for explanation.; from=<liusl@gdca.com.ee> to=<priit@helioest.ee> proto=ESMTP helo=<mail.gdca.com.ee>
</pre>

kus tekst on aadressil

 # dig +short 197.122.156.10.ipbl.lab.pikker.ee txt
 "E-mail was rejected due to the 10.156.122.197 reputation. Look your mailserver logs for explanation."

====Kasulikud lisamaterjalid====

* http://www.auul.pri.ee/wiki/Amavis_kasutamine_operatsioonis%C3%BCsteemiga_Debian_Squeeze#ClamAV

===clamav-milter===

Postfix kasutab clamav-milter abil ClamAV teenust. Selliselt kasutades toimub before-queue viiruste kontroll.

====Paigaldamine====

 # apt-get install clamav-milter

====Seadistamine====

clamav-milter tööd juhib seadistusfail /etc/clamav/clamav-milter.conf, kus võib olla vajalik kohendada selliste parameetrite väärtusi

 MilterSocket /var/spool/postfix/clamav/clamav-milter.ctl
 OnInfected Reject
 LogFacility LOG_MAIL
 LogInfected Basic
 LogClean Basic
 MaxFileSize 25M
 MilterSocketGroup clamav
 MilterSocketMode 666
 RejectMsg "Rejected by ClamAV"
 LogSyslog true
 ReportHostname mx1.imool.org

Kasutamiseks tuleb Postfix /etc/postfix/main.cf seadisusfaili lisada rida

 smtpd_milters = unix:/clamav/clamav-milter.ctl

clamav-milter deemoni käivitamiseks sobib öelda

 # /etc/init.d/clamav-milter start

====Testimine====

Testiks saata kiri

 $ sendemail -f priit@imool.org -t root@mail.auul.pri.ee -u sub -m 'sisu' -s 192.168.1.252 -o tls=no

ja eicar test viirusega kiri

 $ sendemail -f priit@imool.org -t root@mail.auul.pri.ee -u sub \
   -m 'X5O!P%@AP[4\PZX54(P^)7CC)7}$EICAR-STANDARD-ANTIVIRUS-TEST-FILE!$H+H*' -s 192.168.1.252 -o tls=no

====Whitelistimine====

Selleks, et ClamAV seisukohast tingimusteta võtta vastu mingi mail from saatja kiri sobib kasutada sellist tekstifaili

 # cat /etc/clamav/clamav-milter-whitelist.txt
 From:imre@moraal.ee

ning viidata sellele /etc/clamav/clamav-milter.conf failist reaga

 Whitelist /etc/clamav/clamav-milter-whitelist.txt

ning läbi saanud kiri paistab logis

 Thu Feb  8 01:37:58 2018 -> Skipping scan for <imre@moraal.ee> (whitelisted from)

===SpamAssassin===

Antud juhul ei kasutata sa-learn abil bayesian treenimist, aga bayes_auto_learn on sisse lülitatud. ClamAV kasutamine toimub spamass-milter vahendusel.

====Paigaldamine====

Tarkvara paigaldamiseks sobib öelda

 # apt-get install spamassassin

Tulemusena tekib failisüsteemi omajagu perl teeke

* /etc/default/spamassassin
* /usr/bin/sa-update
* /usr/sbin/spamd
* /lib/systemd/system/spamassassin.service

Selleks, et automaatselt alglaadimisel käivituks tuleb öelda systemd keskkonnas

 # systemctl enable spamassassin.service
 Synchronizing state for spamassassin.service with sysvinit using update-rc.d...
 Executing /usr/sbin/update-rc.d spamassassin defaults
 Executing /usr/sbin/update-rc.d spamassassin enable

====Seadistamine====

Seadistused asuvad kataloogis /etc/spamassassin, eriti failis /etc/spamassassin/local.cf, kus

* report_safe - 0 kasutamisel saadetakse spam kirjad edasi (praktiliselt need, mis jäävad spam tunnuse skoori ja spamass-milter -r reject väärtuse vahele) muutmata sisuga, lisatakse vaid päiseid; 1 kasutamisel moodustatakse uus kiri ja attachmentina lisatakse saabunud kiri

 Spam detection software, running on the system "post-relay.auul",
 has identified this incoming email as possible spam.  The original
 message has been attached to this so you can view it or label
 similar future email.  If you have any questions, see
 the administrator of that system for details.
 
 Content preview:  XJS*C4JDBQADN1.NSBN3*2IDNEN*GTUBE-STANDARD-ANTI-UBE-TEST-EMAIL*C.34X
    [...] 
 
 Content analysis details:   (1000.0 points, 5.0 required)
 
  pts rule name              description
 ---- ---------------------- --------------------------------------------------
 1000 GTUBE                  BODY: Generic Test for Unsolicited Bulk Email
  0.0 TVD_SPACE_RATIO        No description available.
 
 The original message was not completely plain text, and may be unsafe to
 open with some email clients; in particular, it may contain a virus,
 or confirm that your address can receive spam.  If you wish to view
 it, it may be safer to save it to a file and open it with an editor.
 
 ...

* use_bayes 1 - kas kasutatakse bayesian kontrolle
* bayes_auto_learn 1 - kas toimub automaatne nö õpetamine, selle tulemusena moodustuvad failid (nb! need on spamassassini protsessi omad, mitte spamass-milter kasutaja omad, siiski tundub, et vähemalt Debian v. 8 Jessie puhul on nad spamass-milter:nogroup omad)

 # find /var/lib/spamass-milter/.spamassassin -type f -ls
 278180   12 -rw-------   1 spamd    spamd       12288 Jan  4 21:49 /var/lib/spamass-milter/.spamassassin/bayes_seen
 277998   12 -rw-------   1 spamd    spamd       12288 Jan  4 21:49 /var/lib/spamass-milter/.spamassassin/bayes_toks

 # tail -n 5 /etc/spamassassin/local.cf 
 # SPF Overwrite
 score SPF_SOFTFAIL 2
 score SPF_HELO_FAIL 2
 
 score UNPARSEABLE_RELAY 0

Spamassassin uuenduste kopeerimiseks läbi http proxy sobib kasutada failis /etc/default/spamassassin rida

 CRON=1
 http_proxy="http://192.168.1.241:3128"

Võiks katseks öelda käsitsi

 # http_proxy="http://192.168.1.241:3128" sa-update -D

Uuendusi teeb cron töö

 /etc/cron.daily/spamassassin

ja selleks, et uuendused saaksid toimida peab olema /var/lib/spamassassin alune kasutaja:grupp debian-spamd:debian-spamd

 # chown -R debian-spamd:debian-spamd /var/lib/spamassassin

====Kontrollid====

Spamassassin teeb vaikimisi mitmesuguseid kontrolle

=====DNS põhised=====

* mail from juures kasutatud domeenimi (nn RHSBL)
* kirja sisus olevate urlide domeeninimed (nn URIDNSBL)

mida kontrollivad direktiivid

 # grep -i dns /etc/spamassassin/*.pre
 /etc/spamassassin/init.pre:loadplugin Mail::SpamAssassin::Plugin::URIDNSBL
 /etc/spamassassin/v320.pre:loadplugin Mail::SpamAssassin::Plugin::DNSEval
 /etc/spamassassin/v340.pre:loadplugin Mail::SpamAssassin::Plugin::AskDNS

=====SPF=====

Kasutab postfix-policyd-spf-python poolt lisatud päiseid oma SPF skoori arvutamiseks. Millegipärast ei õnnestus Spamassassini enda sisemist SPF moodulit kasutada nii, et ta DNS päringuid teeks.

Saata testiks gmail.com pealt kiri, peab olema headerites midagi sellist

 Received-SPF: Pass (sender SPF authorized) identity=mailfrom; client-ip=209.85.212.177; \
   helo=mail-wi0-f177.google.com; envelope-from=imre.oolberg@gmail.com; receiver=imre@auul.pri.ee

=====DKIM=====

Vajadusel paigaldada pakett libmail-dkim-perl

 # apt-get install libmail-dkim-perl

Saata testiks gmail.com pealt kiri, peavad olema headerites midagi sellist

 X-Spam-Status: No, score=-0.1 required=5.0 tests=DKIM_SIGNED,DKIM_VALID,
    DKIM_VALID_AU,FREEMAIL_FROM,HTML_MESSAGE,SPF_PASS autolearn=ham
    autolearn_force=no version=3.4.0

===spamass-milter===

Postfix kasutab spamass-milter abil Spamassassin teenust. Selliselt kasutades toimub before-queue spammi kontroll (ja muude näitajate osas kirjadele skooride arvestamine, nt SPF ja DKIM).

====Paigaldamine====

Tarkvara paigaldamiseks sobib öelda kusjuures paigaldamise käigus ei tekitata nö kodukataloogi /var/lib/spamass-milter

 # apt-get install spamass-milter
 ..
 Warning: The home dir /var/lib/spamass-milter you specified can't be accessed: No such file or directory
 Adding system user `spamass-milter' (UID 115) ...
 Adding new user `spamass-milter' (UID 115) with group `nogroup' ...
 Not creating home directory `/var/lib/spamass-milter'.

ning tekitada kataloog

 # mkdir /var/lib/spamass-milter
 # chown spamass-milter:nogroup /var/lib/spamass-milter

kuhu moodustatakse bayesiani failid

 # find /var/lib/spamass-milter -type f -ls
 399162   12 -rw-------   1 spamass-milter nogroup     12288 Jan  8 05:39 /var/lib/spamass-milter/.spamassassin/bayes_toks
 399016    4 -rw-r--r--   1 spamass-milter nogroup      1869 Jan  8 03:23 /var/lib/spamass-milter/.spamassassin/user_prefs
 399164   12 -rw-------   1 spamass-milter nogroup     12288 Jan  8 05:39 /var/lib/spamass-milter/.spamassassin/bayes_seen

====Seadistamine====

 # cat /etc/default/spamass-milter 
 
 # Reject emails with spamassassin scores > 15.
 OPTIONS="-m -i 127.0.0.1 -r 15 -- -s 10240000"
 
 SOCKET="/var/spool/postfix/spamass/spamass.sock"
 SOCKETOWNER="postfix:postfix"
 SOCKETMODE="0660"

kus

* -i - mitte rakendada kontrolli sellelt ip aadressilt saabuvatele andmetele
* -m - mitte muuta kirjade subject, content-type ega sisu
* -r - reject kirjadele, millel on kõrgem spam score
* -- järel olevad suvandid saadetakse edasi spamc programmile (spamd klient), -s määrab analüüsitava kirja maksimaalse suuruse, mis on vaikimisi 512 kB

Kasutamiseks tuleb Postfix /etc/postfix/main.cf seadisusfaili lisada smtpd_milters reale element juurde, kokku nii

 smtpd_milters = unix:/clamav/clamav-milter.ctl, unix:/spamass/spamass.sock

Kuna spämmi saatjate jaoks on oluline saata kiiresti ja palju kirju, siis reeglina nad ei saada suuru kirju. Kui kiri on suurem -s parameetriga näidatud väärtusest, siis tekib logisse midagi sellist, kusjuures kiri liigub süsteemist läbi ilma Spammassassini töötluseta (ja vastavad päiseid kirjale ka ei lisata)

 Feb  4 10:12:23 post-relay spamc[22715]: skipped message, greater than max message size (512000 bytes)
 Feb  4 10:12:23 post-relay spamass-milter[22698]: Could not extract score from <>

spamass-milter deemoni käivitamiseks sobib öelda

 # /etc/init.d/spamass-milter start

====Testimine====

Tundub, et peale süsteemi käivitamist, kaasneb alati esimese kirjaga kaasneb selline teade

 Jan  8 13:22:12 mx-fend spamass-milter[420]: Could not retrieve sendmail macro "i"!.  \
  Please add it to confMILTER_MACROS_ENVFROM for better spamassassin results

Testimiseks sobib saata selline kiri

 $ sendemail -f priit@imool.org -t root@mail.auul.pri.ee -u sub \
   -m 'XJS*C4JDBQADN1.NSBN3*2IDNEN*GTUBE-STANDARD-ANTI-UBE-TEST-EMAIL*C.34X' -s 192.168.1.252 -o tls=no

====Subject rea muutmine====

Spämmikahtlusega kirjade Subject rea muutmiseks sobib kasutada milteri seadistusfailis OPTIONS parameetrit ilma -m suvandita

 OPTIONS="-i 127.0.0.1 -r 15 -- -s 10240000"

ning Spammassassin seadisusfailis /etc/spamassassin/local.cf rida

 rewrite_header Subject *****SPAM*****

===Non-local delivery kontrollimine===

Non-local delivery juhtumiks on nt 2nd MX kasutamine või frontend smtp serveri pidamine teise, local deliveriga postimasina ees (nt MS Exchange). Front-end postimasina ülesandeks on lasta läbi ettenähtud domeenidele saabuvad kirjad suunates nad edasi sobivale backend serverile + seejuures kontrollides, et rcpt to aadressid eksisteerivad (nt Active Directory LDAP serveri abil). Nt sobib kasutada sellist seadistusfaili

 # NON-LOCAL DELIVERY
 relay_domains = /etc/postfix/relay-domains.txt
 transport_maps = hash:/etc/postfix/transport
 relay_recipient_maps = ldap:/etc/postfix/relay-recipient-maps-ad-users.cf
   ldap:/etc/postfix/relay-recipient-maps-ldap-ad-groups.cf
 # NON-LOCAL DELIVERY

kus

* relay_domains fail sisaldab releetatavaid non-delivery domeeninimesid, igal real üks domeeninimi, postmap käsuga .db baasi pole vajalik moodustada

 # cat /etc/postfix/relay-domains.txt
 imool.org
 auul.pri.ee

* transport_maps näitab, kus asub backend postimasin, või 1nd mx server (kui seda ei näidata, siis leitakse ta üles dns abil nö tavalisel viisil)

 # cat /etc/postfix/transport
 imool.org :[192.168.1.251]
 auul.pri.ee :[192.168.1.252]

* relay_recipient_maps näitab antud juhul ära AD LDAP kataloogi asukoha ning kirjeldab, kuidas saada LDAP kataloogist vastused (search base ja query_filter) - tüüpiliselt on eposti aadress kirjas AD kasutaja ja AD grupi sissekannete mõne atribuudi väärtusena; relay_recipient_maps parameeril võib olla palju väärtusi

 # cat /etc/postfix/relay-recipient-maps-ad-users.cf
 server_host = 10.249.9.4
 search_base = ou=IMOOL,dc=imool,dc=local
 query_filter = (&(|(mail=%s)(proxyAddresses=smtp:%s))(objectClass=person)(!(userAccountControl=514)))
 result_attribute = mail
 version         = 3
 bind            = yes
 start_tls       = no
 bind_dn         = postfix@imool.local
 bind_pw         = parool
 scope           = sub
 debuglevel      = 0

ning

 # cat /etc/postfix/relay-recipient-maps-ad-groups.cf
 server_host = 10.249.9.4
 search_base = ou=Grupid,ou=IMOOL,dc=imool,dc=local
 query_filter = (&(|(mail=%s)(proxyAddresses=smtp:%s))(objectclass=group))
 result_attribute = mail
 version         = 3
 bind            = yes
 start_tls       = no
 bind_dn         = postfix@imool.local
 bind_pw         = parool
 scope           = sub
 debuglevel      = 0

===Logianalüüs ELK platvormil===

Tundub, et sobib kasutada sellist logstash seadistust /etc/logstash/conf.d/ls.conf

 # cat /etc/logstash/conf.d/ls.conf
 input {
 
  file {
    path => [ "/srv/logs/192.168.1.250/mail.*.log" ]
    type => "mail"
    start_position => "beginning"
  } 
 
 filter {
 
  if [type] == "mail" {
 
   grok {
     match => { "message" => "%{POSTFIXSMTPD}" }
     add_tag => "SMTPD"
     tag_on_failure => []
   }
 
   grok {
     match => { "message" => "%{SPF}" }
     add_tag => "SPF"
     tag_on_failure => []
   }
 
   grok {
     match => [ "message", "%{POSTFIXSMTPRELAY}" ]
     add_tag => "SMTP"
     tag_on_failure => []
   }
 
   grok {
     match => [ "message", "%{CLAMAVMILTERCLEAN}" ]
     add_tag => "CLAMAV"
     add_field => [ "virusname", "PUHASKIRI" ]
     tag_on_failure => []
   }
 
   grok {
     match => [ "message", "%{CLAMAVMILTERINFECTED}" ]
     add_tag => "CLAMAV"
     tag_on_failure => []
   }
 
   grok {
     match => [ "message", "%{POSTSCREENCONNECT}",
                "message", "%{POSTSCREENNOQUEUE}" 
              ]
     add_tag => "POSTSCREEN"
     tag_on_failure => []   
   }
    
   grok {
     match => [ "message", "%{SPAMD}" ]
     add_tag => "SPAMD"
     tag_on_failure => []
   }
 
 if "SMTPD" not in [tags] and "SPF" not in [tags] and "SMTP" not in [tags] and "CLAMAV" not in [tags] \
   and "POSTSCREEN" not in [tags] and "SPAMD" not in [tags] {
     drop { }
 }
  
  date {
    match => [ "syslog_timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]
   }
 }  
 
 output { elasticsearch { host => localhost } stdout { codec => rubydebug } }

kus

* TODO

Lisaks on kirjeldatud sellised patternid

 # cat /opt/logstash/patterns/mail-imool
 VIRUSNAME ([\W\w._\/%-]+)
 COMPONENT ([\w._\/%-]+)
 COMPID (postfix\/%{COMPONENT:component}(?:\[%{POSINT:pid}\])?)
 RELAY (?:%{HOSTNAME:remote_host}(?:\[%{IP:remote_ip}\](?::[0-9]+(.[0-9]+)?)?)?)
 POSTFIXSMTPDCONNECTS (connect from %{RELAY})
 
 # Jan 11 16:34:22 post-relay postfix/smtpd[18424]: connect from unknown[185.66.13.225]"
 POSTFIXSMTPD %{SYSLOGTIMESTAMP:syslog_timestamp} %{HOSTNAME} %{COMPID}: %{POSTFIXSMTPDCONNECTS}
 
 # Jan 10 16:49:44 post-relay clamav-milter[11029]: Clean message from <imre.oolberg@gmail.com> to <imre@auul.pri.ee>
 # Jan 10 20:24:51 post-relay clamav-milter[11029]: Message from <maili@vastus.biz> to <talepaju@talepaju.ee> infected by C4S.MMAILER.DOM.250.UNOFFICIAL
 
 PROGNAME ([\w_-]+)
 PROGNAMEPID (%{PROGNAME:progname}(?:\[%{POSINT:pid}\])?)
 EMAILADDRESS ([a-zA-Z0-9_.+-=:]+@[a-zA-Z0-9_.+-=:]+)
 
 CLAMAVMILTERCLEAN %{SYSLOGTIMESTAMP:syslog_timestamp} %{HOSTNAME} %{PROGNAMEPID}: Clean message from <%{EMAILADDRESS:mail_from}> to <%{EMAILADDRESS:rcpt_to}>
 CLAMAVMILTERINFECTED %{SYSLOGTIMESTAMP:syslog_timestamp} %{HOSTNAME} %{PROGNAMEPID}: Message from <%{EMAILADDRESS:mail_from}> to <%{EMAILADDRESS:rcpt_to}> infected by %{VIRUSNAME:virusname}
 
 # Jan 10 22:23:24 post-relay postfix/postscreen[15420]: CONNECT from [185.66.13.225]:52207 to [192.168.1.250]:25
 
 POSTSCREENCONNECT %{SYSLOGTIMESTAMP:syslog_timestamp} %{HOSTNAME:hostname} %{COMPID}: CONNECT from \[%{IP:remote_ip}\]:%{POSINT} to \[%{IP:local_ip}\]:25
 
 # Jan 10 22:05:57 post-relay postfix/postscreen[15403]: NOQUEUE: reject: RCPT from [114.97.104.46]:2944: 550 5.7.1 Service unavailable; client [114.97.104.46] blocked  using zen.spamhaus.org; from=<hyciaadkhz@ovsi.com>, to=<mailman@lists.wwoof.ee>, proto=SMTP, helo=<LB63BPY4OBNA8RC.com>
 POSTSCREENNOQUEUE %{SYSLOGTIMESTAMP:syslog_timestamp} %{HOSTNAME:hostname} %{COMPID}: NOQUEUE: reject: RCPT from \[%{IP:remote_ip}\]:%{POSINT}: %{POSINT:smtp_code}  5.7.1 Service unavailable; client \[%{IP:remote_ip}\] blocked using %{HOSTNAME:blocking_rbl}; from=<%{EMAILADDRESS:mail_from}>, to=<%{EMAILADDRESS:mail_to}>,  proto=SMTP, helo=<%{HOSTNAME:helo}>
 
 # Jan 10 23:49:27 post-relay policyd-spf[15556]: None; identity=helo; client-ip=192.80.102.33; helo=ftp.moraal.ee; envelope-from=debian@ftp.moraal.ee; receiver=imre@auul.pri.ee
 # Jan 10 23:49:27 post-relay policyd-spf[15556]: None; identity=mailfrom; client-ip=192.80.102.33; helo=ftp.moraal.ee; envelope-from=debian@ftp.moraal.ee; receiver=imre@auul.pri.ee
 
 SPF %{SYSLOGTIMESTAMP:syslog_timestamp} %{HOSTNAME} %{PROGNAMEPID}: %{WORD:spf_result}; identity=%{WORD:spf_identity}; client-ip=%{IPV4:client_ip}; helo=%{HOSTNAME:helo}; envelope-from=%{EMAILADDRESS:mail_from}; receiver=%{EMAILADDRESS:mail_to}
 
 # Jan 10 23:49:46 post-relay postfix/smtp[15560]: 5A9CA5FD4E: to=<imre@auul.pri.ee>, relay=post.auul[192.168.1.251]:25, delay=20, delays=19/0.04/0.09/0.82, dsn=2.0.0,  status=sent (250 2.0.0 Ok: queued as 0FE242C2BD)
 
 QUEUEID (?:[A-F0-9]+|NOQUEUE)
 POSREAL ([0-9]+(.[0-9]+)?)
 DSN (%{NONNEGINT}.%{NONNEGINT}.%{NONNEGINT})
 STATUS (sent|deferred|bounced|expired) 
 
 POSTFIXSMTPRELAY %{SYSLOGTIMESTAMP:syslog_timestamp} %{HOSTNAME:hostname} %{COMPID}: %{QUEUEID:qid}: to=<%{EMAILADDRESS:rcpt_to}>,(?:\sorig_to=<%{EMAILADDRESS:orig_to}>,)? relay=%{RELAY},(?: conn_use=%{POSREAL:conn_use},)? (%{WORD}=%{DATA},)+ dsn=%{DSN:dsn}, status=%{STATUS:result} %{GREEDYDATA:reason}
 
 # Jan 11 15:11:44 post-relay spamd[12090]: spamd: identified spam (1000.0/5.0) for spamass-milter:112 in 0.1 seconds, 1425 bytes.
 # Jan 11 15:24:11 post-relay spamd[12090]: spamd: clean message (0.9/5.0) for spamass-milter:112 in 0.4 seconds, 5380 bytes.
 
 SPAM_CHECK_RESULT ([\w._\/%-]+ [\w._\/%-]+)
 
 SPAMD %{SYSLOGTIMESTAMP:syslog_timestamp} %{HOSTNAME:hostname} %{PROGNAMEPID}: spamd: %{SPAM_CHECK_RESULT:scr} \(%{NUMBER:spam_score:float}/%{NUMBER:spam_score_limit:float}\) for spamass-milter:%{NUMBER} in %{NUMBER:spam_check_time} seconds, %{NUMBER:message_size:int} bytes.

Kasulikud lisamaterjalid

* [[:Elasticsearch-Logstash-Kibana]]
* http://antisp.in/2014/04/useful-logstash-grok-patterns/

===Alternatiivne logianalüüs ELK platvormil===

Huvipakkuvad andmed

* timestamp - kirja sissetulemise aeg (Jan 2 2016 19:05:02)
* in_pf_qid - Postfixi sisemine ID (243BF507AF)
* in_client_name - postfix/smtpd juures kasutatav klient SMTP serveri nimi, o3.bn.imool.net 
* in_client_ip - postfix/smtpd juures kasutatav klient SMTP serveri nimi, 10.21.6.101
* toodeldud - sisemist protsessimist abistav parameeter
* mid - message-id (ye123@ismtpd0002p1lon1.imool.net)
* mail_from - saatja@aadress
* rcpt_to - aadressaadi@aadress
* relay_ip - edasitoimetamise ip (nt smtp relee puhul)
* reject_reason - põhjus, mille ütleb postfix/cleanup 'ile milter
* qmgr_removed - kirjaga töötlemise lõpu aeg
* clamav_virusname - viirusenimi, mida clamd logib ilusti koos queue id väärtusega

SpamAssassin toimetamisi käsitletakse ainult blokeerimise faktina, nt kaasnevat spam score väärtust ei saa hästi kindlaks teha.

====Logstash kasutamine====

 # cat /etc/logstash/conf.d/ls.conf
 input {
 
   file {
     type => "mailjson"
     path => [ "/var/tmp/pf2k-20160102-log.json" ]
     start_position => "beginning"
     sincedb_path => "/srv/sincedb/since.mailjson"
     codec => json
   }
 }
 
 filter {
 
   if [type] == "mailjson" {
     date {
       match => [ "timestamp", "MMM dd YYYY HH:mm:ss" ]
     }
 
     if [in_client_ip]  {
       geoip {
         source => "in_client_ip"
         target => "geoip"
         database => "/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-filter-geoip-2.0.4/vendor/GeoLiteCity-2013-01-18.dat"
         add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]
         add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}"  ]
       }
       mutate {
         convert => [ "[geoip][coordinates]", "float" ]
       }
     }
   }
 
 output { elasticsearch { hosts => "localhost" } stdout { codec => rubydebug } }

kus

* match => [ "timestamp", "MMM dd YYYY HH:mm:ss" ] - teisendab "Jan 2 2016 06:18:34" formaadis aja elasticsearch @timestampiks

Märkused

* utf8 kodeeringus subjectid enne logimist teisendada loetavaks

===Testimine===

Eposti serveri testimiseks sobib kasutada Postal http://doc.coker.com.au/projects/postal/ tarkvara. Debian operatsioonisüsteemile paigaldamiseks sobib öelda

 # apt-get install postal

ning kasutamiseks nt

 $ postal -r 160 -m 20 -f /var/tmp/sender-file.txt 10.35.179.67 /var/tmp/user-list-filename.txt
 time,messages,data(K),errors,connections,SSL connections
 22:42,7,53,0,8,0
 22:43,10,103,0,10,0
 22:44,10,101,0,10,0
 22:45,10,131,0,10,0
 22:46,10,98,0,10,0

kus

* -r mitu kirja püütakse minutis saata
* -m maksimaalne genereeritud kirja suurus
* -f saatjate aadressid
* 10.35.179.67 - testitav smtp server
* /var/tmp/user-list-filename.txt - adressaatide nimekiri
* väljundis on tulpades 'time,messages,data(K),errors,connections,SSL connections'
 
Kasulikud lisamaterjalid

* https://metacpan.org/release/Test-SMTP

===smtpd TLS===

smtpd TLS sisselülitamiseks sobib /etc/postfix/main.cf seadistusfailis kasutada sellist osa (smtpd_tls_CAfile puudumisel ära jätta)

 # TLS parameters
 smtpd_tls_cert_file=/etc/ssl/certs/ssl-cert-snakeoil.pem
 smtpd_tls_key_file=/etc/ssl/private/ssl-cert-snakeoil.key
 smtpd_tls_CAfile=/etc/dovecot/ca.pem
 smtpd_use_tls=yes
 smtpd_tls_session_cache_database = btree:${data_directory}/smtpd_scache
 smtpd_tls_loglevel = 1
 smtpd_tls_security_level = may
 smtpd_tls_received_header = yes

kus

* smtpd_tls_key_file - salajane võti, võiks öelda 'chmod 0600 /etc/ssl/private/ssl-cert-snakeoil.key'
* smtpd_tls_cert_file - sertifikaat või parem ahel (self-signed juurikas on tõenäoliselt kliendil olemas ja pole tarvis siia)

 # cat server_cert.pem intermediate_CA.pem > server.pem

Logis paistab vastav osa nt sedasi

 Jan  9 00:51:38 post-relay postfix/smtpd[7703]: Anonymous TLS connection established from \
   bendel.debian.org[82.195.75.100]: TLSv1.2 with cipher AECDH-AES256-SHA (256/256 bits)

Ja kirja päises

 Received: from mail-wi0-f172.google.com (mail-wi0-f172.google.com [209.85.212.172])
    (using TLSv1 with cipher ECDHE-RSA-RC4-SHA (128/128 bits))
    (No client certificate requested)
    by mail.auul.pri.ee (Postfix) with ESMTPS id 38F2C6121F
    for <imre@auul.pri.ee>; Fri, 9 Jan 2015 01:02:04 +0200 (EET)

Testimiseks sobib öelda

 $ openssl s_client -starttls smtp -crlf -connect 10.249.9.78:25

===smtp TLS===

Antud juhul tähendab smtp TLS, et serverist välja pöördumised toimuvad võimalusel krüpteeritud ühendust kasutades, sellise funktsionaalsuse sisselülitamiseks sobib /etc/postfix/main.cf seadistusfailis kasutada

 smtp_use_tls = yes
 smtp_tls_CAfile = /etc/ssl/certs/ca-certificates.crt
 smtp_tls_session_cache_database = btree:${data_directory}/smtp_scache
 smtp_tls_loglevel = 1
 smtp_tls_security_level = may
 smtp_tls_note_starttls_offer = yes

kus

* TODO

Logis paistab

 Jan  9 00:53:58 post-relay postfix/smtp[7890]: Trusted TLS connection established to \
   gmail-smtp-in.l.google.com[173.194.71.26]:25: TLSv1.2 with cipher ECDHE-RSA-AES128-GCM-SHA256 (128/128 bits)

===SMTP TLS AUTH 587/submission===

Tundub, et 2016 aastal soovitatakse üldiselt kasutada 587/submissionit kirjade välja saatmisel.

Antud juhul toimub SMTP relee klientide autentimine vastu Dovecot serverit. St sama kasutajate baas, mis on kasutusel Dovecot imap klientide jaoks. SMTP AUTH toimub eraldi nö tavalisest port 25/tcp liiklusest port 587/tcp peal, Postfix seadistusfailis /etc/postfix/master.cf vastab sellel sektsioon

 submission inet n - - - - smtpd
   -o syslog_name=postfix/submission
   -o smtpd_tls_security_level=encrypt
   -o smtpd_sasl_auth_enable=yes
   -o smtpd_sasl_type=dovecot
   -o smtpd_sasl_path=inet:192.168.7.143:12345
   -o smtpd_sasl_security_options=noanonymous
   -o smtpd_sasl_local_domain=$myhostname
   -o smtpd_client_restrictions=permit_sasl_authenticated,reject

kus

* smtpd_sasl_path - Dovecot auth serveri teenuse aadress

Dovecot osas on oluline selline sektsioon seadistusfailis /etc/dovecot/conf.d/10-master.conf

 # cat /etc/dovecot/conf.d/10-master.conf
 ..
 service auth {
 ...
   inet_listener {
     port = 12345
   }
 }
 ....

====Testimine====

SMTP AUTH testimiseks sobib öelda

 $ /usr/bin/sendemail -f imre@auul.pri.ee -t imre@mujale.imool.ee -u subject -m sisu -s 10.103.6.25:587 -xu imre -xp parool -o tls=yes

Teenuse krüpto omaduste uurimiseks

 # sslscan --starttls 10.103.6.25:587 | grep Acce
    Accepted  TLSv1  256 bits  ECDHE-RSA-AES256-SHA
    Accepted  TLSv1  256 bits  DHE-RSA-AES256-SHA
    Accepted  TLSv1  256 bits  DHE-RSA-CAMELLIA256-SHA
 ...

====Eposti kliendi seadistamine====

Eposti kliendi seadistamisel tuleb väljuva eposti serveri jaoks kirjeldada

* domeeninimi (või ip aadress, sel juhul tuleb tõenäoliselt esimesel pöördumisel aktsepteerida serveri sertifikaat)
* port - 587
* kasutajanimi
* parool
* Connection Security - STARTTLS
* Authentication Method - Normal password

===SMTP TLS AUTH 465/smtps===

Tundub, et 2016 aastal soovitatakse üldiselt kasutada 587/submissionit kirjade välja saatmisel. Käesolevat juhtumist sobib kasutada nt mingi legacy kliendi piiratuse vms põhjusel.

Antud juhul toimub SMTP relee klientide autentimine vastu Dovecot serverit. St sama kasutajate baas, mis on kasutusel Dovecot imap klientide jaoks. SMTP AUTH toimub eraldi nö tavalisest port 25/tcp liiklusest port 465/tcp peal, Postfix seadistusfailis /etc/postfix/master.cf vastab sellel sektsioon

 smtps inet n - - - - smtpd
   -o syslog_name=postfix/smtps
   -o smtpd_tls_wrappermode=yes
   -o smtpd_sasl_auth_enable=yes
   -o smtpd_sasl_type=dovecot   
   -o smtpd_sasl_path=inet:192.168.7.143:12345
   -o smtpd_sasl_security_options=noanonymous
   -o smtpd_sasl_local_domain=$myhostname
   -o smtpd_client_restrictions=permit_sasl_authenticated,reject

kus

* smtpd_sasl_path - Dovecot auth serveri teenuse aadress

Dovecot osas on oluline selline sektsioon seadistusfailis /etc/dovecot/conf.d/10-master.conf

 # cat /etc/dovecot/conf.d/10-master.conf
 ..
 service auth {
 ...
   inet_listener {
     port = 12345
   }
 }
 ....

====Kasulikud lisamaterjalid====

* http://www.auul.pri.ee/wiki/Postfix%27i_arhitektuuri_kirjeldus_ja_kasutamise_keerulisemad_v%C3%B5imalused#SendEmail_programmi_kasutamine
* [[:Dovecot kasutamine operatsioonisüsteemiga Debian v. 7 Wheezy]]

===Postfix seadistusfailid===

Kogu Postfix seadistusfaili /etc/postfix/main.cf sisu, sektsioonide kaupa

 # MISC ALGUS
 biff = no
 append_dot_mydomain = no
 readme_directory = no   
 
 myorigin = /etc/mailname
 myhostname = mail.auul.pri.ee
 smtpd_banner = $myhostname ESMTP $mail_name (Debian/GNU)
 message_size_limit =  37000000
 # MISC LOPP 

 # VORK ALGUS
 mynetworks = 127.0.0.0/8 [::ffff:127.0.0.0]/104 [::1]/128 192.168.10.0/24 192.168.1.0/24
 inet_interfaces = all
 inet_protocols = ipv4
 proxy_interfaces = 10.204.62.116
 # VORK LOPP

 # LOKAALNE DELIVERY ALGUS
 alias_maps = hash:/etc/aliases
 alias_database = hash:/etc/aliases
 mydestination = post-relay.auul, localhost.imool, localhost
 mailbox_command = procmail -a "$EXTENSION"
 mailbox_size_limit = 0  
 recipient_delimiter = +
 # LOKAALNE DELIVERY LOPP

 # TLS ALGUS
 # TLS server parameters
 smtpd_tls_cert_file=/etc/ssl/certs/ssl-cert-snakeoil.pem
 smtpd_tls_key_file=/etc/ssl/private/ssl-cert-snakeoil.key
 smtpd_tls_CAfile=/etc/dovecot/ca.pem
 smtpd_use_tls=yes
 smtpd_tls_session_cache_database = btree:${data_directory}/smtpd_scache
 smtpd_tls_loglevel = 1
 smtpd_tls_security_level = may
 smtpd_tls_received_header = yes
 
 # TLS client parameters
 smtp_use_tls = yes
 smtp_tls_CAfile = /etc/ssl/certs/ca-certificates.crt
 smtp_tls_session_cache_database = btree:${data_directory}/smtp_scache
 smtp_tls_loglevel = 1
 smtp_tls_security_level = may
 smtp_tls_note_starttls_offer = yes
 # TLS LOPP

 # POSTSCREEN ALGUS
 
 # testid enne before 220 teste
 # permanent white/blacklist (postscreen_blacklist_action ytleb kui otsustavalt kaituda)
 postscreen_access_list = permit_mynetworks
   cidr:/etc/postfix/postscreen_access.cidr
 
 postscreen_blacklist_action = enforce
 
 # mx policy test
 postscreen_whitelist_interfaces = !192.168.7.81 static:all
 
 # tests before 220 greeting
 postscreen_greet_banner = "PGB at RT"
 postscreen_greet_action = enforce
 
 # dnsbl testid
 postscreen_dnsbl_sites = zen.spamhaus.org*3
   list.dnswl.org=127.[0..255].[0..255].0*-2
   list.dnswl.org=127.[0..255].[0..255].1*-3
   list.dnswl.org=127.[0..255].[0..255].[2..255]*-4
 
 postscreen_dnsbl_threshold = 3
 postscreen_dnsbl_whitelist_threshold = -2
 
 # mida teha vastavalt permanent blacklist, pregreet ja dnsbl tabamuste puhul
 postscreen_dnsbl_action = enforce
 
 # test after 220 greeting i.e. deep protocol test
 postscreen_pipelining_enable = yes
 postscreen_pipelining_action = enforce 
 
 postscreen_non_smtp_command_enable = yes
 postscreen_non_smtp_command_action = drop
 
 postscreen_bare_newline_enable = yes
 postscreen_bare_newline_action = enforce
 
 # POSTSCREEN LOPP

 # HELO, CLIENT, SENDER, RECIPIENT ja RELAY kontrollid ALGUS
 # helo kontrollid
 # logitakse sellised vead  
 # Jan  9 00:39:34 post-relay postfix/smtpd[7509]: NOQUEUE: reject_warning: RCPT from \
 #    unknown[10.198.206.158]: 450 4.7.1 <mx1.imool.org>: Helo command rejected: Host not found; \
 #    from=<priit@imool.org> to=<imre@auul.pri.ee> proto=ESMTP helo=<mx1.imool.org>
 
 smtpd_helo_required = yes
 smtpd_helo_restrictions = warn_if_reject reject_unknown_helo_hostname
 
 # client kontrollid, leitakse poorduja ip aadressile vastav nimi
 # ja kontrollitakse, kas see laheneb esialgseks ip aadressiks
 # logitakse sellised vead (eelduseks on, et ptr kirje üldse eksisteerib)
 # Jan  9 00:39:34 post-relay postfix/smtpd[7509]: warning: hostname mx1.imool.org \
 #    does not resolve to address 10.198.206.158
 # Jan  9 00:39:34 post-relay postfix/smtpd[7509]: NOQUEUE: reject_warning: RCPT \
 #    from unknown[10.198.206.158]: 450 4.7.1 Client host rejected: cannot find your hostname, \
 #    [10.198.206.158]; from=<priit@imool.org> to=<imre@auul.pri.ee> proto=ESMTP helo=<mx1.imool.org>
 
 smtpd_client_restrictions = warn_if_reject reject_unknown_client_hostname
 
 # valjast tulevad olematu @domeeni.osaga kirjad, 450 error
 # logitakse sellised vead
 # Jan  9 00:45:13 post-relay postfix/smtpd[7534]: NOQUEUE: reject: RCPT from unknown[10.198.206.158]: \
 #    450 4.1.8 <priit@imooll.ee>: Sender address rejected: Domain not found; from=<priit@imooll.ee>\
 #    to=<imre@auul.pri.ee> proto=ESMTP helo=<mx1.imool.org>
 #
 # küsitakse mail from domeeni osa kohta Spamhaus käest, kas on kahtlane domeen
 # nö dig moraal.ee.dbl.spamhaus.org 
 
 smtpd_sender_restrictions = reject_unknown_sender_domain, reject_rhsbl_sender dbl.spamhaus.org
 
 # lubatakse kohalikke vorke ja autenditud kasutajaid, ei lubata tundmatutesse kohtadesse
 # releetamisi
 
 smtpd_relay_restrictions = permit_mynetworks permit_sasl_authenticated reject_unauth_destination
 
 # lubatakse kohalikke vorke ja autenditud kasutajaid, ei lubata tundmatutesse kohtadesse
 # releetamisi ja lisaks toimub SPF kontroll postfix policy sistema abil
 
 smtpd_recipient_restrictions = permit_mynetworks, permit_sasl_authenticated, reject_unauth_destination
   check_policy_service unix:private/policyd-spf
 
 # HELO, CLIENT, SENDER, RECIPIENT ja RELAY kontrollid LOPP

 # HEADER CHECKS
 mime_header_checks = regexp:/etc/postfix/mime_header_checks.regexp
 # HEADER CHECKS LOPP

 # MILTERS: CLAMAV, SPAMASSASSIN
 smtpd_milters = unix:/clamav/clamav-milter.ctl, unix:/spamass/spamass.sock
 # MILTERS LOPP

 # NON-LOCAL DELIVERY
 relay_domains = /etc/postfix/relay-domains.txt
 transport_maps = hash:/etc/postfix/transport
 relay_recipient_maps = ldap:/etc/postfix/relay-recipient-maps-ad-users.cf
 # NON-LOCAL DELIVERY

Seadistusfailist viidatud failide sisu

 # cat /etc/postfix/postscreen_access.cidr
 192.168.10.0/24 permit

 # cat /etc/mailname
 mail.auul.pri.ee

 # cat /etc/postfix/relay-domains.txt
 auul.pri.ee

 # cat /etc/postfix/transport
 auul.pri.ee :[10.249.6.143]

 # cat /etc/postfix/relay-recipient-maps-ad-users.cf
 server_host = 10.249.9.4
 search_base = dc=imool,dc=local
 query_filter = (&(|(mail=%s)(proxyAddresses=smtp:%s))(objectClass=person)(!(userAccountControl=514)))
 result_attribute = mail
 version         = 3
 bind            = yes
 start_tls       = no
 bind_dn         = postfix@imool.local
 bind_pw         = parool
 scope           = sub
 debuglevel      = 0

 # cat /etc/postfix/mime_header_checks.regexp
 /filename=\"?(.*)\.(bat|chm|cmd|com|do|exe|hta|jse|rm|scr|pif|vbe|vbs|vxd|xl)\"?$/
   REJECT For security reasons we reject attachments of this type
 /^\s*Content-(Disposition|Type).*name\s*=\s*"?(.+\.(lnk|asd|hlp|ocx|reg|bat|c[ho]m|cmd|exe|dll|vxd|pif|scr|hta|jse?|sh[mbs]|vb[esx]|ws[fh]|wav|mov|wmf|xl))"?\s*$/
   REJECT Attachment type not allowed. File "$2" has the unacceptable extension "$3"

Postfix seadistusfailis /etc/postfix/master.cf on tehtud muudatused kahes osas

* vt Postscreen
* vt SMTP AUTH

===OpenBSD iseärasused===

* OpenBSD clamav pakett sisaldab clamav, freshclam ning milter-clamav tarkvara, paigaldamiseks sobib öelda

 # pkg_add clamav

* Paralleelselt töötav pixz tundub puuduvat, aga on olemas tavaline xz

 # pkg_add xz

* c4s.updater.sh on bash skript

 # pkg_add bash

* SpamAssassin

 # pkg_add p5-Mail-SpamAssassin
 quirks-2.9 signed on 2014-07-31T22:37:55Z
 |No change in quirks-2.9Ambiguous: choose dependency for p5-Mail-SpamAssassin-3.4.0p3: 
  a       0: p5-Mail-SPF-2.8.0
          1: p5-Mail-SPF-Query-1.999.1p4
 Your choice: 0
 p5-Mail-SpamAssassin-3.4.0p3:p5-URI-1.60: ok
 p5-Mail-SpamAssassin-3.4.0p3:p5-Net-SSLeay-1.65: ok
 p5-Mail-SpamAssassin-3.4.0p3:p5-IO-Socket-SSL-1.997: ok
 p5-Mail-SpamAssassin-3.4.0p3:p5-HTML-Tagset-3.20p0: ok
 p5-Mail-SpamAssassin-3.4.0p3:p5-HTML-Parser-3.71p0: ok
 p5-Mail-SpamAssassin-3.4.0p3:libghttp-1.0.9p2: ok
 p5-Mail-SpamAssassin-3.4.0p3:p5-HTTP-GHTTP-1.07p5: ok
 p5-Mail-SpamAssassin-3.4.0p3:p5-libwww-5.837p0: ok
 p5-Mail-SpamAssassin-3.4.0p3:re2c-0.13.6: ok
 p5-Mail-SpamAssassin-3.4.0p3:p5-Digest-HMAC-1.03: ok
 p5-Mail-SpamAssassin-3.4.0p3:p5-Net-DNS-0.78: ok
 p5-Mail-SpamAssassin-3.4.0p3:p5-Net-DNS-Resolver-Programmable-0.003: ok
 p5-Mail-SpamAssassin-3.4.0p3:p5-NetAddr-IP-4.075: ok
 p5-Mail-SpamAssassin-3.4.0p3:p5-Error-0.17019: ok
 p5-Mail-SpamAssassin-3.4.0p3:p5-Mail-SPF-2.8.0: ok
 p5-Mail-SpamAssassin-3.4.0p3:p5-Socket6-0.25p0: ok
 p5-Mail-SpamAssassin-3.4.0p3:p5-Net-CIDR-Lite-0.21: ok
 p5-Mail-SpamAssassin-3.4.0p3:p5-Net-Patricia-1.19p1: ok
 p5-Mail-SpamAssassin-3.4.0p3:GeoIP-1.6.2: ok
 p5-Mail-SpamAssassin-3.4.0p3:p5-Geo-IP-1.43p0: ok
 p5-Mail-SpamAssassin-3.4.0p3:p5-Time-TimeDate-2.30: ok
 p5-Mail-SpamAssassin-3.4.0p3:p5-Mail-Tools-2.07: ok
 p5-Mail-SpamAssassin-3.4.0p3:p5-Crypt-OpenSSL-Bignum-0.04p5: ok
 p5-Mail-SpamAssassin-3.4.0p3:p5-Crypt-OpenSSL-Random-0.06p0: ok
 p5-Mail-SpamAssassin-3.4.0p3:p5-Crypt-OpenSSL-RSA-0.28p0: ok
 p5-Mail-SpamAssassin-3.4.0p3:p5-Mail-DKIM-0.40p0: ok
 p5-Mail-SpamAssassin-3.4.0p3:p5-Encode-Detect-1.01p3: ok
 p5-Mail-SpamAssassin-3.4.0p3:p5-IO-Socket-IP-0.31: ok
 useradd: Warning: home directory `/var/db/spamassassin' doesn't exist, and -m was not specified
 p5-Mail-SpamAssassin-3.4.0p3: ok
 The following new rcscripts were installed: /etc/rc.d/spamassassin
 See rc.d(8) for details.
 Look in /usr/local/share/doc/pkg-readmes for extra documentation.

Kui clamd reload ajal kiri saata, siis tavaliselt saab saatja ajutise veateate

 ..
 Feb  6 01:14:42 tm clamav-milter[12438]: Timed out while reading clamd reply
 Feb  6 01:14:42 tm clamav-milter[12438]: No reply from clamd
 Feb  6 01:14:42 tm postfix/cleanup[9813]: 674C67EE82: milter-reject: END-OF-MESSAGE from mail.auul.pri.ee[10.204.62.116]: \
   4.7.1 Service unavailable - try again later; from=<imre@auul.pri.ee> to=<imre@imool.org> proto=ESMTP helo=<mail.auul.pri.ee>
 Feb  6 01:14:42 tm postfix/smtpd[22995]: disconnect from mail.auul.pri.ee[194.204.62.116]
 ...

===queue haldamine===

Vahel on väljuv queue täitunud mingi sodiga, siis võib olla abi selle puhastamisest mingi tunnuse alusel, nt selline skript

 # cat qp.sh
 for i in `mailq | egrep '^[0-9,A-Z]' | awk {'print $1'}`; do
   if postcat -q $i | egrep -q "www.mailikampaania.imool" | egrep -q "^Message-ID"; then
     #    echo leitud: $i
     #     postsuper -d $i
     postcat -q $i | grep "^Message-ID" | grep "www.mailikampaania.imool"
   #  else
     #    echo pole leitud: $i
   fi
 done

kus

* TODO

===2nd MX kasutamine===

Esmalt peaks 2nd MX kasutamist väga kaaluma ja seejuures arvestama kui palju spämmi seejuures edasi saatma hakatakse; ja millist kahju see 1nd MX jaoks 2nd MX enda jaoks kaasa toob või tuua võib. Kui Postfix releetab ise kirju oma backendidele + on 2nd MX teatud domeenidele, siis võiks sobida sellise seadistus sektsiooni kasutamine

 # NON-LOCAL DELIVERY
 virtual_mailbox_domains = /etc/postfix/virtual_mailbox_domains.txt
 relay_domains = /etc/postfix/relay_domains.txt
 virtual_transport = smtp:10.249.6.188:10025
 transport_maps = hash:/etc/postfix/transport_maps.txt
 
 # relay_recipient_maps = hash:/etc/postfix/smtp.moraal.ee-relay_recipients_imool-ee.txt
 
 virtual_mailbox_maps = hash:/etc/postfix/smtp.imool.ee-relay_recipients_by_domains-txt
   hash:/etc/postfix/smtp.imool.ee-relay_recipients_lists-txt
   pgsql:/etc/postfix/smtp.imool.ee-relay_recipients_cyrus-pgsql
   mysql:/etc/postfix/smtp.imool.ee-relay_recipients_imool.ee-mysql
   ldap:/etc/postfix/virtual-mailbox-maps-ldap-users-IMOOL.cf
   ldap:/etc/postfix/virtual-mailbox-maps-ldap-users-Ressursid.cf
   ldap:/etc/postfix/virtual-mailbox-maps-ldap-users-Teenuskontod.cf
   ldap:/etc/postfix/virtual-mailbox-maps-ldap-groups-IMOOL.cf
   ldap:/etc/postfix/virtual-mailbox-maps-ldap-groups-Grupid.cf
   pgsql:/etc/postfix/smtp.imool.ee-relay_recipients_imool.ee-pgsql
 
 virtual_alias_maps = hash:/etc/postfix/virtual_aliases_maps.txt
 
 # NON-LOCAL DELIVERY

kus

* virtual_mailbox_domains - domeeninimed, mida hallatakse virtual_* direktiividega
* relay_domains - domeeninimed, millele vastavate rcpt_to aadressidega kirju releetatakse; siin on domeeninimed millele ollakse 2nd MX; need kirjad saadetakse edasi sinna kuhu dns neid saadab
* transport_maps - üldine transportide kirjeldus, töötab virtual_mailbox_domains ja relay_domains rcpt_to domeenile vastavate kirjade jaoks
* virtual_transport - kirjad, mille rcpt_to domeen on kirjas virtual_mailbox_domains juures, aga millele ei rakendu ükski transport_maps saadetakse näidatud kohta
* virtual_mailbox_maps - frontend smtp serveris omab see rcpt_to aadressi olemasolu kontrollimise funktsiooni
* virtual_alias_maps - võimaldab frontend smtp serveris virtual_mailbox_domains juures näidatud rcpt_to aadressidega kirjadele teha edasisuunamisi suvalisele muule aadressile (lisaks sellele, et tõenäoliselt reeglina vastava domeeni kirjad saadetakse transport_maps abil kuhugi backendi)

===TLS enforce kasutamine valikuliselt===

TODO

Kasulikud lisamaterjalid

* http://www.postfix.org/TLS_README.html#client_tls_encrypt

===2025 kevad tähelepanekud===

Väited

* spamassassini protsess töötab vähemalt pealtnäha root kasutajana
* Spamassassin asemel võiks kaaluda rspamd kasutamist (nt kaalutlusel, et spamassassinil puudub nö usaldusväärne docker konteiner lahenduse, rspamd puhul on olemas; sama kas rspamd on usaldusväärne tarkvara nö tänastes tingimustes)

Spamd puhul tundub, et automaatselt lisandunud kontrollidega seoses

<pre>
# tail -f /var/log/mail.log
2025-06-01T11:49:39.408460+03:00 post-relay spamd[4007]: check: dns_block_rule RCVD_IN_VALIDITY_RPBL_BLOCKED hit, creating /root/.spamassassin/dnsblock_bl.score.senderscore.com (This means DNSBL blocked you due to too many queries. Set all affected rules score to 0, or use "dns_query_restriction deny bl.score.senderscore.com" to disable queries)
2025-06-01T11:49:39.408639+03:00 post-relay spamd[4007]: check: dns_block_rule RCVD_IN_VALIDITY_SAFE_BLOCKED hit, creating /root/.spamassassin/dnsblock_sa-accredit.habeas.com (This means DNSBL blocked you due to too many queries. Set all affected rules score to 0, or use "dns_query_restriction deny sa-accredit.habeas.com" to disable queries)
2025-06-01T11:49:39.408715+03:00 post-relay spamd[4007]: check: dns_block_rule RCVD_IN_VALIDITY_CERTIFIED_BLOCKED hit, creating /root/.spamassassin/dnsblock_sa-trusted.bondedsender.org (This means DNSBL blocked you due to too many queries. Set all affected rules score to 0, or use "dns_query_restriction deny sa-trusted.bondedsender.org" to disable queries)
</pre>

tuleks nad pigem välja lülitada

<pre>
root@post-relay:/etc/postfix# grep ^dns /etc/mail/spamassassin/local.cf 
dns_query_restriction deny bl.score.senderscore.com
dns_query_restriction deny sa-trusted.bondedsender.org
dns_query_restriction deny sa-accredit.habeas.com
</pre>

Automaatsete spamassassin mustrite kopeerimiseks internetist lülitada timer sisse

<pre>
root@post-relay:/etc/postfix# systemctl enable --now spamassassin-maintenance.timer
root@post-relay:/etc/postfix# systemctl list-timers
</pre>

Üle 'postfix/submission' smtp auth klietide kirjadele lisatakse vaikimisi kõrge spammi skoor kuna dmarc arvates on nad nö madala reputatsiooniga kirjad (puudub dkim signatuur, spf mõttes valest kohast jne), seda võiks saada leevendada smtpd_milters kasutamisega master.cf failis, nt

<pre>
..
submission inet n       -       y       -       -       smtpd
  -o syslog_name=postfix/submission
  -o smtpd_tls_security_level=encrypt
  -o smtpd_sasl_auth_enable=yes
  -o smtpd_sasl_type=dovecot
  -o smtpd_sasl_path=inet:192.168.1.252:12345
  -o smtpd_sasl_security_options=noanonymous
  -o smtpd_sasl_local_domain=$myhostname
  -o smtpd_milters=inet:192.168.1.243:8892
  -o smtpd_client_restrictions=permit_sasl_authenticated,reject
...
</pre>

===Kasulikud lisamaterjalid===

* http://www.porcupine.org/postfix/doc/uce.html
* http://www.mail-tester.com/