Download - Open source email archivalas
![Page 1: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/1.jpg)
Email archiválásSütő János ([email protected])
![Page 2: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/2.jpg)
Kérdezzetek bármikor, nem kell megvárni a végét
![Page 3: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/3.jpg)
"Melyik rendszergazda nem tud emaileket archiválni a már meglévő eszközökkel?
Let Me Google That For You..."
Domo arigato, de NEM kliensoldali, pl. Thunderbird, Outlook, stb. archiválásról van szó
![Page 4: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/4.jpg)
Rengeteg információ az emailekben: egy vállalat tudásának ~70-80%-a
![Page 5: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/5.jpg)
Megfelelőség (compliance)
SOX, FRCP, HIPAA, GLBA, SEC, NAD, … PSZÁF?
Magyarországon még nincs ezekhez hasonló, de...
![Page 6: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/6.jpg)
eDiscovery költségek:USA, 2010: ~80 milliárd USD
![Page 7: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/7.jpg)
Védelem adatvesztés ellen
![Page 8: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/8.jpg)
Perdöntő lehet bírósági ügyben
![Page 9: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/9.jpg)
Terhelés csökkentése
![Page 10: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/10.jpg)
Hatékony storage kihasználás
mailbox kvóta* vs. sok GB-os mailbox-ok**
![Page 11: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/11.jpg)
Miért archiváld a Gmail / Office 365 / ... fiókod?
#1: ha véletlenül fontos levelet törölsz ki
#2: ha elérhetetlen a Gmail/Office 365/...
#3: ha feltörik az account-odat
![Page 12: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/12.jpg)
Nem triviális a levelezőrendszerek mentése
Legyen 10 millió levél*(=10M db 3 kB - 20 MB file)
#1: tar.gz#2: rsync#3: ...
*: nekem ~7.8 GB / 540k levél**: ~500 GB =~ 4,1M file
![Page 13: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/13.jpg)
Adatvesztés 2 mentés között
idő
elveszett levelek
mentés mentésHW-hiba
Az adatvesztések oka 30-60%-ban PEBKAC
![Page 14: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/14.jpg)
Mi nem email archiválás?
rendszeres mentés a mail szerverről(tar, dd, DPM, ...)
PST file-ok a desktopokon
PST file-ok a hálózati meghajtón
snapshot az emailekről
![Page 15: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/15.jpg)
Bizonyos levelek meghatározott ideig történő megőrzése a vállalati policy, ill. a jogszabályok- nak való megfelelőség alapján
(az Osterman Research nyomán)
Mi az email archiválás?
![Page 16: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/16.jpg)
A piler válasza
Levelek centralizált, biztonságos tárolása
Üzletfolytonosság biztosítása katasztrófa esetén
Jogszabályoknak megfelelőség*
Gyors full text keresés az archivált levelek között
Hatékony storage kihasználás
![Page 17: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/17.jpg)
Hogyan működik?
![Page 18: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/18.jpg)
STARTTLS és tcp_wrappers támogatás
![Page 19: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/19.jpg)
Levelek forrása
SMTP (+ incl. Google Apps, Office 365, ...)
Importálás:- EML- mbox- Maildir- IMAP / POP3- PST (libpst)
![Page 20: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/20.jpg)
Eredeti levél
![Page 21: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/21.jpg)
Feldarabolt levél
![Page 22: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/22.jpg)
Random azonosító generálása
400000004f64f0dd2de8ec0c7c0259810190
a) Időbélyeg TAI64 formátumban* (12 byte)b) Random adat (6 byte)
*: nanosecundum pontosság
![Page 23: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/23.jpg)
Levéldarabok tárolása
/var/piler/store/ab/cd/ef/400...456789abcdef.m/var/piler/store/ab/cd/ef/400...456789abcdef.a1/var/piler/store/ab/cd/ef/400...456789abcdef.a2
![Page 24: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/24.jpg)
Tömörítés (zlib)
![Page 25: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/25.jpg)
Blowfish titkosítás
![Page 26: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/26.jpg)
Deduplikáció
![Page 27: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/27.jpg)
Deduplikáció
Mindent csak 1 példányban tárolni
1. Levél deduplikáció: Message-ID alapján2. Melléklet deduplikáció: digest alapján
a) SHA256 digest számításab) láttuk már ezt a digest-et?- nem: melléklet tárolása- igen: pointer tárolása
![Page 28: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/28.jpg)
Indexelés
sphinx search 2.x
az egyik leggyorsabb
SphinxQL: SQL(-szerű) nyelv
full text search
keresés találatainak cache-elése (memcached)
a levéltörzs első 128 kB-ját indexeli
stemming / wildcard
![Page 29: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/29.jpg)
A mellékleteket is indexeli!
.txt :-)
ODF
.doc(x)
.xls(x)
.ppt(x)
.rtf
![Page 30: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/30.jpg)
![Page 31: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/31.jpg)
Jogosultságok: mindenki csak a magáét!
1. mezei felhasználó
2. admin (nem fér hozzá mindenki leveleihez)
3. auditor (ő igen)
![Page 32: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/32.jpg)
Felhasználó - email összerendelés
Exchange: journaling info
postfix/Kerio/...: X-Envelope-To:
Minden más MTA: From:, To: és Cc:
![Page 33: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/33.jpg)
postfix: X-Envelope-To:
/etc/postfix/main.cf:
smtpd_recipient_restrictions = ...check_recipient_access \ pcre:/etc/postfix/add-x-envelope-to
...
/etc/postfix/add-x-envelope-to:
/(.*)/ prepend X-Envelope-To: $1
![Page 34: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/34.jpg)
Policy-k (szabályok)
1. mit _NE_ archiváljon?2. meddig tárolja a leveleket? (default: 7 év)
TRE regex minták (From, To, Subject) + méret + melléklet típus és -méret
![Page 35: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/35.jpg)
pilerpurge: opció, nem kötelesség
![Page 36: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/36.jpg)
Backup készítés / exportálás
pl. levelek exportálása naponta másodlagos storage-ra (opcionális)
![Page 37: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/37.jpg)
Felhasználókezelés
1. kézzel (>5 user esetén már nem vicces)
2. LDAP-ból szinkronizálás(Active Directory-t is támogat)
3. Google OAUTH
4. Single Sign-On (SSO)
![Page 38: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/38.jpg)
HW méretezés: memória
- mysql- sphinx (indexer + searchd)- cache-elés (xcache + memcached)
= n x GB
![Page 39: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/39.jpg)
HW méretezés: diszk
![Page 40: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/40.jpg)
HW méretezés: diszk #2
>1 TB (I/O!)
LVM
RAID!
kereskedelmi termék RAID nélkül?
(ha lehet) ne kikukázott HW-ből
![Page 41: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/41.jpg)
- Online demo: www.mailpiler.org/en/demo.html- Virtuális gép (vmware)
![Page 42: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/42.jpg)
Köszönetnyilvánítás
FSF.hu: Szabad Szoftver Pályázat 2011Németh Ádám: UX
![Page 43: Open source email archivalas](https://reader033.vdocuments.pub/reader033/viewer/2022060111/5562cb7dd8b42a49398b473c/html5/thumbnails/43.jpg)