open source email archivalas
DESCRIPTION
Email archivalas a piler nevu open source megoldassalTRANSCRIPT
Email archiválásSütő János ([email protected])
Kérdezzetek bármikor, nem kell megvárni a végét
"Melyik rendszergazda nem tud emaileket archiválni a már meglévő eszközökkel?
Let Me Google That For You..."
Domo arigato, de NEM kliensoldali, pl. Thunderbird, Outlook, stb. archiválásról van szó
Rengeteg információ az emailekben: egy vállalat tudásának ~70-80%-a
Megfelelőség (compliance)
SOX, FRCP, HIPAA, GLBA, SEC, NAD, … PSZÁF?
Magyarországon még nincs ezekhez hasonló, de...
eDiscovery költségek:USA, 2010: ~80 milliárd USD
Védelem adatvesztés ellen
Perdöntő lehet bírósági ügyben
Terhelés csökkentése
Hatékony storage kihasználás
mailbox kvóta* vs. sok GB-os mailbox-ok**
Miért archiváld a Gmail / Office 365 / ... fiókod?
#1: ha véletlenül fontos levelet törölsz ki
#2: ha elérhetetlen a Gmail/Office 365/...
#3: ha feltörik az account-odat
Nem triviális a levelezőrendszerek mentése
Legyen 10 millió levél*(=10M db 3 kB - 20 MB file)
#1: tar.gz#2: rsync#3: ...
*: nekem ~7.8 GB / 540k levél**: ~500 GB =~ 4,1M file
Adatvesztés 2 mentés között
idő
elveszett levelek
mentés mentésHW-hiba
Az adatvesztések oka 30-60%-ban PEBKAC
Mi nem email archiválás?
rendszeres mentés a mail szerverről(tar, dd, DPM, ...)
PST file-ok a desktopokon
PST file-ok a hálózati meghajtón
snapshot az emailekről
Bizonyos levelek meghatározott ideig történő megőrzése a vállalati policy, ill. a jogszabályok- nak való megfelelőség alapján
(az Osterman Research nyomán)
Mi az email archiválás?
A piler válasza
Levelek centralizált, biztonságos tárolása
Üzletfolytonosság biztosítása katasztrófa esetén
Jogszabályoknak megfelelőség*
Gyors full text keresés az archivált levelek között
Hatékony storage kihasználás
Hogyan működik?
STARTTLS és tcp_wrappers támogatás
Levelek forrása
SMTP (+ incl. Google Apps, Office 365, ...)
Importálás:- EML- mbox- Maildir- IMAP / POP3- PST (libpst)
Eredeti levél
Feldarabolt levél
Random azonosító generálása
400000004f64f0dd2de8ec0c7c0259810190
a) Időbélyeg TAI64 formátumban* (12 byte)b) Random adat (6 byte)
*: nanosecundum pontosság
Levéldarabok tárolása
/var/piler/store/ab/cd/ef/400...456789abcdef.m/var/piler/store/ab/cd/ef/400...456789abcdef.a1/var/piler/store/ab/cd/ef/400...456789abcdef.a2
Tömörítés (zlib)
Blowfish titkosítás
Deduplikáció
Deduplikáció
Mindent csak 1 példányban tárolni
1. Levél deduplikáció: Message-ID alapján2. Melléklet deduplikáció: digest alapján
a) SHA256 digest számításab) láttuk már ezt a digest-et?- nem: melléklet tárolása- igen: pointer tárolása
Indexelés
sphinx search 2.x
az egyik leggyorsabb
SphinxQL: SQL(-szerű) nyelv
full text search
keresés találatainak cache-elése (memcached)
a levéltörzs első 128 kB-ját indexeli
stemming / wildcard
A mellékleteket is indexeli!
.txt :-)
ODF
.doc(x)
.xls(x)
.ppt(x)
.rtf
Jogosultságok: mindenki csak a magáét!
1. mezei felhasználó
2. admin (nem fér hozzá mindenki leveleihez)
3. auditor (ő igen)
Felhasználó - email összerendelés
Exchange: journaling info
postfix/Kerio/...: X-Envelope-To:
Minden más MTA: From:, To: és Cc:
postfix: X-Envelope-To:
/etc/postfix/main.cf:
smtpd_recipient_restrictions = ...check_recipient_access \ pcre:/etc/postfix/add-x-envelope-to
...
/etc/postfix/add-x-envelope-to:
/(.*)/ prepend X-Envelope-To: $1
Policy-k (szabályok)
1. mit _NE_ archiváljon?2. meddig tárolja a leveleket? (default: 7 év)
TRE regex minták (From, To, Subject) + méret + melléklet típus és -méret
pilerpurge: opció, nem kötelesség
Backup készítés / exportálás
pl. levelek exportálása naponta másodlagos storage-ra (opcionális)
Felhasználókezelés
1. kézzel (>5 user esetén már nem vicces)
2. LDAP-ból szinkronizálás(Active Directory-t is támogat)
3. Google OAUTH
4. Single Sign-On (SSO)
HW méretezés: memória
- mysql- sphinx (indexer + searchd)- cache-elés (xcache + memcached)
= n x GB
HW méretezés: diszk
HW méretezés: diszk #2
>1 TB (I/O!)
LVM
RAID!
kereskedelmi termék RAID nélkül?
(ha lehet) ne kikukázott HW-ből
- Online demo: www.mailpiler.org/en/demo.html- Virtuális gép (vmware)
Köszönetnyilvánítás
FSF.hu: Szabad Szoftver Pályázat 2011Németh Ádám: UX