open source email archivalas

Email archiválásSütő János (sj@acts.hu)

Kérdezzetek bármikor, nem kell megvárni a végét

"Melyik rendszergazda nem tud emaileket archiválni a már meglévő eszközökkel?

Let Me Google That For You..."

Domo arigato, de NEM kliensoldali, pl. Thunderbird, Outlook, stb. archiválásról van szó

Rengeteg információ az emailekben: egy vállalat tudásának ~70-80%-a

Megfelelőség (compliance)

SOX, FRCP, HIPAA, GLBA, SEC, NAD, … PSZÁF?

Magyarországon még nincs ezekhez hasonló, de...

eDiscovery költségek:USA, 2010: ~80 milliárd USD

Védelem adatvesztés ellen

Perdöntő lehet bírósági ügyben

Terhelés csökkentése

Hatékony storage kihasználás

mailbox kvóta* vs. sok GB-os mailbox-ok**

Miért archiváld a Gmail / Office 365 / ... fiókod?

#1: ha véletlenül fontos levelet törölsz ki

#2: ha elérhetetlen a Gmail/Office 365/...

#3: ha feltörik az account-odat

Nem triviális a levelezőrendszerek mentése

Legyen 10 millió levél*(=10M db 3 kB - 20 MB file)

#1: tar.gz#2: rsync#3: ...

*: nekem ~7.8 GB / 540k levél**: ~500 GB =~ 4,1M file

Adatvesztés 2 mentés között

idő

elveszett levelek

mentés mentésHW-hiba

Az adatvesztések oka 30-60%-ban PEBKAC

Mi nem email archiválás?

rendszeres mentés a mail szerverről(tar, dd, DPM, ...)

PST file-ok a desktopokon

PST file-ok a hálózati meghajtón

snapshot az emailekről

Bizonyos levelek meghatározott ideig történő megőrzése a vállalati policy, ill. a jogszabályok- nak való megfelelőség alapján

(az Osterman Research nyomán)

Mi az email archiválás?

A piler válasza

Levelek centralizált, biztonságos tárolása

Üzletfolytonosság biztosítása katasztrófa esetén

Jogszabályoknak megfelelőség*

Gyors full text keresés az archivált levelek között

Hatékony storage kihasználás

Hogyan működik?

STARTTLS és tcp_wrappers támogatás

Levelek forrása

SMTP (+ incl. Google Apps, Office 365, ...)

Importálás:- EML- mbox- Maildir- IMAP / POP3- PST (libpst)

Eredeti levél

Feldarabolt levél

Random azonosító generálása

400000004f64f0dd2de8ec0c7c0259810190

a) Időbélyeg TAI64 formátumban* (12 byte)b) Random adat (6 byte)

*: nanosecundum pontosság

Levéldarabok tárolása

/var/piler/store/ab/cd/ef/400...456789abcdef.m/var/piler/store/ab/cd/ef/400...456789abcdef.a1/var/piler/store/ab/cd/ef/400...456789abcdef.a2

Tömörítés (zlib)

Blowfish titkosítás

Deduplikáció

Deduplikáció

Mindent csak 1 példányban tárolni

1. Levél deduplikáció: Message-ID alapján2. Melléklet deduplikáció: digest alapján

a) SHA256 digest számításab) láttuk már ezt a digest-et?- nem: melléklet tárolása- igen: pointer tárolása

Indexelés

sphinx search 2.x

az egyik leggyorsabb

SphinxQL: SQL(-szerű) nyelv

full text search

keresés találatainak cache-elése (memcached)

a levéltörzs első 128 kB-ját indexeli

stemming / wildcard

A mellékleteket is indexeli!

.txt :-)

ODF

.pdf

.doc(x)

.xls(x)

.ppt(x)

.rtf

Jogosultságok: mindenki csak a magáét!

1. mezei felhasználó

2. admin (nem fér hozzá mindenki leveleihez)

3. auditor (ő igen)

Felhasználó - email összerendelés

Exchange: journaling info

postfix/Kerio/...: X-Envelope-To:

Minden más MTA: From:, To: és Cc:

postfix: X-Envelope-To:

/etc/postfix/main.cf:

smtpd_recipient_restrictions = ...check_recipient_access \ pcre:/etc/postfix/add-x-envelope-to

...

/etc/postfix/add-x-envelope-to:

/(.*)/ prepend X-Envelope-To: $1

Policy-k (szabályok)

1. mit _NE_ archiváljon?2. meddig tárolja a leveleket? (default: 7 év)

TRE regex minták (From, To, Subject) + méret + melléklet típus és -méret

pilerpurge: opció, nem kötelesség

Backup készítés / exportálás

pl. levelek exportálása naponta másodlagos storage-ra (opcionális)

Felhasználókezelés

1. kézzel (>5 user esetén már nem vicces)

2. LDAP-ból szinkronizálás(Active Directory-t is támogat)

3. Google OAUTH

4. Single Sign-On (SSO)

HW méretezés: memória

- mysql- sphinx (indexer + searchd)- cache-elés (xcache + memcached)

= n x GB

HW méretezés: diszk

HW méretezés: diszk #2

>1 TB (I/O!)

LVM

RAID!

kereskedelmi termék RAID nélkül?

(ha lehet) ne kikukázott HW-ből

- Online demo: www.mailpiler.org/en/demo.html- Virtuális gép (vmware)

Köszönetnyilvánítás

FSF.hu: Szabad Szoftver Pályázat 2011Németh Ádám: UX