Architettura di storage ad alta affidabilita’ e bilanciamento di carico per volumi centrali e di esperimento

A.Brunengo, M.CorosuINFN Sezione di Genova

Conclusioni

Caratteristiche del sistema disco

Volumi in RAID5 o RAID1, con hot spare dedicati e globali Doppio controller in ridondanza con sincronizzazione della cache: in caso di failure un controller esporta i volumi dell’altro subentrando al volo senza perdita di dati; il controller che subentra simula la presenza del controller guasto annunciando verso l’esterno un doppio indirizzo FC, ed esportando sull’indirizzo simulato i volumi gestiti dal controller guasto Doppio canale FC: ogni controller dispone di due canali FC su cui esportare i volumi; lo stesso volume puo’ essere reso visibile su entrambi i canali; ciascun canale appartiene ad un loop FC distinto Il sistema e’ dotato di allarmistica via mail per qualsiasi evento di failure relativo al sistema combinato disco/controller. L’allarmistica e’ integrata con un meccanismo di controllo esterno che verifica ciclicamente la connettivita’ del sistema

Le possibilita’ offerte dalla tecnologia SAN su Fiber Channel permettono di realizzare infrastrutture di accesso allo storage ridondate in ogni loro componente: l’utilizzo di volumi RAID, controller ridondati, cammini multipli attraverso switch FC indipendenti e Host Adapter dual head con software capace di gestire il failover consentono di mantenere visibilita’ verso il singolo volume in caso di guasto di una qualunque componente della architettura, e spesso anche di guasti combinati. Unitamente a questo, l’utilizzo di file system paralleli dotati di funzionalita’ di failover intrinseche e di parallelizzazione degli accessi (ad esempio il General Parallel File System, prodotto da IBM) permette di configurare un sistema di accesso al disco ad alta affidabilita’, senza singoli punti critici, con capacita’ di bilanciare il carico sulle diverse componenti.

La soluzione realizzata nella Sezione di Genova e’ dotata di tutte queste caratteristiche, ed e’ stata messa alla prova sia in occasione di guasti imprevisti che per necessita’ di riconfigurazioni globali dei sistemi realizzate attraverso lo spegnimento e la migrazione di un componente per volta, in modo da risultare trasparente all’utenza.

Caratteristiche del file system GPFS

Caratteristiche della SAN

Doppio switch FC, indipendenti, appartenenti a loop FC distinti I due canali dei controller sono connessi ciascuno ad uno switch FC differente: tutti i volumi sono accessibili attraverso entrambi i loop Host adapter dual head: ciascuna porta viene connessa ad un diverso switch FC: tutti i volumi sono potenzialmente visibili da ciascuna porta Zoning: ogni porta connessa ad un HBA appartiene ad una zona differente; le porte connesse al sistema disco appartengono a tutte le zone Driver con funzionalita’ di gestione del failover: il volume e’ reso visibile solo attraverso un canale; l’accesso si sposta dinamicamente sull’altro canale in caso di failure di porta, fibra, connettori o switch FC, senza perdita di continuita’ di accesso

GPFS e’ un file system conforme allo standard Posix.Il file system GPFS e’ costituito dalla unione di diversi Network Share Disk ciascuno dei quali coincide con un device file (una partizione fisica o logica); NSD di uno stesso file system possono essere fisicamente situati su calcolatori differenti.Le operazioni di I/O vengono effettuate in parallelo (striping) su tutti gli NSD che costituiscono il file system GPFS.Ogni accesso verso una NSD (read o write) viene realizzato: direttamente se il nodo vede l’NSD come direttamente connessa attraverso un NSD server in caso contrarioCiascun NSD viene esportato da un NSD server primario, e da un opzionale NSD server secondario che subentra al primario in caso di guasto, senza perdita di funzionalita’.Il file system prevede la possibilita’ di duplicare le informazioni di dati o di metadati su diverse NSD senza punti critici comuni.GPFS supporta le funzioni di quota ed ACL.L’utilizzo di diversi primary NSD server verso lo stesso file system permette di realizzare la ripartizione del carico

L’accentramento dei volumi di servizio ed opzionalmente anche di esperimento sotto un unico sistema di accesso richiede una alta affidabilita’ di ciascuna componente del sistema, per prevenire disservizi che impatterebbero su tutte le attivita’ locali.L’architettura realizzata sfruttando le caratteristiche di opportuni controller, SAN/FC, dual path failover, parallelizzazione GPFS e capacita’ di failover di NSD server, permette di raggiungere questo obiettivo, proteggendo l’accessibilita’ del sistema disco contro ogni tipo di guasto, ivi compreso il guasto del disk server. Le caratteristiche dei componenti permettono con semplicita’ di realizzare anche un bilanciamento del carico su diversi server, controller e canali Fiber Channel.

Schema della architettura ridondata

GPFS utilizza la tecnologia di cluster per organizzare l’accesso al file system, con meccanismi di quorum basati su quorum nodes o su tie-breaker disk.Requisito essenziale e’ la possibilita’ che root di ciascun membro possa eseguire comandi remoti su qualunque altro membro del cluster senza specificare password (via rsh o ssh).Il file system GPFS puo’ essere esportato verso client di un altro cluster, dietro autorizzazione inter-cluster basata su chiavi pubbliche specifiche dei due clusterPer limitare il problema di sicurezza si utilizza questa tecnica per esportare i volumi di esperimento verso host non controllati dal servizio calcoloL’accesso ai volumi GPFS da host esterni al cluster viene realizzato esportando i volumi via NFS

Cluster GPFS, export NFS ed export inter-cluster