26 maggio 2004servizio di calcolo dei lnf1 rembo toolkit v.2 come soluzione globale per pc e farm...

26 maggio 2004 Servizio di Calcolo dei LNF 1

Rembo Toolkit v.2 come soluzione

globale per PC e farm

Servizio di Calcolo dei LNFN.Amanzi, S.Angius, D.Maselli, M.Pistoni, C.Soprano, A.Veloce

Cagliari 26 maggio 2004

Rembo 2: La vendetta


Indice1. Rembo ToolKit

• Introduzione e principi di funzionamento• Funzionalita’ della Versione 1

2. Nuove funzionalita’ di Rembo ToolKit v. 2

3. Strategia di uso di Rembo ai LNF• Aspetti infrastrutturali• Ridondanza e affidabilita’ del servizio• Metodologie implementative• Caratteristiche degli script site specific• Risultati, esempi e snapshot


Copyright

• Rembo Toolkit e’ un software commerciale della Ditta Svizzera Rembo Technology Sarl.

• E’ una evoluzione del software free BpBatch sviluppato all’Universita’ di Ginevra.

• Quest’ultimo presenta molte limitazioni importanti e purtroppo non viene piu’ sviluppato.

• Tali limitazioni non sono presenti nella versione commerciale.


Rem.bo. (Remote Boot) v. 1 e 2

• Rembo Toolkit e’ una piattaforma per il pre-OS management dei PC.

• Puo’ essere usato per effettuare una grande quantita’ di operazioni al momento del boot di qualsiasi PC (architettura Intel o compatibile).

• Rembo e’ di fatto un mini Sistema Operativo, differente da qualsiasi altro perche’ puramente network-based. Il kernel di rembo toolkit e’ scaricato da un server tramite la rete ed eseguito localmente dalla bootrom del PXE al termine del processo del BIOS bootstrap.


DHCP Server Rembo Server

Clients (software-less)

PXE boot:DHCP requestImage File request

DHCP answer

Rembo answerImage download

Rembo Toolkit schema


Requisiti lato server

• Sistemi operativi:– Windows NT/2000/XP– Linux– Sparc Solaris

• E’ necessario un DHCP server per inviare i parametri di boot alla bootrom PXE del client (puo’ essere lo stesso Rembo server)

• Una applicazione Windows GUI viene fornita per configurare il server in modo semplice


Requisiti lato client

• Lato client:– processore Intel 386 (o superiore, anche

compatibile) – Scheda di rete con supporto del protocollo PXE

(Preboot eXecution Environment) vers 1.1 o 2.1

• Non ci sono limitazioni s/w sul client, dato che rembo toolkit non usa informazioni residenti sul disco locale per partire (network boot).

• Per questo motivo Rembo funziona anche su computers diskless.


Introduzione

• Rembo Toolkit include:– Una Virtual Machine (VM) per eseguire

programmi in linguaggio Rembo-C compilati o testuali (script)

– Una interfaccia grafica per l’interazione con l’utilizzatore

– Un accesso di basso livello all’hard disk (per il cloning, restoring, updating e customizing dei sistemi operativi)

– Un’ interfaccia di rete tramite la bootrom del PXE


Client management

• Operazioni di management possono essere effettuate:– Interattivamente tramite alcuni wizard GUI

(Rembo Wizard e Rembo Pro Interactive Tools)– Interattivamente tramite l’inserimento di

istruzioni Rembo-C al prompt interattivo– In modalita’ batch tramite script contenente

istruzioni e/o chiamate Rembo-C

• Per ottimizzare le performance, e’ anche disponibile un Kit di sviluppo s/w in grado di compilare gli script Rembo-C ed ottenere codice eseguibile nella Virtual Machine


Disk Cache

• Rembo puo’ usare spazio non partizionato sull’hard disk locale del client ed adibirlo a funzioni di disk cache per immagazzinare copie locali di file trasferiti dal server, in modo da accelerare gli accessi successivi agli stessi files senza coinvolgere nuovamente il server e la rete.

• E’ consigliato lasciare un po’ di spazio non partizionato adibito a local cache, specialmente quando Rembo Toolkit e’ usato per ripristinare frequentemente un sistema operativo.


Funzionalita’ centrali

• Linguaggio di programmazione potente e facile da usare (Rembo-C). E’ praticamente identico al C con qualche lievissima differenza

• Virtual Machine in grado di eseguire codice Rembo-C compilato: la Virtual Machine e’ multi-threaded, e supporta exception handlers strutturate

• Compilatore “on-the-fly” che interattivamente traduce le istruzioni Rembo-C in codice VM

• Sistema di Hard-disk buffering.


Funzionalita’ grafiche• GUI basata su HTML, con gestione degli eventi

stile javascript (onmouseup, onchange, ...) per eseguire istruzioni Rembo-C quando una determinata azione e’ richiesta dall’utente.

• Tutte le modalita’ VESA standard sono supportate a 8 e 16 bit di colore (fino a 1600x1200)

• Supporto per mouse seriale, PS/2 e USB.• Tutti gli oggetti grafici vengono mappati in

variabili Rembo-C, in modo da poter essere modificati interattivamente o negli script.

• Supporto per le immagini in formato PCX a 256 colori


Funzionalita’ sui Filesystem

• Supporto per l’accesso al singolo file per i seguenti Filesystem FAT12, FAT16, BIGDOS, FAT32, EXT2FS, EXT3FS, LINUXSWAP, NTFS (NT4.0, Win2K e WinXP).

• Funzioni Rembo-C di partizionamento “al volo”.

• Funzioni Rembo-C per l’accesso ai file (read, write, copy, delete, rename, move file e directory).


Funzionalita’ di cloning• Creazione e ripristino di immagini di sistemi

operativi. Un’immagine corrisponde ad una collezione di file, senza vincoli sul filesystem di origine.

• Le immagini delle partizioni sono compresse e possono essere “sfogliate” direttamente dal Rembo Toolkit client.

• Supporto per immagini fino a 100GB ( 2TB). • Supporto di immagini Virtuali. Un’immagine

virtuale e’ una copia esatta della struttura del filesystem, ma senza il contenuto dei file.

• Supporto di illimitate immagini differenziali.


Funzionalita’ di cloning (2)• Supporto di cloning basato sui file, per il ripristino

in funzione di un sistema operativo (self-healing).• Il self-healing e’ effettuato comparando il

contenuto dell’hard disk con il contenuto di un’immagine sul server (o sulla local cache partition), quindi tramite il recupero dei file persi o corrotti (NT puo’ impiegare meno di 1 min).

• Supporto per una post-configurazione illimitata. La possibilita’ di accesso a basso livello al Filesystem (quindi al singolo file) consente una facile implementazione di operazioni di post-installazione e di personalizzazione del singolo PC.


Funzionalita’ OS-specific• Accesso a basso livello ai file dei registri di

Windows NT/2000/XP. Il file dei registri e’ gestito come un filesystem, quindi e’ possibile creare immagini di base e differenziali anche del file dei registri. Particolarmente utile per gli updates di OS e del s/w applicativo.

• Funzione di rigenerazione del SID (NT's system identifier)

• Supporto per il Linux kernel boot module (come LILO o Grub).


Funzionalita’ di rete• Implementazione di protocollo IP proprietario,

disegnato per ottenere le migliori performance, basato su UDP:– NETfs, unicast file transfer protocol, usato per

trasferire file da e verso il Rembo server– MCAST, multicast file transfer protocol, usato per

trasferire le immagini dal server ai client (circa 5-10 volte piu’ veloce del protocollo standard MTFTP

• Il protocollo MCAST non richiede nessun tipo di sincronizzazione tra i client. Percio’ nessun intervento manuale e’ richiesto per clonare centinaia di PCs se MCAST e’ usato in combinazione con il Wake On LAN.


Funzionalita’ di rete (2)• La comunicazione tra il server e i client e’

criptata usando un algoritmo standard.• Tutti i protocolli sono a prova di failure: i client

si riconnettono al server, non appena si rende disponibile, dopo una qualunque interruzione.

• Server di backup: i client sono in grado di ristabilire verso un server di backup una connessione interrotta con il server primario, anche nel mezzo di un file transfer.

• Accesso dei client ai servizi TCP attraverso meccanismi di tunnel instaurati dal server

• Supporto dell’SMTP (e-mails con Rembo Toolkit)

• Accesso Completo (RW) a database, in ODBC


Altre Funzionalita’• MS-DOS, Windows e Linux ramdisks: Rembo

puo’ caricare l’immagine di un floppy disk su ramdisk e poi esegue il boot dal ramdisk

• Remote Console: il client display puo’ essere controllato e catturato da un nodo remoto su cui risiede la applicazione Rembo Remote Console. Anche la comunicazione di Remote Console e’ compressa e criptata

• Autenticazione: per autenticare un utente supporta i seguenti protocolli di autenticazione:– Windows authentication– Unix (passwd), NIS/NIS+– RADIUS


Altre Funzionalita’ (2)

• Hardware detection: e’ in grado di rivelare l’hardware plug and play.

• CDRom and Floppy mode: Rembo puo’ partire anche da floppy o da CDRom qualora il network o il protocollo PXE non fosse disponibile. L’immagine su CDRom puo’ essere personalizzata per contenere specifiche immagini di partizioni e/o Rembo-C script.


Efficiente e flessibile

• Rembo e’ stato costruito curando molto gli aspetti di performance, in modo da renderlo peculiare quando il numero dei PC da gestire diventa elevato (come nel caso di farm).

• Le sue capacita’ di disk-cloning sono molto efficienti.

• Inoltre la gestione delle partizioni e’ molto piu’ flessibile in virtu’ delle sue capacita’ di accedere al File System e quindi al singolo file.


Rembo v. 2

• Gestione di NTFS (di WinXP) e EXT3FS• Supporto di immagini fino a 2TB• E’ in grado di accedere ai filesystem

compressi NTFS e di decriptare files criptati con le chiavi di cifratura di Windows

• Implementazione del protocollo multicast di comunicazione PCAST ottimizzato per il trasferimento multiplo di files dalla shared repository del server verso piu’ client contemporaneamente

• La grande rivoluzione di Rembo v. 2 e’ rappresentata dalla Shared Repository


Shared Repository

• Rembo v. 1 Immagini monolitiche contenenti i files di ciascuna partizione in formato compresso (valore medio: ~2 GB/partition)

• Rembo v. 2 vengono salvati in formato compresso (a blocchi di 128MB) soltanto i files che non siano gia’ presenti nella shared repository, piu’ un catalogo dei files della partizione con i relativi MD5 (valore medio a regime: 100 MB/partizione)


Strategia di uso ai LNF

• Rembo v. 2 ai LNF viene utilizzato per salvare le partizioni di sistema di tutte le macchine Intel based della LAN:– Farm di calcolo (Linux RedHat)– Servizi essenziali su macchine di tipo Slot 1U/2U

(Linux o Windows)– PC delle sale utenti e delle aule didattiche

(Master)– Server Windows del Sistema Informativo– Tutti i PC degli utenti desktop e portatili

(Windows, Linux e/o dual boot)


LNF internal routing (OSPF)

Garr

VC 34MbpsVerso il GARR

VLAN 1 – 193.206.80.0/21

VLAN 2 – 192.135.25.0/24 VLAN 2 – 192.135.26.0/24 secondary

VLAN 192

192.168.192.0/24

VLAN 161192.168.161.0/24

VLAN 160192.168.160.0/24

VLAN 129 – 192.84.129.0/24

VLAN 130 – 192.168.130.0/24

Swcalc1Cisco 6509

Swkloe1 e 22 x Cisco 6509

HSRP

SwlatCisco 6006

Swares1 – Cisco 4006

LnfgwCisco 7507

VLAN 131192.84.131.0/24

Secondary: 192.168.200.0/24

Secondary: 192.84.130.0/24, 192.168.132.0/24, 192.168.140.0/24, 172.16.0.0/16

VLAN 228193.205.228.0/24Sistema Informativo INFN

MulticastPIM e IGMP


LNF Rembo service schema

DHCP Servers

Rembo v. 2 Servers

Rembo clients

LNF LAN L2/L3 SwitchingMulticast PIM e IGMP

LibreriaLibreriaMagstarMagstar

MySQL Servers


Rembo servers

• 2 HP Proliant DL 360 (Slot 1U) ciascuna con:– CPU: Dual processor Xeon 2.8GHz– RAM: 1GB SDRAM ECC– HD SCSI: 1x18GB 15K rpm per OS– HD SCSI: 1x143GB 10K rpm per rembo files– NET: 2xGigabit Ethernet (1000 BaseTX)

• OS: Windows XP Professional• REMBO server: Windows Version 2.0.047.2

(.2 = specifica per i LNF)


Ridondanza• I rembo server sono definiti uno come

“master” e uno come “backup”. • Per l’allineamento, e’ stato realizzato un

opportuno script VisualBasic che ogni notte sul server di backup effettua:– Il mirror di tutto il directory tree di Rembo dal

master (tramite Robocopy Windows Resource Kit)– L’aggiornamento dei registri relativi alla

definizione degli host e dei gruppi (tramite LNF regsync.exe)

– Una volta a settimana il backup su libreria IBM tramite Tivoli Storage Manager Client

– Scrittura di event e LOG file di tutte le operazioni effettuate


Configurazione di Rembo

• Rembo prevede la definizione di gruppi di Host (o di host singoli) a cui attribuire specifiche politiche di management attraverso definizione di variabili ed esecuzione di specifici script.

• Prevede inoltre la creazione di parametri e di variabili: – Globali (validi per tutti gli host)– Di gruppo (validi per un gruppo di host)– Di host (validi per un solo host)– Di user (validi per l’utente autenticato)


Configurazione• Rembo serve solo gli host definiti nel suo

database di configurazione.• In realta’ e’ in grado di servire qualunque

host, purche’ sia definito un gruppo default (anche vuoto).

• Quando un host esegue il PXE boot, carica ed esegue lo script definito nel proprio gruppo di appartenenza sul Rembo server.

• Inoltre carica le variabili di environment con la seguente priorita’: user, host, group, global


Politiche LNF

• Sfruttando tali caratteristiche, ai LNF e’ stato realizzato un unico script di management per gestire tutti i client della LAN.– LNF.shtml che a sua volta esegue:

• systeminfo.rbc• scriptlib.rbc

• Eventuali specializzazioni vengono raramente effettuate attraverso la definizione di opportune variabili.


Funzionalita’ dello script dei lnf

• Raccoglie informazioni relative alla configurazione H/W del client:– Marca e modello, tipo e versione di BIOS,

Processore/i, RAM, dischi, device “on board”, tutte le periferiche P&P

• Scrive tutte queste informazioni in un database tramite SQL e ODBC. Nel nostro caso il DB e’ MySQL v. 3.23.53 su LINUX RedHat 7.3


Funzionalita’ dello script dei lnf (2)

• Verifica l’esistenza di un disco e di un OS e presenta un primo menu’ di boot.

• In mancanza di una scelta, il boot avviene automaticamente dopo un time-out di 30s.

• Il menu’ permette di esportare il desktop su un altro PC della LAN.

• Oppure di autenticarsi per acquisire maggiori privilegi (5 livelli totali):– Administrator, Creator, Clone, Owner, Null

• Presentazione di due Menu:– OS Image Creation– Restore


Script lnf: Image Creation Menu

• Permette di salvare le immagini della prima partizione NTFS/FAT e della prima partizione EXT2/3 sul Rembo server, nella directory relativa all’host o al suo gruppo di appartenenza.

• L’immagine e’ un file di puntatori e checksum MD5.

• I file verranno salvati nella Shared Directory (se non gia’ presenti).

• E’ possibile escludere interattivamente alcuni file o directory tree dall’operazione di salvataggio (con una sorta di file manager “windows explorer” like)


Script lnf: Restore Menu• Permette di restorare sui dischi del client le

immagini delle partizioni Windows e/o Linux precedentemente salvate sul server– Gestione interattiva o batch delle partizioni– Quick format– Restore di MBR e/o Windows e/o Linux– Creazione non assistita e completa di un clone– Generazione di un nuovo sistema da un nodo

identico o similare– Aggiornamento eventuale dei Registri:

Hostname, DiskSignature, etc.


Script lnf: Clone from another node

• Viene interrogato il DB e vengono selezionati i nodi che hanno la stessa configurazione hardware oppure nodi con configurazione similare

• Una finestra presenta le varie opzioni in ordine di peso (similitudine)

• La copia da nodi simili funziona quasi sempre a meno di alcuni veloci aggiustamenti (installazione di driver specifici)


Script lnf: Altre funzionalita’• Gestione delle versioni• Esecuzione di script subito dopo il restore:

– postinstall_win.rbc e postinstall_linux.rbc• Esecuzione di uno script subito prima di

effettuare il boot da disco:– preboot.rbc (aggiornamento di file)

• Aggiornamento dei registri di Windows– preboot.reg (formato Regedit4)

• Generazione di Log su console e su file• Aggiornamento del DB con info relative a

image “creation”, “restore” e partition table• Specializzazione tramite variabili speciali


Script lnf: Variabili speciali

• URL: forza/vieta l’uso della cache disk• SavedVersions: gestione delle versioni• FileManager_Flag: gestione interattiva del

filesystem da salvare • RemoteConsole: IP address per l’export

del desktop

• WindowsPartition: Tipo di FileSystem Win• Make_a_Clone_Flag: esegue un batch rebuild• EndBoot: boot dopo il rebuild


PC Support• Ai LNF il servizio di PC Support utilizza

costantemente Rembo• Di ciascun PC che viene installato e

configurato, viene creata l’immagine su Rembo– Per ripristinarlo in futuro– Per creare cloni da tale immagine su hardware

identico o similare• PC Support esegue il boot da rembo

sfruttando il gruppo default• Si autentica con privilegio di “creator”• Verifica se esistono immagini salvate di nodi

identici o similari da cui clonare


PC Support (2)• Se si:

– carica tali immagini ed eventualmente ricarica i driver delle periferiche differenti dal nodo originale

– eventuali aggiustamenti per richieste specifiche

• Se no:– installa e configura il PC secondo le richieste

dell’utente:• Windows e/o Linux• Innumerevoli applicazioni, custom setup, etc

• In ogni caso effettua il salvataggio finale delle immagini su Rembo server


Tempi misurati• Creazione di immagini per host dual boot

(con uso di disk cache):– Windows XP (4.5GB): 10 min – 20 min– Linux Fedora (5.5GB): 10 min – 25 min

• Restore di immagini per host dual boot (con uso di disk cache):– Windows XP (4.5GB): 15 min – 30 min– Linux Fedora (5.5GB): 15 min – 35 min

• Rembo puo’ permettere di ridurre di almeno un ordine di grandezza i tempi di installazione e setup dei PC sulla LAN.


Setup di una farm di calcolo• Installazione e setup di Linux RedHat 7.3 su

un nodo della farm (lxcalc1)• Definizione su Rembo server di:

– gruppo lxcalc– Ethernet Address di tutte le macchine nel

gruppo lxcalc

• Boot di lxcalc1 via PXE e OS Image Creation nella directory di gruppo

• Definizione su Rembo server di:– Variabile di gruppo Make_a_Clone_Flag = 1– Variabile di gruppo EndBoot = Y


Setup di una farm di calcolo (2)

• Power on di tutte le macchine del gruppo lxcalc tramite la funzione Wake on LAN di Rembo

• Le macchine effettuano il boot via PXE e caricano tutte la stessa immagine da Rembo con protocollo IP multicast (procedura non assistita)

• Rimozione automatica di Make_a_Clone_Flag• Boot automatico finale di tutte le macchine• Dopo circa 25 minuti una farm di x nodi e’ Up

and Running (con x a piacere; testato ai LNF con x=5 per uno spazio disco di 4.2GB)


Problemi riscontrati• La Shared Repository dei LNF e’ attualmente di

30GB e contiene circa 700.000 files• Il limite della versione ufficiale e’ di 390.000• Oltre tale limite Rembo diventa lentissimo a

creare immagini• Dopo un breve scambio di informazioni la

Rembo Sarl ha compilato una nuova release che risolve il problema dei LNF

• La disponibilita’ della Ditta e’ assoluta• Si interagisce direttamente con gli sviluppatori• I tempi di risposta si possono definire “svizzeri”• Peraltro non esiste nessun contratto sul s/w


User Menu:•Boot•Remote Console•Set Priv

Y

N

Boot (end)

Remote Console

Set Priv

User Menu:•Remote Console•Set Priv

Wait for a 30 s timeout

Start

Remote Console

LNF Rembo Script Flow Chart: Part 1

OSs on HD?

Part 2:

Priv Menu

Login

Y

NLogin OK?

Get system Info:(Hardware Configuration)

Record Info:•Write into DB•Write into file•Write in Console

Execute preboot custom script:

•Copy and patch Win and Linux files

•Patch Windows Registry

Boot procedure


OSs on HD?Y

N

Priv Menu 2a:

•Boot•FDisk•Restore Partitions•Clean Partitions•Clean MBR•Clean Cache•Restore MBR•Restore Windows•Restore Linux•Restore Windows & Linux•Rebuild Node•Clone from another Node

LNF Rembo Script Flow Chart: Part 2

Part 2 start Priv Menu 1a:

•Create host OS Image

host image on Rembo?

Y

Priv Menu 2b:

•Boot•Fdisk•Clean Partitions•Clean MBR•Clean Cache•Clone from another node

N

Part 5:

Priv Menu 2a

Part 4:

Priv Menu 2b

Group defined?Part 3:

Create OS Image

Priv Menu 1b:

•Create Group OS Image•Create host OS Image

N

Y


LNF Rembo Script Flow Chart: Part 3 Part 4

Part 3 start

Save MBR (on host or group dir)

ReadPartitionTables

from HD

Save Firsrt NTFS Partition(on host or group dir)

Save Firsrt Linux Partition(on host or group dir)

Priv Menu 2b:

•Boot•Fdisk•Clean Partitions•Clean MBR•Clean Cache•Clone from another node

Part 4 start

Choose aclone or

most similar

Fdisk Utility

Format Partitions

Display HW and SW Configuration

Close Priv Menu 1

Save Partition Table(on host or group dir) Clone from

another node:Search for similarinto the Database

Format MBR

Format Cache

Part 5:

Priv Menu 2a

Clone from chosen node

Y N

Part 4a start

Boot procedure


LNF Rembo Script Flow Chart: Part 5Part 5 start

Restore Partitions

Priv Menu 2a:

•Boot

•FDisk Utility

•Restore Partitions

•Clean Partitions

•Clean MBR

•Clean Cache

•Restore MBR

•Restore Windows

•Restore Linux

•Restore Windows & Linux

•Rebuild Node

•Clone From Another Node

ReadPartition

Tables (from Rembo)

Format Partitions

Format MBR

Format Cache

Restore MBR

Restore Images

Rebuild Node

Clone From Another Node

Part 4a:Search for Similar

Boot (end)

Execute preboot custom script:

•Copy and patch Win and Linux files

•Patch Windows Registry

Boot procedure

Fdisk Utility


Riferimenti Rembo

• Documentazione e software Rembo:http://www.rembo.com/

• Presentazione e file di configurazione LNF http://www.lnf.infn.it/computing/doc/rembo2/


Domande ?

26 maggio 2004servizio di calcolo dei lnf1 rembo toolkit v.2 come soluzione globale per pc e farm...

Documents