instituto de engenharia de sistemas e computadores investigação e desenvolvimento em lisboa...
Post on 17-Apr-2015
106 Views
Preview:
TRANSCRIPT
1
Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa
technologyfrom seed
L2 F - Spoken Language Systems Laboratory
Grid@inesc-id
João LealTiago Luís
Orientador: David Matos
Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa
technologyfrom seed
2L2 F - Spoken Language Systems Laboratory
Indice
– O que é uma Grid• Exemplo de computação em Grid
– Condor• Constituição do Condor• Como usar o Condor• Resultados obtidos
– Globus• Interacção Globus / Condor
– Trabalho Realizado
– No Futuro
Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa
technologyfrom seed
3L2 F - Spoken Language Systems Laboratory
O que é uma Grid?
– A computação em Grid é uma forma de computação distribuída que permite a partilha e coordenação de recursos para a resolução de problemas complexos, seja porque são de grande escala ou porque envolvem o processamento intensivo de dados
– A tecnologia associada a uma Grid permite, assim, que organizações geograficamente dispersas partilhem recursos computacionais, de armazenamento, ou mesmo aplicações
– Apesar de ter dado grandes passos no passado recente, a partilha de recursos em larga escala ainda não é uma realidade em muitas áreas
Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa
technologyfrom seed
4L2 F - Spoken Language Systems Laboratory
Exemplo de computação em Grid
– O projecto SETI@home é um exemplo de um projecto de computação em Grid que utiliza a infra-estrutura BOINC (Berkeley Open Infrastructure for Network Computing)
– Milhares de computadores pessoais em todo o mundo, analisam continuamente dados do radiotelescópio de Arecibo em busca de transmissões que evidenciem inteligência extraterrestre
Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa
technologyfrom seed
5L2 F - Spoken Language Systems Laboratory
Condor
– Permite o desenvolvimento, implementação e avaliação de mecanismos e políticas que suportam High Throughput Computing em ambientes distribuídos.
– High Throughput Computing consiste em gerir e explorar de forma eficiente todos os recursos computacionais disponíveis, sendo o seu maior desafio maximizar o número de recursos computacionais acessíveis
– Aproveita os recursos computacionais que não estão a ser utilizados e dá-lhes uso, de uma forma transparente para o utilizador
Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa
technologyfrom seed
6L2 F - Spoken Language Systems Laboratory
Constituição do Condor
Central Manager
Execute Only Execute Only Execute Only Execute Only
Submit Only
Execute and Submit
Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa
technologyfrom seed
7L2 F - Spoken Language Systems Laboratory
Como usar o Condor?
– Preparar o programa de modo a que as entradas e saídas sejam interactivas
– Escolher o universo– Standard– Vanilla – Grid
– Criar o ficheiro de submissão
– Submeter o trabalho
• /opt/condor/bin/condor_submit fib.condor Submitting job(s).
Logging submit event(s).
1 job(s) submitted to cluster 170.
Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa
technologyfrom seed
8L2 F - Spoken Language Systems Laboratory
Ficheiro de submissão
– Código: https://www.l2f.inesc-id.pt/~tmcl/apresentacao/fib.c
– Ficheiro de Submissão: fib.condor
Executable = fib
Universe = vanilla
Transfer_files = ALWAYS
Output = fib.out.$(CLUSTER)-$(PROCESS)
Error = fib.err.$(CLUSTER)-$(PROCESS)
Log = fib.log
Requirements = (Arch == "INTEL" || Arch == "x86_64")
Queue
Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa
technologyfrom seed
9L2 F - Spoken Language Systems Laboratory
Gestão do trabalho
– Verificação do estado do trabalho• /opt/condor/bin/condor_q ID OWNER SUBMITTED RUN_TIME ST PRI SIZE CMD
170.0 tmcl 5/19 17:20 0+00:00:00 R 0 0.0 fib
1 jobs; 0 idle, 1 running, 0 held
– Verificação do estado da Pool• /opt/condor/bin/condor_status Name OpSys Arch State Activity LoadAv Mem ActvtyTime
vm1@wc01.l2f. LINUX INTEL Unclaimed Idle 0.000 1009 0+00:45:09
vm2@wc01.l2f. LINUX INTEL Unclaimed Idle 0.000 1009 1+20:05:25
vm1@wc02.l2f. LINUX INTEL Unclaimed Idle 0.000 1009 0+00:50:09
. . .
vm2@wc16.l2f. LINUX X86_64 Unclaimed Idle 0.000 1632 1+20:04:54
Total Owner Claimed Unclaimed Matched Preempting Backfill
INTEL/LINUX 21 0 0 21 0 0 0
X86_64/LINUX 7 0 0 7 0 0 0
Total 28 0 0 28 0 0 0
Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa
technologyfrom seed
10L2 F - Spoken Language Systems Laboratory
Grid@l2f
– Página: https://grid.l2f.inesc-id.pt/
– Constituída por:
16 máquinas:• wc’s
• Anubis
• Ronin
• Alex
Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa
technologyfrom seed
11L2 F - Spoken Language Systems Laboratory
Grid@inesc-id
– Página: http://grid.inesc-id.pt/
– Constituída por:
22 máquinas:• 3.2 MHz P4
• mem = 1GB
Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa
technologyfrom seed
12L2 F - Spoken Language Systems Laboratory
– Processamento do jornal Público
• cada trabalho submetido na Grid consistia na análise de uma parcela de dados do jornal
– Ficheiro de Submissão
Executable = /afs/l2f.inesc-id.pt/home/david/public/tmp/cetempublico1.plUniverse = vanillaOutput = cetempublico1-palavroso-marv.out.$(CLUSTER)-$(PROCESS)Error = cetempublico1-palavroso-marv.err.$(CLUSTER)-$(PROCESS)Transfer_files = ALWAYSLog = cetempublico1.log Requirements = (Arch == "INTEL" || Arch == "x86_64")Queue
Resultados obtidos na Grid@l2f
Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa
technologyfrom seed
13L2 F - Spoken Language Systems Laboratory
– Edição de Vídeo
• cada trabalho submetido na Grid era responsável por uma parcela do vídeo• o algoritmo fazia poucos acessos ao disco, consistindo principalmente em cálculo• o trabalho que era feito em 34 dias demorou 2 dias na Grid
– Ficheiro de Submissão
Executable = /home/u00150/work/vitra/sim_vitra_launch.shUniverse = vanillaInput = fib.in.$(PROCESS)Output = fib.out.$(CLUSTER).$(PROCESS)Error = fib.err.$(CLUSTER).$(PROCESS)Log = fib.$(CLUSTER).logNotification = ErrorQueue
Resultados obtidos na Grid@inesc-id
Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa
technologyfrom seed
14L2 F - Spoken Language Systems Laboratory
Globus
– Fornece a tecnologia para construir uma Grid, que permite a partilha de poder computacional e informação, de forma segura, com múltiplas instituições sem comprometer a autonomia local
– Inclui software para:• segurança (administração de certificados, autenticação e autorização)
• monitorização, gestão e descoberta de informação (GridFTP e RFT)
• gestão dos recursos (GRAM)
• detecção de faltas
• suporta interacção via web services e o seu deploy (implementação em C, Java e Python)
Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa
technologyfrom seed
15L2 F - Spoken Language Systems Laboratory
Interacção Globus / Condor
HeadNode
(Globus)
ExecuteNode
Firew
all
SubmitNode
Internet
QueueJob 1Job 2
…
Batch System
Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa
technologyfrom seed
16L2 F - Spoken Language Systems Laboratory
Trabalho Realizado
- Perceber a arquitectura do Globus Toolkit e a construção de Web Services
- Instalação e configuração do Globus Toolkit 4.0.1
- Instalação e configuração do Condor no L2F
https://grid.l2f.inescid.pt/wiki/index.php/Introduction_to_the_Globus_Toolkit_4
https://grid.l2f.inesc-id.pt/wiki/index.php/Globus_Toolkit_4
https://grid.l2f.inesc-id.pt/wiki/index.php/Grid%40L%C2%B2F
Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa
technologyfrom seed
17L2 F - Spoken Language Systems Laboratory
No Futuro
- Extender a arquitectura do Galinha para incluir uma interface para Grid Services, de modo a que os componentes e dados possam ser geograficamente distribuídos
- Para tal é necessário um conjunto de protocolos middleware, como os fornecidos pelo Globus
Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa
technologyfrom seed
18L2 F - Spoken Language Systems Laboratory
Fim
Don’t ask “what can the Grid do for
me?" ask “what can I do with a Grid?”
Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa
technologyfrom seed
19L2 F - Spoken Language Systems Laboratory
technologyfrom seed
L2 F - Spoken Language Systems Laboratory
top related