Download - Integrade - Usando TakTuk e Oar
![Page 1: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/1.jpg)
IntegradeFerramentas para distribuição e escalonamento
Fabrício de Sousa Nascimento
1
![Page 2: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/2.jpg)
Distribuindo com TakTuk
2
![Page 3: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/3.jpg)
Como é hoje
3
![Page 4: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/4.jpg)
Como é hoje
• Distribuição do Integrade é feito de maneira manual. “Compila e roda ou ....”
3
![Page 5: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/5.jpg)
O que vamos fazer
4
![Page 6: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/6.jpg)
O que vamos fazer
• Distribuição dos módulos de maneira automática eficiente e segura. Fácil tanto para o usuário quanto para o Administrador de Sistemas
4
![Page 7: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/7.jpg)
Considerações importantes
5
![Page 8: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/8.jpg)
Considerações importantes
• Pré requisito nos novos nós (clientes)
5
![Page 9: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/9.jpg)
Considerações importantes
• Pré requisito nos novos nós (clientes)
• Comunicação segura com máquinas pré instaladas (servidor)
5
![Page 10: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/10.jpg)
Considerações importantes
• Pré requisito nos novos nós (clientes)
• Comunicação segura com máquinas pré instaladas (servidor)
• Execução remota de comandos/scripts
5
![Page 11: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/11.jpg)
Considerações importantes
• Pré requisito nos novos nós (clientes)
• Comunicação segura com máquinas pré instaladas (servidor)
• Execução remota de comandos/scripts
• Replicação do Integrade
5
![Page 12: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/12.jpg)
Considerações importantes
• Pré requisito nos novos nós (clientes)
• Comunicação segura com máquinas pré instaladas (servidor)
• Execução remota de comandos/scripts
• Replicação do Integrade
• Transferência de arquivos
5
![Page 13: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/13.jpg)
Considerações importantes
• Pré requisito nos novos nós (clientes)
• Comunicação segura com máquinas pré instaladas (servidor)
• Execução remota de comandos/scripts
• Replicação do Integrade
• Transferência de arquivos
• Configuração dos clientes
5
![Page 14: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/14.jpg)
Considerações importantes
• Pré requisito nos novos nós (clientes)
• Comunicação segura com máquinas pré instaladas (servidor)
• Execução remota de comandos/scripts
• Replicação do Integrade
• Transferência de arquivos
• Configuração dos clientes
• Instalação dos Módulos (lrm, grm, lupa... )
5
![Page 15: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/15.jpg)
Taktuk (taktuk.gforge.inria.fr)
6
![Page 16: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/16.jpg)
Funcionamento Taktuk
7
![Page 17: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/17.jpg)
Funcionamento Taktuk
7
![Page 18: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/18.jpg)
Funcionamento Taktuk
7
![Page 19: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/19.jpg)
Funcionamento Taktuk
7
![Page 20: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/20.jpg)
Funcionamento Taktuk
7
![Page 21: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/21.jpg)
Funcionamento Taktuk
7
![Page 22: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/22.jpg)
Funcionamento Taktuk
7
![Page 23: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/23.jpg)
Taktuk (taktuk.gforge.inria.fr)
8
![Page 24: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/24.jpg)
Taktuk (taktuk.gforge.inria.fr)
• Adaptatividade (Work-Stealing)
8
![Page 25: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/25.jpg)
Taktuk (taktuk.gforge.inria.fr)
• Adaptatividade (Work-Stealing)
• Escalabilidade
8
![Page 26: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/26.jpg)
Taktuk (taktuk.gforge.inria.fr)
• Adaptatividade (Work-Stealing)
• Escalabilidade
• Portabilidade ( Perl )
8
![Page 27: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/27.jpg)
Taktuk (taktuk.gforge.inria.fr)
• Adaptatividade (Work-Stealing)
• Escalabilidade
• Portabilidade ( Perl )
• Flexibilidade
8
![Page 28: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/28.jpg)
Taktuk (taktuk.gforge.inria.fr)
• Adaptatividade (Work-Stealing)
• Escalabilidade
• Portabilidade ( Perl )
• Flexibilidade
• Camada de Comunicação
8
![Page 29: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/29.jpg)
Taktuk (taktuk.gforge.inria.fr)
• Adaptatividade (Work-Stealing)
• Escalabilidade
• Portabilidade ( Perl )
• Flexibilidade
• Camada de Comunicação
• Autopropagação
8
![Page 30: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/30.jpg)
TakTuk e Integrade
IntegradeNovo
Cliente
9
![Page 31: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/31.jpg)
Requisita Instalação
Requisitos:‣Perl‣Open ssh (Conector)‣Conjunto de chaves públicas para Servidores Confiáveis *‣Arquivo de Conf.
TakTuk e Integrade
IntegradeNovo
Cliente
9
![Page 32: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/32.jpg)
TakTuk e Integrade
IntegradeNovo
Cliente
9
![Page 33: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/33.jpg)
TakTuk e Integrade
Integrade
Verifica possibilidade de Instalação (TakTuk)
‣Checa Pré-Requisitos‣Faz Verificações de disponibilidade (espaço em disco, módulos) Novo
Cliente
9
![Page 34: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/34.jpg)
TakTuk e Integrade
IntegradeNovo
Cliente
9
![Page 35: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/35.jpg)
TakTuk e Integrade
Integrade
Transfere os módulos e dependências (TakTuk)
‣Compila ou envia binário‣Configura‣Registra junto ao GRM
Novo
Cliente
9
![Page 36: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/36.jpg)
TakTuk e Integrade
IntegradeNovo
Cliente
9
![Page 37: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/37.jpg)
Questões em Aberto
10
![Page 38: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/38.jpg)
Questões em Aberto
• Dá para usar o Taktuk para outras tarefas? Exemplos:
10
![Page 39: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/39.jpg)
Questões em Aberto
• Dá para usar o Taktuk para outras tarefas? Exemplos:
• Monitorar máquinas. (OAR usa taktuk para monitoramento)
10
![Page 40: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/40.jpg)
Questões em Aberto
• Dá para usar o Taktuk para outras tarefas? Exemplos:
• Monitorar máquinas. (OAR usa taktuk para monitoramento)
• Recuperar máquinas indisponíveis
10
![Page 41: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/41.jpg)
Questões em Aberto
• Dá para usar o Taktuk para outras tarefas? Exemplos:
• Monitorar máquinas. (OAR usa taktuk para monitoramento)
• Recuperar máquinas indisponíveis
• Kanif
10
![Page 42: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/42.jpg)
Escalonando com OAR5000
11
![Page 43: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/43.jpg)
Como é hoje
12
![Page 44: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/44.jpg)
Como é hoje
• Escalonamento é feito de maneira simples. Processos não pode ser agendados. Se não há recursos disponíveis rejeita submissão.
12
![Page 45: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/45.jpg)
O que vamos fazer
13
![Page 46: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/46.jpg)
O que vamos fazer
• Escalonamento inteligente de recursos. Agendamento, filas de prioridade, melhor aproveitamento de recursos.
13
![Page 47: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/47.jpg)
Considerações
14
![Page 48: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/48.jpg)
Considerações
• Escalonamento não é uma tarefa simples
14
![Page 49: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/49.jpg)
Considerações
• Escalonamento não é uma tarefa simples
• Já existe um GRM
14
![Page 50: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/50.jpg)
Considerações
• Escalonamento não é uma tarefa simples
• Já existe um GRM
• Comunicação entre módulos
14
![Page 51: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/51.jpg)
OAR (oar.imag.fr)
15
![Page 52: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/52.jpg)
Funcionamento do OAR
MySQL
Grade
OAR
Cliente
16
![Page 53: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/53.jpg)
Funcionamento do OAR
MySQL
Grade
OAR
Cliente
16
![Page 54: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/54.jpg)
Funcionamento do OAR
SubmissãoMySQL
Grade
OAR
Cliente
16
![Page 55: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/55.jpg)
Funcionamento do OAR
SubmissãoMySQL
Grade
OAR
Cliente
16
![Page 56: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/56.jpg)
Funcionamento do OAR
Submissão
Notifica
MySQL
Grade
OAR
Cliente
16
![Page 57: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/57.jpg)
OAR (oar.imag.fr)
17
![Page 58: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/58.jpg)
OAR (oar.imag.fr)
• Casamento de Recursos
17
![Page 59: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/59.jpg)
OAR (oar.imag.fr)
• Casamento de Recursos
• Multiplas Filas de Prioridade
17
![Page 60: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/60.jpg)
OAR (oar.imag.fr)
• Casamento de Recursos
• Multiplas Filas de Prioridade
• Regras de Admissão
17
![Page 61: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/61.jpg)
OAR (oar.imag.fr)
• Casamento de Recursos
• Multiplas Filas de Prioridade
• Regras de Admissão
• Não há daemon nos nós clientes
17
![Page 62: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/62.jpg)
OAR (oar.imag.fr)
• Casamento de Recursos
• Multiplas Filas de Prioridade
• Regras de Admissão
• Não há daemon nos nós clientes
• Interface por Database
17
![Page 63: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/63.jpg)
Questões em Aberto
18
![Page 64: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/64.jpg)
Questões em Aberto
• Como usar o OAR?
18
![Page 65: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/65.jpg)
Questões em Aberto
• Como usar o OAR?
• Oar5000 tem algumas alternativas interessantes
18
![Page 66: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/66.jpg)
Questões em Aberto
• Como usar o OAR?
• Oar5000 tem algumas alternativas interessantes
• Maui Cluster Scheduler (Java)
18
![Page 67: Integrade - Usando TakTuk e Oar](https://reader034.vdocuments.pub/reader034/viewer/2022042701/55a79f191a28ab38438b4613/html5/thumbnails/67.jpg)
Dúvida?
19