Francieli Zanon BoitoRodrigo Virote Kassick

Prof. Dr. Philippe O. A. Navaux

XXI Salão de Iniciação Científica – UFRGS

Porto Alegre, 22 de outubro de 2009.

Analisando o comportamento do sistema de arquivos Lustre sob

padrões de acesso a dados exclusivos

2 de 26

RoteiroIntrodução

Lustre File System

Testes propostos

Resultados

Conclusões

Clusters de computadores

são uma realidade.

3 de 26Introdução

Aplicações científicas geram grandes

quantidades de dados, que podem precisar ser acessados em

todos os nós.

4 de 26

Uma solução bastante

empregada é utilizar um Sistema

de Arquivos Distribuído (SAD).

Introdução

Um padrão comum em aplicações

científicas é o acesso a dados

exclusivos.

Esses dados podem ser armazenados

em arquivos próprios, ou em

segmentos de um compartilhado.

Introdução

5 de 26

Dependendo das opções de projeto, o sistema será mais

otimizado para uma abordagem do que

pra outra.

Para obter um bom desempenho, a

forma com que as aplicações fazem I/O deve combinar com

as otimizações oferecidas pelo

sistema de arquivos.

Introdução

6 de 26

7 de 267 de 26

O objetivo desse trabalhoIntrodução

8 de 268 de 26

Estudar o desempenho do sistema de arquivos Lustre sob padrões de acesso a dados exclusivos.

Introdução

O que é o Lustre, e por que ele deve ser

estudado?

9 de 26

10 de 26

O Lustre é um sistema padrão de mercado: 15 dos top-30

computadores o utilizam.

10 de 26Lustre F.S.

11 de 26

Cliente

Cliente

Cliente

MDS

OST

OST

OBD

OBD

OBD

OBD

- Clientes;

- Servidor de metadados (MDS);

- Servidores de dados (OST);

- Dispositivos de armazenamento (OBD);

Lustre F.S.

Como simular os padrões de acesso a dados exclusivos?

12 de 26

13 de 26

Multiple Files, Whole

AccessMFWA

Single File, Segmented

AccessSFSA

Single File, Segmented

AccessSFSANon-strided strided

Testes

Os testes foram realizados com auxílio da ferramenta

MPI-IO Test.

14 de 26Testes

15 de 26

- Cluster Helios (Grid5000), nodos biprocessados com AMD Opteron 2.2GHz, 4GB de memória RAM e rede Gigabit Ethernet. - 4 servidores de dados;

- Striping em blocos de 64KB, circular começando em servidor aleatório.

Testes

- Acessos em blocos de 64KB e 64MB.

16 de 26- Cada cliente opera

sobre 2GB.- Servidores de dados

armazenam no sistema de arquivos local (ext3).

- Coletados resultados o número de vezes necessário para ter confiança de 90% e erro relativo de 10% (mínimo de 4 execuções);

Testes

Resultados obtidos

17 de 26

18 de 26Resultados

Acessos a áreas contíguas

19 de 26Resultados

20 de 26Resultados

MF vs SF non-strided

Conclusões

21 de 26

22 de 26

- Pior desempenho: SFSA strided, especialmente para tamanho pequeno de bloco.

Conclusões

23 de 2623 de 26

Melhor desempenho é obtido utilizando MFWA ou SFSA

non-strided ?

Conclusões

24 de 26

Operações de leituraConclusões

Blocos pequenos

Tanto faz. Poucos clientes (até 3x o número de OSTs)

Blocos grandes

Arquivo único ~13% melhor.

Vários clientes

Tanto faz.

25 de 26

Operações de escritaConclusões

Poucos clientes (até 3x o número de OSTs)

Arquivo único ~13% melhor.

Vários clientes

Múltiplos arquivos ~14% melhor.

Obrigada pela atenção!

Perguntas?

Francieli Zanon BoitoRodrigo Virote Kassick

Prof. Dr. Philippe O. A. Navaux

XXI Salão de Iniciação Científica – UFRGS

Porto Alegre, 22 de outubro de 2009.

Analisando o comportamento do sistema de arquivos Lustre sob

padrões de acesso a dados exclusivos