caracterização de cargas de trabalho em estudos sobre gerência de memória virtual
DESCRIPTION
Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual. Hugo Henrique Cassettari Edson Toshimi Midorikawa EPUSP - Escola Politécnica da Universidade de São Paulo PCS - Departamento de Engenharia de Computação e Sistemas Digitais. - PowerPoint PPT PresentationTRANSCRIPT
Caracterização de Cargas de TrabalhoCaracterização de Cargas de Trabalhoem Estudos sobre Gerência de Memória Virtualem Estudos sobre Gerência de Memória Virtual
Hugo Henrique CassettariEdson Toshimi Midorikawa
EPUSP - Escola Politécnica da Universidade de São PauloPCS - Departamento de Engenharia de Computação e Sistemas Digitais
Objetivo
Descrever o Elephantools:
Um pacote composto por ferramentas de software voltadas à caracterização de cargas de trabalho em experimentos sobre gerência de memória virtual.
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
Motivação
• Elephantus
Ambiente para avaliação de sistemas de memória Conjunto de simuladores
• Dificuldade de caracterizar cargas de trabalho
Localidades espacial e temporal Padrões de acesso à memória Freqüência de reutilização das páginas
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
Programaexecutável
Geradorde traces
arquivo de traces
Simulador
desempenhodos algoritmos
resultados
Apresentação
• Análise de localidade
Recursos gráficos tradicionais Precisão, relevância e limitação dos dados
• Pacote Elephantools
TelaTrace Mapa3D Trace Explorer
• Aplicação das ferramentas
Estudo de caso
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
Análise de Localidade
• Localidade de referências: espacial / temporal• Working set
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
Tempo virtual (acessos à memória)
Esp
aço
de e
nde
reça
men
to
virt
ual
Exemplo de localidade espacial
de acessos
Exemplo de localidade temporal
de acessos
Working set: páginas acessadas em um intervalo de tempo
Gráfico (Mapa) de Acessos
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
Tempo virtual (acessos à memória)
Esp
aço
de e
nde
reça
men
to v
irtu
al
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
Gráfico (Mapa) de Acessos
• Limitações
Tamanho original: perda da visão global Tamanho reduzido: compressão visual com perda de dados
Superfícies de Localidade
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
(Brigham Young University)
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
Superfícies de Localidade
• Benefícios
Destaca características de acesso à memória sobressalentes Informação concisa (processada)
• Limitações
Possível compressão visual com perda de dados Ausência da informação cronológica
Pacote Elephantools
• TelaTrace
Gráficos de acesso tradicionais (em duas dimensões)
• Mapa3D
Gráficos de acesso tridimensionais
• Trace Explorer
Gráficos de execução simulada no contexto do modelo LRU Dados gerais e estatísticos sobre os traces analisados
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
Ferramenta TelaTrace
• Gráficos de acesso bidimensionais
Diversas possibilidades de ampliação Visão global sempre presente Resolução definida pelo usuário
• Recursos adicionais para traces com formato especial
Diferenciação entre processadores (programas paralelos) Diferenciação entre tipos de acesso à memória: leitura / gravação
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
Ferramenta TelaTrace
• Janela principal: visão global
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
Ferramenta TelaTrace
• Janela de aproximação: visão parcial detalhada
Ferramenta Mapa3D
• Gráficos de acesso tridimensionais
Um gráfico de acessos visualmente comprimido se transforma em uma superfície de acessos à memória
A terceira dimensão informa quantos pontos foram aglutinados em cada posição x,y
Resolução definida pelo usuário
Não desenha os gráficos: gera coordenadas em arquivos-texto
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
Ferramenta Mapa3D
• Gráfico de acessos 3D (desenhado com o Microsoft Excel)
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
Ferramenta Mapa3D
• Versões 2D e 3D referentes ao mesmo mapa de acessos
Ferramenta Trace Explorer
• Gráficos bidimensionais e tridimensionais – Modelo LRU
Recência dos acessos à memória (posição na fila LRU) Histograma da recência dos acessos Variação da recência dos acessos Distância temporal entre acessos a uma mesma página Entre outros
• Dados gerais e estatísticos sobre os traces
Número total de acessos e de páginas referenciadas Posição média dos acessos na fila LRU e desvio padrão Variação média da posição dos acessos na fila e desvio padrão Lista de todas as páginas referenciadas com estatísticas individuais
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
Ferramenta Trace Explorer
• Modelo LRU (Least Recently Used)
Fila LRU(memória)
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
Ferramenta Trace Explorer
• Mapa de recência dos acessos (desenhado com o Gnuplot)
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
Ferramenta Trace Explorer
• Mapa de distância entre acessos a uma mesma página
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
Estudo de Caso
• Dados gerais e estatísticos – Pacote de traces VMTrace
A maioria dos traces consome pouca memória em sua execução
Os acessos se concentram em páginas que ocupam as primeiras posições da fila LRU
Existe uma certa regularidade no intervalo entre acessos a uma mesma página
Espresso 326938361 77 100 (64) 180 (b4) 1,82 1,21 0,59 64,67%
GCC 37524334 458 688 (2b0) 1150 (47e) 3,33 6,90 2,61 39,95%
Gnuplot 68458509 7718 130 (82) 7857 (1eb1) 5,26 115,74 5,89 34,94%
Grobner 7787835 67 94 (5e) 166 (a6) 2,07 2,45 1,33 49,01%
GS 134371942 558 219 (db) 934 (3a6) 2,03 3,63 1,17 65,92%
Lindsay 123690749 521 89 (59) 614 (266) 2,78 8,32 2,63 57,88%P2C 30722431 132 165 (a5) 300 (12c) 3,00 4,97 2,31 51,47%
Posição dos Acessos na Fila LRU
Desvio Padrão
Var. Média (módulo)
Var. Zero (% Acessos)
VM
Tra
ce
ArquivoTotal de
Acessos à Memória
Total de Páginas
Acessadas
Menor Página
(dec./hex.)
Maior Página
(dec./hex.)Média Geral
Espresso 326938361 77 100 (64) 180 (b4) 1,82 1,21 0,59 64,67%
GCC 37524334 458 688 (2b0) 1150 (47e) 3,33 6,90 2,61 39,95%
Gnuplot 68458509 7718 130 (82) 7857 (1eb1) 5,26 115,74 5,89 34,94%
Grobner 7787835 67 94 (5e) 166 (a6) 2,07 2,45 1,33 49,01%
GS 134371942 558 219 (db) 934 (3a6) 2,03 3,63 1,17 65,92%
Lindsay 123690749 521 89 (59) 614 (266) 2,78 8,32 2,63 57,88%P2C 30722431 132 165 (a5) 300 (12c) 3,00 4,97 2,31 51,47%
Posição dos Acessos na Fila LRU
Desvio Padrão
Var. Média (módulo)
Var. Zero (% Acessos)
VM
Tra
ce
ArquivoTotal de
Acessos à Memória
Total de Páginas
Acessadas
Menor Página
(dec./hex.)
Maior Página
(dec./hex.)Média Geral
Espresso 326938361 77 100 (64) 180 (b4) 1,82 1,21 0,59 64,67%
GCC 37524334 458 688 (2b0) 1150 (47e) 3,33 6,90 2,61 39,95%
Gnuplot 68458509 7718 130 (82) 7857 (1eb1) 5,26 115,74 5,89 34,94%
Grobner 7787835 67 94 (5e) 166 (a6) 2,07 2,45 1,33 49,01%
GS 134371942 558 219 (db) 934 (3a6) 2,03 3,63 1,17 65,92%
Lindsay 123690749 521 89 (59) 614 (266) 2,78 8,32 2,63 57,88%P2C 30722431 132 165 (a5) 300 (12c) 3,00 4,97 2,31 51,47%
Posição dos Acessos na Fila LRU
Desvio Padrão
Var. Média (módulo)
Var. Zero (% Acessos)
VM
Tra
ce
ArquivoTotal de
Acessos à Memória
Total de Páginas
Acessadas
Menor Página
(dec./hex.)
Maior Página
(dec./hex.)Média Geral
Espresso 326938361 77 100 (64) 180 (b4) 1,82 1,21 0,59 64,67%
GCC 37524334 458 688 (2b0) 1150 (47e) 3,33 6,90 2,61 39,95%
Gnuplot 68458509 7718 130 (82) 7857 (1eb1) 5,26 115,74 5,89 34,94%
Grobner 7787835 67 94 (5e) 166 (a6) 2,07 2,45 1,33 49,01%
GS 134371942 558 219 (db) 934 (3a6) 2,03 3,63 1,17 65,92%
Lindsay 123690749 521 89 (59) 614 (266) 2,78 8,32 2,63 57,88%P2C 30722431 132 165 (a5) 300 (12c) 3,00 4,97 2,31 51,47%
Posição dos Acessos na Fila LRU
Desvio Padrão
Var. Média (módulo)
Var. Zero (% Acessos)
VM
Tra
ce
ArquivoTotal de
Acessos à Memória
Total de Páginas
Acessadas
Menor Página
(dec./hex.)
Maior Página
(dec./hex.)Média Geral
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
Estudo de Caso – Programa Grobner
• Mapa de acessos bidimensional
Working set médio tende a aumentar com o tempo Presença de localidade temporal e espacial
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
Estudo de Caso – Programa Grobner
• Mapa de acessos tridimensional
Concentração dos acessos em uma faixa diagonal do gráfico
Páginas tendem a ser muito exploradas em somente um período
Padrão seqüencial de acessos do ponto de vista macroscópico
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
Estudo de Caso – Programa Grobner
• Mapa bidimensional da recência dos acessos à memória
Os acessos acontecem em páginas que ocupam posições variadas na fila LRU, principalmente após a metade do processamento
Muito poucos acessos recaem em posições da fila superiores a 40
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
Estudo de Caso – Programa Grobner
• Mapa tridimensional da recência dos acessos à memória
Concentração dos acessos nas posições iniciais da fila LRU
Páginas com forte localidade temporal são referenciadas em meio a páginas pouco acessadas no período
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
Estudo de Caso – Programa Grobner
• Variação da recência dos acessos à memória
Grande simetria em relação à posição de variação zero
As páginas tendem a ocupar sempre uma mesma posição na fila LRU quando são acessadas
Quando a posição varia, normalmente retorna à situação original no acesso seguinte
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
Estudo de Caso – Programa Grobner
• Mapa bidimensional da recência dos acessos à memória (participação da página mais referenciada pelo programa)
A página 5E geralmente ocupa uma posição inferior a 10 na fila LRU quando é acessada
O algoritmo LRU é relativamente eficiente quanto às substituições que realiza
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
Estudo de Caso – Programa Grobner
• Previsão de faltas de página
Em quase 60% dos acessos, a página referenciada ocupa a 2ª posição da fila LRU: localidade temporal constante
Uma memória de tamanho 8 é suficiente para garantir uma taxa de faltas de página inferior a 2% com o algoritmo LRU
Pos. (a≤x<b) Acessos Ac. Acum. % Acessos % Acum.
0 0 0 0,00 0,001 4620622 4620622 59,33 59,33
2^1 - 2^2 2210724 6831346 28,39 87,722^2 - 2^3 817293 7648639 10,49 98,212^3 - 2^4 96860 7745499 1,25 99,462^4 - 2^5 31374 7776873 0,40 99,862^5 - 2^6 10895 7787768 0,14 100,002^6 - 2^7 0 7787768 0,00 100,00
GROBNER.VMTrace - Posição dos Acessos na Fila LRUPos. (a≤x<b) Acessos Ac. Acum. % Acessos % Acum.
0 0 0 0,00 0,001 4620622 4620622 59,33 59,33
2^1 - 2^2 2210724 6831346 28,39 87,722^2 - 2^3 817293 7648639 10,49 98,212^3 - 2^4 96860 7745499 1,25 99,462^4 - 2^5 31374 7776873 0,40 99,862^5 - 2^6 10895 7787768 0,14 100,002^6 - 2^7 0 7787768 0,00 100,00
GROBNER.VMTrace - Posição dos Acessos na Fila LRUPos. (a≤x<b) Acessos Ac. Acum. % Acessos % Acum.
0 0 0 0,00 0,001 4620622 4620622 59,33 59,33
2^1 - 2^2 2210724 6831346 28,39 87,722^2 - 2^3 817293 7648639 10,49 98,21
2^3 - 2^4 96860 7745499 1,25 99,462^4 - 2^5 31374 7776873 0,40 99,862^5 - 2^6 10895 7787768 0,14 100,002^6 - 2^7 0 7787768 0,00 100,00
GROBNER.VMTrace - Posição dos Acessos na Fila LRU
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
Estudo de Caso – Programa Grobner
• Formas de apresentação visual dos dados tabulares
Histograma Curva acumulada
Conclusão
• Pacote Elephantools
Caracterização de cargas de trabalho quanto ao uso da memória Documentação gráfica de experimentos realizados Explanação simples e intuitiva acerca das conclusões
• Trabalhos futuros
Aprimoramento das ferramentas existentes Nova ferramenta: melhor visualização das superfícies de localidade
• Agradecimentos
Elizabeth S. Sorenson (Brigham Young University) Scott F. Kaplan (Amherst College)
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
III WPerformance / 2004 – Caracterização de Cargas de Trabalho em Estudos sobre Gerência de Memória Virtual - EPUSP
Contato
• Hugo Henrique Cassettari: [email protected]• Edson Toshimi Midorikawa: [email protected]
• ESCOLA POLITÉCNICA DA USPDepartamento de Engenharia de Computação e Sistemas DigitaisLaboratório de Arquitetura e Software BásicoAv. Prof. Luciano Gualberto, travessa 3, 158, Cidade UniversitáriaCEP: 05508-900, São Paulo-SP