09/10/2008 - al.sp.gov.br · alguns números são obtidos mais facilmente e mais frequentemente do...
TRANSCRIPT
09/10/2008
1
Métodos Quantitativos
PROF. DR. Renato Vicente
OBJETIVOS DA DISCIPLINA
Aumentar a eficiência e a perspectiva no
tratamento quantitativo de dados abordando osseguintes tópicos
1. Breve história das Probabilidades e da
Estatística;
2. Estatística Descritiva;
3. Inferência Estatística;
4. Análise de Regressão;
5. Análise de Variância;
6. Amostragem .
HISTÓRICO PROFISSIONAL DO PROFESSOR
1. Bacharelado em Ciências Moleculares pela Universidade de São Paulo
2. Mestre em Física pela Universidade de São Paulo
3. PhD pela University of Aston in Birmingham, Inglaterra
4. Atuou como Analista Quantitativo Sênior no mercado financeiro
5. Professor da EACH-USP desde sua fundação em 2005.
09/10/2008
2
PLANO DE CURSO
Data Conteúdo
09/10/2008 Breve História das Probabilidades e da Estatística
Estatística Descritiva 1
16/10/2008 Estatística Descritiva 2
Estatística Descritiva 3
23/10/2008 Inferência Estatística 1
Inferência Estatística 2
30/10/2008 Inferência Estatística 3
Simulação
12/11/2008 Regressão
Análise Multivariada 1
26/11/2008 Análise Multivariada 2
Amostragem
Aula 1A
Uma Breve História das Probabilidades e da Estatística
BIBLIOGRAFIA
1. D. Bennett, Aleatoriedade, Martins Fontes, 2003.
2. David, F.N., Games, Gods and Gambling.
3. Tabak, J., Probability and Statistics: TheScience of Uncertainty
09/10/2008
3
Primórdios: Jogos e Divinação
Coleções de ossos da pata
de cães, carneiros ou cabras
(chamados astragali, pelos
gregos) , são encontrados
em sítios arqueológicos do
Neolítico até a Idade Média.
Em grego o termo para dado ou cubo é kubos. Em árabe o termo para dado
cúbico e para astrágalo é kab, o que sugere que os dados modernos
tenham derivado dos astrágalos antigos. Na figura de fundo vermelho à direita
vemos dados egípcios de 3000 anos (no Museu do Louvre).
Primórdios: Jogos e Divinação
Jogos com componentes aleatórios são comuns nos sítios arqueológicos
antigos (esquerda e centro – Senet 1000 aC) e (direita - Ur 2500 aC)
Primeiros Estudos Teóricos: Cardano
Girolamo Cardano (1501-1576) era um
intelectual renascentista viciado em jogos. Em
um relato escreveu: “O resultado foi que após
vinte jogadas recuperei minhas roupas, meus
anéis e colar para o menino. ”
Escreveu um livro sobre jogos de azar (Liber
de Ludo Aleae) relacionando sorte à
contagem de possibilidades.
Na figura a chance da soma de
dois dados totalizar 10 é de 3/36.
09/10/2008
4
Primeiros Estudos Teóricos: Galileu
Galileu Galilei (1564-1642) foi contratado em
1613 para ser matemático oficial de Cosimo
de Medici II e Primeiro Matemático da
Universidade de Pisa. Logo foi chamado a
responder questões relacionadas a jogos com
dados. Em particular:
Por que 10 e 11 aparecem mais
freqüentemente do que 9 e 12 em arremessos
de 3 dados?
Para responder a questão publicou Sopra le
Scoperte dei Dadi
Na primeira frase do artigo escreveu: “O fato de que em jogos de dados certos
números são mais vantajosos do que outros tem uma razão óbvia, i.e., que
alguns números são obtidos mais facilmente e mais frequentemente do que
outros, o que depende destes poderem ser obtidos através de uma variedade
maior de números”
Primeiros Estudos Teóricos: Galileu
A tabela acima (reproduzida do artigo original de Galileu) mostra contagens para o
número de vezes que uma particular soma de três dados. Assim, por exemplo, 10
pode ser obtido através de (631,622,541,532,442,433) em um total de 27 formas
diferentes.
Pascal e Fermat: Nasce a Teoria de Probabilidades
Fermat (1601-1665) Pascal (1623-1662)
O nobre francês chevalier de Méré era um jogador inveterado havia feito as
seguintes apostas, acreditando-as boas e equivalentes:
APOSTA 1:Aposta em ao menos um em 4 arremessos de um dado.
APOSTA 2: Aposta em ao menos 24 arremessos de dois dados.
Apesar de deduzir que as chances
dos dois eventos seriam as mesmas
(2/3) chevalier de Méré perdia
consistentemente com a aposta 2 e,
assim, pediu a Pascal uma
explicação. Pascal então iniciou
enviou uma carta a Fermat, iniciando
a correspondência que deu origem a
teoria de probabilidades
09/10/2008
5
Pascal e Fermat: Nasce a Teoria de Probabilidades
RACIOCíNIO (ERRADO) DO JOGADOR:
APOSTA 1: Prob( pelo menos 1 em 4 jogadas) = 4×(1/6) = 2/3
APOSTA 2: Prob( pelo menos 1 em 24 jogadas) = 24 ×(1/36) = 2/3
Fermat e Pascal:
APOSTA 1: Prob( de NENHUM em 4 jogadas ) = (5/6)4 = 0,482
APOSTA 2: Prob( de NENHUM em 4 jogadas) = (35/36) = 0,509
Assim a APOSTA 1 tem probabilidade de perda de 48,2% , sendo a melhor
aposta.
A Teoria de Probabilidades amadurece: Huygens, Bernoulli e De Moivre
http://www.stat.sc.edu/~west/javahtml/CLT.html
http://www.math.csusb.edu/faculty/stanton/m262/intro_prob_models/intro_prob_models.html
Huygens (1629-1695) Jacob Bernoulli
(1654-1705)
Apesar de ter surgido no contexto de Jogos de Azar, a partir do trabalho
de Huygens ,de Bernoulli e de De Moivre a teoria de probabilidades
passou a ser entendida como uma teoria matemática para eventos
aleatórios.
Abraham De Moivre
(1667-1754)
A Teoria de Probabilidades amadurece: Huygens, Bernoulli e De Moivre
Primeira página do livro de De Moivre
sobre Probabilidades. Amigo de
Newton e Halley, De Moivre foi o
primeiro a descrever a curva Normal
(hoje chamada Gaussiana).
http://www-stat.stanford.edu/~naras/jsm/NormalDensity/NormalDensity.html
http://stat.wvu.edu/SRS/Modules/Normal/normal.html
09/10/2008
6
Nascimento da Demografia: Ibn Khaldun
Ibn Khaldun (1332-1406), pensador do
mundo islamico medieval, produziu o
primeiro trabalho teórico sobre dados
demográficos de que se tem registro.
Observando dados demográficos propôs
uma teoria para a dinâmica da história
baseada na idéia da asabiyah (
solidaridade social).
Voltando para 1066: Nascimento da Demografia
Livro de Winchester: O rei normando, William o Conquistador, ordenou, após
sua vitória sobre o rei anglo-saxão Harold em 1066, que um levantamento
extremamente detalhado do que havia nas terras inglesas conquistadas. O rei
morreu em 1087 sem nunca fazer uso do livro.
Nascimento da Estatística: John Graunt
John Graunt (1620-1674) um lojista londrino que decidiu estudar
sistematicamente a documentação sobre mortes e nascimentos registradas em
Londres por um período de 57 anos. Os dados compilados por Graunt foram
utilizados por Edmund Halley para o primeiro cálculo de expectativa de vida e
subsequentes aplicações aos seguros de vida. Halley era amigo de Newton e
De Moivre.
09/10/2008
7
A Estatística encontra a Probabilidade
Christiaan Huygens(1620-1674) utilizou os dados de John Graunt para construir
o primeiro gráfico representando a expectativa de vida de pessoas de uma
certa idade, estes cálculos foram utilizados para venda se seguros.
A Estatística moderna
A Estatística moderna depende ainda de outro caminho além da teoria
matemática do acaso e da demografia: a teoria dos erros de medição.
Os nomes centrais nos primórdios desse ramo serão Gauss, Laplace e
Legendre.
Retomaremos esta parte da história da Estatística mais a diante.
Aula 1B
Introdução à Estatística Descritiva: Apresentação
Gráfica de Informação Quantitativa
09/10/2008
8
BIBLIOGRAFIA
1. Johnson, S., O Mapa Fantasma, Zahar.
2. Tufte, E.R., The Visual Display ofQuantitative Information
3. Tufte, E.R., Visual Information
4. Cleveland, W.S., The Elements of GraphingData
Perguntas
1. Para que precisamos de gráficos?
2. Como surgiu a idéia?
3. Quais são seus elementos básicos?
4. Poderia dar exemplos?
5. Como posso confeccioná-los?
6. Como produzo gráficos com qualidade?
7. Resumindo
Para que servem os gráficos: Dois casos
09/10/2008
9
Epidemia de Cólera em Londres (set/1854)
John Snow
Epidemia de Cólera em Londres (set/1854)
Anál
ise d
e J
ohn S
now
para
a e
pid
em
ia d
e
Cóle
ra e
m L
ondre
s (s
et/
1854)
Análise de John Snow para a epidemia de Cólera em Londres (set/1854)
Hoje é possível visitar a bomba d’água que serviu como evidênciapara a conexão causal entre o cólera e a contaminação da água. Háum pub em homenagem a John Snow.
09/10/2008
10
Análise de John Snow para a epidemia de Cólera em Londres (set/1854)
Extraído de E.R. Tufte, Visual Explanations
A epidemia já estava recuando quando a bomba de água foidesativada.
O ônibus espacial Challenger explodiu em 1986 devido a umafalha em um anel de vedação em um dos foguetes a propelentesólido
Ônibus espacial Challenger (28/jan/1986)
Ônibus espacial Challenger (28/jan/1986)
Eventos em testes com foguetes sólidos da Morton ThiokolInc.
09/10/2008
11
Ônibus espacial Challenger (28/jan/1986)
NÚMERO DE INCIDENTES COMO FUNÇÃO DA TEMPERATURA.Somente são exibidos lançamentos com ocorrência de incidentes.A previsão de temperatura para o dia do lançamento era algo emtorno de 0 oC. Você autorizaria o lançamento ? Por que?
Ônibus espacial Challenger (28/jan/1986)
HISTÓRICO DE DANOS AOS ANÉIS DE VEDAÇÃO COMOFUNÇÃO DA TEMPERATURA. A previsão de temperatura para odia do lançamento era algo em torno de 0 oC. Você autorizaria olançamento ? Por que?
Ônibus espacial Challenger (28/jan/1986)
I took this stuff that I got out of your seal and I put it in ice water, and I discovered that when you put some pressure on it for a whileand then undo it it doesn't stretch back. It stays the same dimension. In other words, for a few seconds at least and more seconds thanthat, there is no resilience in this particular material when it is at a temperature of 32 degrees.
I believe that has some significance to our problem. Richard P. Feynman
09/10/2008
12
Como surgiu a idéia: Um pouco de história
Representações Egípcias 2000 a.C.
As decorações egípcias eram desenhadas como diagramascodificados para comunicar com clareza eventos do passado.
Representações Egípcias 1400 a.C.
“O Jardim de Nebamun” (1400 aC), Tebas, atualmente no MuseuBritânico. Há aqui uma preocupação em representardiagramaticamente , de forma identificável, as espécies presentesno jardim.
09/10/2008
13
Movimento de Planetas: Século 10 (ou 11)
A representação acima é o mais antigo registro gráfico dosmovimentos planetários encontrada em um texto de instruçãopara monastérios do século 10 (ou 11).
Nicole d’Oresme (1323-1382)
Primeira proposta de representação gráfica de dependência entre valores quantitativos de variáveis publicado em manuscrito de Nicole d’Óresme de 1350.
Século de Newton (Séc 17)
Medidas de longitude de Michael van Langren (1644)
Função contínua de Halley
Espectativa de vida de Christiaan Huygens(1669)
09/10/2008
14
Século de Newton (Séc 17)
Medidas de longitude de Michael van Langren (1644)
Função contínua de Halley
Espectativa de vida de Christiaan Huygens(1669)
Quais são os elementos básicos de um gráfico?
Term
inolo
gia
: D
ois
conju
nto
s superp
ost
os
de d
ados
Rótulos
Escala horizontal
Título
Figura 1. TAXAS DE MORTALIDADE AJUSTADAS PELA IDADE. Os dadosrepresentam o porcentual de mudança nas taxas de mortalidade devido aproblemas cardiovasculares e a outras doenças nos EUA
Legenda
Região dos dados
Linha de referência
Escala
vert
ical
MarcadorChave
09/10/2008
15
Term
inolo
gia
: D
ois
conju
nto
s justa
posto
s d
e
dados
Rótulo de escala
Símbolos
Rótulo dos
dados
ANO
Marcador Rótulos dos marcadores
Figura 2. TAXAS DE MORTALIDADE AJUSTADAS PELA IDADE. Os dados
representam o porcentual de mudança nas taxas de mortalidade devido aproblemas cardiovasculares e a outras doenças nos EUA
PRIMEIRA UNIDADE
DE CUIDADOS CARDIOVASC.
Painel 1
Painel 2
Como Confeccioná-los ?
Ferramentas de Confecção
1. Papel milimetrado
APRENDIZADO EM GATOS. Curva de aprendizagem de gatosexpostos à tarefa de escapar de um labirinto. O gráfico representaa rapidez da execução da tarefa (em escapes por minuto) contra onúmero de tentativas.
09/10/2008
16
Ferramentas de Confecção
2. Planilhas Eletrônicas
Ferramentas de Confecção
3. Software Estatístico R
RESULTADO DAS ELEIÇÕES PRESIDENCIAIS DE 2004 NOS EUA.
A área dos círculos é representa o tamanho da diferença de votos.Áreas azuis representam vitória de Kerry e em vermelho vitória deBush. Kerry obteve grandes margens em grandes cidades nas costasenquanto Bush venceu em pequenas cidades do meio oeste.
Ferramentas de Confecção4. Gramática dos Gráficos (implementada em
R)
TAXAS DE MORTALIDADE E NATALIDADE POR 100.000HABITANTES
09/10/2008
17
Poderia dar Exemplos?
Gráfico de Setores
PERCEPÇÃO DE VIÉS DE GÊNERO NA AVALIAÇAO DE ARTIGOSSUBMETIDOS À REVISTAS CIENTÍFICAS
Gráfico de Barras
PERCEPÇÃO DE VIÉS DE GÊNERO NA AVALIAÇAO DE ARTIGOSSUBMETIDOS À REVISTAS CIENTÍFICAS
09/10/2008
18
Barras e Rosa de Nightingale
PERCEPÇÃO DE VIÉS DE GÊNERO NA AVALIAÇAO DE ARTIGOSSUBMETIDOS À REVISTAS CIENTÍFICAS
Gráfico de Barras 3
COMPOSIÇÃO DA POPULAÇÃO DOS EUA EM 1980 POR GÊNERO
Box Plot
TAXA DE NATALIDADE SEGUNDO TIPO DE GOVERNO E LOCAL DERESIDÊNCIA
09/10/2008
19
Gráfico de Pontos (Dot Plot)
POPULAÇÃO DE UM CONJUNTO DE CIDADES.
Série Temporal
MANCHAS SOLARES
Trajetória
EVOLUÇÃO TEMPORAL DE PREÇOS E CONSUMO DE CIGARROS.
09/10/2008
20
Histograma 1
HISTOGRAMA DE TAXAS DE NATALIDADE COM DOISCRITËRIOS DE SEGMENTAÇÃO DE ESCALA (REGULAR EVORONOI)
Histograma 2
FREQUENCIA DE MORTES NO TRANSITO POR IDADE
Gráficos Tridimensionais
ALISAMENTO DA DISTRIBUIÇÃO DE TEMPERATURAS NOS EUA
09/10/2008
21
Faces
Intensidade de emoções
Como produzo gráficos com qualidade ?
Princípios de construção de gráficos
1. Visualização clara
2. Compreensão clara
3. Escolha apropriada de escalas
09/10/2008
22
Contra-exemplo de visualização clara
Os dados devem se destacar em relação aos recursos gráficos.
ATIVIDADES DE MULHERES !KUNG E SEUS BEBÊS. Os eixosvertical e horizontal indicam as horas e os minutos,respectivamente. Retângulos claros e barras verticais indicamamamentação, a letra F indica choro do bebê, as barras escurasindicam sono do bebê e os achurados indicam mãe com bebê nocolo. O gráfico é confuso.
Visualização clara: Retificando o gráfico segundo o princípio
ATIVIDADES DE MULHERES !KUNG E SEUS BEBÊS. As barrasindicam os momentos dedicados a cada uma das seguintesatividades: amamentação (nursing), sono (sleep), choro (fretting) ecolo (holding). Sem necessidade de elementos gráficos supérfluos,os dados se destacam nessa versão.
Outro contra-exemplo de visualização clara
EVOLUÇÃO DE PREFERÊNCIAS POR CORES EM GALINÁCEOS. Oexperimento consiste na seleção de gerações de animais segundopreferências pela cor vermelha ou azul. No centro há uma linharepresentando o controle sem seleção. As barras indicam adistribuição de preferências. As barras tornam o gráfico superpostoconfuso.
09/10/2008
23
Visualização clara: Retificando o gráfico segundo o princípio
EVOLUÇÃO DE PREFERÊNCIAS POR CORES EM GALINÁCEOS. O experimento consiste na seleção de gerações de animais segundo preferências pela cor vermelha ou azul. As barras indicam a distribuição de preferências. A justaposição é a escolha mais adequada.
Compreensão clara
1. Descreva na legenda tudo o que estiver representado no gráfico.
2. Dê particular atenção às características importantes do gráfico.
3. Descreva as conclusões extraídas do gráfico.
Excelência Gráfica
CAMPANHA DE NAPOLEÃO CONTRA A RÚSSIA. O gráfico mostraa marcha das tropas napoleônicas contra Moscou em 1812-1813. Alargura da figura representa o número de soldados. A curvacinzenta representa a marcha de ida e a preta indica a marcha devolta. Abaixo há um gráfico indicando as temperaturas durante amarcha de volta. As tropas pereceram no rigoroso inverno russo.
09/10/2008
24
Excelência Gráfica
1. A excelência gráfica é a apresentação bemprojetada de dados interessantes, uma combinaçãoentre substância, estatística e design gráfico.
2. A excelência gráfica consiste da comunicação deidéias com clareza, precisão e eficiência.
3. A excelência gráfica é o que dá ao leitor o maiornúmero de idéias no menor tempo com o menor usode tinta de no menor espaço.
4. A excelência gráfica requer que se procure contar averdade dobre os dados.
Edward. R. Tufte