modelos probabilÍsticos em seguranÇa viÁriasites.poli.usp.br/d/ptr5802/modprob.pdf · 1 modelos...
TRANSCRIPT
1
MODELOS PROBABILÍSTICOS
EM SEGURANÇA VIÁRIA
Hugo Pietrantonio
Junho/2009
OBJETIVOS DA
APRESENTAÇÃO• Apresentar conceitos relevantes para entender e utilizar
Modelos Probabilísticos aplicados à Segurança Viária
• Discutir formas alternativas e as técnicas usuais para
representar e utilizar Modelos Probabilísticos
• Conceitos Envolvidos: Modelos Probabilísticos
– Eventos Aleatórios, Regularidade Estocástica,
– Solução: Distribuição X Média, Analítica X Simulação, ...
– Mod.Estatísticos Simples, Usuais (Univariado/Multi)
– Mod.Derivados, Métodos de Aproximação dos Momentos
– Mod.Condicionais (Estat&Econ), Independência Condicional
– Função Regressão e Cedástica, Transformações de Variável
2
MODELOS PROBABILÍSTICOS
• Contexto: fenômenos que exibem padrões de
regularidade de oportunidade ou de chance ...
• Chance: ocorrência com incerteza intrínseca !
• Regularidade Estocástica: um padrão de
probabilidade distinto da aleatoriedade total !
• Desordem na ocorrência dos eventos individuais
Ordem nos padrões de ocorrência dos eventos
• Propriedades estocásticas: distribuição,
(in)dependência, homo/heterogeneidade, …
Exemplo: Spanos (1999)
• Soma dos lançamentos de dois dados: 2 a 12
por chance: 2=1+1 ... 12=6+6
7=1+6, 2+5, 3+4, ...
3
Outro Exemplo: Spanos (1999)
• Flutuações das Taxas de Câmbio: Canadá74/92
dados não experimentais, não controlados ...
modelos de probabilidade a priori indefinidos
Incerteza/Aleatoriedade ...
• Visão Convencional: a aleatoriedade é
intrínseca aos fenômenos; o mesmo
“experimento” repetido diversas vezes exibe
“respostas” diferentes; pode-se obter apenas o
padrão de regularidade nas ocorrências.
• Visão Alternativa: mecanismos determinísticos
governam os fenômenos; a informação limitada
disponível torna incerta a “resposta”; pode-se
obter o padrão de regularidade das ocorrências.
4
Perspectiva Científica ...
• Dedutiva (Modelo) X Indutiva (Dados) ...
• Três distintas tarefas da investigação causal:
– Definir hipóteses teóricas (precisa de uma teoria
“científica”, objetiva, testável, suficiente ...)
– Formular um modelo identificável (precisa de uma
estrutura e dados capazes de revelar o modelo ...)
– Analisar os dados existentes (precisa de um método
estatístico apropriado de estimação e inferência ...)
• Heckman (QJE 2000) X Dawid (JASA 2000)
Perspectiva Científica ...
• Com a perspectiva da observação externa do
fenômeno ... e de um modelo teórico ...
– mesmo as relações identificadas/supostas podem ter
forma parcialmente observada ...
Q: especificação imperfeita, relação omitida ...
– mesmo as relações identificadas/supostas podem ter
interações parcialmente observadas ...
Q: variáveis omitidas, variações inexistentes,
variações correlacionadas, variáveis latentes ...
• Erros tb normalmente geram um fator aleatório!
5
Fontes de Incerteza/Aleatoriedade
• Indefinido ... Imprevissível .. Indeterminado ...
Ambíguo ... Vago ... Mutante ... Irregular ...
Arbitrário ... Aleatório ... Variável ... Arriscado
• Uma Tipologia das Fontes de Incerteza:
- Incerteza Aleatória/Risco: padrão de
aleatoriedade é conhecido mas não pode ser
reduzido diretamente ... probabilidade ...
- Incerteza Epistêmica/Ignorância: padrão de
aleatoriedade não é conhedido mas pode ser
reduzido ... possibilidade ...
Incerteza: Aleatoriedade+Ignorância
• Não há uma terminologia amplamente aceita ...
• Aleatoriedade/Risco: realização não pode ser
prevista mas caráter aleatório é conhecido/pode
ser descrito (distribuição ... probabilidade)
• Incerteza/Ignorância: realização não pode ser
prevista e caráter aleatório não é conhecido/não
pode ser descrito (ignorância ... possibilidade)
• Em qualquer das situações, a realização não
pode ser prevista (aleatoriedade fundamental) ...
6
Teorias sobre Incerteza
• - Clássica/Frequentista/Kolmogoroviana:
probabilidade objetiva, máxima verossimilhança
- Bayesiana: probabilidade subjetiva,
conhecimento conjectural, incremental ...
• - Lógica de 2a.Ordem, Análise de Intervalos ...
Teoria da Evidência ...
- Probabilidade Imprecisa, Lógica Nebulosa
(Fuzzy-Z) ... Teoria da Possibilidade ...
• ver Kangas&Kangas (2004), FEP 6, pp.169-188
Teoria da Probabilidade Clássica
• Kolmogorov: frequentista, objetiva ...
probabilidade fixa, dada, mas desconhecida
• Axiomas Básicos: baseada na T.Conjuntos,
Álgebra Boreliana, Teoria da Medida ...
– AW e Af => Pr[f]=0<Pr[A]<Pr[W]=1
e aditividade: AB=f => Pr[AB]=Pr[A]+Pr[B] ...
– T.Probabilidade Total: P[A]=∑iP[A/Bi].P[Bi] ...
– T.Bayes: Pr[B/A]=Pr[A/B].Pr[B]/Pr[A] ...
• Princípio Inferencial: máxima verossimilhança !
7
Teoria da Probabilidade Bayesiana
• Bayesiana: incremental, subjetiva ...
Pr[] a priori & amostras => Pr[] a posteriori ...
• Teorema de Bayes revisitado: incremental ...
– Pr[q/y]=Pr[y/q].Pr[q]/Pr[y], Pr[y]= ∫Pr[y/q].Pr[q].dq
– Pr[q] e Pr[y]: conhecimento a priori (anterior)
– Pr[y/q]: verossimilhança das observações (novo)
– Pr[q/y]: conhecimento a posteriori (atualizado)
• Princípio Inferencial: de f[q/y] a posteriori ...
sem conhecimento a priori => verossimilhança!
8
Dados e Modelos
• Tipos de medidas:
– nominais (identifica casos distintos)
– ordinais (identifica sequência ordenada)
– intervalos (identifica medida relativa)
– razões (identifica zero da escala)
• Tipos de dados:
– transversais (cross-sections xk,t=)
– seriais (time-series xt, k= e <>)
– painéis (panel data xkt, k=s e t<>)
qualitativos,
categóricos e
discretosquantitativos,
discretos ou
contínuos
x: dado, informação
(contínuo, discreto)
k,t: índice, referência
(contínuo, discreto)
endógeno/exógeno
Moda
Mediana
Média
CVar ...
Referência
Posição
Ambos ...
Dados e Modelos
• Natureza dos Dados:
– Experimentais: processo controlado
– Observacionais: processo não controlado
• Tipos de Modelos:
– Determinísticos/Estocásticos ...
– Estatísticos: simples f[x/s]
condicionais f[y/x,c,s]
– Econométricos: f[y/e,x,c], f[e/s]
– Univariado, multivariado {yi}, processo {yt}
Efeito isolado
... ou não
Amostra {X}
... ou {X,Y}
Erro e Viés
endógenos ...
9
Informação Teórica
• Modelo Probabilístico (Estatístico, Estocástico):
-Informação Sistemática (conhecimento teórico)
-Regularidade Estocástica (padrão estatístico)
• Variáveis relacionadas: aleatórias ou não ...
-uma única variável aleatória: d.univariada ...
-condicionada a outras variáveis independentes
1: dependência simples; +:dependência múltipla
-variáveis interdependentes: d.multivariada ...
• Relações: aleatórias ou não/estruturais ou não ...
Tipos de Solução
• Qual resposta de um Modelo Probabilístico?
• Solução distribuição (closed-form distribution):
expressão analítica da distribuição ...
• Solução média/var. ... (closed-form moments):
expressão analítica da média/var, quantil ...
• Solução aproximada (FO, FOSM, AFO, SO, ...):
aproximação matemática da solução analítica ...
• Solução por simulação (simulation-based):
aproximação da solução obtida por simulação ...
10
Métodos Analíticos
• solução pode ser trabalhosa ... demais ...
baseada na Teoria de Probabilidades ...
f[A]=∫AI[A].dA, I[A]=1 se A ocorre (=0 c.c.) ...
• funções relacionadas podem ser mais tratáveis...
• exemplo: hazard function h[x]=f[x]/(1-F[x])
h[X=x]=f[X=x/X>=x] é o risco imediato ...
- fórmulas de inversão de h[x] são conhecidas!
f[x]=h[x]*exp[-∫xh[u].du],F[x]=1-exp[-∫xh[u].du]
- uma representação pode ser obtida da outra ...
Métodos Analíticos
• mais comum: uso de transformadas ...
é a estratégia de solução mais geral ...
• característica básica: as transformadas mantém
relação 1:1 com as distribuições ... e possuem
propriedades que simplificam a solução ...
• exemplo: logaritmo ao invés de potenciação
- melhor: z=xa.yb ou ln[z]=a.ln[x]+b.ln[y]?
- dada uma “tabela de logs” (relação 1:1 entre
N e ln[N] ...), pode-se usar a forma mais fácil ...
11
Geratrizes e Transformadas
• condensam as distribuições; univocamente <=>
– geratriz de momentos: G[q]=E[eq.X], G[0]=1, ...
G[q]=Sipi.eq.xi ou ∫xf[x].eq.x se existe, E[Xn]=nG[0]
– geradora Z: var.discreta g[z]=Si pi.zi, g[1]=Sipi=1
G[0]=g[1], z=eq.d, X=i.d, pi=1/i!.ig[z]|z=0=ig[0]/i!
– transformada de Laplace-Stieltjes: X*[q]=E[e-q.X],
nX*[q]=(-1)n.Sipi.eq.xi.xi
n ou (-1)n.∫xf[x].eq.x.xn ,
E[Xn]=(-1)n.nX*[0], (X não negativo X*[q]<=1)
– função característica: *X[s]=E[ei.s.X], q=r+i.s ... r=0
transformada de Fourier: ei.s.x=cos[s.x]+i.sen[s.x]
Exemplos Simples
• distribuição exponencial: f[T=t/a]=a.e-a.t, t>=0
– T*[q]=∫tf[t].e-q.t=∫ta.e-a.t.e-q.t=a.∫te
-(a+q).t=a/(a+q)
de forma similar, G[q]=a/(a-q) e *T[q]=a/(a-i.q)
então T´*[q]=-a/(a+q)2 e E[T]=-T´*[0]=1/a ...
• distribuição de Bernoulli: Pr[X=x/p]=px.q1-x, 0/1
– X*[q]=Skpk.e-q.k=q.e-q.0+p.e-q.1=q+p.e-q=q+p.z=g[z]
de forma similar, G[q]=q+p.eq e *X[q]=q+p.e-i.q
então X´*[q]=-p.e-q e E[X]=-X´*[0]=p ...
• Binomial: Y*[q]=(q+p.e-q)r, gY[z]=(q+p.z)r ...
• Erlang: T*[q]=(a/(a+q))r, G[q]=(a/(a-q))r...
12
Propriedades Importantes
• convolução: distribuição da soma, var.indep.
(X+Y)[q]=X[q].Y[q] ... (X+Y)*=X*.Y* ...
pode ser generalizado para SiXi, de N variáveis
• distribuição conjunta: var.não indep. (quaisquer)
(X,Y)*[qx,qy]=E[e-qx.X-qy.Y] conjunta ...
• Y: soma de Xi[p]~Bernoulli, iid (indep, p=)
Y=SiXi[p]=>Y*[q]=(q+p.e-q)n ... Binomial
• E: soma de Ti[a]~Exponencial, iid (indep, a=)
E=SiTi[a]=>E*[q]=(a/(a+q))n ... Erlang
Outras Propriedades de
Transformadas Usuais-I
• transformada de Laplace: dado f[x] ou dado {fi}
f*[q]=Sifi.e-q.xi=Sifi.z
i ou f*[q]=∫xf[x].e-q.x
é linear: f[x]=Siai.fi[x]=>f*[q]=Siai.fi*[q]!
– propriedades: dado f[t]<=>f*[q]=L[f[t],q] então
L[f[t/a],q]=a.L[f[t],a.q], L[f[t-a],q]=e-a.q.L[f[t],q],
L[t.f[t],q]=-1.L[f[t],q], L[f[t]/t,q]=∫qL[f[t],q],
L[f[t],q]=q.L[f[t],q], L[∫tf[t],q]=L[f[t],q]/q,
L[af[t,a],q]=aL[f[t,a],q], LX+Y[q]=LX[q].LY[q]– L[u0]=1, L[nu0=un-1]=qn, L[u-n=tn-1/(n-1)!]=1/qn,
L[u-1]=L[s0]=1/q, L[a.e-b.t]=a/(b+q), L[u-n.e-b.t]=1/(b+q)n+1 ...
• distribuições estatísticas: X~f[x], X*[q]=f*[q]
Apêndice I, vol.I, em
Kleinbrock, 1975 ...
13
Outras Propriedades de
Transformadas Usuais-II
• geradora: g[z]=Sifi.zi, z=eq, fi=pi, Sipi=1
– propriedades: dado {fi}<=>g[z]=g[{fi},zi] então
L[f[t/a],q]=a.L[f[t],a.q], L[f[t-a],q]=e-a.q.L[f[t],q],
L[t.f[t],q]=-1.L[f[t],q], L[f[t]/t,q]=∫qL[f[t],q],
L[f[t],q]=q.L[f[t],q], L[∫tf[t],q]=L[f[t],q]/q,
L[af[t,a],q]=aL[f[t,a],q], LX+Y[q]=LX[q].LY[q]
– L[u0]=1, L[nu0=un-1]=qn, L[u-n=tn-1/(n-1)!]=1/qn,
L[u-1]=L[s0]=1/q, L[a.e-b.t]=a/(b+q), L[u-n.e-b.t]=1/(b+q)n+1 ...
• geratriz: G[q]=E[eq.X]=Sipi.eq.xi ou ∫xf[x].eq.x
– propriedades: similares à transformada L ...
• g.fatorial: F[q]=E[qX]=Sipi.qxi ou ∫xf[x].qx
– propriedades: xn=x.(x-1)...(x-n+1), E[Xn]=nF[1]
Apêndice I, vol.I, em
Kleinbrock, 1975 ...
Exemplo de Interesse
• Y=SiXi, com N Xis iid, mas N aleatório,
- se N e X indep e E[N], E[X] existem,
então tem-se E[Y]=E[N].E[X] !
- se V[N], V[X] tb existem
então V[Y]=E[N].V[X]+V[N].E[X] !
• N com transformada gN[z] qualquer ... então:
gY[z]=gN[gX[z]] ... se Xi e Y discreto ...
Y*[q]=gN[X*[q]] ... se Xi e Y contínuo ...
• ... simples aplicação da derivação em cadeia ...
14
Exemplo de Aplicação
• Atrasos para pedestres diante dos veículos:
- intervalos entre veículos H (seg.): fH[H=h] ...
- intervalos na chegada-lag L(seg.): fL[L=t] ...
sabe-se que fL[L=t]=(1-FH[H=t])/mH ...
exemplo: fH[H=h]=q.exp[-q.h],fL[H=h]=fH[H=h]
- aceitação de brechas entre veículos: AH[H=t]...
- aceitação de lags na chegada: AL[L=t] ...
exemplo: pA=0, se t<a; pA=1, caso contrário ...
pA=0, se t<a; pA=1-exp[-g.(t-a)], caso contrário!
• W: atraso dos pedestres ao cruzar um fluxo Q?
Exemplo de Aplicação
• Probabilidade de atravessar na chegada: W=0
- pedestre chega com lag t; atravessa com AL[t]
portanto, Pr[W=0]=pAL, pAL=∫LfL[t].AL[t].t ...
• Probabilidade de esperar t para atravessar: W=t
- pedestre não atravessa ao chegar, espera até o
instante t, e então atravessa no intervalo em t ...
• Portanto, Pr[W=t>0]=FE[W>=t,Q em t].pAH,
onde pAH=∫HfH[t].AH[t].t, similarmente a pAL!
• FE[W>=t,Q em t]=FE[t]=gL[t]+∫FE[t-t].gH[t].t,
gL[t]=fL[t].(1-AL[t]) e gH[t]=fH[t].(1-AH[t]) ...
15
Exemplo de Aplicação
• FE[t]=gL[t]+∫FE[t-t].gH[t].t ...
uma equação integral em FE[t] ...
• E*[q]=GL*[q]+E*[q].GH*[q] ...
E*[q]=GL*[q]/(1-GH*[q]) ... !
• Pr[W=t>0]=FE[W>=t,Q em t].pAH ...
W>0*[q]=pAH.E*[q]= ...
• Pr[W=t]=Pr[W=0].d[0]+Pr[W=t>0] ...
W*[q]=W=0*[q]+W>0*[q]=
= pAL+ pAH.GL*[q]/(1-GH*[q]) ...
Exemplo de Aplicação
• Momentos: E[W]=-W´*[0], E [W2]=W´´*[0], ...
• W*[q] = pAL+ pAH.GL*[q]/(1-GH*[q])
E[W] = pAH.GL´*[0]/(1-GH*[0])
- pAH.GL*[0]/(1-GH*[0])2.GH´*[0]
• GH*[0]=∫gH[t].t=∫fH[t].(1-AH[t]).t=1-pAH !
• GL*[0]=∫gL[t].t=∫fL[t].(1-AL[t]).t=1-pAL !
• GH´*[0]=∫t.gH[t].t=∫fH[t].(1-AH[t]).t ...
• GL´*[0]=∫t.gL[t].t=∫fL[t].(1-AL[t]).t ...
• E[W] = E[GL*] - (1 - pAL)/pAH.E[GH*] !?!
16
Exemplo de Aplicação
• Exemplo: Q poissoniano, P aceita brecha >a
- fH[H=h]=q.e-q.h,fL[H=h]=fH[H=h] ...
- pA=0, se t<a; pA=1, caso contrário ...
• E[W] = E[GL] - (1 - pAL)/pAH.E[GH] leva a:
– pAH=pAL=∫H>aq.e-q.t.t=e-q.a ...
– E[GH]=E[GL]=∫H<at.q. e-q.t.t=1/q-(a+1/q)*e-q.a ...
E[W]=1/q-(a+1/q)*e-q.a-(1-e-q.a)/e-q.a.(1/q-(a+1/q)*e-q.a)
tendo-se E[W]=eq.a/q-a-1/q (Fórmula Adams, 1936)
• Exemplo: brecha=6seg., fluxo 900v/h=0,25v/seg
– E[W]=exp[0,25.6]/0,25-6-1/0,25=17,9-6-4=7,9seg !
17
Métodos de Simulação
• Solução em geral viável mas análise complexa ...
• Aplicação direta: para solução do modelo ...
... variáveis de entrada, relações fundamentais ...
... replicações de simulações ...
... “média” da média, da variância, da distribuição ...
• Aplicação inversa: para estimação, otimização
... solução do modelo e sensibilidade da solução ...
... modelo de simulação é componente ...
... imerso em um processo iterativo global ...
Métodos de Simulação:
Distribuições Univariadas-I
• X: dada uma variável aleatória uniformemente distribuída U, X=F-1[U] tem distribuição F[X]
– Uniforme padronizada: U, pseudo-aleatórioMS-Excel/97: r´=mod[9821.r+0,211327;1], dado r inicialMatlab4: LCM r´=mod[16807.r+65539;232], dado r inicial
– Exponencial: F[t]=1-exp[-a.t]=u=>t=-1/a.ln[1-u] ou -1/a.ln[u],
– Normal padronizada: Z; Box&Muller: Z1,Z2 dados U1,U2Z1=(-2.ln[U1])
1/2.sen[2.p.U2]; Z2=(-2.ln[U1])1/2.cos[2.p.U2]
Normal[m,s]: X=m+Z.s; Lognormal: Y=exp[X]; ...
• distribuições truncadas: a,F[a] ... b,F[b] ... outros casos: censuradas ... restrições ...
– f[x] difícil: obter X de um g[x] conveniente (mesmo domínio)obter Û uniforme e aceitar com p=f[x]/(c.g[x]) (com f[x]<c.g[x])
– restrições difíceis: obter Û uniforme e obter X=F-1[U] ...se (restrição=ok) aceitar senão rejeitar (pode ser ineficiente ...)
18
Métodos de Simulação:
Distribuições Multivariadas-I
• Simulação de variáveis independentes, dado F:
P[{Xk}]=PkPr[Xk] ou f[{Xk}]=Pkf[Xk] (tb F)
• variáveis dependentes: Pr[X,Y]=Pr[Y/X].Pr[X]
exige o conhecimento das distr.condicionais ...
Pr[{Xi}]=Pr[XI/X1, X2, ..., XI-1]. ... .Pr[X2/X1].Pr[X1]– caso particular: distribuição normal multivariada pode ser obtida por
uma transformação linear X=L.Z+M, Z iid (L: Choleski ...)
– nos demais casos, decomposição é normalmente muito trabalhosa ...
• método alternativo: obter {Xk} dos Pr[Xi/{Xk\i}] ...
{Xk} de Pr[{Xk}] mas sem ter ou conhecer Pr[{Xk}]! – podem ser generalizados para muitas variáveis ...
– amostragem de Gibbs ou Metropolis-Hastings ...
Métodos de Simulação:
Distribuições Multivariadas-II
• amostragem de Gibbs: usa as distribuições condicionais– iteração de f[e1/e2] e f[e2/e1] converge para f[e1,e2], qq ponto inicial
(generalizado para múltiplas variáveis com Pr[ei/ei-1] até Pr[e1/eI] ...)
– Casella&George (1992) – TheAmStat, vol.46/no.3, pp.167-174 ...
• amostragem de Metropolis-Hastings: MCMC ou MC2
– de e0, iteração de êi=ei-1+D com perturbação D (e.g. D=Z~normal)
– se r>f[êi]/f[ei-1]>1 aceitar ei=êi senão aceitar ei-1=êi com p=r ou ei=ei-1
– i=i+1 e reiterar com novo ei-1 => {e} distribuição conjunta!
– Chib&Greenberg (1995) – TheAmStat, vol.49/no.4, pp.327-335 ...
Versões mais gerais (que a Random Walk Metropolis, acima):
- M-H Sampler: êi~q[e/ei-1], r>a com a=f[êi]/f[ei-1].q[ei-1 /e]/q[e/ei-1]
- M Sampler: êi~q[e/ei-1] simétrica, r>a com a=f[êi]/f[ei-1] ...
19
Métodos de Simulação:
Técnicas Especiais-I
• Método de Monte Carlo: dada amostra aleatória n
– Simular evento e obter I[efeito]=0 ou 1 ... p=SiIi/n
• Variações diversas: Las Vegas, Quase-Monte Carlo ...
• Amostragem por Importância: eventos raros
amostrar com distribuição g, G (não f, F ...)
– X=Y.f[Y]/g[Y] c/Y=G-1[U] tem distribuição F– pode-se amostrar com qq g,G e reescalar p/f,F
qualquer h[{X}] com f,F ~ h[{Y}].f[{Y}]/g[{Y}] com g,G
– Exemplo: proporção de caminhões nos acidentes > no tráfego p
amostra de simulação pode usar uma proporção q de caminhões maior
mas cada evento é simulado e seu efeito é escalado por p/q ...
• Obtém tb distribuição ... Precisão por re-amostragem!
Métodos de Simulação:
Técnicas Especiais-II
• Técnicas de redução de variância (da solução):
criar correlações negativas em cada caso id ...
– antitético: para cada m+e, usar m+/-e ...
ou rotações ortogonais m+t.e de m+e ...
– sistemático: para ê<1/n, usar i/n+ê, para i<n ...
(procedimento de quadratura randomizado)– sequências de Halton: em ]0,1[ definido por um no.primo k em ciclo
ex: ciclo 3=1/3, 2/3, 1/9, 4/9, 7/9, 2/9, 5/9, 8/9 ... de 0:+1/3,+1/9,+2/9, ...
com múltiplas variáveis: k1<>k2<>k3 ... mas mesmo no.pontos ...
randomizado: semente aleatória adicionada (mod 1 ...), se desejado ...
• Quando a simulação aleatória é um benefício?
• Pq não quadratura e sequências determinísticas?
20
Formulações Teóricas
• Modelo Estatístico Simples: univariado Pr[X=x]
bivariado Pr[X,Y], multivariado ... distr.geral
• Modelo Derivado: função determinística h[]
variável aleatória Y=h[X] ou Y=h[{X1,X2,...}]
• Modelo Condicional: Pr[Y/X] Pr[X,Y]/Pr[X]
múltiplo Pr[Y/{X1,X2,...}], {X}=var.exógenas
multivariado Pr[{Y}/{X}], {Y}=var.endógenas
– Estatístico: aleatoriedade=variação amostral ...
– Econométrico: processo de geração de dados ...
Aplicações
• Estimação: obtenção dos valores dos parâmetros
e das distribuições correspondentes ...
• Inferência: testes de hipótese sobre os valores
dos parâmetros e dos efeitos as variáveis ...
• Previsão: obtenção das melhores estimativas
para os valores esperados das variáveis ...
• Projeto: utilização da informação probabilística
(estimativas ou distribuições) para decisão ...
21
Modelos Probabilísticos Simples
• Ajuste direto de uma função probabilística
- univariada: f[x/s],s=parâmetros da distribuição
- multivariada: f[x,y/s...],distribuição conjunta ...
• Estimativa dos Parâmetros: métodos estatísticos
usuais (momentos, máxima verossimilhança ...)
– Análise dos Dados: exploratória/preliminar ...
– Testes de Aderência: Chi2, K-S, A-D, ...
– Análise dos Resíduos: adequação do modelo ...
• Variância residual, Significância dos parâmetros
Propriedades Gerais I
• Distribuição univariada: Pr[X=x] ou f[X=x]
– V[X]=E[(X-E[X])2]=E[X2]-(E[X])2
– E[(X-c)2]=V[X]+(E[X]-c)2 (mínimo para c=E[X])
– Z=a+b.(X-c)=>E[Z]=a+b.(E[X]-c) e V[Z]=b2.V[X]
– Y=g[X], com X~N[m,s2], Y~N[g[m],(g’[m])2.s2]
• Previsão ótima: Q[X]=c
– Mín E[(X-c)2]=>melhor previsor c é a média
– Mín E[| X-c |]=>melhor previsor c é a mediana
– Máx Pr[X=c]=>melhor previsor c é a moda
22
Exemplo:
• Obter média e variância de T´=c.T e T”=T+d,
para T com distribuição exponencial ou normal:
– E[T´]=c.E[T], V[T´]=c2.V[T] qq distribuição ...
E[T”]=E[T]+d, V[T”]=V[T] qq distribuição ...
– Função exponencial: f[T=t]=q.exp[-q.t], t>=0 ...
tem parâmetro de escala b=1/q, f[T=t]=1/b.exp[-t/b]
portanto, T´=c.T tb é exponencial, com escala c.b ...
– Função normal: f[T=t]=(2.p)-1/2/s.exp[((x-m)/s)2] ...
tem parâmetro de deslocamento (m) e de escala (s)
T´=c.T é normal (m,c.s), T”=T+d é normal (m+d,s)
Modelos Probabilísticos Simples –
Especificação ...
• transformação de variáveis:
– variáveis deslocadas: Y=X+c, distribuição é a mesma apenas se distribuição tem parâmetro de posição, mas sempre E[Y]=E[X]+c, V[Y]=V[X]
– variáveis escaladas: Y=c.X, distribuição é a mesma apenas se distribuição tem parâmetro de escala, mas sempre E[Y]=c.E[X], V[Y]=c2.V[X]
• transformação de distribuições:
– variáveis truncadas: f[Y/Y>c]=f[Y]/Pr[Y>c]
– variáveis censuradas: f[Y], Y>c, ou Y=0 ou c ...
– misturada: f=Siai.fi; composta: f[x]=fmofx[x/m]
23
Modelos Probabilísticos Simples –
Univariado, Discreto: Binomial
• K~Bi[p,n]: probabilidade de K=k ocorrências em n
tentativas de probabilidade elementar p (T=n-K, q=1-p)
– Pr[K=k/p,n]=n!/(n-k)!/k!.pk.(1-p)(n-k), k=0, 1, ... N
E[K]=p.n, V[K]=n.p.(1-p)<E[K] sub-dispersão– Bi[p,1]=Bernoulli Be[p], E[K]=p,V[K]=p.(1-p)
– Xi=Be[p], mesmo p, Y=Si(Xi)=Bi[p,n], Y1+Y2
Modelos Probabilísticos Simples –
Univariado, Discreto: Geométrica
• K~Ge[p]: probabilidade K=k sucessos, k=0,1,... (ou
N=n tentativas, N=K+1, n=1,...) até falha (p=Pr.falha)
– Pr[K=k/p]=p.(1-p)k, E[K]=(1-p)/p, V[K]=(1-p)/p2
– Pr[N=n/p]=p.(1-p)(n-1), E[N]=1/p, V[N]=(1-p)/p2
– Acumulada analítica: Pr[N<n]=1-(1-p)n , Pr[K<k]=1-(1-p)k-1
– sem memória: Pr[K=k/p,k>k*]=Pr[K=k-k*/p]
– Pode-se usar q=(1-p) ao invés de p (q=Pr.sucesso)
24
Modelos Probabilísticos Simples –
Univariado, Contínuo: Exponencial• Exponencial: tempo até a falha, taxa de falha r
– Exp[T=t/r]=r.e-rt, t>0, E[t]=1/r, V[t]=1/r2 (c.v.=1),– sem memória:
Exp[T=t/r,T>t*]Exp[T=t-t*/r]
– deslocada:
Expc[T=t/r,c]=r.e-r*(t-c), t>c
E[t]=c+1/r, V[t] =1/r2 (c.v.<1)
T-c é Exp (T não)
– T: soma de k estágios iid com duração exponencial Exp[r]
distribuição de Erlang Er[T=t/r,k]=rk.tk-1.e-r.t/(k-1)!,
E[T]=k/r, V[T]=k/r2, Exp[t/r]=Er[1,r]
– hipo-exponencial (cv<1): soma de estágios id com r diferente
2 estágios Ho[T=t/r1,r2]=r1.r2/(r2-r1).(e-r1.t-e-r2.t)
– hiper-exponencial (cv>1): processos id alternativos (não sequenciais)
2 processos: He[T=t/]=a1.e-r1.t+a2.e
-r2.t com a1+a2=1
Modelos Probabilísticos Simples –
Univariado, Contínuo: Gamma• Gamma: generalização importante ...
– Gm[M=m/a,b]=ba.ma-1.e-b.m/G[a], m>0
E[M]=a/b,V[M]=a/b2, Exp[r]=Gm[1,r]– G1~Gm[a1,b],G2=Gm[a2,b], G1+G2~Gm[a1+a2,b]
– Erlang a=inteiro, G[a]=(a-1)!; Chi2[n]~Gm[1/2,n/2]
– Percentis de Gm[a,b] nas Tabelas da Chi2: k=2.a, 2.b.M=C
25
Modelos Probabilísticos Simples –
Univariado, Discreto: Poisson
• Poisson: K~Po[m]: probabilidade de K=k eventos,
dado a média m=r.T (taxa r, período T)
– Po[K=k/m]=e-m*mk/k!, k=0,1,2,...
E[K]=m, V[K]=m, =E[K], equi-dispersão !?!• K~Bi[p,n] com m=p.n=cte e n grande, então K~Po[m]
• Binomial Y=Si(Bi) com N~Po[m], então Y~Po[m.p]
• K~Po[m], intervalo entre eventos H~Exp[m] e E[H]=1/m
• Eventos raros, ocorrências independentes:
r=cte, m=r.T, Pr[K=1/r.dt]~r.dt, Pr[K=+1/r.dt]~0
• se r=r[t], K~Po[R], com R=St(r[t]) em T ...
• K~Po[r], Z=K+cte não é Poisson! Z~gPo[r,c], K=Z-c~Po[r]
• K1~Po[r1] e K2~Po[r2], K=K1+K2~Po[r1+r2]
se e somente se K1 e K2 são independentes ...
• Percentis de Po[m] nas Tabelas da Chi2: ...
Modelos Probabilísticos Simples –
Univariado, Discreto: Pascal• Pascal (negativa binomial): probabilidade de K=k
sucessos até r falhas, k=0,1,... (ou N=n tentativas, N=r+K, n=r,r+1, ...), p=prob.falha (q=1-p, de sucesso )
– NB[K=k/p,r]=(r+k-1)!/(r-1)!/k!.pr.(1-p)k eE[K]=r.(1-p)/p, V[K]=r.(1-p)/p2 >E[K], ou
– NB[N=n/p,r]=(n-1)!/(n-r)!/(r-1)!.pr.(1-p)n-r e, E[N]=r/p,V[N]=r.(1-p)/p2 >E[N], sobre-dispersão
– Gerada por K~Po[M], com M=m~Gamma[a,b] onde p=1/(1+b), n=a da distribuição de m
– K=K1+K2+...Kr, Ki~Ge[p], sucessos entre as falhas i-1 e i;
– se K1~NB[p,r1], K2~NB[p,r2] independentes K1+K2~NB[p,r1+r2]
– K~NB[p,r], K+cte não é NB ! Z~gNB[p,r,c], K=Z-c~NB[p,r]
– pode ser generalizada para r não inteiroonde (r+k-1)!/(r-1)!=G[r+k]/G[r], dado que G[k]=(k-1)!, k inteiro
– ...
26
Modelos Probabilísticos Simples –
Univariado, Contínuo: Normal
• Normal: para soma de efeitos independentes
– N[m,s]: f[X=x]=1/(2p)1/2/s.exp[-1/2.((x-m)/s)2]; simétrica
E[X]=m;V[X]=s2; F[x]=Pr[X<x] não tem forma analítica ...
– forma padrão: Z=(X-m)/s; E[Z]=0, V[Z]=1 ... simétrica
– tabelas: f[z]=1/(2p)1/2.exp[-z2/2]; f[z]=f[-z]; F[z]=1-F[-z]; z>0
– aproximação: F[-z]~1/(2p)1/2/z.exp[-z2/2]; z>0; F[0]=1/2
– X1~N[m1,s1];X2~N[m2,s2]; X1+X2~N[m;s] da soma (qq r12)
Modelos Probabilísticos Simples –
Univariado, Contínuo: Log-Normal
• Lognormal: produto de efeitos independentes
– Y~LN[my,sy] se X=lnY~N[mx,sx]; Y>0; assimétrica
E[Y]=my,V[Y]=sy2; sy
2=ln[1+nx2];my=ln[mx]-sy
2/2
– inversão: mx=exp[my+sy2/2];sx
2=mx2.(exp[sy
2]-1)]
– Y1~LN[m1,s1];Y2~LN[m2;s2]; Y1.Y2~LN[m,s] ...
– Y~LN[m,s], Y+cte não é LN ! Z~LN[m,s,c], K=Z-c
27
Modelos Probabilísticos Simples –
Univariado, Contínuo: Chi2, F, T• Chi2[k]: soma dos quadrados de k termos normais
padronizados (Chi2=Si(Zi)2)
– f[c/k]=1/2*(c/2)k/2-1.exp[-c/2]/G[k/2], C>0 ... Gm[k/2,1/2] E[C]=k, V[C]=2.k, k=número de graus de liberdade de C
– Soma de k termos quadráticos Z, Z~N[0,1] independentes
– Distribuição da variância amostral (com k=n-1)
• F-Snedecor: se C1~Chi2[k1], C2~Chi2[k2] independentes, R=(C1/k1)/(C2/k2)~F[k1,k2]– f[R/k1,k2]=c[k1,k2].rn/2-1/(k2+k1.r)k1/2+k2/2, E[R]=k2/(k2-2), ...
onde cte[k1,k2]=G[k1/2+k2/2]/G[k1/2]/G[k2/2].k1k1/2.k2
k2/2
– Percentis de Bi[p,n] nas Tabelas F: ...
• T-Student: se Z~N[0,1] e C~Chi2[k] independentes, T2=Z2/(C/k), T~T[k], E[T]=0, V[T]=k/(k-2) ...
– Distribuição da razão média/variância estimada da média;
– T[k] tende para Z com k grande (>20 ou 30...)
Modelos Probabilísticos Simples –
Univariado, Contínuo: Extremos
• Weibul: tipo III para Y=mín{Xi}, i=1, ... n, X>d
– se os n Xi são iid, n suficientemente grande, x>d, com
Fi[X]=K.(x-d)k, K>0, k>0 então F[Y]=1-e[-(y-d)k/(c-d)k]
E[Y]=d+(c-d)*G(1+1/k),V[Y]=(c-d)2(G[1+2/k]-G2[1+1/k])– para máximos com X<d: F[Y/a,b]=e[-(d-y)k/(d-c)k],
E[Y]=... , V[Y]=... (pouco usada)
– em geral, d=0;
em particular W[Y/d=0,k=1,c]=Exp[c]
– para variáveis de valor mínimo,
se YI é tipo I, então
YIII com FZIII[z/k,c]=FZI[ln[x-d]/a,b] é tipo III
com a=k e b=ln[c-d]
28
Modelos Probabilísticos Simples –
Univariado, Contínuo: Gumbel, ...
• Gumbel: tipo I para Y=máx{Xi}, i=1, ... n, X qq
– se os n Xi são iid, n suficientemente grande, com
Fi[X]=1-e-g[x], para g qualquer, então F[Y/a,b]=e[-e-a.(y-b)]
E[Y]=b+g/a, g=0,577 (cte de Euler), V[Y]=p2/(6.a2)
– para mínimos: F[y/a,b]=1-e[-e-a.(b-y)], E[Y]=b-g/a, V[Y]=p2/(6.a2)
– Frechet: tipo II, Fi[X]=1-A.x-k, positivo ... pouco utilizada ...
Modelos Probabilísticos Simples –
Univariado, Contínuo: Logística
• Logística: limitada no intervalo [0,1] ...
– Z em [0,1]: p[Z<z/a,b]=ea.(z-b)/(1+ea.(z-b))=1/(1+e-a.(z-b)), a>0
E[Z]=b, V[Z]=p2/(3.a2), p[z]=a.e-a.(z-b)/(1+e-a.(z-b))2
– se Y1 e Y2 são Gu[a,b] iid então Z=Y1-Y2~Lo[3/p2,0] ...
– boa aproximação da Normal com mesma média e variância
29
Modelos Probabilísticos Simples –
Univariado, Contínuo: Beta
• Beta: Be[X/a,b], X limitada no intervalo [a,b] ...
– Z em [0,1]: f[Z/r,s]=B[r,s].(z)r-1.(1-z)s-1, r>0, s>0,
B[r,s]=G[r+s]/(G[r].G[s]), F[Z/r,s]=I[z,r,s] I=B incompleta,
E[Z]=r/(r+s), V[Z]=r.s/(r+s)2/(r+s+1),– X em [a,b]: f[X/r,s]=B[r,s].(x-a)r-1.(b-x)s-1/(b-a)r+s-1,
X=(b-a).Z+a, E[X]=(b-a).E[Z]+a, V[Z]=(b-a)2.V[X]
– uniforme se r=1, s=1, unimodal se r>1, s>1;
U se r<1, s<1, J se r>=1, s<1, J invertido se r<1, s>=1, ...
– n dados independentes de um Y em ordem crescente,
X=proporção entre yi e yn-j+1 é Be[r,s] em [0,1]
com r=n-i-j+1 e s=i+j
– X1~G[a1,b] e X2~G[a2,b] são independentes,
X1/(X1+X2)~Be[a1,a2]
– Z~Be[r=a,s=b] se e somente se (1-Z)~Be[r=b,s=a]
Modelos Probabilísticos Simples –
Univariado, Uniforme/Triangular
• Uniforme, Discreta: inteiros entre i e j, inclusive
– Pr[K]=1/(j-i+1), F[K]=(k-i+1)/(j-i+1), U~Be[1/2]E[K]=(i+j)/2, V[K]=((j-i+1)2-1)/12
• Uniforme, Contínua: U[a,b] dado intervalo [a,b]
– f[U]=1/(b-a), simétrica/uniforme, F[U]=(u-a)/(b-a)E[U]=(a+b)/2,V[X]=(b-a)2/12, base é a U[0,1]
• Triangular, Contínua: intervalo [a,b], pico em c
– f[X]=2/(b-a).(x-a)/(c-a) ou 2/(b-a).(b-x)/(b-c)F[X]=(x-a)2/(b-a)/(c-a) ou =1-(b-x)2/(b-a)/(b-c)E[X]=(a+b+c)/3,V[X]=(a2+b2+c2-a.b-a.c-b.c)/18
30
Estimativas Não Paramétricas
• como estimar f[] ou F[], sem um modelo dado?
• procedimentos usuais:
- obter função de distribuição F empírica (EDF):
com xi em ordem crescente Fi=F[xi]=i/n ...
- histograma de frequências fi em ]xi-1;xi] (Edf)
agregação dos dados e definição das classes ...
• qual o problema da EDF? flutuação fi implícito
• qual o problema da Edf? saltos na distribuição,
perda de informação, classes com zeros, ...
• Histogramas alisados podem estimar f melhor !
• Estimador nuclear de Rosenblatt-Purzen para f:
trocar 1[-1/2<(xi-x)/h<1/2] por K[u], ui=(xi-x)/h
tal que K[] seja contínua e satisfaça ∫K[u].du=1
e fazer fi[x]=SiK[ui]/h/n, com largura de passo h
• K[]: função nuclear
(peso baseado em distância),
diversas formas usuais
• h variável, K adaptativo, K recursivo, ...
Estimativas Não Paramétricas
31
Distribuições Misturadas
• distribuição com combinação de K classes:
f[x]=Skpk.f[x/{qk}], parâmetros distintos
(ou f[x]=Skpk.fk[x], funções específicas !)
• deve-se estimar tb os parâmetros {pk}
(proporção da classe k), além dos {qk}
(ou parâmetros das funções específicas)
• as funções não-paramétricas nucleares podem
ser vistas como misturas saturadas
(número de classes=número de observações)
Estimação: Algoritmo EM
• EM (Experança&Maximização): para misturas
– dado o número de classes K, inicializar {pk} e {qk}
– Repetir até convergência: em cada iteração n fazer:– Estimar f[{xi}]=Skpk.f[{xi}/{qk}] para cada observação i;
– Determinar verossimilhança lki=pk.f[{xi}/{qk}]/f[{xi}] de (k,i);
– Atualizar pk=(Silki)/n (ou atribuir i à classe k* de maior lki de i );
– Atualizar cada qk com peso lki/pk (ou apenas i’s atribuídos a k).
• Pode-se testar diversos K’s e selecionar o
melhor ou usar algum procedimento automático
(mistura adaptativa: limite de distância=>classe)
32
Modelos Simples Multivariados
(simultâneos ou não)
• Distribuição conjunta de variáveis relacionadas:
Pr[{Xk}]=Pr[X1,X2,...] ou f[{Xk}]=f[X1,X2,...]
• Dependência/Independência probabilística:
distribuição condicional: P[A/B]=P[A,B]/P[B]
A_|_B: independência se P[A/B]=P[A], qq B=b
• Endogeneidade/Exogeneidade: modelo/escopo
Variáveis Endógenas, Dependentes ... internas
Variáveis Exógenas, Independentes ... externas
(explicativas, determinadas “externamente” ...)
Propriedades Gerais II
• Distribuição conjunta: Pr[X,Y] ou f[X,Y]
– C[X,Y]=E[X.Y]-E[X].E[Y]
– Z=a+b.(X-c)+d.(Y-e)=>
E[Z]=a+b.(E[X]-c)+d.(E[Y]-e),
V[Z]=b2.V[X]+d2.V[Y]+2.b.d.C[X,Y]
– Z1=a1+b1.(X-c1)+d1.(Y-e1),
Z2=a2+b2.(X-c2)+d2.(Y-e2)=>
C[Z1,Z2]=b1.b2.V[X]+d1.d2.V[Y]
+(b1.d2+b2.d1).C[X,Y]
– Y=g[X],{X}~N[m,S], {Y}~N[g[m],C.S.C’],C=g’[m]
33
Modelos Probabilísticos Simples –
´Bivariado´, Discreto: Multinomial
• Multinomial {ki} sucessos em n tentativas
– Pr[{ki}/{pi},n]=n!.Pi(piki/ki!), Siki=n
E[Ki]=n.pi, V[Ki]=n.pi.(1-pi), sub-dispersão
C[Ki,Kj]=-n.pi.pj, correlação negativa qq i,j
E[Kr/{kl<>i}]=pi.(n-Sl<>ikl)/(1-Sl<>ipl), linear ! – qualquer reagrupamento dos {ki}é multinomial
exemplo: kr=Si<ki e ks=Si>ki é binomial com pr=Si<pi
(distribuição truncada é multinomial tb ...)
– super-dispersão gerada por heterogeneidade dos {pi}...
• Bernoulli: uma tentativa, cada xi é binário {0,1}
– Pr[{xi}/{pi}]=Pipixi.(1-pi)
(1-xi), Sipi=1
E[xi]=pi, V[xi]=pi.(1-pi), C[xi,xj]=-pi.pj
Modelos Probabilísticos Simples –
´Bivariado´, Discreto: Pascal
• Negativa Multinomial: {ki} sucessos até r falhas
– Pr[{ki}/r,{pi}]=G(r+Siki)/G[r].Pi(Piki/ki!)./Q
r+Siki
com Q=1+SiPi, onde pi=Pi/Q para o evento i,
E[Ki]=r.(1-pi)/pi,V[Ki]=r/pi.(1-pi), sobre-dispersão
r2[Ki,Kj]=Pi/(1+Pi).Pj/(1+Pj), correlação positiva
E[Kr/{kl<>i}]=Pi.(r+Sl<>ikl)/(1+Sl<>iPl), linear !
– tb N=K+r, n=r+Siki tentativas (incluindo as r falhas)
– distribuição marginal dos Ki é NB[pi,ri], ri=r+Sl<>iE[Kl]
– distribuição condicional de {ks}, dado Si>skl=s, é NM[{ks}/r+s,{ps}]
34
Modelos Probabilísticos Simples –
Bivariado, Contínuo: Normal
• média e matriz de correlação qq: m1, m2, s12, s2
2, r12
(variância e correlação/covariância c12=r12.s1.s2)
– f[X1,X2]=f[Z1,Z2]/(s1.s2), com Z1,Z2 padronizadas
f[Z1,Z2]=1/(2p.(1-r2)1/2)/exp[-1/2. (z12+z2
2-2.r.z1.z2)]
F[Z1,Z2] tb não tem forma analítica, tb “simétrica” ...– {y1,y2}~N[m1,m2,s11,s22,s12] dependentes
{y2}~N[m2,s22], {y1}~N[m1/2=a0-a1/2*y2,s1/2]
a0=m1-a1/2.m2, a1/2=s12/s22, s1/2=s11-a1/2.s12
função regressão y1 por y2: E1[y1/y2]= r1[y2] é linear
função cedástica: V1[y1/y2]= c1[y2] é homocedástica
– s12=0 => {y1,y2} independentes ... (não é geral)
– ...
Modelos Probabilísticos Simples –
Bivariado, Contínuo: Exp
• Exponencial bivariada: exemplo de distribuição
multivariada com regressão não linear implícita
– f[x1,x2/a]=((1-a.x1).(1-a.x2)-a).exp(x1-x2-a.x1.x2)
(existem diversas variações; esta é a de Gumbel ...)– coeficiente de correlação é r12=∫Xexp[x]/(1+a.x)-1
– E[xi/xj=x]=(1+a+a.x)/(1-a.x)2, não linear em x ...
– V[xi/xj=x]=((1+a+a.x)2-2.a2) /(1-a.x)4, heterocedástica ...
– f[x1/a],f[x2/a], f[xi/xj ,a] são todas exponenciais univariadas
– E[x1]=E[x2]=a, V[x1]=V[x2]=a2 ... mas pode-se escalar x ...
35
Exemplo: Intervalo entre Veículos
(Luttinen, 1996 – Stat.Analysis of H)
• Número de chegadas N, período de tempo T
• intervalo H entre chegadas: média mH=T/N ...
• modelos de distribuição usuais:
- Exponencial E ou Exponencial deslocada D:
f[H=h]=q.exp[-q.h], P[H>h]=exp[-q.h], m=1/q
D=E+c, portanto m=1/q+c (variância igual ...)
- Cowan: mistura de distribuições (dicotômica)
M3: p em pelotão: H=c; q=1-p livre H=E+c ...
- Hiper-Exponencial, Schuhl/Branston ...
Exemplo: Intervalo entre Veículos
(Luttinen, 1996 – cont.)
• Análise Exploratória dos Dados:
- diversos procedimentos e diversos aspectos
(homogêneo, estacionário, ...
variáveis condicionantes...)
- estimativa não-paramétrica
usada como exploratória ...
- evita procedimentos
usuais mas discutíveis
(exemplo: “outliers” ...)
36
Exemplo: Intervalo entre Veículos
(Luttinen, 1996 – cont.)
• Exponencial ou Exponencial deslocada:
• Gamma/Erlang, Log-normal, ...
Exemplo: Intervalo entre Veículos
(Luttinen, 1996 – cont.)
• Cowan (M3, M4) ou Branston (~S-P):
• Hiper-exponencial, M/D/1, M/G/1, ...
37
Modelo Probabilístico Derivado
• Função determinística Y=h[X], X var.aleatória
• P[y]=SiI[y=h[xi]].Pr[xi], f[y]=∫I[y=h[x]].f[x].dx
se h é monotônica, f[y]=|h-1[y]|.f[x=h-1[y]]
• Univariada, múltipla: Y=h[{Xi}] =h[X1,X2,...]
P[y] com I[y=h[{xi}]] e f[y] com I[y=h[{x}]],
h monotônica, f[y]=∫|xh-1[y,z]|.f[x=h-1[y,z]].dz
• Multivariada: Y1=h1[{Xi}],Y2=h2[{Xi}] ... I[{}]
{Yk=hk[{ Xi}]}, i=1,...N , k=1,...K (K=1,2,... N)
f[{Yk}]=∫|kh-1|.f[{Xk=h-1] ... h-1[{Yk},{Xi>K}] ...
Modelo Derivado
• Aproximações:
desenvolvimento de Taylor ...
... de primeira ordem (FOM)
... de segunda ordem (SOM) ...
... misto, com mx e sx (FOSM) ... usual ...
ao redor do ponto
... mx ou zx=mx+z.vx
... x* conveniente (AFOSM) ... melhor ...
• precisão X simplicidade ...
38
Aproximação de Momentos-I
• Y=h[X]=>Y~h[mx]+h’[mx].(X-mx), mx=média
– E[Y]=my~h[mx] e V[Y]=s2y~(h’[mx])
2.s2x
aproximações de primeira ordem em mx
– Y~h[mx]+h’[mx].(X-mx)+1/2.h’’[mx]*(X-mx)2 ...
– E[Y]~ h[mx]+ 1/2*h’’[mx].s2x
– mas V[Y]~(h’[mx])2.s2
x ...
• em x*, genericamente: Y~h[x*]+h’[x*].(X-x*)
– E[Y]~ h[x*]+h’[x*].(mx-x*), V[Y]~(h’[x*])2.s2x
– Y~h[x*]+h’[x*].(X-x*)+1/2.h’’[x*].(X-x*)2 ...
– E[Y]~h[x*]+h’[x*].(mx-x*)+h’’[x*].(s2x+(mx-x*)2)
– mas V[Y]~(h’[x*])2.s2x ...
Aproximação de Momentos-II
• Y=h[{Xi}] ~h[{x*}]+Si(ih[{x*}].(Xi-x*i)) ...– ...+1/2.Sij(
2ijh[{x*}]*(Xi-x*i).(Xj-x*j))+...
– E[Y]~ h[{x*}]+Si(ih[{x*}].(mi-x*i)) ...– ... +1/2.Sij(
2ijh[{x*}]*(rij.si.sj+(mi-x*i).(mj-x*i))) ...
– V[Y]~Sij(ih[{x*}].jh[{x*}].rij.si.sj) ...– V[Y]~Si(ih[{x*}]2.s2
i) ... se {Xi} independentes
• {Yk=hk[{Xi}]}, dependência comum de {Xi} ...
– E[Yk]~ hk[{x*}]+Si(ihk[{x*}].(mi-x*i)) ...– ... +1/2.Sij(
2ijhk[{x*}].(rij.si.sj+(mi-x*i).(mj-x*i))) ...
– Skl[{x*}]=Sij(ihk[{x*}].jhl[{x*}].Sij) ... – Skl[{x*}]=Si(ihk[{x*}].ihl[{x*}].s2
i) , se {Xi} ind.
39
Exemplo: Acidente em Curva
• Condição de falha: derrapagem, tombamento, ...
• Derrapagem: V2/R>(f+e).g, h[V,R,f,e]<0
h[V,R,f,e]= (f+e).g-V2/R<0 determinística !!!
variáveis aleatórias: V ... f? ... R? ... e?
- projeto geométrico: R,e dados V,f
- projeto de pavimento: f dados R,e,V
- controle de velocidade: V dados R,e,f
• Tombamento: V2/R>(t/2/h+e).g, h’[V,R,h,t]<0
carga: {dxG,dyG}=m/(M+m).{xm-xG,ym-yG}
Exemplo: Acidente em Curva
- velocidade e aderência aleat.,ind.
• h[V,f/R,e]=(f+e).g-V2/R, com V*=mV e f*=mf
• Vh[{m}]=-2.mV/R, fh[{m}]=g,
2VVh[{m}]=-2/R, 2
ffh[{m}]=0,2fvh[{m}]=0
• E[h]~(mf+e).g-mV2/R ... FOM
... -2.mV/R.(V*-mV)=0 ... +g.(f*-mf)=0
=(mf+e).g-mV2/R-1/R.s2
V ... FOSM
• V[h]~4.mV2/R2.s2
V+g2.s2f ... FOM
• índ.confiabilidade: b=E[h]/(V[h])1/2 ... Pf~F[-b]
• melhor escolher V* e f* próximo da falha ...
40
Exemplo: Modelos de Projeto com
Restrições de Confiabilidade
• Aproximação útil em Modelos de Projeto
Máx W=B-C s.a Pf<Plim (por modo ou tipo)
• Exemplo: Projeto
Ótimo de Veículos
baseado em
confiabilidade
(RBDO-
Reliability-Based
Design Optimization)
...
Aplicação: Análise de Confiabilidade
• Falha: Z=R-S<0, variáveis ~ distribuição normal
margem mc=mR-mS; s2c= s2
R+s2S-2.rRS.sR.sS !
índice b=m/s; probabilidade de falha: Pf=F[-bc]
• Para reduzir o erro de aproximação:
– variáveis padronizadas Z (sem variação de escala)
– aproximação em x* melhor que em mx ...
– aproximação normal em x*: dados f* e F* em x*
m’=x*-s’.F-1[F*] e s’=f[F -1[F*]]/f*, f,F normais
• Ponto Mais Provável de Falha: x* => mín bc
41
Modelo Probabilístico Condicional
• Enfoque Descritivo X Estrutural:
– Enfoque Descritivo: ocorrência na população {Y,X}
– Enfoque Estrutural: relações estáveis/transferíveis
• Covariáveis: f[X,Y]=>Pr[Y/X]=> E[Y/X], {X}
relações relevantes, salvo se X,Y independentes
• Informação descritiva: variáveis, associações, ...
• Relações estruturais: relações de causa/efeito ...
estrutural=estável (deve estar presente sempre)
incidental=eventual (não tem causa relacionada)
Propriedades Gerais III
• Distribuição condicional: P[Y/X] ou f[Y/X]– EY[Y/X]=MY[X], VY[Y/X]=VY[X] para cada X=x em fY[Y/X=x]
– EX[X/Y]=MX[Y], VX[X/Y]=VX[Y] para cada Y=y em fX[X/Y=y]
– E[Y]=EX[EY[Y/X]]=EX[My[X]]
– V[Y]=VX[EY[Y/X]]+EX[VY[Y/X]]
=VX[MY[X]]+EX[VY[X]]
– Z=h[X,Y]=>E[Z]=EX[Z[X]]=EX[EY[Z/X]]
– EXY[X.Y]=EX[X.EY[Y/X]]=EX[X.MY[X]]
– C[X,MY[X]]=E[X.MY[X]]-E[X].E[MY[X]]=C[X,Y]
• Previsão: Mín E[(Y-c[X])2]=>c[X]=MY[X] ...
42
Decomposição Sequencial
• Sempre vale: f[1,2]=f[1/2].f[2], recursivamente
tb vale f[1,2,3,...]=f[1/2,3,...].f[2/3,...].f[3/...]
• Não trivialidade: f[1,2,3]=f[1/2,3].f[2,3] tb ...
• função regressão y1 por y2: E1[y1/y2]= r1[y2]
função cedástica: V1[y1/y2]= c1[y2], qual r[], c[]?
• r[] e c[] implicítas na relação multivariada
{y1,y2}~N[m1,m2,s11,s22,s12]: r[] linear ... c[] cte ...
{y2}~N[m2,s22], {y1}~N[m1/2=a0-a1/2.y2,s1/2]
a0=m1-a1/2.m2, a1/2=s12/s22, s1/2=s11-a1/2.s12
Independência Condicional
• 1_|_2/x: f[1,2/x]=f[1/x].f[2/x] ou f[1/2,x]=f[1/x]
• Markoviano: f[xt+1/xt,xt-1,xt-2,...]=f[xt+1/xt]
• Se {y1,y2} são independentes dado x, então
quaisquer h1[y1] e h2[y2] tb são (dado x)
• sem f[y/x]=f[y] tb pode ocorrer E[y/x]=E[y]
(1a.ordem) ou V[y/x]=V[y] (2a.ordem) ...
• {y1,y2,x}~N[m1,m2,mx,s11,s12,s1x,s22,s2x,sxx]
dependência de {y1,y2} pode ser induzida pela
dependência de x apenas (inversa de S: w12=0)
43
Dependência Estatística:
Essencial x Eventual
• Dependência essencial deve decorrer de
relações reais de causalidade direta ...
• Dependência eventual pode decorrer de relações
de contaminação (covariáveis comuns ...)
• Dependência estatística pode medir ambas!
Dependência estatística pode perder ambas!
• Decomposição sequencial: f[1,2]=f[1/2].f[2]
Iteração das médias: E12[y1]=E2[E1[y1/y2]]
E12[h[y1,y2]]=E2[E1[h[,]/y2]], qualquer h[,]
Confundimento
• Y=f[X1,X2,...], com X1,X2 correlacionadas
como distinguir o efeito de X1 ou X2 em Y?
• Se X1,X2 observados: existe método robusto?
- métodos de análise estatística usuais (MQ,ML)
- dados adequados: variação “transversal”
(ausência de multicolinearidade, ... grau ...)
• Se apenas X1 observado (ou X2 omitido): ...?
- métodos de análise usuais: resultados viesados
- erro=variáveis não observadas ... mesmo risco!
44
Mapa de Conhecimento
(Diagrama Causal ou de Influência)
• Variáveis e Dependência Direta
• Independência Condicional !!!
P[X5/X2,X3,X4]=P[X5/X4].P[X4/X2,X3]
X1 X2
X3
X4 X5confundimento
interdependência
dependência (direta)
Mapa de Conhecimento-II
• Relações
Sequenciais
• Relações ´substitui´ simultaneidade
Recursivas por defasagens sucessivas
X2
X3 X4 X5
X2
X3 X4
X2
X3 X4
Grafo Direcionado Acíclico
(DAG-Directed Acyclic Graph)
45
Redes Bayesianas ...
• Redes Bayesianas são a representação mais
usual dos mapas de conhecimento e existem
procedimentos bastante gerais de análise, pelo
menos para o caso de relações acíclicas (DAG)
• nós: representam as variáveis do problema ...
links: representam as relações entre variáveis,
no sentido da dependência condicional ...
• raciocínio estrutural: no sentido causa-efeito ...
raciocínio evidencial: no sentido efeito-causa !
BN: Exemplo Simples
(baseado em Neapolitan, 2004)
• estrutura sequencial: X, Y, W, Z var.binárias
X
Y
W
Z
conhecimento:
p[x1]=0,40
(p[x2]=1-p[x1])
p[y1/x1]=0,90
p[y1/x2]=0,80
p[w1/y1]=0,70
p[w1/y2]=0,40
p[z1/w1]=0,50
p[z1/w2]=0,60
inicialmente:
p[x1]=0,40
(p[x2]=0,60)
p[y1]=
=p[y1/x1].p[x1]+
+p[y1/x2].p[x2]
=0,84
(p[y2]=0,16)
p[w1]=0,652
(p[w2]=0,348)
p[z1]=0,5348
(p[z2]=0,4652)
X
Y
W
Z
se x1 observado
p[x1]=1,0
(p[x2]=0,0)
p[y1/x1]=0,90
(p[y2/x1]=0,10)
p[w1/x1]=
=p[w1/y1].p[y1/x1]+
+p[w1/y2].p[y2/x1]
=0,70.0,90+0,40.0,10
=0,652
(p[w2/x1]=0,348)
p[z1/x1]=
=0,50.0,70.0,90+
+0,50.0,40.0,10=0,734
(p[z2/x1]=0,266)
X
Y
W
Z
se y1 observado
p[x1/y1]=
=p[y1/x1].p[x1]/p[y1]=
0,90.0,40/0,84=0,4286
(p[x2/y1]=0,5714)
p[y1]=1,0
(p[y2]=0,0)
p[w1/y1]=0,70
(p[w2/y1]=0,30)
p[z1/y1]=
=0,5.0,7+0,6.0,3=0,53
(p[z2/y1]=0,47)
46
Propriedades Gerais IV
• Previsão: Mín E[(Y-c[X])2]=>c[X]=MY[X] ...
• Y=MY[X]+EY[X] sempre EY[X]~erro aleatório
sempre vale que M[EY[X]]=0 e M[EY]=0 se a função
MY[X] é corretamente especificada !
• se MY[X] é incorretamente
especificada pode-se
ter M[EY[X]]<>0
mesmo se M[EY]=0 ...
(Greene/2005: LS e
NLS com intercepto ...)
Especificação
• Hipóteses funcionais (h[]): relação condicional
• Hipóteses probabilísticas (f[]): Distribuição-D,
dependência-M, heterogeneidade-H
• modelo linear, erro aditivo: h[Y/X]=q.X+E ...
modelo não-linear, erro aditivo: h[]=g[X,q]+E
modelo não-linear geral: h[X,q,E]
• erros IID: independência/homogeneidade f[E] ...
erros ID: independência mas fi[] ou f[qi]
erros correlacionados entre observações f[{Ei}]
47
Transformação Linear
– Formas Funcionais
• Especificação Log-Log, Log-Lin ou Lin-Log:
Y=A.Xb=>ln[Y]=a+b.ln[X], a=ln[A] ... Log-Log
Y=A.eb.X=>ln[Y]=a+b.X, a=ln[A] ... Log-Lin
eY=A.Xb=>Y= a+b.ln[X], a=ln[A] ... Lin-Log
Transformação Linear
– Formas Funcionais
• Especificação Inv-Lin, Lin-Inv, Inv-Inv (ou Inv2):
1/(Y-c)=a+b.X, Y=a+b/(X-d), não linear em c,d
1/(Y-c)=a+b/(X-d) ou Y=c+1/(a+b/(X-d))
• Box-Cox: Y(c)=(Yc-1)/c, c<>0, ou ln[Y], c=0 ...
c=1, linear, =2 quadrática, =-1, inversa, ...
Y(c) =a+b.X(d), tb X(d) ..., não linear em c,d ...
48
• descontinuidade
de intercepto:
• descontinuidade
do coeficiente:
Transformação Linear
– Formas Funcionais
Transformação Linear
– Formas Funcionais
• Especificação com ponto ideal: Y=a.(X-c)2+d
Y=a.X2-2.a.c.X+a.c2+d=b0+b1.X+b2.X2, Xi=c
b0=a.c2+d , b1=-2.a.c , b2=a,
c=-(b1/b2)/2, d=b0-b2.(Xi)2
• Especificãções polinomiais: grau=no.zeros
(raizes podem ser reais ou complexas ...)
pontos extremos, pontos de inflexão ...
• Especificações periódicas: em ciclos
com amplitude fixa ou variável ...
com período fixo ou variável ...
49
Transformação Linear
– Formas Funcionais
• Box-Cox: Y(c)=(Yc-1)/c, c<>0, ou ln[Y], c=0 ...
c=1, linear, =2 quadrática, =-1, inversa, ...
equivale a Yc para c<>0 e ln[Y] para c=0 ...
• Pregodin: Yc=X.a+E, dado um valor inicial c0, usar
Yc~Yc0+(c-c0).Yc0.ln[Y]=>Yc0~Yc-(c-c0).Y
c0.ln[Y], ou
seja, Y’=X.a+Y”.o+E, com Y’=Yc0 e Y”=Yc0.ln[Y],
permite estimar ô=c-c0 e ajustar c=c0+ô (iterar até ô~0)
• Y(c) =a+b.X(d), tb X(d) ..., não linear em c,d ...
• Estimativa por ML ou variar c e selecionar c* (melhor)
• alternativas: Box-Tukey (), ...
Viés de Transformação de Variáveis
• valores esperados: E[f[x]]=0<>f[E[x]]=0
• diferenças de valores: mín |e-ê| <> mín |f[e]-f[ê]|
• exceto se f é linear, resultados serão diferentes
• tb se variável discreta é substituída por contínua
• pode-se usar correção de viés de transformação:– f[x]=exp[x]~ea.(1+(x-a)+(x-a)2/2+... (x-a)n/n!)
– f[x]=ln[x]~ln[a]+(x-a)/a-(x-a)2/(2.a2) ... (-1)n+1.(x-a)n/(n.an)
– f[x]=1/x~1/a-1/a2.(x-a)+1/a3.(x-a)2 ... (-1)n.(x-a)n/an+1
• correção d tal que mín |f[e+d]-f[ê+d]|~mín |e-ê| !
50
Referências Básicas:
• Trivedi/2001, cap.1a5 ... ou outra fonte usual
Benjamin&Cornell/1971, cap.2&3 …
... Transformadas: tb Kleinrock/1975,v.1/Ap.I
... Simulação: Law&Kelton/2000, cap.6, 8a11
• Modelos de Distribuição: Trivedi/2001,cap.2e3
... Johnson&Kotz, v.1,2,3, &Balakrishnan, v.4
• Modelos Derivados: Ang&Tang/1984,v.II/cap.6
... tb Haldar&Mahadevan/2000, cap.6a8 ...
Modelos Condicionais:
... assunto das próximas aulas ...
51
Dispositivos de Contenção Viária
Barreiras/Defensas/Atenuadores
• Critérios para instalação de barreiras e defensas
ou de atenuadores de impacto ...
ou (melhor) para áreas livres, áreas de escape ...
• Acidentes menos graves (+ ou - acidentes)
saídas de pista são eventos raros, aleatórios
choques ou quedas são acidentes raros ...
• Probabilidade de saída de pista e
... de aproximar um obstáculo na trajetória ...
... não deter veículo ... colidir a velocidade V ...
Formulação do RSAP
• Avaliação final: relação B/C (incremental)
B=-custo dos acidentes (C=+custo das ações)
• E[$A]=Q.P[E].P[A/E].Si{P[Ii/A].C[Ii]}
Q=fluxo de tráfego (VDMA*dias/ano);
P[E]=probabilidade de saída de pista
P[A/E]=probabilidade de acidente/saída de pista
P[Ii/A]=probabilidade de gravidade Ii/acidente
C[Ii]=custo do acidente de gravidade Ii
• B=(E[A]antes/sem)-(E[A]depois/com) proteção
52
Previsão de Acidentes em Saídas de
Pista - Modelo
• QE=Q.P[E] suposto proporcional ao fluxo ou
dado por curvas de ocorrência QE=f[Q] ...
P[E] é uma taxa de saídas de pista/veículo ...
• P[E]=PBE.F1.F2.F3*... PBE=f[Q] ... QE/Q
PBE=probabilidade/taxa básica de saída de pista
Fi=fator de ajuste (curvas, declives, ...) ... QEA
• P[A/E]=P[Er].P[A/Dr] ...+P[Re/A].P[As/Re]
P[Er]=probabilidade de saída próxima ao risco
P[A/Dr]=probabilidade de atingir Dr ... Acc.
Previsão de Acidentes em Saídas de
Pista - Estimação
• Sequencial/Parcial ou Integral/Simultânea
• Observação direta de saídas de pista
(marcadores/sentinelas, filmagens/CCOs, ...)
• Problema: saídas controladas ou não ...
Muitos contextos distintos, período longo ...
• Análise dos registros dos acidentes de trânsito
(modelos complexos, muitas variáveis, ...)
• Problema: acidentes registrados ou não ...
Muitas variáveis não observadas, modelos ...
53
Previsão de Acidentes em Saídas de
Pista - Resultados
• Curvas QE=f[Q]:
estudos anteriores
correção, atualização ...
• Fatores de ajuste: - curvas - declives - outros
estudos anteriores
linearização ...
• Previsão: Saídas de Pista com/sem Acidentes ...
GC=1750/R
Previsão de Acidentes em Saídas de
Pista - Resultados
• Saídas de Pista Acidentes e Danos
e=1+ss/0,4
up: ss-(<0)
54
Características das Saídas de Pista
(distribuições empíricas)
• Velocidade
e Ângulo
de Saída:
correção
em curvas
+/- G/2
(G=grau
de curva
em 100m)
Características das Saídas de Pista
(distribuições empíricas)
• Extensão e
Orientação
do Veículo:
• Tipo de
Veículo:
dados de
campo tb.
e=1+ss/0,4
up: ss-(<0)
C.G.=centro de gravidade
altura: H, dist.frontal: A
55
Análise para Previsão de Choque
com o Obstáculo Lateral à Via
• Com características dos obstáculos (A, L, W, ...)
e do veículo (t, m, ...)/da saída (x, V, q, y, y, ...):
localização
uniforme,
dada a taxa
e os volumes
de tráfego
por faixa
e direção
Pr[Y>d]=1,2995.e-0,262.d
para pista simples ou via
sem canteiro
Pr[Y>d]=1,1747.e-0,161.d
para múltiplas faixas com
pista dupla
V=cte até impacto
(Vi=V, ângulo q)
Análise para Previsão da Severidade
do Choque
• Severidade
do Choque:
dada a
velocidade
e o obstáculo
• Gravidade
do Acidente
e Custo
do Acidente:
Severidade do impacto:
IS=1/2.m.(Vi.sen[q])2
e
Índice de Severidade
SI=f[IS e tipo de elemento]
(escala: 0 a 10)
IS limite: impacto múltiplo
56
Representação do Modelo
• Diagrama de Influência ... simples (acíclico ...)
Tráfego
Velocidade
Via
Dispositivo
F.Risco
Saídas
de PistaChoque Gravidade
Ac.VFatal
Ac.VGrave
Ac.VMédio
Ac.VLeve
Ac.s/Vítima
ÑAcidente
Erro na
Eq.Saídas
Erro na
Eq.Choque
Erro na
Eq.Grav.
Referências Básicas:
• NCHRP R462 … RSAP … (Roadside …)
• Roadside Design Guide/AASHTO … 1989
1996: basic procedure … software: Roadside …
2002: basic procedure … software: RSAP …
• Precursor: Guide for Selecting and Locating,1977
incorporado ao Yellow Book, 1997, da AASHTO
• NCHRP R350/R230: especificação de testes …
(EN 1317-1 a 6, … na Comunidade Européia …)