método dos mínimos quadrados: um resumoaxpfep1.if.usp.br/~otaviano/apresentacao.pdf · método...
TRANSCRIPT
Método dos Mínimos Quadrados: um resumo
Uma mãe deseja saber o peso1 de seu filho. Na UBS informaram que é F=12kg. Para verificar isso, ela pesou-se com o filho no colo, obtendo M+F=79kg. Posteriormente, pesou-se sem o filho, obtendo M=71kg. Resumindo, aqui
estão os resultados (em kg)M+F=79
M=71F=12
Essas equações são inconsistentes! Que valores devemos atribuir para os pesos da mãe e do filho?
1 – De fato, a massa. Mas tentar desfazer essa confusão é uma batalha perdida
Otaviano Helene
Curso de extensão oferecido no IFUSP em julho/2010
1 – Solução para um problema sem solução: o MMQ
• M+F=79
• M=71
• F=12.
Procure valores para M e F que minimizem as diferenças entre os valores calculados e os valores experimentais.
Mas ... minimizar com que critério?
Solução do MMQ: minimizar as diferenças quadráticas. Primeira dívida: por que essa forma de minimização
222 )12()71()79(),( −+−+−+= FMFMFMQ
012)-F~
2(79)-F~
M~
2(
071)-M~
2(79)-F~
M~
2(
0 e 0~
,~~
,~
=++
=++
⇓
==MFMF F
Q
M
Q
∂∂
∂∂
Eqs. (1)
Solução: 10,7F~
e 69,7M~ ==
Neste caso, minimize
Resultados desvio padrão (incerteza)• M+F=79 3,0• M=71 2,0• F=12 1,0
• E se os dados tiverem diferentes precisões?.
2
2
2
2
2
2
1
)12(
2
)71(
3
)79(),(
−+−+−+= FMFMFMQ
Segunda dívida: por que essa forma de ponderação?
Como estimar o desvio padrão
• Exemplo: medidas de um comprimento
• 40,9 40,2 40,5 39,8 40,3 40,4
∑ −≈ 22 )(1-n
1xxiσ
Nesse exemplo, o desvio padrão dos dados é aproximadamente 3,8.
O desvio padrão da média é
15,06
36,0
n=≈= σσ x
O resultado experimental é 40,35±0,15
Mais dívidas
A origem mais comum dos desvios padrões é a propagação de incertezas
Pode haver (e isso é comum) covariâncias entre os dados
O MMQ não vale apenas para dados gaussianos
Os resultados do MMQ só tem as propriedades ótimas quando conhecemos os valores verdadeiros dos desvios padrões (ou se todos são iguais)
MMQ: Um exemplo, consumo de combustível
Distância na cidade (km)
Distância na estrada (km)
Consumo (litros)
100 300 39
300 100 49
10 200 22
200 10 29
100 100 22
Qual o rendimento desse veículo (em litros por quilômetro) na estrada e na cidade? (Suponha que
todos os desvios padrões são iguais.)
Ajuste de parâmetros de funções: exemplo de uma reta
O MMQ é muito usado para o ajuste de parâmetros em funções conhecidas
Exemplo: (x; y)
(1,0; 3,2), (2,0; -0,2), (3,0; 0,0) e (4,0; -1,2). Todos os y’s com o mesmo desvio padrão 1,0.
0.5 1 1.5 2 2.5 3 3.5 4 4.5-3
-2
-1
0
1
2
3
4
5
xy
∂∂
∂∂
Q a b
a
Q a b
b
(~,~
)~
(~,~
)~
=
=
0
0y a b x
x y a x b x
i
i i
i
i
i i
i
i
i
i
i
σ σ σ
σ σ σ
2 2 2
2 2
2
2
1∑ ∑ ∑
∑ ∑ ∑
= +
= +
~ ~
~ ~
y
x y
x
x xa
b
i
i
i i
i
i
i
i
i
i
i
i
σ
σ
σ σ
σ σ
2
2
2 2
2
2
2
1∑
∑
∑ ∑
∑ ∑
=
⋅
~~
bxay +=
∑ −−=2
2)(),(
i
ii bxaybaQ
σ
Parâmetros a ajustar: a e b
O que devemos minimizar
Equações lineares
Como minimizar
-2 -1.8 -1.6 -1.4 -1.2 -1 -0.8 -0.6 -0.4
2
2.5
3
3.5
4
4.5
5
5.5
6
b
a
curvas de nivel de Q(a,b) - de 0,5 em 0,5
A minimização pode ser feita algebricamente, numericamente ou graficamente
Resultado da função ajustada
0.5 1 1.5 2 2.5 3 3.5 4 4.5-3
-2
-1
0
1
2
3
4
5
x
y
2 – O MMQ não é tendencioso
Uma medida é não-tendenciosa quando o valor esperado do resultado é igual ao valor da grandeza medida.
Exemplo: Um detector conta o número de partículas durante um certo intervalo de tempo. Se a é o número médio de partículas que em média esperaríamos observar naquele intervalo de tempo, então a probabilidade que sejam observados n eventos é dada por um distribuição de Poisson, Pa(n)=e-aan/n!. É fácil mostrar que o valor esperado de n é igual a a: <n>=a. Assim, o número de eventos observado, n, é uma medida não tendenciosa de a.
Os experimentos em ciências devem ser tais que os valores esperados das grandezas medidas sejam iguais a elas.
Exemplo: Se medimos um comprimento usando réguas não tendenciosas e procedimentos também não tendenciosos, o resultado é uma medida não tendenciosa do objeto medido; os valores obtidos flutuarão em torno do valor verdadeiro da grandeza.
Contra exemplo: uma medida tendenciosa
Suponha que queiramos estimar a área de um quadrado. Para tal, medimos o lado do do quadrado (vamos chamar de l o resultado da medida) por um processo não tendencioso. Assim, l será igual a l0, o valor verdadeiro do lado, mais um erro de medida, e: l=l0+e. Se o valor esperado desse erro é nulo, <e>=0, então <l>=<l0+e>=<l0>+<e>=l0+0.
Note que o valor esperado de uma constante é ela mesma e o valor esperado do produto de uma constante por alguma coisa que varia é o produto da constante pelo valor esperado daquilo que varia.
Mas, e a área?Veja a sequência de equações abaixo.
( ) 20
20
20
2 2 eellella ++=+==
><+><+>>=<< 20
20 2 eella
><+><+>=< 20
20 2 eella
02
0 0 aeaa >≠<++>=<
E o MMQ?
012)-F~
2(79)-F~
M~
2(
071)-M~
2(79)-F~
M~
2(
=++
=++
Vamos voltar ao exemplo inicial (Eqs. (1). Note que as soluções adotados para M e F dependem linearmente dos valores medidos, 12, 71 e 79. Assim, se esses valores são não tendenciosos, então os valores ajustados pelo MMQ também serão não-tendenciosos.
7912F~
2M~
7971F~
M~
2
+=+
+=+
Conclusão• O MMQ é não tendencioso no caso linear (as grandezas
medidas dependem linearmente dos dados experimentais).
• Verifique que os valores ajustados dos parâmetros de uma reta dependem linearmente dos dados experimentais (valores de y da equação abaixo)
=
∑
∑
∑∑
∑∑−
2
2
1
2
2
2
221
~~
i
ii
i
i
i
i
i
i
i
i
i
yx
y
xx
x
b
a
σ
σ
σσ
σσ
Exemplo: não-tendenciosidade e tendenciosidade
x=x0-1 p=1/3x0 p=1/3x0+1 p=1/3
0000 )1)(3/1()3/1()1)(3/1( xxxxx =+++−>=<
x é uma medida não tendenciosa de x0:
Mas ... a área dada por x2 é tendenciosa:
a=(x0-1)2 p=1/3(x0)2
p=1/3(x0+1)2 p=1/3
3
2
3
2)1)(3/1()3/1()1)(3/1( 0
20
20
20
20 axxxxx =+=+++−>=<
3 – Simplificando as equações do MMQ
( )
( ) )(
10
011
bdacd
cba
b
aba
db
ca
dc
ba
dc
ba
dc
ba
dycx
byax
y
x
dc
ba
tt
+=
=
=
=
++
=
−
Formalismo matricial (parece complicado ... mas simplifica e
facilita generalizações)
M+F=79M=71F=12
Forma mais rigorosa:M0+F0+e1=79
M0+e2=71
F0+e3=12
+
⋅
=
3
2
1
0
0
10
01
11
12
71
79
e
e
e
F
M
222 )12()71()79(),( −+−+−+= FMFMFMQ
⋅
−
⋅
⋅
−
=
F
M
F
MFMQ
t
10
01
11
12
71
79
10
01
11
12
71
79
),(
essa equação é idêntica a
Parece que complicou?
• No caso linear, a equação básica do MMQ sempre pode ser escrita na forma
+
⋅
=
nmnmnn
m
m
n e
e
e
a
aa
xxx
xxx
xxx
y
yy
2
1
0
20
10
21
22221
11211
2
1
Y=X·A0+e
(dados)=(planejamento)(parâmetros)+(erros)
e
Q(a1,a2,...)=(Y-XA)t·(Y-XA)
0...~,~
21
=∂∂
aaia
QYXX)(XA t1t −=~
Exemplo
bxay += (x, y)
(1,0; 3,2)
(2,0; 0,2)
(3,0; 0,0)
(4,0; -1,2)
+
⋅
=
− 4
3
2
1
0
0
41
31
21
11
2,1
0,02,0
2,3
ee
ee
b
a
Exemplo
t(s) x(m) v(m/s)
1 5,1 10,7
2 20,8
3 45,9
4 40,1
5 50,4
Considere um experimento para determinar a aceleração da gravidade no qual foram medidas posições e velocidades em alguns instantes de tempo (dados abaixo). Adote x(t)=x0+v0t+gt2/2 e v(t)=v0+gt
Construir a equação básica do MMQ e ajustar x0, v0 e g
Exercício: como aproveitar uma informação aparentemente
incompleta• Na pesagens mãe e filho obteve-se os
valores 69,7kg e 10,7 kg. Suponha os dados originais que deram origem a esses resultados tenham sido descartados e que a mãe encontrou uma outra balança e pesando-se com o filho no colo obteve 81 kg. É possível incluir essa nova informação – insuficiente para estimar os pesos das duas pessoas – e obter novas estimativas para os pesos?
• Sim! Veja como:
=
+
⋅
=
+=
−
81
7,10
7,66
11
10
01
11
10
01
11
10
01
~
~
11
10
01
81
7,10
7,66
1
3
2
1
0
0
tt
F
M
e
e
e
F
M
eXAY 0
Os novos valores a serem adotados são 67,9 e 11,9
4 – Variâncias e covariâncias
• Para usar plenamente o MMQ precisamos conhecer variâncias e covariâncias. Vamos lá
• A variância é formalmente definida como o valor esperado do quadrado da diferença entre um dado experimental e o valor verdadeiro medido:
• σ2=<(x-x0)2>
Exemplo
• Considere um equipamento que fornece como resultado os seguintes valores:
x= x0-1 p=0,25 x0 p=0,50 x0+1 p=0,25
Note que isso corresponde a medida não tendenciosa de x.
A variância da medida dessa grandeza é
σ2=(0,25)(x0-1-x0)2+(0,50)(x0-x0)2+(0,25)(x0+1-x0)2=0,50
O desvio padrão é 0,71
Às vezes, precisamos estimar as variâncias a partir de um conjunto de dados experimentais
Rev. Ensino de Física,13, 1991, O que é uma medida? O. Helene, S.P. Tsai, R.R.P. Teixeira, p.12
∑ −≈ 22 )(1-n
1xxiσ40,9 40,2 40,5
39,8 40,3 40,4
15,06
36,0
n=≈= σσ x
Às vezes, conhecemos muito bem as variâncias por medidas anteriores:
equipamento usado muitas vezes em medidas anteriores
Propagação de incertezas (exata no caso linear)
• Veja a sequência de equações
( )
( ) ( )
( ) ( )
...
...),,y(y se
conhecidos e ,
conhecido
22
22
2
2220
220
20
20
2
20
2
+
∂∂+
∂∂=
=
=−=−=
−−+=−=
+=
−=
zxy
x
y
x
z
y
x
y
wzx
axxaaxax
baxbaxyy
babaxy
xx
σσσ
σ
σ
σ
Propagação de incertezas: caso não linear aproximação
( ) ( )( ) ( ) ( )
22
220
2
220
220
20
20
220
20
220
220
2
2
2
exp
4
22)(
conhecido
xy
xy
y
x
dx
dy
x
eexxeexxxex
xxyy
xy
≈
≈
+=−++=−+=
−=−=
=
σ
σσ
σ
σ
Covariâncias
Origem: dois resultados experimentais são covariantes se há uma ou mais fontes de erros que afetem a ambos
Exemplos:
(a) Duas medidas feitas com a mesma régua: os resultados serão covariantes
(b) Seções de choque medidas no mesmo acelerador
Matriz de covariâncias
x1, x2, ... xn são n dados experimentais
=
221
22
12
1212
),cov(),cov(
),cov(),cov(
),cov(),cov(
2
1
nxnn
nx
nx
xxxx
xxxx
xxxx
σ
σσ
xV
Propagação de variâncias e covariâncias
txDDVVy =
),...,(
),...,(
),...,(
21
212
211
nm
n
n
xxxy
xxxy
xxxy
j
iji x
yD
∂∂=,
5 – Mais resultados
a – O MMQ deve usar o matriz de covariância dos dados experimentais, V, o que não foi feito ainda. É fácil (mas trabalhoso) mostrar que a solução é
YVXX)V(XA 1t11t −−−=~
Exemplo: média de dois dados
=
22
21
11
0
0 e grandeza mesma uma para
resultados dois são e
σσ
V
xx
( ) ( ) ( )
22
21
2~
22
21
22
221
1
2
1
1
22
21
11
22
21
2
10
2
1
111
) variânciao(propagaçã e 11
0
011
1
1
0
011~
1
1
σσ
σ
σσ
σσ
σσ
σσ
+=
+
+=
=
=⇒
+
=
−−−
x
xx
x
xx
e
ex
x
x
o valor a ser adotado para a grandeza, dada pelo MMQ, pode ser obtido como segue:
Se YVXX)V(XA 1t11t −−−=~
11tA X)V(XV −−=~
então, usando t
xDDVVy =
podemos mostrar que a matriz de covariância dos parâmetros ajustados é dada por
b – Matriz de covariância dos parâmetros ajustados
c – As estimativas do MMQ são as de menor variância entre todas as estimativas lineares. Vamos ilustrar.
Considere dois dados experimentais x1, σ1 e x2, σ2 , não covariantes, correspondentes a medidas de uma mesma grandeza. A solução do MMQ é
22
21
22
221
1
11~
σσ
σσ
+
+=
xx
x
Procure outra combinação linear de x1 e x2, x’=α x1+(1-α)x2. É possível mostrar que a menor variância de x’ é obtida quando a ponderação ocorre como na equação acima
d – O MMQ é não-tendencioso
A equação linear que relaciona os parâmetros aos dados experimentais é Y=X·A0+e. Como <e>=0 (dados não tendencioso), então <Y>=XA0. Usando esse resultado em
YVXX)V(XA 1t11t −−−=~
temos
.
~
001t11t
1t11t
AXAVXX)V(X
YVXX)V(XA
==
==−−−
−−−
e – A medida de uma grandeza pode afetar o valor adotado de outra grandeza
Vamos fazer um exemplo numérico. Considere duas grandezas cujos valores são s1=10 e s2=10, com matriz de covariância
=
32
23V
Suponha que a primeira dessas grandezas tenha sido medida de forma independente, obtendo-se o valor s’1=15, com variância igual a 3 e independente dos resultados anteriores. A matriz de covariância dos três dados é
=′
300
032
023
121 sssV
É fácil mostrar, usando o MMQ, que os novos valores a serem adotados para s duas grandezas são 12,5 e 11,7. Ou seja, a medida da primeira grandeza (s1) alterou o valor adotado para a segunda.