introdução aos métodos numéricosotton/graduacao/introducaonumericos/ajuste_de_curvas_2... · É...
TRANSCRIPT
Introdução aos Métodos Numéricos
Instituto de Computação UFFDepartamento de Ciência da Computação
Otton Teixeira da Silveira Filho
Conteúdo temático
● Ajuste de Curvas
Conteúdo específico
● Exemplos
● Avaliação do ajuste
Ajuste de curvas
Ajuste de curvas, como já apresentamos, permite que avaliemos se um modelo dado de comportamento para um conjunto de dados é representativo, ou seja, se temos em algum grau se o modelo é bom ou se o conjunto de dados tem algo com o modelo sugerido.
Ajuste de curvas
Aqui veremos exemplos onde:
● claramente temos um bom modelo e dados representativos
● a criação do modelo é difícil e temos dúvidas quanto a representatividade
Ambas as situações são comuns em ajuste de curvas
Ajuste de Curvas – Outro exemplo
Na tabela ao lado temos o resultado
de uma experiência de decaimento
radioativo. Determine a meia vida τ
usando o modelo dado abaixo.
t N(t)
0,3 9,55
0,8 8,38
1,1 7,71
1,5 6,89
1,8 6,35
N (t)=N0 e−t / τ
Outro exemplo
Neste caso específico o modelo é bem fundamentado cientificamente, valendo mesmo para quantidades da ordem de microgramas de material radioativo
Outro exemplo
Como resolver este problema?
A primeira vista não temos como utilizar o desenvolvimento que fizemos de ajustes polinomiais
Outro exemplo
Como resolver este problema?
A primeira vista não temos como utilizar o desenvolvimento que fizemos de ajustes polinomiais
No entanto, basta pensarmos um pouco e reduzimos nosso problema a um ajuste polinomial
Outro exemplo
Achemos o logaritmo do modelo
onde
ln N (t)=ln (N 0 e−t / τ )=ln N 0−
tτ=b0+b1 x
bo=ln N 0 ;b1=−1τ ; x≡t
Outro exemplo
Com isto o nosso problema pode ser representado como um ajuste linear, desde que transformemos os valores convenientemente.
Outro exemplo
Com isto o nosso problema pode ser representado como um ajuste linear, desde que transformemos os valores convenientemente.
Achemos o logaritmo dos valores da tabela que nos dá a quantidade de material radioativo
Outro exemplo
Tabela modificada
para nossas finalidades.
t N(t) ln N(t)
0,3 9,55 2,256541
0,8 8,38 2,125847
1,1 7,71 2,045181
1,5 6,89 1,930071
1,8 6,35 1,848454
Outro exemplo
Tabela dos valores necessários aos cálculos
x y xy x2
0,3 2,256541 0,676962 0,09
0,8 2,125847 1,700677 0,64
1,1 2,045181 2,249699 1,21
1,5 1,930071 2,895106 2,25
1,8 1,848454 3,327217 3,24
Σ 5,5 10,206094 10,849662 7,43
Outro exemplo
E nosso sistema será
( 5 5,55,5 7,43 ) (b0
b1)= (10,206094
10,849662 ) .;m21=−5,5 /5=−1,1
Outro exemplo
E nosso sistema será
( 5 5,55,5 7,43 ) (b0
b1)= (10,206094
10,849662 ) .;m21=−5,5 /5=−1,1
(5 5,50 1,38 ) (b0
b1)=( 10,206094
−0,377041 ) .;b1=−0,377041 /1,38=−0,273218
Outro exemplo
E nosso sistema será
b1 está relacionado com a meia vida por
logo
( 5 5,55,5 7,43 ) (b0
b1)= (10,206094
10,849662 ) .;m21=−5,5 /5=−1,1
(5 5,50 1,38 ) (b0
b1)=( 10,206094
−0,377041 ) .;b1=−0,377041 /1,38=−0,273218
b1=−1τ
Outro exemplo
E nosso sistema será
b1 está relacionado com a meia vida por
logo
( 5 5,55,5 7,43 ) (b0
b1)= (10,206094
10,849662 ) .;m21=−5,5 /5=−1,1
(5 5,50 1,38 ) (b0
b1)=( 10,206094
−0,377041 ) .;b1=−0,377041 /1,38=−0,273218
b1=−1τ
τ=−1b1
=1
0,273218=3,660080
Ajuste de Curvas
O procedimento que fizemos neste exemplo, ou seja, transformar o problema em outro equivalente (achar o logaritmo do modelo para transformá-lo num ajuste polinomial) pode, com os devidos cuidados, ser um recurso para auxiliar trabalhos em ajuste de curvas.
Ajuste de Curvas – Outro exemplo
Voltando ao sistema
podemos calcular a condição da matriz e encontraremos aproximadamente 24,2296
O número de condição é relativamente grande e esta é uma característica dos sistemas oriundos de ajuste de curvas
( 5 5,55,5 7,43 ) (b0
b1)= (10,206094
10,849662 )
Ajuste de curvas – Mais um exemplo
É dada a tabela da porcentagem
da população urbana no Brasil
no censo de várias décadas.
Avalie a porcentagem de
população urbana brasileira
em 2020 e 2040.
T PU(%)
1950 36,2
1960 45,5
1970 56,8
1980 68,8
1990 77,1
2000 81,2
2010 84,3
Mais um exemplo
Observe que aqui estamos fazendo uma extrapolação
Mais um exemplo
Observe que aqui estamos fazendo uma extrapolação
Em geral extrapolações são “perigosas“...
Mais um exemplo
Porque avaliações como esta são importantes?
Mais um exemplo
Porque avaliações como esta são importantes?
Organização de projetos a longo prazo
Mais um exemplo
Qual é o modelo que descreve evolução de população urbana?
Mais um exemplo
Existem modelos de crescimento populacional mas não existe modelos de crescimento de população urbana
Basta lembrar:
● as cidades européias como Paris, Lisboa, Londres tiveram sua população brutalmente reduzidas pela peste negra na idade média
● As migrações para grandes centros vindo de regiões menos favorecidas
● Esgotamento dos recursos urbanos de cidades
Mais um exemplo
Há uma quantidade tão gigantesca de fatores.
Como, então, fazer previsões para permitir planejamento urbano?
Mais um exemplo
Se as cidades bem administradas fazem isto, como fazem?
Mais um exemplo
Comecemos pelo básico...
Mais um exemplo
Qual é o modelo que descreve evolução de população urbana?
Mais um exemplo
Qual é o modelo que descreve evolução de população urbana?
Nenhum...
O que podemos fazer?
Mais um exemplo
Qual é o modelo que descreve evolução de população urbana?
Nenhum...
O que podemos fazer?
Afirmarmos que não sabemos.
Mais um exemplo
Como “mentir“ menos?
Mais um exemplo
Como “mentir“ menos?
Tomarmos como princípio o mínimo de informação a supor
Mais um exemplo
Como “mentir“ menos?
Tomarmos como princípio o mínimo de informação a supor
No caso suporemos o modelo mais simples que nos passa alguma informação:
Mais um exemplo
Como “mentir“ menos?
Tomarmos como princípio o mínimo de informação a supor
No caso suporemos o modelo mais simples que nos passa alguma informação:
Suporemos um comportamento linear, ou seja,
p1(x)=b0+b1 x
Mais um exemplo
Supondo o modelo linear, supomos o modelo mais simples possível pois só temos dois parâmetros
Isto não é verdadeiro mas é o possível
Mais um exemplo
Mas com estes dados os números
ficarão bem grandes e chatos
no processo de cálculo...
Façamos um reescalamento...
T PU(%)
1950 36,2
1960 45,5
1970 56,8
1980 68,8
1990 77,1
2000 81,2
2010 84,3
Mais um exemplo
Não é o melhor, claro, mas façamos
assim. O sistema terá a forma
T PU(%)
50 36,2
60 45,5
70 56,8
80 68,8
90 77,1
100 81,2
110 84,3( Σ' 1 Σ
' x i
Σ' x i Σ
' x i2 ) (b0
b1)=( Σ
' y i
Σ' xi yi
)
Mais um exemplo
Tabela e sistema
x y xy x2
50 36,2 1810 2500
60 45,5 2730 3600
70 56,8 3976 4900
80 68,8 5504 6400
90 77,1 6939 8100
100 81,2 8120 10000
110 84,3 9273 12100
Σ 560 449,9 38352 47600
( 7 560560 47600 ) (b0
b1)=( 449,9
38352 )
( Σ' 1 Σ
' x i
Σ' x i Σ
' x i2 ) (b0
b1)=( Σ' y i
Σ' xi yi
)
Mais um exemplo
Resolvendo o sistema
( 7 560560 47600 ) (b0
b1)=( 449,9
38352 ) .;m21=−560 /7=−80
Mais um exemplo
Resolvendo o sistema
( 7 560560 47600 ) (b0
b1)=( 449,9
38352 ) .;m21=−560 /7=−80
(7 5600 2800 ) (b0
b1)=( 449,9
2360 ) .;b1=2360 /2800=59 /70
Mais um exemplo
Resolvendo o sistema
( 7 560560 47600 ) (b0
b1)=( 449,9
38352 ) .;m21=−560 /7=−80
(7 5600 2800 ) (b0
b1)=( 449,9
2360 ) .;b1=2360 /2800=59 /70
7b0+560b1=449,9⇒b0=17 (449,9−560×
5970 )=−3,157142
Mais um exemplo
Resolvendo o sistema
( 7 560560 47600 ) (b0
b1)=( 449,9
38352 ) .;m21=−560 /7=−80
(7 5600 2800 ) (b0
b1)=( 449,9
2360 ) .;b1=2360 /2800=59 /70
7b0+560b1=449,9⇒b0=17 (449,9−560×
5970 )=−3,157142
p1(x)=−3,157142+5970
x
Mais um exemplo
Com o escalamento que fizemos
2020 corresponde a 120
Isto é apavorante! Quase 98% da população estaríam nas cidades!
p1(120)=−3,157142+5970
×120=97,985697≈97,985
Mais um exemplo
Com o escalamento que fizemos
2040 corresponde a 140
Isto é estúpido!!! A população urbana não pode exceder o total da população!
p1(140)=−3,157142+5970
×140=114,842858≈114,842
Ajuste de curvas
Estes resultados mostram três aspectos:
● A modelagem que fizemos é apenas uma modelagem
Ajuste de curvas
Estes resultados mostram três aspectos:
● A modelagem que fizemos é apenas uma modelagem
● A segunda tentativa de previsão é tola: é por demais ingênuo acreditar que uma modelagem tão simples dê algum resultado num período de tempo tão grande
Ajuste de curvas
Estes resultados mostram três aspectos:
● A modelagem que fizemos é apenas uma modelagem
● A segunda tentativa de previsão é tola: é por demais ingênuo acreditar que uma modelagem tão simples dê algum resultado num período de tempo tão grande
● Os dados tem um limite claro, 100%, que foi desconsiderado no modelo
Ajuste de curvas
Dados que envolvem porcentagem são de difícil modelagem por este tipo de abordagem
Ajuste de curvas
No entanto, muitas vezes o chamado ajuste linear (ou regressão linear) é usado para prever:
● Produção agrícola
● Estimativas de investimentos financeiros
● demanda de emprego
● contaminação por poluentes, etc.
É o que temos... e podemos errar feio...
Ajuste de curvas
O ajuste linear é usado para estes problemas e muitos mais.
Ajuste de curvas
O ajuste linear é usado para estes problemas e muitos mais.
A única forma de sermos menos enganados pelos dados é criticá-los
Ajuste de curvas
Focando nossa atenção para o sistema
e determinando o número de condição da matriz encontramos o valor 118336
A matriz é muito malcondicionada
( 7 560560 47600 ) (b0
b1)=( 449,9
38352 )
Ajuste de curvas
Sob o ponto de vista numérico
● Ajuste de curvas por mínimos quadrados é um problema malcondicionado, ou seja,
pequenas mudanças nos dados pode levar em ajustes bem diferentes
Ajuste de curvas
Sob o ponto de vista numérico
● Ajuste de curvas por mínimos quadrados é um problema malcondicionado, ou seja,
pequenas mudanças nos dados pode levar em ajustes bem diferentes
seja por erros na coleta de dados ou manipulação dos mesmos
Ajuste de curvas
O mesmo pode ser feito com estatísticas...
Ajuste de curvas
"Os números não mentem, mas os mentirosos fabricam números."
Itamar Franco
Ajuste de curvas
Mas qual a segurança que tenho que os resultados tem alguma validade?
Ajuste de curvas
Mas qual a segurança que tenho que os resultados tem alguma validade?
Certamente que o critério estético (“está bonitinho“) ou o julgamento tendencioso (“parece razoável“) não são bons pontos de partida
Ajuste de curvas
Mas qual a segurança que tenho que os resultados tem alguma validade?
Certamente que o critério estético (“está bonitinho“) ou o julgamento tendencioso (“parece razoável“) não são bons pontos de partida
Observe os próximos exemplos...
O quarteto de Anscombe
O quarteto de Anscombe
O quarteto de Anscombe
Em todos estes casos:
● O ajuste linear é o mesmo
● A média de x é 9
● A variância de x é 11
● A média de y é sempre próxima de 7,50
● A variância y é sempre próxima de 4,125
Ajuste de curvas
Como avaliar o resultado de um ajuste de curvas?
Tal avaliação não é simples e envolve análise estatística
Ajuste de curvas
Como avaliar o resultado de um ajuste de curvas?
Tal avaliação não é simples e envolve análise estatística
Veremos algumas formas simples, que não são em si sempre testemunhos confiáveis, de analisar a qualidade dos resultados
Coeficiente de determinação
Sejam
os pontos ajustados e G(x) a função ajustada. O resíduo de cada ponto é dado por
(x0, y0) ,(x1, y1),( x2, y2) ,(x3, y3) ,⋯,(xn , y n)
r i=G(x i)− y i
Coeficiente de determinação
Sejam
os pontos ajustados e G(x) a função ajustada. O resíduo de cada ponto é dado por
Definamos a soma do quadrado dos resíduos como
(x0, y0) ,(x1, y1),( x2, y2) ,(x3, y3) ,⋯,(xn , y n)
r i=G(x i)− y i
SSres=∑i=0
n
r i2
Coeficiente de determinação
Seja ainda
a média dos valores de yi
Definamos a soma total como
y=1n∑i=0
n
y i
SStotal=∑i=0
n
( y i− y )2
Coeficiente de determinação
Daí obtemos
que é o coeficiente de determinação.
● Este valor é sempre positivo nos ajustes lineares e quanto mais próximo de 1 melhor.
R2=1−SSres
SStot
Resíduo do ajuste
Sejam
os pontos ajustados e G(x) a função ajustada. O resíduo de cada ponto é dado por
Definamos a norma do resíduo como
(x0, y0) ,(x1, y1),( x2, y2) ,(x3, y3) ,⋯,(xn , y n)
r i=G(x i)− y i
Ns=‖SR‖; SR=(r0,r1,r2,⋯, rn)
Resíduo do ajuste
Quanto menor a norma dos resíduos, melhor o resultado
Ajuste de curvas
No entanto, tais parâmetros só tem sentido de qualidade do ajuste se análises estatísticas da massa de dados são feitas adicionalmente.
Ajuste de curvas
Analisemos os dados de dois problemas trabalhados
Ajuste de curvas
População urbana
Usaremos a tabela da qual
sabemos a função ajustada
T PU(%)
50 36,2
60 45,5
70 56,8
80 68,8
90 77,1
100 81,2
110 84,3p1(x)=−3,157142+
5970
x
Ajuste de curvas
A média podemos tirar da
tabela
x y xy x2
50 36,2 1810 2500
60 45,5 2730 3600
70 56,8 3976 4900
80 68,8 5504 6400
90 77,1 6939 8100
100 81,2 8120 10000
110 84,3 9273 12100
Σ 560 449,9 38352 47600y=
449,97
=64,2714
Ajuste de curvas
Resíduos e soma dos quadrados dos resíduos e total
T PU(%) p1(T) r
ir
i
2 PUi – PU
med[PU
i – PU
med]2
50 36,2 38,9857 2,7856 7,7601 -28,0714 788,003497
60 45,5 47,4143 1,9143 3,6646 -18,7714 352,36545
70 56,8 55,8429 -0,9570 0,9160 -7,4714 55,82181
80 68,8 64,2714 -4,5285 20.5075 4,5286 20,50817
90 77,1 72,7000 -4,3999 19,3596 12,8286 164,57297
100 81,2 81,1286 -0,0713 0,0050 16,9286 286,57749
110 84,3 89,5571 5,2571 27,6380 20,0286 401,14481
79,8511 2068,99428
Ajuste de curvas
O coeficiente de determinação será
e o critério diria que o ajuste é dos bons...
R2=1−
SSres
SStot
=1−79,8511
2068,99428=0,96140
Ajuste de curvas
O coeficiente de determinação será
e o critério diria que o ajuste é dos bons...
Mas a massa de dados é estatisticamente relevante?
R2=1−
SSres
SStot
=1−79,8511
2068,99428=0,96140
Ajuste de curvas
Norma do resíduo
Olhando a tabela que calculamos, pela norma do máximo a norma do resíduo é 5,2571
Pela norma euclidiana 8,9359
Não dá muita diferença e parece que o ajuste não é bom...
Ajuste de curvas
Pelos resultados obtidos pelo coeficiente de determinação e pela norma do resíduo, não podemos afirmar grande coisa sobre a qualidade do ajuste para a população urbana.
● Conservativamente, não podemos levar muito a sério o ajuste
Ajuste de curvas
Todo critério de avaliação de ajuste deverá ser criticado dentro do contexto da massa de dados e da hipótese de comportamento, o que não estamos fazendo aqui.
Ajuste de curvas
Decaimento radioativo
Para a análise dos dados
necessitaremos calcular N0
t N(t)
0,3 9,55
0,8 8,38
1,1 7,71
1,5 6,89
1,8 6,35
N (t)=N0 e−t / τ
(5 5,50 1,38 ) (b0
b1)=( 10,206094
−0,377041 ) .;b1=−0,377041 /1,38=−0,273218
5b0+5,5 b1=10,206094 ⇒b0−15
[10,206094−5,5×(−0,273218)]=2,3417586
Ajuste de curvas
Sabendo que
teremos
e a função ajustada será
calculemos os resíduos
N (t)=10,399509 e−t /3,660080
b1=−1τ e b0=ln N 0
τ=3,660080 ; N0=10,399509
Ajuste de curvas
Resíduos
t N(t) N(t)ajustado
ri
ri
2
0,3 9,55 9,58110 0,03110 9,6720x10-4
0,8 8,38 8,35770 -0.02230 4,9729x10-4
1,1 7,71 7,69998 -0,01002 1,0040x10-4
1,5 6,89 6,90283 0,01283 1,6460x10-4
1,8 6,35 6,35960 0.0096 9,2159x10-5
0,0018
Ajuste de curvas
Norma do resíduo
Olhando a tabela que calculamos, pela norma do máximo a norma do resíduo é 0,03110
Pela norma euclidiana 0,0018
Não dá muita diferença e parece que o ajuste é bom...
Ajuste de curvas
Coeficiente de determinação
t N(t) N(t)ajustado
ri
r2i
N(t)- Nmed
[N(t)- Nmed
]2
0,3 9,55 9,58110 0,03110 9,6720x10-4 1,774 3,147076
0,8 8,38 8,35770 -0.02230 4,9729x10-4 0,604 0,364816
1,1 7,71 7,69998 -0,01002 1,0040x10-4 0,066 0,004356
1,5 6,89 6,90283 0,01283 1,6460x10-4 -0,886 0,784996
1,8 6,35 6,35960 0.0096 9,2159x10-5 -1.426 2,033476
38,88 0,0018 6,33472
Ajuste de curvas
O coeficiente de determinação será
e o critério diz que o ajuste é dos bons...
R2=1−
SS res
SStot
=1−0,0018
6,33472=0,99971
Ajuste de curvas
Observe que os resultados dos dois critérios dão resultados consistentes
Ajuste de curvas
● Com a finalidade de facilitar os cálculos neste curso introdutório, usaremos na lista de exercícios e na prova apenas o critério da norma dos resíduos, tendo consciência de suas deficiências
● Usaremos a norma do máximo por simplicidade de sua determinação em cálculos manuais