Aspectos estadısticos y matematicos de los problemas inversos 23/403
Ejemplo introductorio de ecologıa
1 %% Sc r i p t to f i t Lotka�Vo l t e r r a to data .2 % Data : Number o f p e l t s c o l l e c t e d by the Hudson Bay Company3 % c x � r = dy/y45 c l e a r a l l , c l f , c l c67 %% Loading data and p l o t t i n g8 import LV ( ’ l v d a t a . t x t ’ )9 % load l v d a t a . t x t
10 % g l o b a l data11 T = data ( : , 1 ) ;12 L = data ( : , 2 ) ;13 H = data ( : , 3 ) ;14 f i g u r e (1 )15 p l o t (T, L , ’�.o ’ ,T,H, ’�.o ’ , ’ L ineWidth ’ , 2)16 t i t l e ( ’Number o f p e l t s c o l l e c t e d by the Hudson Bay Company ’ )17 y l a b e l ( ’ Popu l a t i o n s ’ )18 x l a b e l ( ’ Year ’ )19 l egend ( ’ Lynx ’ , ’ Hare ’ )
J. Hector Morales Barcenas c� 2015
Aspectos estadısticos y matematicos de los problemas inversos 24/403
Ejemplo introductorio de ecologıa
1 %% Trans f o rmat i on o f the Lotka�Vo l t e r r a System2 Y = ze r o s (1 , 19 ) ;3 X = z e r o s (1 , 19 ) ;4 f o r k=1:195 Y( k ) = (1/L( k+1) ) ⇤(L ( k+2)�L( k ) ) /2 ;6 X( k ) = H( k+1) ;7 end8 f i g u r e (2 )9 p l o t (X,Y, ’ o ’ )
10 t i t l e ( ’ Phase Space ’ )11 y l a b e l ( ’ Hares ’ )12 x l a b e l ( ’ Lynx ’ )
J. Hector Morales Barcenas c� 2015
Aspectos estadısticos y matematicos de los problemas inversos 25/403
Ejemplo introductorio de ecologıa
1 %% Trans f o rmat i on o f the Lotka�Vo l t e r r a System2 P = z e r o s (1 , 19 ) ;3 Q = ze r o s (1 , 19 ) ;4 f o r k=1:195 P( k ) = (1/H( k+1) ) ⇤(H( k+2)�H( k ) ) /2 ;6 Q( k ) = L( k+1) ;7 end8 f i g u r e (3 )9 p l o t (Q,P , ’ o ’ )
10 t i t l e ( ’ Phase Space ’ )11 x l a b e l ( ’ Hares ’ )12 y l a b e l ( ’ Lynx ’ )
J. Hector Morales Barcenas c� 2015
Aspectos estadısticos y matematicos de los problemas inversos 26/403
Ejemplo introductorio de ecologıa
1 p1 = p o l y f i t (X,Y, 1 ) ;2 f 1 = p o l y v a l ( p1 ,X) ;34 f i g u r e (4 )5 p l o t (X,Y, ’ o ’ )6 ho ld on7 p l o t (X, f1 , ’�r ’ , ’ L ineWidth ’ , 2 )8 ho ld o f f9
10 %% P o l y f i t 211 p2 = p o l y f i t (Q,P , 1 ) ;12 f 2 = p o l y v a l ( p2 ,Q) ;1314 f i g u r e (7 )15 p l o t (Q,P , ’ o ’ )16 ho ld on17 p l o t (Q, f2 , ’�r ’ , ’ L ineWidth ’ , 2 )18 ho ld o f f1920 [ t , y ] = ode45 ( @lv , [T(1 ) T( end ) ] , [H(1 ) L (1 ) ] ) ;21 f i g u r e (10)22 s ubp l o t ( 2 , 1 , 1 ) ;23 p l o t ( t , y ( : , 1 ) ,T,H, ’�.o ’ , ’ L ineWidth ’ , 2)24 s ubp l o t ( 2 , 1 , 2 )25 p l o t ( t , y ( : , 2 ) ,T, L , ’�.o ’ , ’ L ineWidth ’ , 2)
J. Hector Morales Barcenas c� 2015
Aspectos estadısticos y matematicos de los problemas inversos 27/403
Ejemplo introductorio de ecologıa
1900 1902 1904 1906 1908 1910 1912 1914 1916 1918 19200
10
20
30
40
50
60
70
80
1900 1902 1904 1906 1908 1910 1912 1914 1916 1918 19200
10
20
30
40
50
60
Figura 7: Regresion sobre los datos.
J. Hector Morales Barcenas c� 2015
Aspectos estadısticos y matematicos de los problemas inversos 28/403
Codigo en Octave
1 % S c r i p t : Reg r e s i on Lotka�Vo l t e r r a en da tos .23 c l e a r a l l , c l o s e a l l , c l c45 % Load ing data and p l o t t i n g6 l oad l v d a t a . t x t7 T = l v d a t a ( : , 1 ) ;8 L = l v d a t a ( : , 2 ) ;9 H = l v d a t a ( : , 3 ) ;
1011 % Trans fo rmat i on o f the Lotka�Vo l t e r r a System12 Y = ze r o s (1 , 19 ) ;13 X = z e r o s (1 , 19 ) ;14 f o r k=1:1915 Y( k ) = (1/L( k+1) ) ⇤(L ( k+2)�L( k ) ) /2 ;16 X( k ) = H( k+1) ;17 end18 P = z e r o s (1 , 19 ) ;19 Q = ze r o s (1 , 19 ) ;20 f o r k=1:1921 P( k ) = (1/H( k+1) ) ⇤(H( k+2)�H( k ) ) /2 ;22 Q( k ) = L( k+1) ;23 end2425 % Aju s t e minimos cuadrados po l i n om io 1 e r grado26 p1 = p o l y f i t (X,Y, 1 ) ;27 f 1 = p o l y v a l ( p1 ,X) ;28 p2 = p o l y f i t (Q,P , 1 ) ;29 f 2 = p o l y v a l ( p2 ,Q) ;30
J. Hector Morales Barcenas c� 2015
Aspectos estadısticos y matematicos de los problemas inversos 29/403
313233 % Ecuac i one s d i f e r e n c i a l e s3435 f u n c t i o n du = l o k v o l ( u )36 % LV : Conta i n s Lotka�Vo l t e r r a e qua t i o n s37 du = z e r o s ( 2 , 1 ) ;38 % Parametros ob t en i d o s de l a r e g r e s i o n39 a = 0 .473183 ;40 b = �0.023985;41 c = 0 .023419 ;42 r = �0.764554;43 du (1 ) = a⇤u (1 ) + b⇤u (1 )⇤u (2 ) ;44 du (2 ) = r⇤u (2 ) + c⇤u (1 )⇤u (2 ) ;45 end f un c t i o n4647 % Se compara l a t e nd en c i a de l o s da tos y l o que48 % a r r o j a l a s o l u c i o n numer ica de l a s49 % ecua c i o n e s d i f e r e n c i a l e s ( modelo matematico ) .5051 x0 = [H(1) ⇤( rand+eps ) L (1 ) ⇤(1.0� rand ) ] ;52 y = l s o d e (” l o k v o l ” , x0 , T) ;5354 % Desp l i e gu e g r a f i c o de l o s r e s u l t a d o s55 s ubp l o t ( 2 , 1 , 1 ) ;56 p l o t (T, y ( : , 1 ) ,T,H, ’�.o ’ , ’ L ineWidth ’ , 2)57 s ubp l o t ( 2 , 1 , 2 )58 p l o t (T, y ( : , 2 ) ,T, L , ’�.o ’ , ’ L ineWidth ’ , 2)
J. Hector Morales Barcenas c� 2015
Aspectos estadısticos y matematicos de los problemas inversos 30/403
Ejemplo introductorio de ecologıa
Figura 8: Regresion sobre los datos en Octave.
J. Hector Morales Barcenas c� 2015
Aspectos estadısticos y matematicos de los problemas inversos 31/403
Ejemplo introductorio de ecologıa
• Nuestro problema ahora consiste en ajustar un par de rectas a los datos, de tal forma quedeterminemos las pendientes b y c y las ordenadas al origen a y r.
• Estas constantes se conocen como parametros y son importantes por dos razones:
1. Representan biologicamente las tasas de nacimiento y muerte de las especies involucradas.
2. No son medibles directamente en un muestreo, se determinan indirectamente.
• La situacion es tal que el problema esta sobredeterminado, o bien, tambien se dice, malplanteado, ya que tenemos 2⇥21 parejas de datos (liebres y linces respectivamente vstiempo) y solo 2⇥2 parametros (2 en cada recta). Ver Tabla 1.
• En el lenguaje del algebra lineal tenemos el siguiente problema:
Ay = d,
donde la matriz A no es cuadrada, d es funcion del numero de individuos (liebres o linces)y y son los parametros (a, b) o (r, c).
J. Hector Morales Barcenas c� 2015
Aspectos estadısticos y matematicos de los problemas inversos 32/403
Ejemplo introductorio de ecologıa
• Como vamos a comparar nuestro modelo dinamico de Lotka-Volterra con datos observacio-nales, nos convendra discretizar el modelo de la siguiente forma:
H(x) :=1
x
dx
dt⇡
1
x
x(t + h) � x(t)
h,
lo que se conoce en analisis numerico como una aproximacion en diferencias finitas.
• De la misma forma tendremos:
L(y) :=1
y
dy
dt⇡
1
y
y(t + h) � y(t)
h.
• Recordemos que tenemos, a nuestra disposicion, los datos de las liebres {xk}k=1,...,21 y delos linces {yk}k=1,...,21 vs el tiempo discreto t1, . . . , t21.
• El valor del incremento h tambien lo podemos elegir a nuestra entera voluntad y
Hk :=xk+h � xk
hxk+1, Lk :=
yk+h � yk
hyk+1.
J. Hector Morales Barcenas c� 2015
Aspectos estadısticos y matematicos de los problemas inversos 33/403
Ejemplo introductorio de ecologıa
• Ahora podemos escribir el sistema Lotka-Volterra transformado de la siguiente forma(recordemos que en esta etapa solo queremos determinar los parametros del sistema linealde ecuaciones y no resolver el sistema de ecuaciones diferenciales):
0
BB@
H1
H2...
H21
1
CCA =
0
BB@
1 �y1
1 �y2... ...1 �y21
1
CCA
✓ab
◆.
• De la misma forma tendremos que
0
BB@
L1
L2...
L21
1
CCA =
0
BB@
1 �x1
1 �x2... ...1 �x21
1
CCA
✓cr
◆.
• El problema lineal, como hemos mencionado, esta sobredeterminado: tenemos mas ecuacio-nes que incognitas (parametros).
J. Hector Morales Barcenas c� 2015
Aspectos estadısticos y matematicos de los problemas inversos 34/403
Introduccion a la regresion
• Llamamos regresion al problema de hallar una curva (superficie) parametrizada que ajustade forma aproximada un conjunto de datos.
• Cuando el modelo de regresion es lineal, respecto a los parametros ajustados, tenemosentonces un problema de regresion lineal, de otra forma, es un problema de regresion nolineal.
• El estudio de los problemas inversos o de estimacion de parametros es importanteporque contesta la pregunta de
¿que tan apropiado es un modelo matematico describiendo y explicando un fenomenonatural en relacion con datos experimentales (respuesta del sistema o fenomeno)?
• La formulacion, implementacion y analisis correctos de un problema inverso requiere deun marco teorico que comprenda a un modelo estadıstico tanto como a un modelomatematico.
J. Hector Morales Barcenas c� 2015
Aspectos estadısticos y matematicos de los problemas inversos 35/403
Regresion lineal
Problema inverso lineal y discreto
• Vector de datos d, N observaciones y un vector de parametros x que deseamos determinar.
• Sistema lineal de ecuaciones Ax = d, con
A 2 RN⇥M, x 2 RN y d 2 RM.
• Puede ocurrir que rank(A) = N ; es decir, la matriz es de rango completo en sus columnasy, por lo tanto, d 2 rank(A) esta en este espacio, luego entonces
x = A�1d.
• Si no fuera el caso, es posible que halla una solucion aproximada, que denotaremos por x+.
J. Hector Morales Barcenas c� 2015
Aspectos estadısticos y matematicos de los problemas inversos 36/403
Regresion lineal
• En este caso, la dimension del rango de A puede ser menor que N y, ademas, el vector dedatos d puede contener ruido y no estar en el rango de A.
• Una aproximacion puede consistir en hallar el conjunto de valores de x tales que minimiceen alguna medida el ajuste del modelo Ax y los datos d.
• Definimos al vector residuos r:
r(x) = d � Ax.
• Una forma de medir o cuantificar su magnitud es por medio de la norma L2
mınx
r(x) := mınx
kAx � dk2.
J. Hector Morales Barcenas c� 2015
Aspectos estadısticos y matematicos de los problemas inversos 37/403
Regresion lineal
• Esto significa que en realidad el sistema es inconsistente y d no esta en el espacio columnade A.
• La construccion de la solucion aproximada x+ consiste en proyectar a d en el rango deR(A):
Ax+ = projR(A)
(d)
J. Hector Morales Barcenas c� 2015
Aspectos estadısticos y matematicos de los problemas inversos 38/403
Regresion lineal
• Luego entonces, Ax � d debe ser perpendicular a R(A). En particular, cada columna deA es ortogonal a Ax � d. Ası:
AT (Ax+� d) = 0,
o bien,ATAx+ = ATd.
• De donde obtenemos las llamadas ECUACIONES NORMALES
x+ = (ATA)�1ATd.
• Y, por lo tanto,xL2 = x+.
J. Hector Morales Barcenas c� 2015
Aspectos estadısticos y matematicos de los problemas inversos 39/403
Regresion lineal
El problema de regresion lineal en el plano
• Determinar dos parametros m1 y m2 de una lınea, y = m1 +m2x, que mejor ajuste a unconjunto de N > 2 datos.
• A partir del sistema de ecuaciones
Ax =
2
664
1 a1
1 a2... ...1 aN
3
775
m1
m2
�=
2
664
d1
d2...
dN
3
775 = d.
• Aplicamos las ecuaciones normales:
xL2 = (ATA)�1ATd =
0
BB@
1 · · · 1a1 · · · aN
�2
664
1 a1
1 a2... ...1 aN
3
775
1
CCA
�1
1 · · · 1a1 · · · aN
�2
664
d1
d2...
dN
3
775
J. Hector Morales Barcenas c� 2015
Aspectos estadısticos y matematicos de los problemas inversos 40/403
Regresion lineal
• De donde se obtiene:
xL2 =
2
4N
PNi=1 ai
PNi=1 ai
PNi=1 a
2i
3
5
2
4PN
i=1 di
PNi=1 aidi
3
5
=1
NPN
i=1 a2i �
⇣PNi=1 ai
⌘2
2
4�
PNi=1 a
2i �
PNi=1 ai
PNi=1 ai �N
3
5
2
4PN
i=1 di
PNi=1 aidi
3
5
=
m1
m2
�
J. Hector Morales Barcenas c� 2015
Aspectos estadısticos y matematicos de los problemas inversos 41/403
Formula del error
• Supongamos que tenemos un conjunto de datos i 2 [1, N ] dados como parejas (Xi, di)que siguen una tendencia lineal.
• Nuestro objetivo es determinar los parametros m1 y m2 del modelo
yM = m1 + m2x .
• Queremos minimizar el error de mınimos cuadrados (norma L2)
E2 =1
N
NX
i=1
(di � yM(Xi))2 =
1
N
NX
i=1
(di � m1 � m2Xi)2 > 0.
J. Hector Morales Barcenas c� 2015
Aspectos estadısticos y matematicos de los problemas inversos 42/403
Formula del error
• Este error se puede escribir distribuyendo la suma
E2(m1,m2) =1
N
NX
i=1
d2i � 2m2
1
N
NX
i=1
Xidi + m22
1
N
NX
i=1
X2i � 2m1
1
N
NX
i=1
di
+2m1m21
N
NX
i=1
Xi + m21
=hd2i � 2m2hXdi + m2
2hX2i � 2m1hdi + 2m1m2hXi + m2
1
=hd2i � 2m2hXdi + (m1 � hdi + m2hXi)2 .
En donde hemos adoptamos la definicion de promedio hAi y fluctuacion hAi de unacantidad A:
hAi :=1
N
NX
i=1
A y hAi := A � hAi.
J. Hector Morales Barcenas c� 2015
Aspectos estadısticos y matematicos de los problemas inversos 43/403
Formula del error: puntos crıticos
• La idea de optimizar este error (minimizarlo) implica hallar los puntos crıticos en donde E2
se anula:
@E2
@m2= � 2hXdi + 2m2hX
2i + 2hXi (m1 � hdi + m2hXi)
@E2
@m1=2 (m1hdi + m2hXi) .
m2 =hXdi
hX2i
m1 =hdi � m2hXi.
J. Hector Morales Barcenas c� 2015
Aspectos estadısticos y matematicos de los problemas inversos 44/403
Formula del error
Finalmente, el modelo lineal dado los parametros m1 y m2:
yM = m1 + m2x = hdi +hXdi
hX2i(x � hXi)
El valor del error mınimo E2 se puede hallar evaluando los valores crıticos de a y b:
E2 = hd2i � 2
hXdi
X2hXdi +
hXdi
X2= hd2
i �hXdi
hX2i
que no es otra cosa que:
E2 = hd2i (1 � rXd) .
J. Hector Morales Barcenas c� 2015
Aspectos estadısticos y matematicos de los problemas inversos 45/403
Formula del error: correlacion y linealidad
El coeficiente rXd se conoce como el coeficiente de correlacion de Pearson, y esta definidocomo
rXd :=hXdi
hd2ihX2i=
Cov(X, d)
�X�d,
en terminos de la covarianza entre datos y parametros, y la medida de dispersion llamadadesviacion estandar de cada una de estas variables.
Figura 9: Cuatro conjuntos de datos con la misma correlacion de 0.816
Esta grafica ilustra que dicho coeficiente esta definido especıficamente para relaciones linea-les.
J. Hector Morales Barcenas c� 2015