Ortogonalidad

1 Producto interior. Longitud y ortogonalidad

Definicion 1 Sean u y v vectores de Rn. Se define el producto escalar (o producto interior) de u y v como

u · v = uT v = (u1, u2, . . . , un)

v1

v2

...vn

= u1v1 + u2v2 + . . . unvn.

Ejemplo 1 Calcular el producto escalar de u =

2

−5

1

y v =

3

2

−3

.

Dados u, v y w vectores de Rn y λ un escalar, el producto escalar verifica las siguientes propiedades:

1. u · v = v · u.

2. (u + v) ·w = u ·w + v ·w.

3. (λu) · v = λ(u · v) = u · (λv).

4. u · u ≥ 0 y u · u = 0 si y solo si u = 0.

Definicion 2 Dado un vector u ∈ Rn. Definimos su norma (o longitud) como el escalar no negativo

‖u‖ =√

uT u =√

u · u =√

u21 + u2

2 + · · ·+ u2n.

Ejercicio 2 Demostrar que para cualquier escalar c se tiene ‖cu‖ = |c| ‖u‖.

Un vector cuya longitud es 1 se llama vector unitario. Para obtener un vector unitario u a partir de otro dado, v,basta dividir el vector v por su norma. Ambos vectores tienen la misma direccion, pero distinta longitud. Al procesomediante el cual se obtiene u a partir de v se le conoce con el nombre de normalizacion.

Ejercicio 3 Sea v =

1

−2

2

0

. Encontrar un vector unitario u en la misma direccion que v.

Ejercicio 4 Sea W el subespacio generado por x = ( 23, 1)T . Encontrar un vector unitario z que sea una base de W .

Definicion 3 Sean u,v ∈ Rn. Se define la distancia entre los vectores u y v como la norma del vector u− v,

dist(u,v) = ‖u− v‖ = ‖v − u‖ = dist(v,u).

Ejercicio 5 Calcular la distancia entre u =

(7

2

)y v =

(3

2

).

Definicion 4 Sean u,v ∈ Rn. Diremos que u y v son ortogonales si u · v = 0.

1

Observese que el vector 0 es ortogonal a cualquier vector u, porque 0 · u = 0, siempre.

Definicion 5 Dado un vector v y un subespacio W diremos que v es ortogonal a W si v ·w = 0 para todo vectorw ∈ W .

Dos subespacios vectoriales V y W de un espacio vectorial se dicen ortogonales si v ·w = 0 para todo vector v ∈ V yw ∈ W . En este caso, diremos que V es el complemento ortogonal de W y lo denotamos por V = W⊥ (y W es tambienel complemento ortogonal de V ). Dicho de otra forma: el complemento ortogonal de W es el conjunto de todos losvectores v que son perpendiculares a W ,

W⊥ = {v ∈ Rn : v ·w = 0, para todo w ∈ W}.

Observacion. Observese que para comprobar si un vector v pertenece al complemento ortogonalde un espacio dado W , basta con comprobar si v es ortogonal a un conjunto que genere W .

Ejemplo 6 Hay cuatro subespacios importantes N(A), C(A), F (A), N(AT ). ¿Cuales son ortogonales?

El espacio F (A) es por definicion el generado por las filas de A, F (A) = Gen{f1, f2, . . . , fn} (visto como vectores columna).

Para demostrar que los subespacios son ortogonales, basta con ver que dado x ∈ N(A), entonces x es ortogonal a cada una de

las filas. Pero como x ∈ N(A), por definicion

Ax =

−f1T−

−f2T−...

−fnT−

x = 0, ¡Cuidado con la notacion!

y por tanto

f1T x = 0, . . . , fn

T x = 0.

Analogamente, para demostrar que C(A) = Gen{a1,a2, . . . , am} es el complemento ortogonal de N(AT ) comprobamos que

un vector y ∈ N(AT ) arbitrario es ortogonal a todas las columnas de A: Si y ∈ N(AT ), entonces

AT y =

−a1T−

−a2T−

...

−amT−

y = 0, ¡Cuidado con la notacion!

y por tanto

a1T y = 0, . . . , am

T y = 0.

Importante. Sea A una matriz m × n. El complemento ortogonal del espacio fila de A es elespacio nulo de A y el complemento ortogonal del espacio columna de A es el espacio nulo de AT :

(F (A))⊥ = N(A), (C(A))⊥ = N(AT ).

2 Proyecciones ortogonales

¿Cual es la sombra que proyecta el vector b = (2, 3, 4)T sobre el plano xy? ¿Y sobre el eje z? ¿Como podemoscalcular la proyeccion de un vector sobre un subespacio arbitrario?

Idea. Dado v ∈ Rn y W un subespacio de Rn, queremos descomponer vcomo suma de dos vectores

v = pW + e,

tal que pW ∈ W y e ∈ W⊥.

2

Ejemplo 7 Proyectar un vector v sobre un subespacio vectorial de dimension 1 (una recta):

Sea a el vector director de la recta. Buscamos λ y pW tal que

pW = λa

Sabemos que si v = pW + e, entonces

a · e = 0

e = v − pW = v − λa

Juntando estas dos expresiones se obtiene:

0 = a · e = a · (v − λa) = a · v − λa · a

y por tanto λ =aT v

aT ay pW =

aT v

aT aa

Ejercicio 8 Calcular la proyeccion del vector v = (1, 1, 1)T sobre la recta cuyo vector director es a = (1, 2, 2)T .

Si W es un subespacio vectorial generado por los vectores {a1, . . . ,ap} linealmente independientes para proyectarv sobre W usamos la misma idea que en dimension 1. Buscamos

pW = [a1| . . . |ap]p×nx = Ax.

Utilizando que AT · e = 0 concluimos x tiene que ser solucion del sistema AT v = AT Ax y entonces la proyeccion es

pW = A(AT A)−1AT v .

Ejercicio 9 Dados el vector v = (6, 0, 0)T y el subespacio W = {(1, 1, 1)T , (0, 1, 2)T }. Calcular la proyeccion de v sobre W .

Importante.

Teorema de la descomposicion ortogonalSea W un subespacio de Rn. Todo vector v ∈ Rn se escribe de manera unica comosuma de dos vectores

v = pW + e,

tales que pW ∈ W y e ∈ W⊥.

Distancia mınimapW es el elemento de W que mas cerca esta de v:

‖pW − v‖ ≤ ‖pW − b‖,

para todo b ∈ W.

Ejercicio 10 Encontrar la distancia del vector v = (−1,−5, 10)T al subespacio W generado por (5,−2, 1)T , (1, 2,−1)T .

3 Problemas de mınimos cuadrados

Idea. En muchos problemas practicos Ax = b no tiene solucion. Hay demasiadas ecuaciones. Sinembargo necesitamos encontrar una “solucion”, de forma que Ax se parezca lo mas posible a b.

Sea e = b−Ax; como el sistema no tiene solucion e 6= 0, y buscamos x tal que e sea lo mas pequeno posible.

Definicion 6 Dada A una matriz m×n y b ∈ Rn. Una solucion de mınimos cuadrados de Ax = b es y ∈ Rn tal que

‖b−Ay‖ ≤ ‖b−Ax‖, para todo x ∈ Rn.

3

¿Como calculamos la solucion de mınimos cuadrados?

Idea. A es rectangular y Ax = b no tiene solucion. Multiplicar ambos ladosde la ecuacion por AT ,

AT Ax = AT b.

Es un nuevo sistema, que sı tiene solucion. La solucion de este sistema, es lasolucion de mınimos cuadrados del problema original.

Ejemplo 11 Dados los puntos (0, 6), (1, 0) y (2, 0) encontrar la recta que este mas cerca de los tres puntos.

Buscamos y = mx + n con incognitas m y n. El sistema que tenemos que resolver se escribe en forma matricial como

1 0 | 6

1 1 | 0

1 2 | 0

Es facil ver que este sistema es incompatible.

Buscamos una solucion de mınimos cuadrados. Para ello calculamos

AT A =

(1 1 1

0 1 2

)

1 0

1 1

1 2

=

(3 3

3 5

), AT b =

(1 1 1

0 1 2

)

6

0

0

=

(6

0

)

y resolvemos el sistema (3 3

3 5

) (n

m

) (6

0

).

La solucion de mınimos cuadrados es m = −3 y n = 5, luego la recta que mejor aproxima a los tres puntos es y = −3x + 5.

4 El proceso de ortogonalizacion de Gram-Schmidt

Un problema de mınimos cuadrados es mas facil de resolver si AT A es diagonal.

Definicion 7 Los vectores {q1, . . .qn} son

ortogonales si qi · qj = 0, para i 6= j.

ortonormales si son ortogonales y qi · qi = 1 para todo i.

Definicion 8 Una matriz Q con columnas ortonormales entre sı se llama ortogonal

Propiedad. Si Q es cuadrada y ortogonal

QT = Q−1

Dada una base {a1, . . . ,an} de un subespacio, queremos encontrar otra {q1, . . . ,qn} base de ese mismo espaciocuyos elementos sean ortogonales (o incluso ortonormales). La ventaja que tiene el trabajar con bases ortonormaleses que, si bien el espacio generado por ambas bases el mismo, las cuentas se simplifican si utilizamos Q = [q1| . . . |qn](Recordar que QT Q = I).

Proceso de Gram-Schmidt. Dados n vectores linealmente independientes {a1, . . . ,an} deun subespacio vectorial, construimos una base ortogonal de vectores {w1, . . . ,wn} a partir de labase original. La base ortonormal {q1, . . . ,qn} se obtiene dividiendo cada wi por su norma.

Paso i: Elegimos w1 = a1.

4

Paso ii: El vector w2 tiene que ser ortogonal a w1. Por el teorema de de descomposicion ortogonal sabemos que

a2 = pW + e,

donde pW es la proyeccion de a2 sobre el subespacio W y e ∈ W⊥. Sea en este caso W = Gen{w1}. Entonces e y w1

son ortogonales. Por tanto tomamos e = w2 y ası

w2 = a2 − pW = a2 − w1T a2

w1T w1

w1.

Paso iii: Usamos la misma idea que en el paso anterior. El vector w3 tiene que ser ortogonal a w1 y w2. De nuevo,por el teorema de de descomposicion ortogonal sabemos que

a3 = pW + e,

donde pW es la proyeccion de a2 sobre el subespacio W y e ∈ W⊥. Definamos W = Gen{w1,w2}. Entonces e esortogonal a w1 y w2, (que a su vez son ortogonales entre sı). Tomamos e = w3 y ası, como estamos proyectando sobreun espacio generado por un conjunto ortogonal {w1,w2} tenemos

w3 = a3 − pW = a3 − w1T a3

w1T w1

w1 − w2T a3

w2T w2

w2.

...

Paso n: Para calcular wn proyectamos an sobre el espacio generado por {w1, . . .wn−1}, que por la construccion quehemos hecho, son ortogonales entre sı. Entonces

wn = an − pW = an − w1T an

w1T w1

w1 − w2T an

w2T w2

w2 − · · · − wn−1T an

wn−1T wn−1

wn−1.

De esta forma obtenemos una base ortogonal {w1, . . . ,wn} y tal que Gen{a1, . . . ,an} = Gen{w1, . . . ,wn}. Paraconseguir una base ortonormal basta con dividir cada uno de los vectores de la base ortogonal por su norma; es decir

{q1, . . . ,qn} ={ w1

‖w1‖ , . . . ,wn

‖wn‖}

.

5 Diagonalizacion de matrices simetricas

Recordatorio.

A es simetrica si AT = A.

A es diagonalizable si existen matrices D diagonal y P invertible tal que

A = PDP−1

Si Q es cuadrada y ortogonal Q−1 = QT

Ejemplo 12 La matriz

A =

6 −2 −1

−2 6 −1

−1 −1 4

tiene por valores propios λ = 8, 6, 3 y por vectores propios

v1 =

−1

1

0

, v2 =

−1

−1

2

, v3 =

1

1

1

.

5

que son ortogonales entre sı. Si v1,v2,v3 son vectores propios

w1 =v1

‖v1‖ , w2 =v2

‖v2‖ , w3 =v3

‖v3‖ ,

tambien lo son y A se puede diagonalizar como

A = [w1|w2|w3]D[w1|w2|w3]−1 = [w1|w2|w3]D[w1|w2|w3]T .

¿Cuando se puede hacer este tipo de diagonalizacion (diagonalizacion ortogonal)?

Importante. Dada A simetrica. Entonces

A es siempre diagonalizable

Vectores propios de espacios propios diferentes son siempre ortogonales

Los vectores propios se pueden escoger todos ortogonales entre sı (con el proceso de Gram-Schmidt, cuando sea necesario)

Es mas:

A es diagonalizable ortogonalmente ⇐⇒ A es simetrica.

Ejercicio 13 Diagonalizar ortogonalmente la siguiente matriz

A =

5 −4 −2

−4 5 2

−2 2 2

.

6