descomposição de cholesky - universidade federal de...

Descomposição de Cholesky

Frederico Almeida & Guilherme Aguilar

Universidade Federal de Minas Gerais

20 de Novembro de 2018

Frederico A. & Guilherme A. (ICEX - UFMG) Descomposição de Cholesky 20 de Novembro de 2018 1 / 29


MotivaçãoMétodos de otimização numérica são uma alternativa para estimar co-eficientes de modelos nas situações em que a equação da verossim-ilhança não é analiticamente tratável;

Na prática é comum obter estimativas cuja matriz hessiana associadanão inversível (indefinida ou negativa definida);

Uma forma alternativa para contornar esse problema consiste emdescartar as amostras que fornecem uma matriz hessiana não inver-sível;

A decomposição de Cholesky consistirá basicamente em transformaruma matriz indefinida ou negativa definida (não inversível) em positivasemi-definida (inversível).



IntroduçãoFoi desenvolvida pelo cartógrafo francês André-Louis Cholesky.

É a decomposição de uma matriz hermitiana e positiva definida emum produto de uma matriz triangular inferior e sua matriz adjunta.

Útil para soluções numéricas.

Quando aplicável é duas vezes mais eficiente que a decomposiçãoLU.



Matriz Conjugada

O conjugado complexo é formalmente definido por (A∗)ij = Aji .O complexoconjugado de a + bi, onde a e b são reais, é a − bi.Se

A =

[3 + i 52 − 2i i

]então

A =

[3 − i 5

2 + 2i −i

].



Matriz HermitianaUma matriz A é hermítica se a transposta de sua conjugada for igual aprópria matriz

A∗ = AT = A ;

por exemplo 3 2 + i −i2 − i 5 5 − i

i 5 + i −1

é uma matriz hermítica.

Se A ∈ R, então A é hermítica se AT = A .

Matriz Positiva DefinidaUma matriz A é positiva definida se xT Ax > 0, ∀z vetor não nulo. Comoconsequência, os determinante das submatrizes principais são todos pos-itivos e a matriz inversa de A existe e é positiva definida.



IntroduçãoA decomposição de Cholesky de uma matriz Hermitiana positiva definida"A" tem a seguinte forma

A = LL∗.

TeoremaSeja A ∈ Mn(R) uma matriz positiva definida. Então, existe uma única ma-triz triangular superior G, com os elementos da diagonal principal positivos,tal que A = GtG.

Prova!!!



Exemplo 1Seja a matriz

A =

[1 22 13

],

Sua decomposição de Cholesky é dada por

A = GtG, onde

G =

[1 20 3

].



Exemplo 1Seja a matriz

A =

[1 22 13

],

Sua decomposição de Cholesky é dada por A = GtG, onde

G =

[1 20 3

].



Decompondo A

Seja A = GGt , onde

A = GGT =

G11 0 0G21 G22 0G31 G32 G33

G11 G21 G31

0 G22 G32

0 0 G33

=

G211 (simétrico)

G21G11 G221 + G2

22G31G11 G31G21 + G32G22 G2

31 + G232 + G2

33

,

ou seja

G =

√

A11 0 0

A21/G11

√A22 − G2

21 0

A31/G11 (A32 − G31G21) /G22

√A33 − G2

31 − G232



Decompondo A

Seja A = GGt , onde

A = GGT =

G11 0 0G21 G22 0G31 G32 G33

G11 G21 G31

0 G22 G32

0 0 G33

=

G211 (simétrico)

G21G11 G221 + G2

22G31G11 G31G21 + G32G22 G2

31 + G232 + G2

33

,ou seja

G =

√

A11 0 0

A21/G11

√A22 − G2

21 0

A31/G11 (A32 − G31G21) /G22

√A33 − G2

31 − G232



Exemplo 2

Escrevendo A = GtG da seguinte forma (para melhor visualização) de-composição de Cholesky de uma matriz simétrica real:

A =

4 12 −1612 37 −43−16 −43 98

,então temos que:

GtG =

2 0 06 1 0−8 5 3

2 6 −8

0 1 50 0 3

.



Exemplo

Escrevendo A = GtG da seguinte forma (para melhor visualização) de-composição de Cholesky de uma matriz simétrica real:

A =

4 12 −1612 37 −43−16 −43 98

,então temos que:

GtG =

2 0 06 1 0−8 5 3

2 6 −8

0 1 50 0 3

.



Econtrando os valores dos termosPara A = GtG, temos que

Gj,j =

√√√Aj,j −

j−1∑k=1

G2j,k ,

Gi,j =1

Gj,j

Ai,j −

j−1∑k=1

Gi,k Gj,k

para i > j.

E quando j = 1 o somatório tem valor zero.


Algoritmo



Definição (autovalores e autovetores)Seja A uma matriz em Rn×n. Um escalar λ ∈ R é um autovalor de A seexistir um vetor v ∈ Rn, com v , 0, tal que:

Av = λv.

O vetor v é chamado de autovetor associado a λ.

Como calcular λ?Os autovalores são calculados através das raízes do polinômio caraterís-tico P(λ).

P(λ) = det (A − λI) = (−1)nλn +n∑

j=1

ajλn−j ,

a subtração do fator λI em A tem por objetivo, obter uma matriz singular.



Definição (espectro)O espectro de A ∈ Mn(R) é o conjunto formado pelos seus autovalores,isto é,

σ(A) = {λ1, · · · , λn}

Algumas propriedadesPara ∀j , o produto dos λj é igual ao determinante de A;

O número de autovalores não-nulos é igual ao rank da matriz;

Se ∀j , λj > 0, então A é positiva definida;

Se ∀j , λj ≥ 0, i.e, ∃j , tal que λj = 0, então a matriz A é dita ser positivasemi-definida;

tr(A) =n∑

i=jaij =

n∑j=1

λj .



AutovetoresPara cada valor de λ, autovetores v são obtidos resolvendo a equação,

(A − λI) v = 0

No caso em que λ ∈ C, se Q for uma matriz rotação a γ = 90o então,λ1 = i e λ2 = −i, com tr(Q)=0 e det(Q) = 1.

O par (λj , vj) ou{∀vj,0|vj ∈ N(A − λI)

}é chamado de auto-espaço.

A norma de um autovetor v1j = (v1, · · · , v1n) é dada por,∥∥∥v1j∥∥∥ =

√v2

1 + · · ·+ v2n .



Autovetor unitárioO autovetor padronizado é dado por:

u1j =v1j∥∥∥v1j

∥∥∥ ,Dois auto(vetores) u1j e u2j são ditos serem ortogonais se o seu produtointerno for nulo. ⟨

u1j ,u1j

⟩≡ u1ju2j = 0.



Exemplo 3Considere a matriz apresentada a seguir:

A =

[1 22 4

],

O polinômio caraterístico é dado por P(λ) = λ(λ − 5), com raízes λ1 = 0ou λ2 = 5.

Os autovetores são obtidos pela equação:

(A − λ1I)v1 = 0 com v1 = [x y]T = [−2 1]T ,

(A − λ2I)v2 = 0 com v2 = [1 2]T ,

se u1 e u2 são os autovetores normalizados, segue que〈u1, u2〉=0.



Transformação de matrizesSe a matriz A é indefinida, i.e, existe em σ(A) autovalores negativos epositivos, respectivamente.

Seja Λ = diag(λj), Rebonato & Jackel (1999) propõem a seguinte transfor-mação:

Λ′

: λ′

j =

λj se λj ≥ 0

0 se λj < 0.

Se a matriz A é indefinida então ela tem pelo menos um λj < 0. E portanto,a nova matriz A

′

terá pelo menos um autovalor λ′

j = 0.



Decomposição espectral

Se Λ′

é uma matriz diagonal de autovalores modificados λ′

j e M é uma ma-triz ortogonal cujas colunas são os autovetores padronizados de A , entãoa matriz modificada (psd) é dada por:

A′

= MΛ′

M−1,

ou seja, a matriz M é dada por M = [u1j · · ·u2j]

Entre diferentes métodos de fatoração, à de Cholesky é considerada umadas mais estáveis numericamente (Thomas, 2017). Essa estabilidadesegue o fato de que todos os elementos de L são limitados pelos elemen-tos de A .

i∑k=1

`2ik = aii ⇔ `ij ≤ aii .



Estritamente falando essa matriz resulta em uma matriz de covariancia, se∀cjj obter-se cjj , 1.

A matriz A será normalizada usando a equação (Brissette et al, 2007):

A′

=A′√

diag(A ′)diag(A ′)t

É natural pensar que essa abordagem é "empírica" à primeira vista, masdeve-se perceber que autovalores negativos não podem existir em umamatriz hessiana/correlações, e que sua remoção tem um sentido físicoalém de permitir uma fatoração subsequente de Cholesky da matriz modi-ficada.



AlgoritmoSeja A uma matriz indefinida. Então:

1 Obtenha os autovalores e os respectivos autovetores de A;

2 Iguale a zero todos os autovalores menores que zero;

3 Calcule os novos autovetores v′

j usando λ′

j ;

4 Obtenha o fator de Cholesky L e a matriz Λ′

para o novo sistema deautovalores;

5 Calcule a nova matriz A′

de A ;

6 Normalize a nova matriz;

7 Por fim, calcule a inversa da matriz A usando o algoritmo de Cholesky.


Descomposição de Cholesky Modificada

Apesar da eficiência e estabilidade da decomposição de Cholesky, naprática podem surgir situações que impossibilitam a transformar uma ma-triz indefinida em positiva semi-definida.

Como foi visto, se a matriz A é positiva semi-definida, então sempre existea decomposição da forma

A = LDL t

Para uma matriz diagonal D com elementos não nulos a decomposiçãonão é única. Portanto, podemos definir a matriz permutação P tal que,PAP t tem uma única decomposição da forma, LDL t , com

D =

[D1 00 0

]



onde D1 é uma matriz diagonal quadrada com mesmo rank que amatriz A .

De forma geral, existem diferentes algoritmos modificados para a de-composição de Cholesky;

A ideia básica consiste em perturbar a matriz A (i.e, adicionando amatriz E) como fator de perturbação, tornando-a positiva definida;

Após perturbar a matriz, o fator de Cholesky pode ser obtido para anova matriz.

Essa perturbação deve garantir que a nova matriz permaneça “perti-nente” a aplicações originais.



Dada A ∈ Rn×n uma matriz simétrica mas não necessariamente positivadefinida, o objetivo da decomposição de Cholesky modificada baseia-sena construção do fator LLT da matriz positiva definida A + E. Sendo Euma matriz não-negativa.

Se A é positiva definida, então segue que o fator de perturbação énulo, i.e, E = 0;

Se A é indefinida, então ‖E‖ deve ser relativamente pequena, i.e,‖E‖ ≤ −λi(A), onde λi(A) é o maior entre os autovalores negativosdo espectro;

A + E deve ser uma matriz razoavelmente bem condicionada.



Na prática, precisamos fazer uma rotação (permutação) da matriz pertur-bada para garantir a estabilidade e decomposição, i.e,

P(A + E)P t = LDL t ,

Algumas propostas para definir a matriz de perturbação são apresen-tadas na literatura.

Uma forma obvia de escolher Econsiste em encontrar λi(A) de talforma que, se λi(A) < 0 então,

E = [−λi(A) + ε] In×n,

para algum positivo ε suficientemente pequeno.



A ideia chave na abordagem de perturbação consiste em simples-mente em escolher um valor relativamente pequeno de ejj ≥ 0 de talforma que `jj e djj sejam positivos.

`jj são elementos do fator de Cholesky anteriormente discutidos;

ejj = (E)jj .

Muitas outras abordagens como o algoritmo de Gill, Murray e Wright(GMW) e suas variantes bem como o algoritmo de Schnabel e Eskow (ES)são encontrados em Thomas (2017).


Conclusões

Existem diferentes métodos de decomposição na literatura, sendo quesua aplicação depende inteiramente do problema em estudo;

A decomposição de Cholesky é estável e eficiente independente-mente do algoritmo usado mas, o grau de eficiência e/ou a ordemde convergência varia em cada algoritmo;

A aplicação prática usando a matriz das correlações apresentadasem Rebonato e Jackel (1999) permitiu corrigir a matriz de correção deindefinida para positiva semi-definida;

Em geral, essa abordagem é aplicável para outro problemas envol-vendo um nível de complexidade maior.


Referências Bibliográficas

Brissette, F.P., Khalili M. and Leconte R. (2007). Efficient stochasticgeneration of multi-site synthetic precipitation data. Elsevier.

Faleiros, A. C. (2009). Curso de Álgebra Linear Aplicada. LectureNotes, UFABC.

Trefethen L. N., Bau, D. III (1997). Numerical Linear Algebra.

Rebonato, R. and Jackel, P. (1999). The most general methodology tocreate a valid correlation matrix for risk management and option pricingpurposes. Quantitative Research Centre of the NatWest Group.

Thomas, McS. (2017). Modified Cholesky Decomposition and Applica-tions. The University of Manchester.



R script


descomposição de cholesky - universidade federal de...

Documents