trabalho otimi

1oTrabalho

deOtim

ização2oTrabalho de Otimização de Funções

Otimização de funções através do método doGradiente e Newton hibridizado com o método do

gradiente

Claudir Oliveira - [email protected],Instituto Politécnico - Universidade do Estado do Rio de Janeiro - IPRJ, UERJ

Prof.: Luis Nelio Henderson Guedes de Oliveira

Resumo. Os algoritmos apresentados neste trabalho tem como objetivo resolver proble-mas com características não-lineares sem restrições e com múltiplos ótimos. Em muitosproblemas com essas características, são usados os alguns métodos tradicionais, que nemsempre são eficientes para encontrar as soluções. Nesse sentido, o método de Newton debusca linear, combinado com o método do gradiente foi usado na busca da solução. Emseguida, as funções testes também foram aplicadas no método de descida máxima paracomparação. Os resultados indicam que o método de Newton hibridizado se mostrou commelhor desempenho para resolver os problema aqui testados.

1. IntroduçãoExistem diversos métodos para solução de equações lineares e não lineares para otimi-

zação de problemas, sejam métodos determinísticos e/ou estocásticos. Porém, à medidaque os problemas se tornam mais complexos, as raízes minimizadoras, são de difícil solu-ção. Desta forma, os métodos determinísticos com características de forte convergênciaglobal, são alternativas fáceis de implementar além de se obter resultados tão próximos asoluções exatas.

O presente trabalho tem como objetivo, a solução de problemas caracterizados pormodelos não-lineares e possivelmente multimodais. O algoritmo base (Máxima descida)usado é de fácil implementação e seu desempenho é comparado ao método de Newtoncombinado com o método do gradiente.

Para que os algoritmos sejam convenientemente testados, serão aplicados alternativa-mente algumas funções testes as quais podem ser encontradas em [2]. Objetiva-se entãominimizar as funções através dos métodos. Os resultados preliminares computacionais,para o conjunto de problemas testes de otimização sem restrições aqui usados, mostramque o método de Newton hibridizado com o gradiente conjugado, supera o método demáxima descida.

2. Problemas propostosPara que os algoritmos pudessem ser verificados, algumas funções testes foram esco-

lhidas para testes. A análise de desempenho dos métodos foi realizada através do númerode iterações. A seguir estão listados os problemas de quadrados mínimos escolhidos apartir de coleção de funções descritas em [2].

1oTrabalho

deOtim

ização2 Claudir Oliveira

2.1. Função I

Primeiramente, uma função mais simples foi usadas nos métodos. Essa função temmínimo x1 = 2, x2 = 1 e f(x) = 0 e é escrita da seguinte forma

F (x1, x2) = (x1 − 2)4 + (x1 − 2 ∗ x2)2 (2.1)

2.2. Função de Rosenbrock

Em otimização matemática, a função de Rosenbrock é uma função não-convexa utili-zada como problema de teste em desempenho de algoritmos de otimização, introduzidaspor Howard Rosenbrock em 1960 [1]. É também conhecido como vale de Rosenbrock oufunção banana de Rosenbrock.

O mínimo global desta função se encontra em um longo e estreito vale em formaparabólica plana. Para encontrar o vale é trivial porém, a convergência para o mínimoglobal, é difícil e é definida pela seguinte equação

F (x1, x2) = 100(x1 + x2)2 + (1− x1)2 (2.2)

cuja variante, usada neste trabalho é dada por,

F (x1, x2) =N/2∑i=1

= 100(x1 + x2)2 + (1− x1)2 (2.3)

Esta variante tem sido mostrado que existe um mínimo para N = 3 e dois mínimos para4 ≤ N ≥ 7.

2.3. Função Beale

A função bidimensional é dada por

F (x1, x2) = (1.5− x1(1− x2))2 + (2.25− x1(1− x22))2 + (2.625− x1(1− x32))2 (2.4)

onde x0 = [1, 0.8, ..., 1, 0.8] e cujo o mínimo global é 0 no ponto (3; 0, 5)

2.4. Função Freudenstein & Roth

Essa função tem o mínimo global F (x1, x2) = 0 no ponto [4; 5] e um mínimo localF (x1, x2) = 48.98425 no ponto [11.4125;−0.89685]. É definida da seguinte forma

F (x1, x2) = (−13+x1+((5−x2)x2−2)x2)2+(−29+x1+((x2+1)x2−14)x2)

2(2.5)

onde x0 = [0.5,−2, 0.5,−2, ..., 0.5,−2].

2.5. Função de Himmelblau

A Função de Himmelblau é uma função multimodal e espaço de busca bidimensional(x1, x2). Foi usada neste trabalho para testar a performance dos algoritmos de otimiza-ção. É função de duas variáveis, além de possuir mais de um resultado ótimo possível(conhecidos como mínimos locais), o que requer bons métodos, para encontrar melhoressas soluções.

1oTrabalho

deOtim

izaçãoOtimização de Equações Lineares 3

Os quatros pontos correspondentes aos valores de mínimo citados na literatura são,respectivamente: x1 = 3, 0 e x2 = 2, 0; x1 = 3, 584 e x2 = −1, 848; x1 = −2, 805 ex2 = 3, 131; x1 = −3, 779 e x2 = −3, 283. A função é dada pela equação

F (x1, x2) = (x21 + x2 − 11)2 + (x1 + x22 − 7)2 (2.6)

As formas tridimensional das funções são representadas nas seções a seguir.

3. Descrição dos métodosOs métodos descritos a seguir se enquadram na categoria de algoritmos de busca

direcionais e são considerados eficientes. O princípio desses algoritmos inicialmente, égerar xk de forma iterativa, com informação dada pelo usuário.

Os algoritmos de otimização irrestrita descritos aqui se enquadram na categoria dealgoritmos de busca direcionais:

3.1. Método de máxima descidaNo método da máxima descida (“steepest descent”) para solução de equações, inicia-se

de um vetor solução ~xi e caminha-se em direção ao vetor solução, através de uma série depassos x1, x2, ..., onde

kk+1 = xk + α~pk (3.1)

até que xn seja próximo o suficiente da solução, satisfazendo alguma condição estabelecida.O algoritmo a seguir corresponde a forma simplificada do método de máxima descida.

Algorithm 1 - Algoritmo do método de máxima descidaParâmetros de entrada: x0 ∈ < e ε > 0

k ← 0if ‖∇f(xk) ‖< ε pareend ifFaça ~Pk ← ∇f(xk)

||∇f(xk)||Encontre αk > 0

αk ← argmin f(xk + α~Pk)xk+1 ← xk + α~Pk

k ← k + 1

1oTrabalho

deOtim


3.2. Método de Newton-GradienteO grande atrativo do Método de Newton é justamente suas características de conver-

gência, no entanto é necessário fazer algumas adaptações ao método para que possa serutilizado a partir de pontos mais distantes da solução. Em cada iteração de um métodode busca linear, calcula-se uma direção de pk e então decide-se o quanto se deve mover aolongo desta direção. A iteração é dada por

kk+1 = xk + αpk (3.2)

onde αk é um escalar positivo chamado de tamanho de passo.O sucesso do método de busca linear depende da escolha da direção de pk e do tamanho

do passo αk. A maior parte desses algoritmos exigem que pk seja uma direção de descida.

Algorithm 2 - Algoritmo do método de Newton de busca linear, hibridizado com ométodo do gradiente.Parâmetros de entrada: x0 ∈ < e ε > 0

k ← 0if ‖∇f(xk) ‖< ε pareend ifResolver ∇2f(xk)P

Nk = ∇f(xk)

if ∇f(xk)TPNk < 0 faça

Pk ← PNk

elsePk ← ∇f(xk)

||∇f(xk)||Encontre αk > 0

αk ← argmin f(xk + α~Pk)xk+1 ← xk + α~Pk

k ← k + 1

No algoritmo, Pk ∈ < corresponde a direção de descida para f em xk: ∇f(xk)TPNk < 0.

Para obter convergência global, a boa escolha do tamanho do passo não é suficiente, énecessário também a escolha da direção de Pk. Na literatura são encontradas as exigênciassobre a direção de busca, não sendo portanto objeto de estudo deste trabalho.

A seção a seguir são mostradas as aplicações dos algoritmos nas funções testes, etambém, são ilustrados os gráficos de cada função.

1oTrabalho

deOtim


4. Resultados e discussõesPara ilustrar mellhor, as funções foram representadas na forma tridimensional como po-dem ser vistas com seus respectivos gráficos a seguir.

(a) Funcao 1 (b) Rosenbrock

(c) Beale (d) Freudenstein & Roth

(e) Himmelblau

Figura 1: Representação gráfica das funções testes.

Na Figura (2) estão representadas as curvas de níveis correspondente a algumas funçõesobjetivo. O objetivo na apresentação desses gráficos é observas o comportamento dassoluções nos métodos durante o processo iterativo.

1oTrabalho

deOtim


(a) Funcao 1: Newton (b) Funcao 1: Steep Descent

(c) Rosembrock: Newton (d) Rosembrock: Steep Descent

(e) Himmelblau: Steep Descent

Figura 2: Representação gráfica das curvas de níveis com o comportamento das raízes.

O gráfico na Fig. (2e) corresponde a função de Himmelblau que contém quatro míni-mos. É importante observar que as soluções foram encontradas após diferentes execuçõese além disso, as estimativas iniciais foram modificas em cada execução.

Na Tabela 1 está mostrado as raízes para a Eq. (2.2), obtidas com o método de Newtonhibridizado após 4 execuções.

1oTrabalho

deOtim


Tabela 1: Resultados obtidos usando (I) o método de Newton híbrido e (II) o método dogradiente.

(I)Iteração x1 x2 F (x1, x2)

1. 0. 3. 52.2. 0,6665575 0,3335449 3,16152923. 1,1110286 0,5555199 0,62452704. 1,4073523 0,7036777 0,12336345. 1,6048984 0,8024489 0,02436896. 1,7365975 0,8682983 0,00481377. 1,8243942 0,9121966 0,0009509

(II)x1 x2 F (x1, x2)0. 3. 52.

3,3023985 1,1986904 3,69629382,5087361 1,4685477 0,25047562,5406199 1,303023 0,08970221,9108249 0,9741525 0,00146801,9193548 0,9577140 0,00005771,9187241 0,9594345 0,0000437

Observou-se que as raízes mostradas na Tab.(1) são semelhantes às encontradas pelométodo do gradiente, porém com esse, com maior número de iterações.

Tabela 2: Resultados obtidos para a função Freudenstein & Roth usando o método deNewton Híbrido.

Iteração x1 x2 F (x1, x2)

1. 0.7504609 - 1.6122613 119.475362. 6.6554661 - 1.2522353 62.7008523. 10.180603 - 0.9990334 50.0365914. 11.317879 - 0.9053892 48.9919235. 11.410706 - 0.8969508 48.9842566. 11.412743 - 0.8968079 48.984254

Aqui, observou-se que os resultados para o método do gradiente foram adquiridos comum maior número de execução, porém as raízes são muitos semelhantes àquelas obtidascom o método de Newton.

Os resultados mostrados na Tab. (3) sumarizam os resultados encontrados e faz umcomparativo entre as soluções e número de iterações para os dois algoritmos.

Tabela 3: Comparação das raízes de cada função, obtidas pelos dois algoritmos.Função Limites No Iter. x1 x2 F (x1, x2)

I Newt. 0; 3 6 1,9903798 0,9951894 8,566D-09Grad. “ 9 2,02923 1,0146224 0,0000007

Rosembrock Newt. -1,2; 1 4 0,9996996 0,9993989 9,024D-08Grad. “ 10 1,000093 1,0001863 8,660D-09

Beale Newt. 1; 1 13 2.9997114 0.4999285 1.334D-08Grad. “ 18 2,9983732 0,4995979 0,0000004

Freudenstein & Roth Newt . 0,5;-2 7 11,412743 -0,8968079 48,984254Grad. “ 9 11,412744 -0,8968078 48,984254

Para a função Freudenstein & Roth que contém dois mínimos, o método de Newtontambém encontra a raíz x1 = 5, 0000324, x2 = 3, 9999994 e valor da função objetivoF (x1, x2) = 1, 518D − 09.

1oTrabalho

deOtim


5. ConclusõesNeste trabalho foi utilizado dois algoritmo para otimização. Os métodos usados apre-

sentaram bom desempenho e resolveu os problemas propostos com o menor número deiterações. O método de Newton híbrido, nos casos estudados demostrou ser uma boaproposta na categoria de métodos de otimização. Em relação ao número de iteraçõesapresentou melhor resultado.

Referências[1] Rosenbrock, H.H. (1960). “An automatic method for finding the greatest or least value

of a function”. The Computer Journal 3: 175-184. doi:10.1093/comjnl/3.3.175. ISSN0010-4620.

[2] Andrei, N. (2008) An unconstrained optimization test functions collection. Adv. Mo-del. Optim. An Electr. Int. J., 10, pp. 147-161.

[3] J.L. Dorício, M.F. Tomé, Um método numérico para simular escoamentos incompressí-veis de fluidos de segunda ordem, TEMA – Tend. Mat. Apl. Comput., 7, No. 1 (2006),63–74.

trabalho otimi

Documents