"Diseo y Simulacin de un Sistema de contrl mediante mtodos de espacio de estado"

Sistema de Control Basados en Redes Neuronales Artificiales.Clasificacin de Neurocontroladores.Introduccin.Este capitulo es un resumen introductorio de las propiedades del aprendizaje utilizando redes neuronales artificiales, haciendo nfasis en las ideas y mtodos ms relevantes aplicados al control de sistemas dinmicos. Esta perspectiva hace un anlisis en retrospectiva desde los inicios de las redes neuronales aplicadas al control dando continuidad hasta las actuales investigaciones en este campo, denominado por Barto [1] investigacin conexionista, as como su estrecha relacin con los espacios tradicionales de investigacin como son el control automtico, el procesamiento de seales y la clasificacin de patrones.Relacionar los mtodos de aprendizaje conexionista con la teora existente es muy importante para aquellos interesados en elementos de control con aprendizaje y adaptivos, ya que la teora de control es un campo ampliamente desarrollado con mucha literatura, donde muchos de los mtodos de aprendizaje estn muy relacionados con mtodos clsicos bien estructurados por los tericos del control adaptivo.Por otro lado, dada la tendencia que los conexionistas estn tomando para el desarrollo de estos mtodos neuronales, se han generado nuevas caractersticas que estn ausentes de los elementos tradicionales en la ingeniera de control. Algunas de estas caractersticas se discuten en este capitulo.Este capitulo no intenta ser una revisin exhaustiva de todas las investigaciones en el campo del aprendizaje conexionista, y por el contrario trata de proveer referencias tiles de la literatura en este campo.Existe una revisin hecha por Hilton [2] que cubre un amplio sector de los mtodos de aprendizaje, aunque no focaliza en el campo del control. Existen muchas publicaciones que cuidadosamente han elaborado marcos de referencia. En este captulo se presentan con mayor detalle las caractersticas concernientes al aprendizaje supervisado y reforzado. Es importante sealar que se asume que el lector conoce los elementos bsicos sobre los algoritmos de aprendizaje conexionista o neuronal.Adems, por motivos de la tendencia final de esta tesis, no se discute sobre las investigaciones de la implementacin en hardware de los algoritmos conexionistas ms all de algunos pequeos sealamientos. Tampoco se menciona nada acerca de las relaciones que han surgido entre la teora del aprendizaje conexionista y las neurociencias biolgicas, tambin un campo en pleno auge de desarrollo.Historia.En la fig. 5.1 se esquematiza en modelo propuesto por Barto [1] acerca de la historia de la investigacin del aprendizaje conexionista aplicacin de las redes neuronales artificiales en control, as como su relacin con la Inteligencia Artificial (AI). Esta representacin representa diferentes caractersticas importantes de la investigacin conexionista.El primer evento relevante en la fig. 5.1 es la divergencia entre los campos de las lneas etiquetadas como "mtodos de ingeniera", y los "mtodos de manipulacin secuencial de smbolos", aunque esas lneas separadas de investigacin no emergen tan sbitamente como se representa en el grfico. El la parte central del grfico leemos "periodo romntico", se ha denominado con este nombre al perodo donde de desarrollaron los primeros esquemas de clculo basados en modelos biolgicos [9]. A manera de resumen podemos denominar al campo de la izquierda como "vectores caractersticos de los sistemas" y "representaciones articuladas de los sistemas" al de la derecha.

Un "vector caracterstico de un sistema" es una lista de mediciones, teniendo valores lgicos o numricos, hechos de alguna situacin, estado, objeto, etc. Por otro lado, una "representacin articulada" puede ser una estructura recursiva permitiendo que un "todo" pueda ser representado en forma semejante a sus "partes". Esto permite describir situaciones que recursivamente se incluyen dentro de las representaciones de otras situaciones ms complejas en el sentido de que no se tienen contrapartes evidentes en los vectores caractersticos.A pesar de la disposicin de muchas investigaciones en este campo, con el objeto de conseguir que los vectores caractersticos y las representaciones simblicas o articuladas trabajen en conjunto, existe an una separacin fundamental entre estos dos estilos representacionales. La ingeniera tradicional, en la lnea izquierda de la fig. 5.1, no ha tomado en cuenta los aspectos representacionales debido principalmente a que las representaciones por vectores caractersticos son ms naturales para los problemas de prediccin y control que los ingenieros intentan resolver. Consecuentemente, las discusiones sobre la relevancia de los mtodos conexionistas para el control no intentan resolver las preguntas relacionadas con las analogas conexionistas de las representaciones simblicas, que precisamente ocupa mucha de la atencin de la IA y las ciencias cognoscitivas.Aunque el procesamiento simblico juega indudablemente un importante roll en los sistemas de control inteligente (quizs los elementos conexionistas juegan el papel clave), parece existir una amplia oportunidad para progresar en el control antes que se necesite considerar las representaciones articuladas que dominan la AI simblica.Otra importante caracterstica del diagrama presentado en la Fig. 5.1, es que la lnea que representa a la investigacin conexionista actual parte de la lnea de la "manipulacin secuencial simblica" (no de la lnea de ingeniera). Lo significativo de esto es que mientras las tcnicas conexionistas generalmente estn muy relacionadas con los mtodos de ingeniera (los vectores de caracterizacin numrica, los gradientes, la suma de errores cuadrados, etc.) muchos de los postulados conexionistas continan la tradicin de seguir a la AI en aquellos problemas que no tienen una formulacin matemtico de alto grado como la linealidad. Por esto la investigacin conexionista es ms experimental y heurstica que la metodologa de la ingeniera moderna. Por ejemplo, actualmente muchos investigadores conexionistas estn experimentando con el mtodo de propagacin del error hacia atrs para entrenar redes multicapa, sin la ayuda del entorno terico que gua la aplicacin y garantiza los resultados. Adicionalmente, los investigadores conexionistas rutinariamente utilizan una clase de libertad representacional que no es comn en la mayora de las aplicaciones ortodoxas de la ingeniera de control. Por ejemplo, un vector caracterstico puede ser una representacin distribuida de una clase de representacin simblica, que es muy lejana a las cantidades fsicas medibles usadas en la mayora de aplicaciones fsicas (posicin, velocidad, etc.). Los mtodos conexionistas frecuentemente utilizan "representaciones expansivas" que tienen dimensiones mucho ms grandes que las dimensiones intrnsecas y aparentes del problema.Esto no significa que la experimentacin y la heurstica estn ausentes de la ingeniera, que los investigadores conexionistas puedan solamente basarse en los mtodos que utilizan. Por consiguiente, en el campo de la ingeniera de control, existen numerosos esfuerzos para desarrollar ms elementos heursticos aplicados al control. El objetivo es explorar el punto medio entre la ingeniera y la AI as como sus aplicaciones concretas a la teora de control. Existen indudablemente muchas razones para que la investigacin en este campo no conduzca a un mayor desarrollo dentro de la ingeniera de control. Aunque algunas de esas razones pueden incluir deficiencias reales de estos mtodos para cierta clase de problemas, es importante considerar dos factores adicionales que pueden haber sido importantes: Primero, el alejamiento de la AI de los mtodos basados en matemticas (los mismos desarrollos en AI que la aislaron de la teora conexionista en la dcada de los aos 60s). Esto puede tambin haber aislado a los tericos del control heurstico. Segundo, muchos de los mtodos de control propuestos por esos investigadores tienen requerimientos de memoria que eran excesivos en trminos de la tecnologa disponible en esas fechas. Ahora, sin embargo, los avances tecnolgicos han hecho que los requerimientos intensivos de memoria sean casi insignificantes. La perspectiva tomada en este capitulo es que los elementos conexionistas (redes neuronales aplicadas al control de procesos) son soluciones que requieren el uso intensivo de la memoria y que actualmente son tecnolgicamente eficientes, lo que permite explorar la utilidad de estos mtodos.Una de las debilidades de la investigacin conexionista es que reside en medio de la ingeniera y de la AI, utilizando tcnicas matemticas de la ingeniera mientras simultneamente incorpora representaciones expansivas y una metodologa experimental ms o menos semejante a la AI. Es obviamente deseable mantener un alto rigor matemtico, pero los elementos experimentales y heursticos aparecern esencialmente tanto para el desarrollo de aplicaciones para sistemas no lineales complejos, como para detectar irregularidades sobre ciertas clases de problemas. Sin embargo, tanto para cualquier elemento como para los problemas complejos de control, es importante reconocer que algunos problemas no estn bien ubicados para la aplicacin de mtodos de aprendizaje conexionista. Esos son problemas para los cuales una falla en el control es inaceptablemente costosa para aquellos que no es posible usar medidas preventivas de control para la seguridad en caso de un rendimiento inaceptable o fallas. Aunque los mtodos de aprendizaje conexionista tienen potencial para extender el rango de las aplicaciones de control, puede notarse que las aplicaciones ms adecuadas para esos mtodos sern aquellas relacionadas con las capacidades de control de sistemas nerviosos biolgicos. Sin embargo, existe una amplia gama de aplicaciones que pueden salir de este concepto.La investigacin de las redes neuronales aplicadas a control (teora conexionista) provee un puente entre las lneas de investigacin que haban divergido por ms de veinte aos. El nivel actual de las actividades en investigacin conexionista puede ser comparado con la expectacin que resultara si cientficos de diferentes planetas similares repentinamente pudieran comunicarse y transmitir sus respectivas tecnologas. Existira un flujo repentino de informacin y conceptos dando como resultado que en ambos lados se tengan los mismos entornos tericos. No sera sorprendente que mtodos bien conocidos por aos fueran reformulados usando un lenguaje distinto, tampoco sera sorprendente que algunas ideas de cada lado fueran nuevas en el otro. Estos factores culturales o sociolgicos son tan importantes como los factores tcnicos que nos permiten entender que fue lo que sucedi en los aos posteriores al nacimiento de la investigacin conexionista, cuando empez a desarrollarse con respecto a las dos lneas de investigacin restantes.Arquitecturas de Neurocontrol.Hasta la fecha existe un creciente inters en los sistemas de control que incluyen redes neuronales artificiales como elementos de control, por lo que se han implementado un importante nmero de soluciones. Las aplicaciones exitosas ms relevantes incluyen desde elementos que operan como identificadores hasta aquellos que trabajan como controladores de optimizacin utilizando modelos del proceso. Este capitulo analiza la concepcin de los sistemas de control basados en redes neuronales como problemas de optimizacin no lineal. Esto permite que dependiendo de las caractersticas de cada aplicacin en particular podrn utilizarse diferentes algoritmos.Una parte medular de este trabajo es generar un marco referencial para el desarrollo de controladores basados en redes neuronales artificiales. Dado el acelerado crecimiento de las propuestas en los ltimos dos decenios, la clasificacin siguiente no puede ser tomada como absoluta, sino por el contrario, muchos ajustes podrn hacerse en virtud de nuevas arquitecturas, modificaciones a las existentes nuevos modelos hbridos.La sntesis de una buena cantidad de documentos cientficos acerca del neurocontrol permite esbozar el marco referencial presentado adelante. En dicha distribucin se ha tratado de proponer una clasificacin optima para los sistemas de neurocontrol. Es importante sealar que dependiendo de la escuela o el autor de la clasificacin, es comn encontrar distintas denominaciones para una estructura similar, bien un mismo nombre para diferentes estructuras de control.Existe una divisin fundamental entre los algoritmos basados en tcnicas de gradiente descendiente, donde estn disponibles una amplia variedad de tcnicas y los que no lo son. Aunque los algoritmos basados en el gradiente pueden ser significativamente ms eficientes, hay muchas aplicaciones donde son inaplicables. Por ejemplo, la evaluacin para el rendimiento de control deseado no siempre es diferenciable, por lo que los mnimos locales pueden provocar que los mtodos de gradiente sean inapropiados y no puedan modelar un proceso cuando no existen derivadas. Este capitulo revisa algunos algoritmos de los neurocontroladores que no utilizan el gradiente descendiente.Ser posible esbozar un entorno unificado para los neurocontroladores considerando de nueva cuenta el entrenamiento de una red neuronal como un problema de optimizacin no lineal.

En la expresin de la ecuacin 5.1 se trata de encontrar una representacin optima de la red neuronal que minimice una funcin objetivo J sobre el espacio de los pesos de la red (w). Aqu NN indica que la formulacin del problema de optimizacin envuelve una red neuronal.El roll que juega la red neuronal en la funcin objetivo se convierte en una pista para distinguir entre las distintas estructuras de los neurocontroladores. Para hacer ms interesante este capitulo, la formulacin de la ecuacin 5.1 tomar diferentes formas acordes a la discusin que se sigue. Los aspectos de optimizacin de los neurocontroladores son discutidos principalmente en este capitulo, tomando como base la formulacin de una funcin objetivo. Los problemas de optimizacin presentados no son precisos pero estn formulados conceptualmente para propsitos de discusin.Esta seccin presenta algunos aspectos importantes para el diseo de un neurocontrolador. Aunque existen otros caminos para clasificarlos [4] este capitulo adopta una estructura similar a la teora de control adaptivo [1]:A. Arquitecturas para el modelado de sistemas.B. Neurocontroladores Indirectos. Controlador neuronal basado en modelo completo. Controlador neuronal basado en modelo paramtrico parcial. Modelo inverso neuronal. Parametrizador de controladores basado en Redes Neuronales Artificiales.C. Neurocontroladores Directos. Modelado del controlador. Neurocontrolador libre de modelo. Neurocontrolador basado en modelo. Neurocontrol robusto.Son tres familias de arquitecturas para la aplicacin de las RNAs en sistemas de modelado y control. En primer lugar tenemos las arquitecturas de modelado de sistemas, donde se utiliza una red neuronal para imitar el comportamiento de un elemento fsico real. Con este objetivo se desarrollan cuatro propuestas.En el esquema de neurocontroladores indirectos, la red neuronal no enva seales de control directamente al proceso. En lugar de esto, la red indica algunas caractersticas dinmicas de relevancia en el proceso. Este indicador puede ser un modelo que se comporta de forma similar al proceso bien un parametrizador que ajusta a un controlador produciendo configuraciones apropiadas basadas en el comportamiento de dicho proceso.En el esquema de un neurocontrol directo, una red neuronal es empleada como un controlador de retroalimentacin que enva seales directamente al proceso. Dependiendo del concepto del diseo, los elementos del neurocontrolador directo se categorizan principalmente atendiendo su dependencia al modelo del sistema.Arquitecturas para el modelado de sistemas.Existen principalmente cuatro arquitecturas de RNA para el modelado de plantas [4,5,6] como son: Modelado bsico, modelado inverso de la planta, modelado inverso especializado y modelado del operador.Para el modelado especializado inverso, el error se forma de la salida de la planta y la salida de la red es la entrada a la planta.Modelado bsico o directo de la planta.

Su arquitectura bsica es muy simple (Fig. 5.2), tanto la seal de control como los estados de la planta son muestreados y conforman el vector de entrada a la red. La salida de la red se calcula y se compara con las mediciones de la salida de la planta. La diferencia entre esas dos cantidades es usada para ajustar el vector de ajuste de pesos tendiente a reducir el error de la red.Modelado directo inverso de la planta.El objetivo con este modelado (Fig.5.3) es formular un controlador tal, que junto con la arquitectura de la planta se conforme una sola funcin de transferencia. Inevitablemente los errores del modelado perturban dicha funcin, por lo que se recurre al uso de un precompensador en adicin del controlador lineal, lo cual generalmente provee buen rendimiento para una amplia gama de plantas no lineales.Para definir lo mejor posible el modelo inverso, los ejemplos de entrenamiento debern ser nicos. Esto se cumple cuando la planta es invertible, es decir, que los datos de entrenamiento de la planta no lineal son contenidos en una rea restringida del espacio de entradas.

Modelado especializado inverso de la planta.

Este tipo de modelado (Fig. 5.4) utiliza una estructura similar al modelado inverso, donde existe una funcin de transferencia nica, solo que el mtodo propuesto es diferente [7,8]. Un modelo de la planta bsico es construido como primer paso, la diferencia entre la respuesta de la planta y la salida deseada es usada para generar la seal de error la cual es pasada hacia atras desde el modelo bsico con el objeto de ajustar los parmetros del nuevo modelo inverso.Modelado de Operador.Sintetizar un controlador por aprendizaje a partir de un experto tiene aplicaciones potenciales en el campo de la AI [9,10,11]. El algoritmo de aprendizaje esta ejecutndose en paralelo con una planta conducida por un operador experto y sus respuestas forman la salida deseada de la red. (Fig. 5.5) Estas seales de entrenamiento tpicamente contienen altas cantidades de ruido dado que el operador usa diferentes acciones para entradas similares, por lo que la seal deber filtrarse [18] antes de que los algoritmos convencionales de aprendizaje para la red sean aplicados.

Neurocontroladores Indirectos.Control neuronal basado en modelo completo.La aplicacin ms popular de los sistemas de control basados en redes neuronales es utilizar una red como modelo de entrada y salida del proceso. Estos elementos utilizan aprendizajes manejados por lo datos supervisados como por ejemplo una red neuronal tratando de imitar un proceso existente a partir de la exposicin a datos de dicho proceso (Fig. 5.6). La estructura de modelo ms comnmente adoptada para este propsito es la Autoregresiva No Lineal de Promedio del Movimiento con Entradas Exgenas conocida como NARMAX su denominacin ms simple NARX [13, 14]. Esta familia de modelos Narmax es una funcin de transferencia no lineal discreta en el tiempo [15]. Alternativamente, uno puede elegir identificar modelos continuos en el tiempo con una red neuronal como una red recurrente [16]. Esto conduce a una estructura del modelo y a una estrategia de control, que en trminos del diseo del neurocontrolador puede ser conceptualmente sealada como sigue:

Dondeypsignifica la salida del proceso o planta,ynla salida de la red nueronal, yWlos pesos de la red neuronal. Aqu laFes una funcin que mide el rendimiento del proceso de optimizacin. Usualmente es una integral suma de los errores de prediccin entreypyyn. Por ejemplo, en esta etapa de desarrollo las entradas del proceso y las salidas{up, yp}son colectadas sobre un periodo finito de tiempo y usadas para el entrenamiento de la red neuronal.Fes usualmente una integral de norma 2 deyp-yn. Un ejemplo tpico de la ecuacin 5.2 es como sigue:

Cada modelo se desarrolla y luego puede implementarse un control basado en modelo. Sin embargo, en la etapa de implementacin, el modelo de la red neuronal no puede ser usado solo. Este debe ser incorporado con un esquema de control basado en modelo. Dichos esquemas pueden ser (cmo se ver adelante) diseo de auto ajustadores basados en redes neuronales (seccin 5.1), modelado de controladores basados en modelo (seccin 5.2) y el diseo de neurocontroladores basados en modelo (seccin 5.2).Control neuronal basado en modelo parcial paramtrico.En algunos casos, cierto grado de conocimiento sobre el proceso pudiera estar disponible, como puede ser la estructura del modelo un fenmeno fsico particular bien entendido. En este caso, no es deseable un modelo de caja negra. Por ejemplo, si en la estructura del modelo estn disponibles valores para los parmetros asociados, estos pueden ser determinados por una red neuronal. Ejemplo de esos parmetros pueden ser las constantes de tiempo, ganancias, retardos y parmetros fsicos, rangos de difusin coeficiente de transicin del calor, etc. Psichogios y Ungar [23] emplearon este modelo como un alimentador para un biorector. En otros casos donde la estructura del modelo fue especialmente conocida, las redes neuronales pueden ser utilizadas como un modelo parcial con el cual puede mejorar el modelo [24] (ver figura 5.6). Para ilustrar este problema puede ser formulado como sigue:

Dondeymes la salida predecida del modelo,son los parmetros del proceso, la informacin estructural del modelo y otros elementos requeridos para completar el modelo.Ntese la pequea diferencia entre la ecuacin 5.4 y la ecuacin 5.2,ymreemplaza ayn. Esto significa que es idntico al modelo de una red neuronal dentro de una caja negra excepto porque la red neuronal no imita directamente el comportamiento del proceso.Control neuronal por modelo inverso.Una red neuronal puede ser entrenada para desarrollar un modelo inverso de la planta. La entrada a la red es la salida del proceso, y la salida de la red es la correspondiente entrada al proceso (ver fig. XX) en general el problema de optimizacin puede ser formulado como:

Dondeu*p-1son las entradas del proceso. Tpicamente el modelo inverso es una estructura de estado estable, la cual puede ser usada para control. Dado un punto de operacin deseadoy*, la seal apropiada de controlu*en estado estable para este punto de operacin debe de ser inmediatamente conocida como:

Aplicaciones exitosas del modelado inverso son discutidas en [19] y [20]. Obviamente, un modelo inverso existe solamente cuando el proceso se comporta monotnicamente como una funcin hacia adelante en el estado estable. Si no, este concepto es inaplicable. Tambin pueden encontrarse unos cuantos artculos sealando conceptos similares al modelo inverso usando una red neuronal inversa no esttica para el control [21,22,23,24].

En principio, un modelo inverso basado en redes neuronales puede aprender la dinmica inversa bajo algunas restricciones (por ejemplo la fase mnima y causalidad son requeridas). En la prctica para modelos dinmicos de tipo discreto, el modelo inverso en especial puede no estar disponible para aprender la dinmica inversa deseada. Por ejemplo Psichogios y Ungar [25] entrenaron un modelo inverso y luego desarrollaron algunos casos de estudio. El modelo inverso fallo con referencia a las expectactivas que se tenian. En algunos casos el proceso inverso es un factor no causal an cuando el proceso se comporta monotnicamente como se mencion antes. La no causalidad de un proceso inverso puede resultar del retardo de transporte de los tiempos muertos bien de la discretizacin de un proceso continuo en un sistema de datos muestreado. Si el modelo inverso existe, el uso del modelo dinmico inverso como controlador de retroalimentacin no resultar en un sistema de control apropiado. Las propiedades estrictas son esenciales en el diseo de un sistema de control [25].En algunos articulos de la literatura abierta, el modelado inverso se usa algunas veces para referirse al entrenamiento de un modelo de red neuronal en un ambiente de lazo cerrado como en [26,27]. Este modelado inverso no coincide con el modelo que invierte la funcin hacia delante de proceso/planta. Por ejemplo, el proceso opera como una funcin que direcciona las variables de entrada a variables de salida, mientras que el "modelo inverso de lazo cerrado" no direcciona las mismas variables de salida las mismas variables de entrada. An as, frecuentemente se direccionan las diferencias entre las variables de salida y el objetivo los puntos de operacin haca las variables de entrada. Desde la perspectiva de este capitulo, estos elementos caen dentro de otras categoras para el diseo de neurocontroladores y sern discutidos en secciones posteriores.Parametrizador neuronal de controladores.Como en el caso anterior donde una red puede ser usada para estimar los parmetros de un modelo conocido, es posible utilizar esas mismas estructuras neuronales para estimar parmetros de ajuste para un controlador cuya estructura sea conocida a priori. El estimador de ajuste para los parmetros del controlador es conocido frecuentemente como un autoajustador parametrizador. El problema de los parametrizadores en este caso puede ser formulado como sigue:

Dondedenota los parmetros del controlador deseados yNNsignifica los valores que la red neuronal predice. La entrada a la red puede comprimir datos del proceso muestreado caractersticas extradas de este. Sin embargo esos parmetros h no pueden determinarse nicamente desde las caractersticas del proceso. Dependen tambin de las caractersticas del sistema deseado para el control de lazo cerrado. Usualmente los parmetros del controladorson soluciones a la optimizacin del siguiente control de lazo cerrado:

Donde C es un controlador con una estructura conocida. Aqu,yp/mdenota que un proceso un modelo pueden ser empleados en el control de lazo cerrado con el objeto de encontrar el controlador deseado C.Lo realmente atractivo de estas estructuras es que la red neuronal puede ser entrenada en simulacin. El entrenamiento con datos reales del proceso no es necesario. Para un autoajuste de lazo abierto, una simulacin de lazo abierto es suficiente; de lo contrario una simulacin de lazo cerrado es necesaria (ver figura 5.7). El entrenamiento deber ser conducido sobre un espacio de entradas que contenga distintos modelos del proceso. Idealmente, este espacio deber cubrir todos los procesos que sern encontrados durante la fase de operacin.La mayora de los trabajos realizados para autoajustar parametrizar controladores se han desarrollado directamente para PID, debido a que actualmente son utilizados en una amplia gama de aplicaciones. Valores apropiados en las ganancias del PID son esenciales para que el sistema de lazo cerrado trabaje adecuadamente. El ajuste del PID es actualmente un procedimiento manual, a veces largo, y frecuentemente cae sobre la heurstica desarrollada medio siglo atrs [28]. Distintos auto-ajustadores estn comercialmente disponibles, pero son aun necesarias algunas mejoras. Para el diseo de un auto-ajustador basado en redes neuronales, los modelos lineales de bajo orden con rangos adecuados para los parmetros, son generalmente suficientes para la mayora de las aplicaciones que utilizan PID.

Desarrollos de este concepto son discutidos por Swiniarski [29] y Ruano [30]. En el primero la red es entrenada usando un mtodo clsico para determinar las ganancias de PID. Durante la operacin, la entrada a la red son 128 muestras del proceso en lazo abierto. Tambin el auto-ajustador resultante requiere la operacin del proceso en lazo abierto. En contraste, Ruano describe un mtodo para el auto ajuste de lazo abierto lazo cerrado, acompaado por un preproceso de datos de entrada y de salida. Las ganancias ptimas para el PID en el proceso de entrenamiento son calculadas con un algoritmo de optimizacin de Newton, inicializado con valeres determinsticos. El criterio de optimizacin es la minimizacin de la integral del tiempo multiplicada por el error absoluto (ITAE). Los autores demuestran como un auto-ajustador de lazo cerrado puede efectivamente adaptar los parmetros del PID en lnea, en respuesta a cambios en el punto de operacin para el lazo de control.Neurocontroladores Directos.Modelado del controlador.De los cuatro esquemas de neurocontrol directo que se presentan, l ms simple de ellos consiste en usar una red neuronal para modelar un controlador existente (ver figura 5.8). La entrada al controlador existente es la entrada de entrenamiento de la red y la salida del controlador sirve como la salida deseada para dicha red neuronal. Este elemento es similar al modelado de la red neuronal discutido en la seccinControl Neuronal basado en modelo completoexcepto por que en aquel caso los valores deseados a la salida de la red no eran los valores del controlador. Este diseo de neurocontrol puede ser formulado como sigue:

Dondeu*ces la salida de un controlador existenteC*. Frecuentemente el controlador existenteCpuede ser un operador humano puede ser obtenido va la expresin:

Como un modelo del proceso, el controlador es generalmente un sistema dinmico y frecuentemente contiene integradores y diferenciadores. Si una red algebraica de conexiones hacia adelante es usada para modelar el controlador existente, la informacin dinmica debe de ser explcitamente provista como una entrada a la red. Esta informacin dinmica puede ser dispuesta ya sea como integrales apropiadas y derivadas bien como seales empaquetadas de retardo con datos del proceso. Por ejemplo para modelar un controlador PID, una red neuronal algebraica requiere no solamente el error instantneo entre el punto de operacin y la salida del proceso, requiere adems la integral y la derivada del error. Alternativamente, uno puede entrenar una red neuronal con series de esos errores y/ las salidas del controlador en el tiempo previo. Esta ultima afirmacin es similar a la desarrollada para las redes ARX (Red Autoregresiva con entradas exgenas) excepto porque que las entradas y las salidas del proceso se reemplazan con errores de retroalimentacin y salidas de controlador.

En general este tema puede resultar en controladores que son rpidos y/ baratos en comparacin con los controladores existentes. Por ejemplo usando este tipo de controladores Pomerleau [31] presenta una aplicacin intrigante donde una red neuronal es usada para reemplazar a un controlador existente: el operador humano. La universidad de Carnige Mellon equip una camioneta con una videocamara y un reconocedor de caminos laser, operndola tal como lo hara un conductor humano a 6 millas por hora durante 5 minutos. Con entradas sensoriales adicionales ha sido posible alcanzar nuevas capacidades como supresin de colisiones navegacin nocturna.Mientras los beneficios de este tipo de controladores son aparentes cuando se trata del controlador humano, su utilidad puede ser limitada. Es aplicable solamente cuando un controlador existente est disponible, lo cual no sucede en muchas aplicaciones. Una red neuronal se entrena para comportarse como un controlador existente y luego se refina en coordinacin con el modelo del proceso. (La estructura "basada en modelo" de desarrolla adelante).Neurocontrolador libre de modelo.Ante la ausencia de un controlador existente, algunos investigadores han desarrollado la opcin para que un controlador aprenda como actuara un controlador humano con poco nada de conocimiento detallado sobre la dinmica de proceso. Tambin se ha intentado disear controladores que por adaptacin y aprendizaje puedan resolver problemas de control difciles en la ausencia de los modelos del proceso de experiencia humana al respecto. En general este diseo de neurocontroladores libres de modelo puede ser sealado como marca la ecuacin 5.11:

Dondeypes la salida de la planta. La clave en esta estructura de control adaptivo es que el modelo del proceso no es conocido previamente y tampoco es muy explcito durante el diseo del controlador. Esta tcnica para el diseo de controladores es frecuentemente denominada como aprendizaje reforzado. Sin embargo, en este capitulo, he preferido referirme a esta clase de controladores como neurocontroladores libres de modelo, ya que desde mi ptica particular es ms apropiado en el contexto de nuestra discusin. La figura 5.9 es una representacin clsica de esta clase de controladores.

El primer trabajo en esta rea fue el algoritmo de adaptivo critico propuesto Barto [32]. Este algoritmo puede ser visto como una versin aproximada de la programacin dinmica. En este trabajo se desarrolla el problema del pndulo invertido mostrando el concepto del diseo de control. En esta clase de diseo la informacin es limitada pobre, y es frecuentemente adoptada como un indicador para los criterios rendimiento del sistema. Por ejemplo, el objetivo del problema del pndulo invertido es simplemente mantener el pndulo cercano a su posicin vertical balanceada. La retroalimentacin instruccional es limitada a una seal de falla cuando el controlador no logra mantener el pndulo en la posicin vertical. El problema de balancear el pndulo invertido ha llegado a ser popular como cama de prueba para explorar nuevos conceptos de diseo para controladores libres de modelo.La solucin propuesta por Barto [32] fue construir un esquema de control el cual esta compuesto por dos elementos adaptivos: un Elemento de Bsqueda Asociativa (ASE) y un Elemento Crtico Adaptivo (ACE). El Elemento de Bsqueda trata de reproducir la seal de control optimo que satisface los objetivos de rendimiento definidos, mientras que el Elemento Crtico trata de monitorear el rendimiento interno del controlador y proveer una seal de reforzamiento interna la cual es usada para entrenar al ASE como se ve en la Fig. 5.10.El ACE es entrenado utilizando seales de fallas/xitos externas. Este entrenamiento interno continuo del elemento de control pretende implementar mejoras en el rendimiento de todo el sistema.

Fig. 2.10: Arquitectura de aprendizaje reforzado planteada por Barto, utilizando el concepto de ACE y ASE.An con su importancia histrica y sus conceptos intuitivos, los neurocontroladores adaptivos libres de modelo no son apropiados para la mayora de las aplicaciones del mundo real. La planta deber de pasar por estados fuera de control durante el proceso de aprendizaje y pocos procesos industriales pueden tolerar esa larga cantidad de fallas, necesarias para adaptar el controlador.Neurocontrolador basado en modeloDesde una perspectiva practica, uno prefera dejar las fallas para un ambiente simulado utilizando un modelo ms que una planta real, an cuando las fallas no sean desastrosas no causen prdidas sustantivas en las etapas tempranas del aprendizaje neuronal. Esta clase de neurocontroladores es llamada frecuentemente "neurocontroladores basados en modelo". En la ecuacin 5.12 tenemos como resultado la formulacin del problema:

Aqu yp en la ecuacin 5.11 es reemplazada porym(la salida del modelo) en la ecuacin 5.12. En este caso requerimos conocimiento sobre el proceso de inters. Como puede verse en la fig. 5.11 un modelo reemplaza a la planta de proceso en el sistema de control.Si el modelo del proces no es disponible, uno puede primero entrenar una segunda red neuronal para modelar la dinmica de planta como se present en la seccin de introduccin. En el curso del modelado de la planta esta debe de ser operada "normalmente" en lugar de llevarla fuera de control. Despus de la etapa de modelado, el modelo puede ser usado para el diseo de controladores. Si un modelo de la planta puede ser desarrollado, entonces en una simulacin, en la cual las fallas no pueden causar ninguna prdida ms de all del tiempo de cmputo, un controlador basado en redes neuronales puede instalarse en el sistema de control real, despus de una extenso entrenamiento en alguna plataforma de simulacin.En efecto, estos diseos de neurocontroladores basados en modelo, no solamente han probado su eficiencia en distintos estudios [33,34] sino que tambin ya han probado generar beneficios econmicos notables [35]. Dichos elementos pueden ser usados para diseos fuera de lnea en adaptaciones en lnea.Fig. 5.11: Un modelo reemplaza a la planta en el sistema de aprendizaje durante la fase de diseo del controlador.Demostraciones exitosas han sido desarrolladas para el clsico problema de control del vuelo multivariable [36]. Quizs el mejor xito comercial del neurocontrol a la fecha es aquella propuesta que trata de un horno de arco inteligente, el cual utiliza una red neuronal para regular la posicin del electrodo en hornos elctricos de arco [37]. Publicaciones comerciales reportan ahorros tpicos de sobre 2 millones de dlares por horno por tamao. [38]. El controlador inteligente del horno de arco incluye una interesante combinacin para el desarrollo de un neurocontrolador. Inicialmente un controlador neuronal es entrenado para actuar como un controlador exitoso para la planta. Despus de entrenar, la red neuronal reemplaza dicho controlador. En esta ultima etapa, una segunda red neuronal pre-entrenada se utiliza como modelo del proceso y el controlador neuronal contina adaptndose en lnea para contener las principales fallas de la planta.Neurocontrolador robusto basado en modelo.El tipo de neurocontrolador descrito en la seccin pasada tiene todava una desventaja comn hasta ahora: Una red neuronal debe entrenarse cada vez que se tenga una nueva aplicacin. El reentrenamieno de la red es necesario an cuando son pequeos los cambios del criterio de control, tanto para cambios en los pesos de la red relativos a la energa del control como para la respuesta de seguimiento, si el controlador va a utilizarse para procesos homlogos pero distintos. Con el objetivo de evitar estas desventajas, el concepto de controlador robusto es naturalmente incluido dentro del diseo de neurocontroladores. En el diseo de sistemas de control neuronal basados en un modelo robusto, se consideran familias de los modelos del proceso en lugar de un solo modelo. (Ver fig. 5.12). Frecuentemente, una familia se agrupa por modelos que presentan los mismos niveles de ruido o bien pueden agruparse atendiendo el criterio del nmero de parmetros del proceso. El diseo robusto de neurocontroladores se puede formular como sigue:

Donde mi significa el ensimo miembro de la familia de modelos M. Idealmente, el proceso real a ser controlado deber estar dentro de las familias especificadas en la etapa de diseo, con lo que el controlador ser robusto no solo para estas familias sino tambin para otros procesos reales similares.Dos aspectos acerca de que tan robusto es un sistema se sealan frecuentemente: La estabilidad que refiere si un sistema es estable cualitativamente y el rendimiento robusto que opera con respecto a criterios cuantitativos [25]. Optimizar un controlador neuronal basado en un modelo preciso, puede alcanzarse un alto rendimiento, tanto como el proceso permanece invariable, pero con altos costos de fragilidad. Un procedimiento para el diseo robusto, por otro lado, no es capaz de alcanzar el mismo nivel de rendimiento nominal pero ser menos sensible a estados obsoletos del proceso, ruido y otras fuentes de error en la relacin modelo-proceso.Esquema de control de aprendizaje predictivoLos esquemas de control indirecto de aprendizaje predictivo buscan formular una estrategia tomando en consideracin los efectos de sus acciones por muchos instantes de tiempo en el futuro y seleccionan la accin de control ptima, cuando es aplicada a la planta [39][40][41].La arquitectura requiere el desarrollo de un modelo de la planta, una funcin de rendimiento para evaluar los efectos de cada accin de control y una tcnica de optimizacin la cual puede determinar la mejor accin de control. Esto es ilustrado en la Fig. 5.12, donde un elemento de control de aprendizaje est tambin incluido, para que despus de suficiente entrenamiento, el clculo total de la optimizacin no sea necesario y los recursos de cmputo puedan ser destinados a otras tareas.

Si la planta es variable en el tiempo, el modelo es generalmente adaptivo. Si el modelo de proceso es pobre, es posible que el controlador ofrezca un control de lazo cerrado muy pobre.Neurocontrolador por modelo adaptivo de referencia.La arquitectura de aprendizaje de modelo de referencia ha sido ampliamente usada en el campo del control lineal adaptivo, su estructura se esquematiza en la Fig.5.13 y analticamente se representa como:

El objetivo del controlador es ajustar la seal de control de una forma estable para que la salida de la planta asintticamente tienda a la salida del modelo de referencia. El rendimiento de este algoritmo depende de la eleccin de un modelo de referencia correcto y la derivacin de un buen mecanismo de aprendizaje.

Control neuronal por modelo interno.El controlador de modelo interno [4][42], usa una estructura similar al esquema de control de aprendizaje predictivo (Fig. 5.14). Un elemento de aprendizaje es usado para modelar el proceso directamente, recibiendo la seal de control en lugar de la seal de referencia. El error entre la salida del modelo y la respuesta de la planta es usado como seal de retroalimentacin, la cual es alimentada al controlador.Generalmente, el controlador de modelo interno se disea como modelo inverso de la planta (cuando este existe), por lo que un esquema de modelado inverso descrito en puntos anteriores puede usarse para sintetizar el controlador adecuado.

Muchos resultados tericos acerca de la estabilidad de este tipo de controladores esta disponible en [43] y [44], aunque generalmente son resultados para la estabilidad de lazo abierto, modelado exacto y/o modelado inverso.Sumario.Este capitulo desarrolla los sistemas de control basados en redes neuronales como problemas de optimizacin no lineal desarrollando la filosofa de clasificacin usada por la teora del control adaptivo. Esto es, que dependiendo del papel que la red neuronal juega dentro del sistema, las arquitecturas se clasifican dentro de pocas categoras. Este capitulo trata adems de generar un entorno unificado para el diseo de neurocontroladores. Se presentan por separado las estructuras para el modelado de sistemas dinmicos y las estructuras de control. Se incluye tambin el desarrollo de los sistemas de aprendizaje reforzado libres de modelo, as como el sistema de control por referencia al modelo, tcnica homologa a la utilizada en la teora de control adaptivo. Fueron presentadas las principales caractersticas de cada arquitectura, sus ventajas y desventajas. El rendimiento global de esta clase de controladores reside en dos columnas principales: una buena estructura para modelar el sistema y la convergencia de la red en virtud de los parmetros utilizados. Inicialmente el uso de las redes neuronales artificiales en sistemas de control buscaba desarrollar algoritmos capaces de aprender informacin en lnea [5], aunque la mayora de aplicaciones de neuromodelado y control tienden a ignorar esto, por lo que ms bien se utilizan para aprovechar sus habilidades de aproximacin no lineal. De aqu, la razn por la cual este trabajo usa este criterio para presentar una propuesta de clasificacin enfocada a los sistemas de control basados en redes neuronales.