tema 3: Ðreas de la ia: ejemplos de investigaci‡n...
TRANSCRIPT
1
Sistemas de Representación y Procesamiento Automático del Conocimiento
Tema 3: Ðreas de la IA: Tema 3: Ðreas de la IA: Tema 3: Ðreas de la IA: Tema 3: Ðreas de la IA: Tema 3: Ðreas de la IA: Tema 3: Ðreas de la IA: Tema 3: Ðreas de la IA: Tema 3: Ðreas de la IA: Ejemplos de Investigaci‡n Actual Ejemplos de Investigaci‡n Actual Ejemplos de Investigaci‡n Actual Ejemplos de Investigaci‡n Actual Ejemplos de Investigaci‡n Actual Ejemplos de Investigaci‡n Actual Ejemplos de Investigaci‡n Actual Ejemplos de Investigaci‡n Actual
(III)(III)(III)(III)(III)(III)(III)(III)Redes NeuronalesRedes NeuronalesRedes NeuronalesRedes NeuronalesRedes NeuronalesRedes NeuronalesRedes NeuronalesRedes Neuronales
SRPSRPCarlos Carrascosa Carlos Carrascosa CasamayorCasamayor
Vicente J. Julián Vicente J. Julián IngladaInglada
Sistemas de Representación y Procesamiento Automático del Conocimiento
Tema 3: Ðreas de La IA:Tema 3: Ðreas de La IA:Tema 3: Ðreas de La IA:Tema 3: Ðreas de La IA:Tema 3: Ðreas de La IA:Tema 3: Ðreas de La IA:Tema 3: Ðreas de La IA:Tema 3: Ðreas de La IA:Ejemplos de Investigaci‡n Actual (II) Ejemplos de Investigaci‡n Actual (II) Ejemplos de Investigaci‡n Actual (II) Ejemplos de Investigaci‡n Actual (II) Ejemplos de Investigaci‡n Actual (II) Ejemplos de Investigaci‡n Actual (II) Ejemplos de Investigaci‡n Actual (II) Ejemplos de Investigaci‡n Actual (II)
Redes NeuronalesRedes NeuronalesRedes NeuronalesRedes NeuronalesRedes NeuronalesRedes NeuronalesRedes NeuronalesRedes Neuronales........3.1. Historia.3.1. Historia.3.2. Aplicaciones.3.2. Aplicaciones.3.3. Modelo Natural.3.3. Modelo Natural.3.4. Computación Neuronal.3.4. Computación Neuronal.3.5. Elementos de una Red Neuronal Artificial.3.5. Elementos de una Red Neuronal Artificial.3.6. Ventajas de las Redes Neuronales.3.6. Ventajas de las Redes Neuronales.3.7. Realización de Redes Neuronales.3.7. Realización de Redes Neuronales.
•• Bibliografía:Bibliografía:–– Hilera, J.R., Martínez, V.J., “Redes Neuronales Artificiales: Hilera, J.R., Martínez, V.J., “Redes Neuronales Artificiales:
Fundamentos, modelos y aplicaciones”, raFundamentos, modelos y aplicaciones”, ra--ma, (1995).ma, (1995).–– S. S. RusselRussel, ‘Inteligencia Artificial: Un enfoque moderno’, Prentice , ‘Inteligencia Artificial: Un enfoque moderno’, Prentice
Hall(1996). Hall(1996).
2
Sistemas de Representación y Procesamiento Automático del Conocimiento
Historia (I)Historia (I)Historia (I)Historia (I)Historia (I)Historia (I)Historia (I)Historia (I)–– 1943: Walter 1943: Walter PittsPitts y y WarrenWarren McCullochMcCulloch::
•• Funcionamiento del cerebro humano: Funcionamiento del cerebro humano: –– Red de células conectadas entre sí que ejecutan Red de células conectadas entre sí que ejecutan
operaciones lógicas. operaciones lógicas. –– Menor suceso psíquico (según ellos): el impulso Menor suceso psíquico (según ellos): el impulso
todo/nada, generado por una célula nerviosa. todo/nada, generado por una célula nerviosa.
–– 1951: Primera Red Neuronal << 1951: Primera Red Neuronal << SharcSharc >>:>>:•• MarvinMarvin MinskyMinsky y y DeanDean EdmondsEdmonds. . •• Compuesta de 300 tubos de vacío y un piloto automático Compuesta de 300 tubos de vacío y un piloto automático
de un bombardero Bde un bombardero B--24 (en desuso por supuesto). 24 (en desuso por supuesto). •• Red de 40 neuronas artificiales que imitaban el cerebro de Red de 40 neuronas artificiales que imitaban el cerebro de
una rata. una rata. •• No tenía mucho futuro, pues no llegaba a trazar planes. No tenía mucho futuro, pues no llegaba a trazar planes.
No era “inteligente”No era “inteligente”
Sistemas de Representación y Procesamiento Automático del Conocimiento
Historia (II)Historia (II)Historia (II)Historia (II)Historia (II)Historia (II)Historia (II)Historia (II)–– 1957: El 1957: El PerceptrónPerceptrón ((FrankFrank RosenblattRosenblatt):):
•• Red neuronal capaz de generalizar (reconocer patrones similares Red neuronal capaz de generalizar (reconocer patrones similares a los que ya conocía).a los que ya conocía).
•• Limitación: No es capaz de clasificar clases no separablesLimitación: No es capaz de clasificar clases no separableslinealmente.linealmente.
–– 1959: 1959: BernardBernard WidrowWidrow y Marcial y Marcial HoffHoff::•• Modelo ADALINE (Modelo ADALINE (ADAptativeADAptative LINearLINear ElementsElements):):
–– RNA: filtros RNA: filtros adaptativosadaptativos que eliminan ecos en las líneas que eliminan ecos en las líneas telefónicas.telefónicas.
–– 1969: “Perceptrons” (Marvin Minsky y 1969: “Perceptrons” (Marvin Minsky y Seymour Papert)Seymour Papert)•• Definen a los Definen a los PerceptronesPerceptrones como caminos sin salida.como caminos sin salida.
La mayor parte de las investigaciones sobreLa mayor parte de las investigaciones sobrePerceptrones Perceptrones se paralizaron y anularonse paralizaron y anularon
3
Sistemas de Representación y Procesamiento Automático del Conocimiento
Historia (III)Historia (III)Historia (III)Historia (III)Historia (III)Historia (III)Historia (III)Historia (III)–– 1977: 1977: AsociadorAsociador Lineal (James Lineal (James AndersonAnderson):):
•• Las conexiones entre neuronas se refuerzan cada vez que Las conexiones entre neuronas se refuerzan cada vez que están activas.están activas.
•• Extensión: Extensión: BrainBrain--StateState--inin--aa--Box (BSB).Box (BSB).
–– 1977: 1977: Mapas Mapas AutoorganizativosAutoorganizativos ((TeuvoTeuvo KohonenKohonen):):•• Modelo para reconocimiento de patrones visuales.Modelo para reconocimiento de patrones visuales.
–– 1980: 1980: NeocognitrónNeocognitrón ((KunihikoKunihiko FukushimaFukushima):):–– 1982: 1982: JohnJohn HopfieldHopfield::
•• Variación del Variación del AsociadorAsociador LinealLineal
–– 1982: 1982: USUS--JapanJapan JointJoint ConferenceConference onon CooperativeCooperative / / CompetitiveCompetitive NeuralNeural NetworksNetworks
Mostró como tales redes Mostró como tales redes pueden trabajar y qué pueden trabajar y qué
pueden hacerpueden hacer
Sistemas de Representación y Procesamiento Automático del Conocimiento
AplicacionesAplicacionesAplicacionesAplicacionesAplicacionesAplicacionesAplicacionesAplicaciones–– Área de defensa.Área de defensa.–– Clasificación de Patrones.Clasificación de Patrones.–– Robótica (esp. control de trayectorias).Robótica (esp. control de trayectorias).–– Visión Artificial.Visión Artificial.–– Procesamiento de Señales.Procesamiento de Señales.–– Aplicaciones al habla.Aplicaciones al habla.
4
Sistemas de Representación y Procesamiento Automático del Conocimiento
Modelo NaturalModelo NaturalModelo NaturalModelo NaturalModelo NaturalModelo NaturalModelo NaturalModelo Natural–– Neurona Natural:Neurona Natural:
•• Entradas: Dendritas (tantas Entradas: Dendritas (tantas como necesite).como necesite).
•• Salida: Axón.Salida: Axón.
Estado condicionado por Estado condicionado por el de las el de las DendritasDendritas
Sistemas de Representación y Procesamiento Automático del Conocimiento
Computaci‡n Neuronal (I)Computaci‡n Neuronal (I)Computaci‡n Neuronal (I)Computaci‡n Neuronal (I)Computaci‡n Neuronal (I)Computaci‡n Neuronal (I)Computaci‡n Neuronal (I)Computaci‡n Neuronal (I)–– ““Redes Neuronales Artificiales son redes Redes Neuronales Artificiales son redes
interconectadas masivamente en paralelo de elementos interconectadas masivamente en paralelo de elementos simples (usualmente adaptativos) y con organización simples (usualmente adaptativos) y con organización jerárquica, las cuales intentan interactuar con los jerárquica, las cuales intentan interactuar con los objetos del mundo real del mismo modo que lo hace el objetos del mundo real del mismo modo que lo hace el sistema nervioso biológico”. (Kohonen).sistema nervioso biológico”. (Kohonen).
–– Operación de proceso básico de los procesadores elementales:Operación de proceso básico de los procesadores elementales:•• Transformación de sus señales de entrada.Transformación de sus señales de entrada.
5
Sistemas de Representación y Procesamiento Automático del Conocimiento
Computaci‡n Neuronal (II)Computaci‡n Neuronal (II)Computaci‡n Neuronal (II)Computaci‡n Neuronal (II)Computaci‡n Neuronal (II)Computaci‡n Neuronal (II)Computaci‡n Neuronal (II)Computaci‡n Neuronal (II)–– Cálculo realizado por Cálculo realizado por arquitectsarquitects. modulares.. modulares.–– Organización:Organización:
•• Redes Redes multicapamulticapa::
–– Eliminación parcial de la necesidad de Eliminación parcial de la necesidad de programaciónprogramación
•• Gran nº de procesadores elementales. Gran nº de procesadores elementales. •• Alto grado de Alto grado de interconectividadinterconectividad..•• Realizan localmente una función Realizan localmente una función
analógica no lineal.analógica no lineal.
Algoritmos de AprendizajeAlgoritmos de Aprendizaje
Sustituir por
modifican el valor de los modifican el valor de los parámetros que parámetros que
definen la computacióndefinen la computación
Procedimientos Procedimientos No SupervisadosNo Supervisados
Procedimientos Procedimientos SupervisadosSupervisados
Sistemas de Representación y Procesamiento Automático del Conocimiento
Elementos de una Red Neuronal Elementos de una Red Neuronal Elementos de una Red Neuronal Elementos de una Red Neuronal Elementos de una Red Neuronal Elementos de una Red Neuronal Elementos de una Red Neuronal Elementos de una Red Neuronal Artificial (I)Artificial (I)Artificial (I)Artificial (I)Artificial (I)Artificial (I)Artificial (I)Artificial (I)
–– Elementos de una Neurona:Elementos de una Neurona:•• Valor o Estado de Activación Valor o Estado de Activación aaii(t(t).).•• Señal de salida (Señal de salida (yyii(t(t)). )). •• Peso de una sinapsis (Peso de una sinapsis (wwijij): factor asignado a cada sinapsis.): factor asignado a cada sinapsis.•• Entrada Total (Entrada Total (NetNetii))•• Función de salida (Función de salida (ffii):):
–– Función EscalónFunción Escalón–– Función Lineal y MixtaFunción Lineal y Mixta–– Función Función SigmoidalSigmoidal–– Función Función GaussianaGaussiana
•• Función de Activación (F):Función de Activación (F):
•• Regla de Aprendizaje: modificar los pesos de la red (Regla de Aprendizaje: modificar los pesos de la red (wwijij))
aaii(t)(t)
ffii
∑=j
ijji wyNet
yyii(t) = f(t) = fii((aaii(t))(t))
aaii(t+1) = F((t+1) = F(aaii(t), (t), NetNetii))
6
Sistemas de Representación y Procesamiento Automático del Conocimiento
Elementos de una Elementos de una Elementos de una Elementos de una Elementos de una Elementos de una Elementos de una Elementos de una Red Neuronal Artificial (II)Red Neuronal Artificial (II)Red Neuronal Artificial (II)Red Neuronal Artificial (II)Red Neuronal Artificial (II)Red Neuronal Artificial (II)Red Neuronal Artificial (II)Red Neuronal Artificial (II)
–– Capa o Nivel:Capa o Nivel:•• CjtoCjto. de neuronas cuyas entradas provienen de la misma . de neuronas cuyas entradas provienen de la misma
fuente y cuyas salidas se dirigen al mismo destino.fuente y cuyas salidas se dirigen al mismo destino.
–– Tipos de Capas:Tipos de Capas:•• Entrada: Reciben estímulos externos.Entrada: Reciben estímulos externos.•• Ocultas: Se genera la representación interna de laOcultas: Se genera la representación interna de la
información.información.•• Salida.Salida.
Sistemas de Representación y Procesamiento Automático del Conocimiento
Elementos de una Elementos de una Elementos de una Elementos de una Elementos de una Elementos de una Elementos de una Elementos de una Red Neuronal Artificial (III)Red Neuronal Artificial (III)Red Neuronal Artificial (III)Red Neuronal Artificial (III)Red Neuronal Artificial (III)Red Neuronal Artificial (III)Red Neuronal Artificial (III)Red Neuronal Artificial (III)
–– Formas de Conexión entre Neuronas:Formas de Conexión entre Neuronas:•• Propagación hacia delante: ninguna salida de las neuronasPropagación hacia delante: ninguna salida de las neuronas
es entrada del mismo nivel o niveles anteriores.es entrada del mismo nivel o niveles anteriores.•• Propagación hacia atrás: las salidas de las neuronasPropagación hacia atrás: las salidas de las neuronas
pueden ser entradas del mismo nivel o nivelespueden ser entradas del mismo nivel o nivelesanteriores (incluyéndose ellas mismas).anteriores (incluyéndose ellas mismas).
7
Sistemas de Representación y Procesamiento Automático del Conocimiento
Elementos de una Elementos de una Elementos de una Elementos de una Elementos de una Elementos de una Elementos de una Elementos de una Red Neuronal Artificial (IV)Red Neuronal Artificial (IV)Red Neuronal Artificial (IV)Red Neuronal Artificial (IV)Red Neuronal Artificial (IV)Red Neuronal Artificial (IV)Red Neuronal Artificial (IV)Red Neuronal Artificial (IV)
–– Dinámica:Dinámica:
•• Asíncrona: las neuronas evalúan su estado Asíncrona: las neuronas evalúan su estado contínuamentecontínuamentesegún les va llegando la información.según les va llegando la información.
•• SíncronaSíncrona: los cambios se realizan a la vez en todas las: los cambios se realizan a la vez en todas lasneuronas.neuronas.
Sistemas de Representación y Procesamiento Automático del Conocimiento
Ventajas de Ventajas de Ventajas de Ventajas de Ventajas de Ventajas de Ventajas de Ventajas de las Redes Neuronales (I)las Redes Neuronales (I)las Redes Neuronales (I)las Redes Neuronales (I)las Redes Neuronales (I)las Redes Neuronales (I)las Redes Neuronales (I)las Redes Neuronales (I)
•• Similares al cerebro:Similares al cerebro:•• Capaces de aprender de la experiencia.Capaces de aprender de la experiencia.•• Generalizar de casos anteriores a nuevos casos.Generalizar de casos anteriores a nuevos casos.•• Abstraer características esenciales a partir de Abstraer características esenciales a partir de
entradas que representan información relevante.entradas que representan información relevante.
–– Aprendizaje Aprendizaje AdaptativoAdaptativo::•• Basado en un entrenamiento o experiencia inicial.Basado en un entrenamiento o experiencia inicial.•• Aprende a llevar a cabo ciertas tareas mediante un Aprende a llevar a cabo ciertas tareas mediante un
entrenamiento con ejemplos ilustrativos.entrenamiento con ejemplos ilustrativos.•• Capacidad de Capacidad de autoajustarseautoajustarse de las neuronas.de las neuronas.•• Adaptarse a las nuevas condiciones.Adaptarse a las nuevas condiciones.•• Algoritmo de aprendizajeAlgoritmo de aprendizaje Proporciona la capacidad de Proporciona la capacidad de
discriminar mediante un discriminar mediante un entrenamiento con patronesentrenamiento con patrones
8
Sistemas de Representación y Procesamiento Automático del Conocimiento
Ventajas de Ventajas de Ventajas de Ventajas de Ventajas de Ventajas de Ventajas de Ventajas de las Redes Neuronales (II)las Redes Neuronales (II)las Redes Neuronales (II)las Redes Neuronales (II)las Redes Neuronales (II)las Redes Neuronales (II)las Redes Neuronales (II)las Redes Neuronales (II)
–– Autoorganización:Autoorganización:•• Modificación de la red neuronal completa para llevar a Modificación de la red neuronal completa para llevar a
cabo un objetivo específico.cabo un objetivo específico.•• GeneralizaciónGeneralización
–– Tolerancia a fallos:Tolerancia a fallos:•• Respecto a los datosRespecto a los datos
•• Seguir realizando su función (+ ó Seguir realizando su función (+ ó --) aunque se destruya ) aunque se destruya parte de la red.parte de la red.
•• Información distribuida en las conexiones entre neuronas Información distribuida en las conexiones entre neuronas
Permite incluso responder Permite incluso responder ante información incompletaante información incompleta
Reconocer patrones con ruido, Reconocer patrones con ruido, distorsionados o incompletosdistorsionados o incompletos
∃∃∃∃∃∃∃∃ redundanciaredundancia
Sistemas de Representación y Procesamiento Automático del Conocimiento
Ventajas de Ventajas de Ventajas de Ventajas de Ventajas de Ventajas de Ventajas de Ventajas de las Redes Neuronales (III)las Redes Neuronales (III)las Redes Neuronales (III)las Redes Neuronales (III)las Redes Neuronales (III)las Redes Neuronales (III)las Redes Neuronales (III)las Redes Neuronales (III)
–– Operación en Tiempo Real:Operación en Tiempo Real:•• Posibilitada por su implementación paralela.Posibilitada por su implementación paralela.•• Entorno de Tiempo RealEntorno de Tiempo Real
–– Fácil inserción dentro de la tecnología Fácil inserción dentro de la tecnología existente:existente:•• Una red puede ser rápidamente entrenada, comprobada, Una red puede ser rápidamente entrenada, comprobada,
verificada y trasladada a una implementación verificada y trasladada a una implementación hwhw de bajo de bajo costecoste
MMíínima necesidad de cambio en los pesos de nima necesidad de cambio en los pesos de las conexiones o entrenamientolas conexiones o entrenamiento
Es fEs fáácil insertar redes cil insertar redes neuronales neuronales para para aplicaciones especaplicaciones especííficas dentro de ficas dentro de
sistemas existentessistemas existentes
9
Sistemas de Representación y Procesamiento Automático del Conocimiento
Realizaci‡n de Redes NeuronalesRealizaci‡n de Redes NeuronalesRealizaci‡n de Redes NeuronalesRealizaci‡n de Redes NeuronalesRealizaci‡n de Redes NeuronalesRealizaci‡n de Redes NeuronalesRealizaci‡n de Redes NeuronalesRealizaci‡n de Redes Neuronales–– Simulación en un ordenador normal mediante Simulación en un ordenador normal mediante swsw específicoespecífico
•• Principal Uso: Para entrenamiento y evaluación.Principal Uso: Para entrenamiento y evaluación.•• Desventaja: Simulación de redes con un gran paralelismoDesventaja: Simulación de redes con un gran paralelismo
mediante máquinas mediante máquinas secuencialessecuenciales..–– Mediante Mediante arquitectsarquitects. orientadas a la ejecución de procesos . orientadas a la ejecución de procesos
con un alto grado de paralelismo (redes de con un alto grado de paralelismo (redes de transputerstransputers, ...), ...)•• Más rápido, pero sigue siendo una simulación.Más rápido, pero sigue siendo una simulación.•• NeurocomputadorNeurocomputador: : CjtoCjto. de procesadores conectados que operan. de procesadores conectados que operan
concurrentemente (concurrentemente (MarkMark III y IV, el ANZA y ANZAIII y IV, el ANZA y ANZAPlusPlus o el Deltao el Delta--Sigma).Sigma).
–– Implementación por circuitos integrados específicos (Chips Implementación por circuitos integrados específicos (Chips Neuronales): N64 de Neuronales): N64 de IntelIntel (chip con 64 neuronas y 1000 (chip con 64 neuronas y 1000 sinapsis, capaz de procesar 2500 conexiones por segundo)sinapsis, capaz de procesar 2500 conexiones por segundo)•• Mucho más rápidos.Mucho más rápidos.•• Problema: Pérdida de flexibilidad (no se pueden conseguir Problema: Pérdida de flexibilidad (no se pueden conseguir
sinapsis con pesos variables sinapsis con pesos variables --necesario para el aprendizajenecesario para el aprendizaje--).).