curso redes 2

101
http://archive.ics.uci.edu/ml / BASE DE DATOS DE INFORMACION VARIA

Upload: mario-calderon

Post on 16-Aug-2015

9 views

Category:

Documents


1 download

DESCRIPTION

Diapositivas de curso de redes neuronales

TRANSCRIPT

http://archive.ics.uci.edu/ml/BASE DE DATOS DE INFORMACION ARIAINTRODUCCION A LAS REDES NEURONALESActualme!telasc"mputad"rass"!capacesdereali#ar mill"!esdec$lcul"sdesdel"smasse!cill"shastal"s mas c"mple%"s e! se&u!d"s' si! em(ar&" s"! i!capaces deperci(ircaracter)sticasdelmedi"'ei!clus" i!e*cie!tesdeperci(irim$&e!es+s"!id"s'esp"rell" ,ue al&u!"s i!vesti&ad"res se ha! dad" a la tarea (uscar sistemas de c"mput" ,ue l"&re! ser capaces de tra(a%ar c"! cierta similitudal desempe-" del cere(r" huma!". Al&u!as apr".imaci"!es de cie!t)*c"s' dier"!i!ici" au! pr"ces"dei!vesti&aci/!,uehasid"de!"mi!ad" 0INTE1I2ENCIAARTIFICIA13',uede!tr"deesta$rease cue!ta c"! las redes !eur"!ales arti*ciales' est" p"r,ue este/r&a!"p"seecaracter)sticasmu+desea(lespara u! sistema de c"mput".Fu!ci"!amie!t" deu!a !eur"!a (i"l/&icaFu!ci"!amie!t" de u!a !eur"!a (i"l/&ica C"m" p"dem"s las !eur"!as (i"l/&icas ' se c"mp"!e! de Si!apsis' De!dritas' A."!es + cuerp"s celulares.4!a !eur"!a !" hace !ada e! si' t"d" el 5u!ci"!amie!t" l"hace!t"d"sl"sc"mp"!e!tes'esdecir,ues"! (asadase!lai!6ue!ciadet"dassuse!tradashasta ,uealca!ceu!!iveldeum(ral'+siempre,uese alca!#ala!eur"!apr"duceu!asalidadep"te!cia c"mpleta',uec"!sistee!u!puls"estrech",uese despla#adelcuerp"dec7lula'($sicame!tep"rela./!' hasta la ramas' reali#a!d" est"' la !eur"!a se dispara" !" hace !ada.1"sa."!esi!6u+e!e!lasde!dritass"(reu!"s espaci"s estrech"s llamad"s si!apsis. 1a estimulaci/!e! u!asi!apsishace,uelas!eur"!assedispare!+e! "tras se desalie!ta! el dispar". El apre!di#a%ese lleva a ca("e! las cerca!)as de la si!apsisFu!ci"!amie!t" de u!a !eur"!a arti*cial8ist"ria Redes Neur"!ales Fuee!9:;ittspr"pusier"!elcl$sic"m"del"de !eur"!ae!el,uese(asa!lasredes !eur"!alesactuales.Seisa-"sdespu7s'e! 9:;:'e!suli(r"TheOrganizationof Behavior'D"!ald8e((prese!ta(asu c"!"cida re&la de apre!di#a%e. 1a Neur"!a McCull"ch?>ittSE!estem"del"ta!se!cill" puedeverse,uelaactivaci/! de la !eur"!a depe!de del val"r ,uet"me!l"spes"s+las e!tradas'de5"rma,uela variaci/!de7st"s"ri&i!a disti!tassalidasparalamisma e!trada a la !eur"!a. E!lapr$ctica'l"spes"sdelas!eur"!asse m"di*ca!s"metie!d"alaredau! e!tre!amie!t"' permitie!d" ,ue la red realice u!a 5u!ci/! determi!ada. Esta es la caracter)stica ,ue di5ere!ciaau!ared!eur"!aldeu!am$,ui!a al&"r)tmicacl$sica:u!ared!eur"!al!"se pr"&rama' se @educaA. 1aredescapa#derete!er+as"ciarel c"!"cimie!t"atrav7sdelaadaptaci/!del"s pes"sdelas!eur"!assi&uie!d"unareglade aprendizaje. Estasre&lass"!ecuaci"!ese.presadase! 5u!ci/! de las e!tradas + salidas de las !eur"!as + descri(e! la 5"rma de variaci/! de l"s pes"s. E! de*!itiva's"!eli!strume!t"emplead"p"rlas !eur"!asparaadaptarsealai!5"rmaci/!,uese le prese!ta. E! 9:BC' Fra!D R"se!(latt prese!t/ elPerceptron'u!ared!eur"!al c"!apre!di#a%esupervisad"cu+a re&ladeapre!di#a%eerau!a m"di*caci/!delapr"puestap"r 8e((. El >erceptr"! tra(a%a c"! patr"!es de e!trada (i!ari"s' + su5u!ci"!amie!t"'p"rtratarsedeu!aredsupervisada' sereali#ae!d"s5ases:u!aprimerae!la,uese prese!ta!lase!tradas+lasalidasdeseadasEe!esta 5aselaredapre!delasalida,uede(edarparacada e!trada. 1a pri!cipal ap"rtaci/! del >erceptr"! es ,ue la adaptaci/! de l"s pes"s se reali#a te!ie!d" e! cue!ta el err"r e!tre la salida ,ue da la red + la salida ,ue se desea. E!la5asesi&uie!te'de"peraci/!'lared@es capa#Aderesp"!deradecuadame!tecua!d"se le vuelve! a prese!tar l"s patr"!es de e!trada. Se crear"!&ra!dese.pectativass"(resus aplicaci"!es',uep"steri"rme!teset"r!ar"!e! &ra!decepci/!cua!d"e!9:F:Mi!sD++>apert dem"strar"! las &ra!des limitaci"!es de esta red. E! l"s a-"s FG se pr"pusier"! "tr"s d"s m"del"s' tam(i7! supervisad"s' (asad"s e! el >erceptr"! de R"se!(latt de!"mi!ad"s Adaline + Madaline. E!est"s'laadaptaci/!del"spes"ssereali#a te!ie!d"e!cue!taelerr"r'calculad"c"m"la di5ere!cia e!tre la salida deseada + la dada p"r la red' al i&ual ,ue e! el >erceptr"!. Si! em(ar&"' la re&la de apre!di#a%e empleada es disti!ta.Sede*!eu!a5u!ci/!err"rparacada !eur"!a,uedacue!tadelerr"rc"metid"para cadaval"rp"si(ledel"spes"scua!d"se prese!tau!ae!tradaala!eur"!a.As)'lare&la de apre!di#a%e hace ,ue la variaci/! de l"s pes"s se pr"du#ca e! la direcci/! + se!tid" c"!trari" del vect"r&radie!tedelerr"r.Aestare&lade apre!di#a%e se la de!"mi!a Delta. 1a era m"der!a de las redes !eur"!ales arti*cialessur&ec"!lat7c!icade apre!di#a%edepr"pa&aci/!haciaatr$s " Back Propagation. 1ac"!tri(uci/!deMi!sD++>apert5ue ladedem"strar,ueu!areddeltip" >erceptr"!!"escapa#deapre!der t"daslasp"si(lesc"m(i!aci"!ese!tre e!tradas + salidas. 1a s"luci/! del pr"(lema c"!siste e! a-adir capas i!termediasde!eur"!as'i!tr"ducie!d"deesta 5"rma el pr"(lema de c/m" e!se-ar a estas capas i!termedias.A,u)esd"!detie!eimp"rta!ciael al&"ritm" de pr"pa&aci/! hacia atr$s. E! 7ste se c"mpara la salida real c"! la salida deseada. 1a di5ere!cia e!tre am(as c"!stitu+e u! err"r ,ue se pr"pa&a hacia atr$s desde la capa de salida hasta la de e!trada permitie!d" as) la adaptaci/! de l"s pes"s de las !eur"!as i!termedias media!te u!a re&la de apre!di#a%e Delta. Si! em(ar&"' tam(i7! tie!e sus limitaci"!es.>"steri"rme!te se ha! desarr"llad" "tr"s m"del"s ,uepermite!u!apre!di#a%e!"supervisad" c"m"elmapaaut"?"r&a!i#ativ"deH"h"!e!'l"s (asad"se!laTe"r)adeRes"!a!ciaAdaptativa IARTJ de 2r"ss(er& + Carpe!ter' " l"s m"del"s de c"!tr"lm"t"rdeBull"cD'2audia!"+2r"ss(er&' e!tre "tr"s.Redes !eur"!ales ($sicas C7lulas McCull"chK>itts >erceptr"! simple Adeli!e >erceptr"! multicapa 1a Neur"!a McCull"ch?>ittsCelulas McCull"chK>itts1as c7lulas "pera! e! laps"s discret"s4!ared!eur"!aldeMcCull"chK>ittstie!ela capacidaddec"mput"u!iversal.Esdecir' cual,uierestructura,uepuedeserpr"&ramada e!u!ac"mputad"ra'puedeserm"deladac"! este tip" de redesC7lulas de mcCull"ch?>ittsE%empl" del !"t:GI?9JLG GM?9 e!t"!ces 99I?9JL?9?9M?9 e!t"!ces GE%empl" del ANDGI9JNGI9JLGO.. GM9..e!t"!ces GGI9JN9I9JL9O.. 9M9..e!t"!ces G9I9JNGI9JL9O.. 9M9..e!t"!ces G9I9JN9I9JLPO.. PM9..e!t"!ces 9E%empl" del ORGI9JNGI9JLGO.. GMG..e!t"!ces GGI9JN9I9JL9O.. 9MG..e!t"!ces99I9JNGI9JL9O.. 9MG..e!t"!ces 99I9JN9I9JLPO.. PMG..e!t"!ces 9E! el cas" del QOR' !" se puede s"luci"!ar c"! este tip"' +a ,ue c"! u!a celula !" se puede' p"r !" ser u! cas" li!ealme!te separad"El perceptr"!Suaut"rpri!cipalesR"se!(lat,uie!&e!erali#/las c7lulasdeMcCull"ch?>itts'+c"!ci(i/c"m"u!sistema capadereali#artareasdeclasi*caci/!de5"rma aut"m$tica.Suideaeradisp"!erdeu!sistema,ueapartirdeu! c"!%u!t"dee%empl"sIpatr"!esJdeclasesdi5ere!tes' 5ueracapa#dedetermi!arlasecuaci"!esdelas super*cies ,ue hac)a! de 5r"!tera de dichas clasesEste tip" de redes se caracteri#a! p"r su 5acilidad de impleme!taci/!. Su apre!di#a%e se (asa e! la retr"pr"pa&aci/!:separtedeu!"spes"s i!iciales e! las c"!e.i"!es i!ter!eur"!ales.>arau!c"!%u!t"dee!tradasse"(tie!eu!a ciertasalida.Bas$!d"see!,uesec"!"cela salida,uede(er)am"sha(er"(te!id"Ipatr/! catal"&ad"Rapre!di#a%esupervisad"J' calculam"s el err"r.A partir de este err"r se m"di*ca! l"s pes"s si&uie!d" el se!tid" i!vers" al de ev"luci/! de la Red Ise parte de la salida hasta lle&ar a la e!tradaJ. De la misma ma!era se "perac"!elrest"dee!tradasdee!tre!amie!t".Se puede"(servar,ueelerr"rir$dismi!u+e!d"amedida ,ue se apli,ue el al&"ritm".Si! em(ar&" u! e!tre!amie!t" reiterad" c"! las mismas e!tradas aca(a pr"v"ca!d" u! s"(re?e!tre!amie!t" a la RedNeur"!al'mem"ri#a!d"caracter)sticasdeu! c"!%u!t"' impidie!d" as) ,ue apre!da a &e!erali#ar. >"res"'trascadaiteraci/!ha+,ueevaluar:i!tr"ducir !uev"sval"resdisti!t"sal"sdee!tre!amie!t"+ calcularelerr"rdesalida.Deestama!erase"(tie!e u!a5u!ci/!Ierr"rdeevaluaci/!Jdela,ue!"si!teresa hallarsum)!im"a(s"lut"Ipuedeha(erm)!im"s l"calesJ. Determi!a!d"el!Smer"deiteraci"!esc"!,uese alca!#adich"val"r'!"sase&uram"s'e!cierta5"rma' "(te!eru!(a%"err"rparacual,uierc"!%u!t"dedat"s dee!trada.Despu7s'sepuedeaplicaru!testc"!u! c"!%u!t" !uev" de e!tradas ,ue !"s dar$ u!a medida de la capacidad de discrimi!aci/! de la Red.Qu es un perceptrn!4! perceptr/! es u!a estructura !eur"!al m$s u!a re&la deapre!di#a%e.C"m"see.plica(aa!teri"rme!te'u!a !eur"!asec"mp"!edeu!c"!%u!t"dee!tradas'cada u!ac"!u!pes"',uesei!tr"duce!e!elcuerp"dela misma para su pr"cesamie!t". Ese pr"cesamie!t" puede c"!sistir e!:C"m(i!aci/! li!eal: =ii ix y Dista!cia eucl)dea:Esteresultad"sei!tr"ducep"steri"rme!te e!u!(l",uecaracteri#ad"p"ru!adelas si&uie!tes 5u!ci"!es:y= ixi( ) 2i1a5u!ci/!,uereprese!taelc"mp"rtamie!t" idealdeu!a!eur"!aesla5u!ci/!escal/!: depe!die!d"delae!tradaseactivalac"!e.i/! e!tre !eur"!as Isalida L 9J " !" Isalida L GJ. Esta decisi/! puede depe!der de u! ciert" um(ral I,uelasalidaseacapa#desuperarl"J' represe!tad" e! las e.presi"!es a!teri"res p"r ,: i!tr"ducirestet7rmi!"!e&ativ"e,uivalea c"!siderar ,ue la 5u!ci/! vale u!" a partir de , + !"apartirdecer"c"m"sereprese!tae!la ta(la.Au!,ue 7ste sea el c"mp"rtamie!t" ideal' e! la pr$ctica se suele utili#ar la 5u!ci/! si&m"idea. Est" se de(e a ,ue es u!a 5u!ci/! mu+ parecida al escal/! + deriva(le e! el e!t"r!" de cual,uier pu!t" del e%e .. C"m"sever$'est"es!ecesari"e!elal&"ritm"de retr"pr"pa&aci/! +a ,ue est$ (asad" e! la mi!imi#aci/! delerr"rc"!respect"alval"rdel"spes"s'p"rl",ue ha+ ,ue derivar e i&ualar a cer".El al&"ritm" de apre!di#a%e para u! perceptr/! aislad" es el si&uie!te:Wk+1 =WkXtyd y( ) d"!de: = L vect"r de pes"s.D L iteraci/! actual.T L 5act"r de apre!di#a%e.Q L vect"r de e!tradas. +d L salida deseada. + L salida "(te!ida e! la iteraci/! D. 4!apr"piedadmu+imp"rta!tedeesteal&"ritm"esla c"!ver&e!ciae!prese!ciades"luci/!+lap"si(ilidad de impleme!tar cicl"s l)mite e! ause!cia de la misma.El5act"rdeapre!di#a%eTdetermi!alarapide#del al&"ritm"per"tam(i7! sue.actitud.Cua!t" ma+"rsea' !ecesitarem"sme!"siteraci"!esIa!tesalca!#arem"s lascerca!)asdelm)!im"err"rdeevaluaci/!Jper"el apre!di#a%eesi!c"!siste!teIesm$spr"(a(le,ue!"s ,uedem"s "scila!d" e! las cerca!)as del m)!im" err"r de evaluaci/! ,ue l" alca!cem"s realme!teJ. Cua!t"me!"rsea'm$sle!t"es'per"m$s*!"e!el apre!di#a%e.>"rl",uealreali#arvariasiteraci"!es se&urame!te l"&rarem"s mi!imi#ar el err"r.e!ta%asSe puede represe!tar matem$ticame!teS"5tUare de apre!di#a%e T"lera!tes al ruid"s Apre!di#a%e supervisad" + !" supervisad"Desve!ta%asDepe!die!tes del dise-"Depe!die!te de l"s dat"s Retr"alime!taci/! 5/rmula de a%usteE%empl"Ta(la represe!tativa"#"$"%"&'d' (9 < P ; ; V ;P ; < 9 < B P< < P P ; < 9; P 9 < P 9 9E%empl"Red !eur"!al ,ue sume d"s !Smer"s e!ter"s"$"%'d' (9 P < C ;P < B 9P CG 9 9 P 9=9L < WL Q9I=9J N QPI=PJ=P L P WL 9I