REDESDE NEURONASARTIFICIALESUn enfoque practicoPedroIsasi VifiuelaInes M. Galvan LeonDepartamentode InformaticaUniversidad Carlos III de MadridPEARSON- - - - - - - -PrenticeHallMadrid. Mexico. Santafede o!ota. uenos Aires."aracas. #ima.Monte$ideoSan Juan%an &ose.Santia!o. Sao Paulo. '(ite Plains_~._~__.. ..~_~"' __ IIIIt........ _/ Datos de catalogaci6n bibliograficaISASI VINUELA, P.; GALVANLEON, I..REDES DENEURONAS ARTIFICIALES.UN ENFOQUE PRACTlCOPEA!SON EDU"A"ION, S.A., adrid, #$$%IS&N' (%@#$*@%$#*@$ateria' Infor+atica6(,.-.or+ato ,/$ 0 #%$Paginas' #%(1odos los derec2os reser3ados. .,45eda 6ro2ibida,sal3o e0ce6cion 6re3ista en la 778, c5al95ier fon'na de re6rod5cclO7, .,distrib5cion,co+5nicacion65blica 8 transfor+acion de esta obra SIll contar 7on a5ton:acionde los tit5lares de 6ro6iedad intelect5al.La infraccion de los derec2os +enclOnado7 .65ede ser constit5ti3a de deli to contra la 6ro6iedad intelect5al(arts. 270 y sgts. Codzgo Penal.DE!E";OS !ESE!V ADOS #$$% 6or PEA!SON EDU"A"ION, S.A.!ibera del Loira, #(#($%# AD!ID ~O-OEntradas Salidas0igura 1$12 Es&uema de una unidad de proceso !ipicaLa 0igura 1$1 mues!ra un modelo &ue represen! a es!a idea$A&uil3n grupo deen!radas 4l, X2,.. ,Xnson in!roducidas en una neurona ar!i%icial$ Es!as en!ra+das,de%inidas por un vec!or X, corresponden a las se%iales de la sinapsis de unaneurona 'iologica, Cada se%ial se mul!i plica por un peso asociado 5I, W2, ... , Wnan!es de ser aplicado el suma!orio e!i&ue!ado por -$ Cada pesocorresponde ala %uer6a de una cone,ion sinap!ica, es decirel nivelde concen!racion ionica dela sinapsis, . se represen!a porun vec!or w.El suma!orio, &ue corresponde al cuerpo de la neurona, suma !odas las -n+!radas ponderadas alge'raicamen!e, produciendo una salida &ue se denommaE, asi2E =4l 5I 7 X2W2 7 $$$ 7 Xn WnEs!o puede ser de%inido en %orma vec!orial como sigue2Lasse%ialesE son procesadas adem as por una %un cion 8amada %un cion deac!ivacionde salida F, &ue produce la serialde salida de la neurona$S$ De+pendiendo de la %un cion F, *a'ra dis!in!os modelos de au!oma!as2 por ejemplo2Modelo computacional 9:Lineal2 S =K E con Kcons!an!e$:Um'ral2 S ; 1 si E $ Se !ra!a deuna es!ruc!ura !ipica de implernen!acion del paradigma conocido como RETRO+/RO/A?ACION, &ue sera descri!o en el capi!ulo >$ El primer nivello cons!i!u.enlas celulas de en!rada) es!as unidades reci'en los valores de unos pa!rones repre+sen!ados como vec!ores &ue sirven de en!rada a la red$A con!inuacion *a. unaserie de capas in!ermedias, llamadas ocul!as, cu.as unidades responden a rasgospar!iculares &ue pueden aparecer en los pa!rones de en!rada$ /uede *a'er uno varios nivelesocul!os$ El ul!imo nivel es el de salida$ La salida de es!as unidadessirve como salida de !oda la red$Cada in!ercone,ion en!re unidades de proceso ac!ua comouna ru!a de co+municacion2 a !raves de es! as in!ercone,iones viajan valores numericos de una8 INTRODUCCION A LASREDES DENEURONAScelula a otra. Estos valores son evaluados por los pesos de las conexiones. Lospesos de las conexiones se ajustan durante la fase de aprendiaje para produciruna Red de Neuronas Artificialfinal.Asi pues!una Red de Neuronas Artificial podria definirse co"o un #rafocu$os nodos estan constituidos por unidades de proceso identicas! $ %ue propa6#an infor"aciona traves de los arcos. En este #rafo se distin#uen tres tipos denodos' los de entrada! los de salida $ los inter"edios.El funciona"iento de la red es si"ple.(ara cada vectorde entrada! estees introducido en la red copiando cada valor de dic)o vectoren la celula deentrada correspondiente. Cada celula de la red! una ve reci*ida la totalidad desus entradas! las procesa $ #enera una salida %ue es propa#ada a travesde lasconexiones entre celulas! lle#ando co"o entrada a la celula destino.Una ve %uela entrada )a sido co"pleta"ente propa#ada por toda la red! se producira unvector de salida! cu$os co"ponentes son cada uno de los valores de salida de lascelulas de salida.Asi pues! el es%ue"a de funciona"iento de una Red de Neuronas por capasco"o la de la +i#ura ,.- puede descri*irse "ediante la ecuacion'.,.,/donde WI $ W2 son los pesos de la pri"era $ se#unda capa! 0espectiva"ente1F es la funcion de activacionidentica en todas las neuronas1 2 es el vector deentrada a la red! $ 3es el vector de salida %ue la red produce. WI$ W2son"atrices de conexiones entre las capas de la red!$ por 1 0 tanto se trata de"ultiplicaciones de "atrices. La funcion de activacion F dese"peiia un papeli"portante en un es%ue"a de Red de Neuronas. Supon#ase %ue se utilia unafuncion lineal del tipo co"entado anterior"ente' F(x) =k . x.En este caso! sisustitui"os dic)a funcion en la Ecuacion,., %uedara co"o si#ue'3=t(K X WI) W2)Lo cual es e%uivalentea una red con una sola capa de conexiones Wt donde'Wt =k2. WI . W2Se va a ilustrar esto con un eje"plo.Sea la red de la +i#ura,.4! donde'Wl = (i ~ D W2= UnSi la funcion de activacion es F(x) = 2x $ se introduce el vector i56-! ,!7! 689! se#un la EcuacionLIla salida sera'.: 7-488,,10/ A =X . WI =.6- , 7 6 8/ . =.- , 6 4/Model o computaci onal; (jen caso contrarioA partir del #odelo de neuron a de McCulloc02Pitts se de-ine el pri#er #o2delo de red neuronal/Una red neuronal es una coleccion de neuronas de McCulloc0 "Pitts, todas con las #is#as escalas de tie#pos, donde sus salidasestan conectadas a las entradas de otras neuronas,De este #odo,una salida puede actuar sobre (arias entradas, pero una en2trada (iene a 10 su#o de una salida,La red tiene contacto con el e)terior atra(es de lineas de entrada " de salida, Las l-neas de entrada de la red -or#aranparte de la entrada de al.unade todas las neuron as de la red, Asi#is#o,laslineas de salida procederan de al.unasde todas las neuronas de la red,Esta -or#ali$acion #ate#atica de la red neuronal no es " no pretende ser una#odeli$acion del cerebro,pero si un punta de partida para iniciar los estudiossobre el #is#o,Una red neuronal de celulas de McCulloc02Pitts tiene la capacidad de co#pu2tacion uni(ersal,Es decir, cual+uier estructura +ue pueda ser pro.ra#ada en unco#putador, puede ser #odeli$ada #ediante una red de celulas de McCulloc02Pitts, Esto se puede intuir #ediante las #odeli$acion de -unciones lo.icas, Losco#putadores estan constituidos de ele#entos de calculo si#ples,Si cada unode estos ele#entos puede ser #odeli$ado #ediante una estructura de celulas deMcCulloc02Pitts, los co#putes reali$ados por este podrian ser sustituidos porsu correspondiente red de celulas,A continuacion se (an a representar las -unciones lo.icas AND, OR " NOT,#ediante celulas de McCulloc02Pitts,2.1.1. Funci6n 16gica NOTEs una celula con una entrada " una salida,El unico peso +ue posee tiene(alor -1," su u#bral (alor -1 34i.ura 5,56,Si la entrada a la celula es cero, la salida sera/ Ox - ' =! co#o es #a"or+ue el u#bral,+ue es 2', la salida sera ', Para una entrada de uno la salida sera/1.x-I =-1,+ue al no ser #a"or +ue el u#bral -1 producira una salida deo, Este es el co#porta#iento de una -uncion Io.ica NOT,Celules de McCulloch-Pitts25) 72' 3562s4i.ura 5,5/ 4uncion lo.ica NOT #ediante una celula de McCulloc02Pitts2.1.2. Funci6n 16gica ANDPara la -uncion AND, la celula tendra dos entradas " una salida,El (alordel u#bral es ', " el de las dos cone)iones ta#bien ' 34i.ura5,86,xs4i.ura 5,8/ 4uncion lo.ica AND #ediante una celula de McCulloc02PittsEn cuanto ala -uncion lo.ica AND, se (a incluir la tabla de la -uncion paralas distintas entradas/Xl X2 So 0 0o ' '' ' 'La si.uiente tabla #uestra la salida de la celula para cada una de las entra2das/Xl X2 ~XiWi S0 0 0 ' ' '' ' ' 5 'La iinica (e$ +ue el su#atoriosupera el u#bral de ' es en la ulti#a entrada," sera solo en este caso cuandola celula de una salida de 1. Se apreciaco#oa#bas tablascoinciden,2.1.3. 4uncion16gica ORLa celula +ue represent a la -uncion OR es i.ual +ue la de la -uncion lo.icaAND, ca#biandoel (alor del u#bral, +ue en este, caso sera cero 34i.ura 5,96,La tabla de la funci6n OR es/Xl X2 :EXiWi SY0 0 0 00 1 1 1 F ( J1 0 1 11 1 2 1x226 PRIMEROSMODELOS COMPUTACIONALESx sFigura 2.4: Funcion logica OR mediante, una celula de McCulloch'ittsXl X2 S0 0 00 1 11 0 11 1 1Mientras !ue la ta"la de la celula de McCulloch'itts anterior es:#n este caso el sumatorio su$era al um"ral 0 en todos los casos menos en el$rimero, !ue sera en el iinico en el !ue la salida da cero.%$arentemente, el diseiiode celulas de McCulloch'itts es sencillo& sin em'"argo, cuando se trata de (unciones mas com$le)as, 0 de sistemas de com$utacionso(isticados, el rnimero de celulas necesarias sera mu* ele+ado * los $arametresin+olucrados ,conexiones entre celulas, um"rales, $esos- tan numerosos !ue lareali.acion de celulas de McCulloch'itts $ara est os $ro"lemas es im$osi"le enla $ractica. /eria necesario un mecanismo de asignacion de los $arametres de(orma automatica. #s 10 !ue se conoce como mecanismo de a$rendi.a)e.2 . 2 . erce$tronlComo se ha seiialado, los $rimeros estudios so"re Redes de 0euronas %rti(i'ciales datan de los aiios 10, so"re todo con 2a a$aricion del modelo PERCEPTRON.#ste modelo se conci"io como un sistema ca$a. de reali.ar tareas de clasi(icacionde (orma autornatica. 3a idea era dis$oner de un sistema !ue,a $artir de un con')unto de e)em$los de clases di(erentes, (uera ca$a. de determinar las ecuacionesde las su$er(icies !ue hacian de (rontera de dichas clases. 3a in(ormacion so"rela !ue se "asa"a el sistema esta"a constituida $or los e)em$los existentes de lasdi(erentes clases. % esto 10 llamaremos a $artir de ahora $atrones 0 e)em$los deentrenamiento, indistintamente. /on dichos $atrones de entrenamiento los !uea$orta"an la in(ormacion necesaria $ara !ue el sistema constru*era las su$er'(icies discriminantes, * ademas actuara comoundiscriminador $ara e)em$losPerceptIOn24nue+os d5sc6noc.idos. #2 sistema, al (inal del $roceso, era ca$a. de determinar$ara cua !uier e)ern$lo nue+o, a !ue clase $ertenecia. 72.2.1. 8escri$clon del modelo3a ar!uitectura de la red es mu* sim$le /e trata de un t t$a en la ha+ un r-on: . a es ruc ura monoca'9 2 !5e .a* un con)unto de celulas de entrada, tantas como sea necesariosegu5 os termmos del. $ro"lema& * una 0 +arias celulas de salida. Cada una d5las cel.ulas de entrada ticne conexioncs con todas las celulasde salida tconexronns las !ue determinan las su$er(icies de discriminacirm del 5is:5&:.s asxl :Figura 2.1: %r!uitectura de un PERCEPTRONcon dos entradas * una salida#n el e)em$lo de la Figura 2.1 las entradas son Xl *X2 ; la salida y 3o$esos son mas, exis e un $arametro adicional llamado um"raleno5ado $or B. 5l um"ral se utili.a como (actor de com$aracion $ara roduci55::5hda, * ha"ra tantos como celulas de salida existan en la red,uno :or cada#& elste es!u5ma.l,a salida de la red se o"tiene de la siguiente (orma. rimerolo ca cu a la acti+acion de la celula de salida mediante la suma $onderada $oros $esos de todas las entradas:i?2act.3a55liddadle(i5ll>til+ase $roduce al a$licarle una (uncion de salida al ni+el der+acion e a ce u a #n un PE 2> ,escalon !ue de$ende del um"ral: RCEPTRONa (uncion de salida es una (unciony =F(y', B), y>F(s,8)={ 1 sis>B;' ::I ' -1 en caso contrario28 PRIMEROSMODELOS COMPUTACIONALESSimplemente pasando el termino () al otro ladode la ecuacion, la salida sepuede escribir en una sola ecuacion:(2.1)donde Fya no depende de ningiin parametro:F(s) ={ _~ si s > 0en caso contrario(2.2)Esta ecuacion equivale a introducir artificialmente en la salida unnuevopeso () que no est a conectado a ninguna entrada, sino a una ficticia con un valorconstante de (1.a fun cion de salida Fes binaria y de gran utili dad en este modelo ya que altratarse de un discriminante de clases, una salida bin aria puede ser facilmentetraducible a una clasificacion en dos categorias de la siguiente forma:!Si la red produce salida 1, la entrada pertenece ala categoria ".!Si la red produce salida -1, la entrada pertenece a la categoria #.En el caso de dos dimensiones, la Ecuacion 2.1 se transforma en:que es la ecuacion de una recta de pendiente ($% & que en el origen de or(W2denadas pasa por( ' . En este caso,con dos celulas en la entrada, los patronesde entrenamiento pueaen representarse como punt os en un espacio bidimensio(nal. Si adem as dic)os puntos pertenecen a una de doscategorias, " 0 #,laseparacion de dic)as categorias podra )acerse mediante la recta anterior.Es decir, la red define una recta, que en el caso de ser solucion al problemadiscriminara entre las clasese*istentes en los datos de entrenamiento. +rafica(mente podrfa representarse como se muestra en la ,igura 2.-.Si las clases estan separadas, puede demostrarse que dic)a recta discriminan(te e*iste. el problema es como determinar la ecuacion de tal recta, a partir delos datos de entrenamiento. Esto es 10 que )ace precisamente el PERCEPTRONen su proceso de aprendi/a0e. El problema puede complicarse si en ve/ de dosdimensiones )ay muc)as mas.En este caso no )abra que determinar rectas, sino)iperplanos. El proceso puede definirse en los siguientes terminos:1ado Se dispone de un con0unto de e0emplos de entrenamiento, distribuidosen un espacio multidimensional, y de los que se conoce a que categoriapertenecen. Se va a describir el caso en que )ay unicamente dos clases," y B. 2as adelante se comentaran las modificaciones del modelo parae*tenderlo a un caso generico de n clases.Perceptron23*2! ! ! ! ! !! !x l4l*l542*25067,igura 2.-: Separacion en dos dases mediante un PERCEPTRON7btener 8ay que determinar la ecuacion del)iperplano que de0a a un lado lose0emplos de un tipo y a otro los delotro. a ecuacion del )iperplano sededuce a partir de los e0emplos.2as formalmente serfa:dados con0untos de puntos en !Rn. A =(-+ -+B ( -+ -+ al , ... , anay = !%, ... , bnb),obtener el )iperplano: $% Xl +... +Wn Xn +(=0 de talforma que: 9:ii E A :. $% al +... +Wn an +(> 0y" ! E B: $% !#+... +Wn bn+($ 0Este proce'o constituye el aprendi/a0e del PERCEPTRON y se reali/a median(te un proceso iterative en el que paulatinamente se van modificando los valoresde 10~pesos .de ;as. cone*iones, )asta encontrar los valores que determinan lasecua+l7nes discriminantos. En funcion de la red neuronal esto seria equivalentea encontrar los valores de las cone*iones que )agan::ii E A : y(ii)=1y" ! E B ;y(b) =(1El proceso de aprendi/a0e consiste en10 siguiente Se #t d 9d 1. d . .. . m ro uce un patrone os del con0unto e apre1di/a~+++++"""?#0,5y/35igura 3"=2 Iniiali&aion del PERCEPTRON para el e.e(plo de la -union ANDCon esta iniiali&aion$ la reta disri(inante de-inida por la red es x 8x+0$< =0$ u%@ representaion gra-ia es la que apareeen la 5igura 3"A" Bn e@te@aso "se ")e C(o la reta lasi-ia bien un patron de la lase A$ el de la parte(-eno@ lD@U#erda$ % el patron de #a lase ," Luego !abraque pro eder a reali&araprendi&a.o"A Cnt"inuaion se introduen los patrones de entrena(iento % se e-etuaelaprendi&a.e para aquellos que produ&an una salida erronea$Patron0+#$ +##+#108#$ +##+#1Salida-0+I+ 0+#1 + 0$ie) :+1 +1?Se "*!e%i" 7e e,&e e, el %",+.E) ge)e!"l, e) ) PERCEPTRON, l+, *"&!+)e,'e0 e) ,e!i)&!+'%i'+, )" 9 +&!" ? >?OR AND(=+'=+) H,-I) ?XOR