evolutionary design of neural networks marko a. grönroos master

90

Upload: lydieu

Post on 01-Jan-2017

218 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Evolutionary Design of Neural Networks Marko A. Grönroos Master

����������� ��������� ������� ��� ���������� �!�"���#%$&����'(�

)+*-,/.%0214365�,�798�,�0�0;:

)+*-:�<>=?,@0-ACB�D?EF=?8GDH=JI(KL=M:>EN:

O 0;PRQGS�<>=?,TB�D?EF=?8GDH=

U=?QG*%,V<>PR=?89<@0-AC)+*W<XKL=MP"*W<XENDM*-Y�B�DZEN=?8GDH=?:

[(8GE]\9=?,/:>E]<_^`0-AaIbSG,/.�SdcfeMg%g%h

Page 2: Evolutionary Design of Neural Networks Marko A. Grönroos Master
Page 3: Evolutionary Design of Neural Networks Marko A. Grönroos Master

�������������� ��������� ���������������� "!#����$%�& '�(���� ")*��$,+-�. /�&0�!

1 �32����3 �546�87��:9; =<6>@?�0�+'A*�& '0�$B�.C�DE)F�(!� 'G�$,0.HI$*��AFC��.+�$F�(�KJL0�C#M�!NPO ��C#��0Q?��(C�MRM.0TS#��$UC��.M.�($R�����($��(?.0�+"AV�& " /?� "$F�($%0�W*�& '��0. "$X�& -Y

�ZC�0[G�C&��)FAE\]�&AV�&MR "�(+"���*4*^.^_!(`'4bac+" ' '����!�`�3 "�d�&0eS#�($FMef.!� /������+'D.0�WFWF 9���!�f.MRAFAhgQi.i�a

��f.��f �&A*��MR "��+'�j� Mef.!� /���&�(+"�(� ���($F�(����+'�� "f !�0.WF '?� "�($ kF��C#��0Q?.��C�MRM�0�C&�.M���$X�&�( ")F�($+"lQDR�mf��� '!���MR!# Z��C� Z0.WFWF "�[ "!#0�$FG��(+"�[ "+'+"�.` O ��C��[0Q?��(C�M.0��n0Q?����;+-�.!#M.�($F$B�.+'+" "$*��$o�[��$F�d�&��+'�jfV4S#0�!#!&�pDVMR!# "$FM���C#�&�. "!#�(��48�&0. "!� ' "$F!���MXD���M.�d�KD��q+-�.!#M.�($R�&�.��+'���[��$X�& /�r?�0� /?.�e�sDVk*)F��!#!&ft�=A*0�\)F0�!��m���u�[0�$F '�=A*�&Me�. '!� "�vHwAF$FMX�� "0� /�m�*` >Z+"���[��$X�#�& "�($xS��uMRDR��M.��$X��leS#��$ WF�.C&�.�[�(��C� '��$��f�f.C� /���&f.�� '!��(��$�0�$y0�+"�(�j��!�!&�zA*!��� /�m�{0�Wb�(�&A*!��[��$F�d�&��+'�� "f*4=�=AV���m�|$F�}�� /?�f��oD�+"���($F!&f0�!����|�jf�f�C� '�#�mf�f}MRAF+"+'��MR "$p0�$*G���+'�j�.+'+"�~!�0.WF '?����zMXDR�&M���$X�mf.C��.M.�($F$F�d���m�V` ��A*�&MR '��+"���.!#!&�Mef�D����(�&f�f.$��(?�0.+"A*�� " '?� '!#�m�h�.+"G�0.C� '���� "�UDVk*)F��!#!&f�$*��+�S�f�$|��C� �kF��C#��0Q?��(C�MRM.0TS#��$�C��.M.�($R�����($G��($F���d���& '!��($%M.0�0V)B��AF!��[��$F�d�&�(+"��f.$EMe�.$F!#!&�*`��8�($F�(����+'�jf���0Q?.�e���8 '+"+"�(C�4R��0V)F)S�� O �()FG���$!�A*0�C&�nM�0V0�)B�.A*!�4F9� /�m�.$F0.$jG�C������B$FG.��$F�(C�0� '$R�� "MR "�(+" '0�WFWF P4��:0.+'�;S����I�.C# "!# "$j!#0�+"AF�Q?��.C#AFA*������$Wb��C�A*!#�&AV?.�����($F�(����+'�jf*4c!#��Mef����.$FG��(+"0�!# �4_�I��C� "!# :S�����0�+'�F$yG��($F��C����& ' '?� "$*��$�!�0�+'AB��?��e\C�A*A*�&�(��$�Wb��C#AF!#��A*?��t���($F�(����+'�jf*` 9:0�0�)B�.AF!#���($F�(����+"��f��r��f�f.C# '���&f�?.fe��?��. "$�?��(C�M.0.$C&��M.��$X������$���WB�� "$F0eS#�($U0�Wb�(��AF!��m��WB�.kX�&AFAoMef�DR���&f.��$�����C#0�WV\]0�W5�d�&AF!#���($F�(����+'�jf�fV`�>@?�0�+'AV\�& ' '?� "!#��$��.+'G�0�C� /�&�[ "$j�&�.C#?� /�&!��(�j�cM���+"Wb0� '!�AFAF!��.C#?.0j��f�f.C# '�&�(+"+"f�f.$j0.W5�d�&�(��AF$�k*��C��[0Q?��(C�M.0.$+-��!�M.�($X�m��?� "C�k*����$Ff���C# "+'+" "!#��$%��C#?� "0� '$X�& -�� "$F�( "!#��0�$j!#AFkX�&�(��$�`��A*��M� '��+'�j�.$;�.+'MRAF0�!&��!�!&��Mef�DV)Ff�f.$;+-f.WF .kF��C#��0Q?��(C�MRM.0TS#��$�4X�d?�0�+'A*�& ' '?� "!��&��$��+"G�0�C# '���� '��$�4

!��(Mef}kF�(C��[0Q?���C#MRM.0eS#�($�G��($F���d���& '!#����$�M.0�0V)B��AF!��[��$F�d�&�(+"�[ "��$qW5�(C�AF!��&���d��`��0�WFW*AF0�!&��!�!&���!# '����+"+"f�f.$�����!#�� "0�$*G���+'�j����4Z!��(M�fo�&A*+"0�MR!��d�_�&��k*)*D� "!#�&foM.0�M��� "!��m�*`�9:0�0�)B�.AF!#���($F�(����+"�[ "�($!�A*0�C� /�&AF!#MRD�MXDXf�kXDR?�f.$t?.��C�MRM�0�C&�.M���$X�&�(��$�+"lQDR�mf.�[ "!#��!#!&f|�m�.C#M���!#�&�(+"+"���.$�Me�.kF)F�(M�!��.$��(C� 0�WFW* "�[ "!�0.$FG���+'�j��$�!�AFkX������$�` �$FG���+'�� '!#�&�z$F��+�S�f{0.$yM��� "$*0.�&�(M.0� '!� -� N�� �4�M.0�0�)B�.AF!S���Me�.MR!# ;HwAF$*MR�� "0�$��.WFWFC#0�MR!� '��0� '$F$F '$�0.$FG���+'�j�.�XYd4�M�0�+"�[�~0�$���0V)*��+"+' "!# -��kB�.k*��0�$X��AF$V\$F '!#�&A*!�0�$FG.��+"�[ -�U�����@�5 6¡L¢�\K0�$FG.��+"���TS#0�A*M.0�!��m� N !#D.lT?�f.$�4Z+-�.!# '�KDRD�WFWF "�($�S��8!�D�)Bf.$F!��. "C��.AV\)F�($��&A*$F$F "!��&AF!&Y�S��oD�MR!� �0�$�M�0�$FMRAFC#!�!� '��$z�($F$RAF!#��AF!�0.$FG���+'�j�~D�C� '�KD�!��&��$��& "+' "$FWFf�f��&l.!#�& '�d\�&0TS#��$�Wb��C#AF!#�����(+"+-�V`�9�0V0�)B�.AF!#���($F�(����+'�� '��$%!�A*0�C� /�&AF!#MRD�MXDXf��� /�m���&���.$%+"A*0�MR '�&A*!#�m��C�MRMRAFAV\)F�(+"+-�_kB�.k*��0�$X��AF$F$F '!#�&A*!�0�$FG.��+"�[ "!#!&�*46!#��MefjMXDR?�D�+'+-f�+'lQD��&f�f�0.+"���(+"+' "!��d���=AFA*�#�&AeS���?��.+' "$F$B�e�M.�( "$F0��&��M�0� "!# "!#!&�_0�$FG��(+"�[ "!�!��*`���.C�kF�. "�[�j��M�!# �M�0V0�)B�.A*!��[��$F�d�&��+'�jf�M�!# jkB��kF��0.$R��AF$F$F '!#��AF!�0�$*G���+'�� '!�!&��0�!�0� /���&�.A*�&A*

G�C������B$FG.��$F�(C�0� '$R�� "MR "�(+" '0�WFWF P4T?��. 'MRM���M��.�.$c!�AF0.C&��M.0�0V)F�.AF!Z�� B0.+"+"AV�@0�+'����+'+" '!���!��& �kRAF0�$F0��[WF P`�8AFAV���&ATS# "��$c?��.+' "$F$B��!�!&�:WB�.C�kF�. "�[�j��M�!# V0.!�0� /���m��A*�&AF V!�AF0.C&��M.0�0�)B�.AF!(4�?.�� "MRMe�.MR "$_�:0.+'�:S���I��C� "!# "$,M.0�0�)B�.AF!#���($F�(����+"��f=WBf�f�!� ��[��+"M�0_+-f.kF�(+"+'��!��($8��AF+"0�!��m�*`

Page 4: Evolutionary Design of Neural Networks Marko A. Grönroos Master
Page 5: Evolutionary Design of Neural Networks Marko A. Grönroos Master

��� � �� ���

�3kF "!���kF��!# "!3)F���.+"!�J� /�&k%�[�(��kF0V)*!�Hw0�C��B$*)F "$FGc$*��AFC��.+�$F�d�KJ�0�C#M%�.C��mkF '�����(��AFC��(!3!�AF /�m��*+"��Hw0�C+"����C�$F '$FG_WB�.C#�� �(AF+-�.C�WFC�0��*+"���[!�` � ��AF!#�n��$��(?.0�+"AV�& "0.$B�.C#DE�.+"G.0�C� /�&kF��J� '��k�Hw0�A*C�)* ��5��C��($X�G���$F�d�& �����$���0�)F "$FG ���d�&kF0�)F!_�&0�!#���.C��mkzHw0�C_�&kF�8!�AF /�m��F+'����C��mkF /�&���d�&AFC#��!(`�� �8��C&�. '$��&k*�$F��AFC��.+�$F�(�KJL0�C#MrJL�� 'G�kX�&!_J� '��k��~!��(WB�.C����&��$F��A*C&�.+�+"���.C�$* "$FG��.+'G�0�C� /�&kF��`�� �8A*!����� "G.kR�)F ��5��C#��$X�c+"���.C�$* "$FGUW*C�0��F+'���[!�Hw0�C��5�($��mkF���.C�MR "$*GU�&kF�E�($���0�)F '$FGo���d�&kF0�)F!(`��B0�A*Cn0.H��&k*�WFC�0��*+"���[!:�.C��c��C#�& /���� "�.+ Nw� ��4�>Z$��(0V)*��C��.$*)��KJ�0EHwA*$��(�� "0�$��.WFWFC#0��V '�j���� "0�$�WFC#0��F+"�(��!&Yd4�&kFC#������C���C#���.+ \]JL0�C�+')��(+-�.!#!� /�������� "0�$[WFC#0��F+"�(��!�HwC�0.���&kF��3�5�@�� 6¡�¢��b��$��mkF���.C#M� '$FGnW*C�0��V\+"����!��d��4B��$F)%0�$F�� '!3���B��$FMRC�AFW*���(D��(+-�.!#!� /�������� "0�$�WFC�0�F+"�(� !��&AF)F '��)%���.C�+' "��CL "$E0.$F��0.H�0�AFCWFC�0eS#���(��!�`� �AFC��(?��.+'AB���& '0�$���C# '�&�(C� "�c�.C�����+"�.!�!# '�������& '0�$�����(AFC&��dD��.$F)8�� !�� '��$��dD�Hw0.C�A*!� "$*G0�$F+'D_��kF��C��(+"�d?.��$R�L?��.C� "��F+"�(!�`@�3k*�"��+"�.!�!# '�������& '0�$jC#��!�A*+'�&!��.C��"�(0��[WB�.C��()%�.+'!�0n��0n�&kF0.!���Hw0�C$F�(�KJL0�C�M,��C��mkF /�&���d�&AFC#��!�Hw0�AF$F)��XD��c!#D�!#���������& ��!�����C��mk�`

#%$'&)(+*-,/.102 $F��AFC��.+�$F�d�KJ�0�C#MR!�46�(?.0�+"A*�� "0�$F�.C#DE�.+"G�0.C� '��kF�[!�4���$��(0V)F '$FG_���d�&kF0�)F!

Page 6: Evolutionary Design of Neural Networks Marko A. Grönroos Master

?�

Page 7: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� �����������

� �� �� , * .���� ��� * �� � , ����� � ������ $ � , ���! $ � (+*-,�" 0 #

$ `/g >Z+"�(���($R�&�.C#Dj!#��C�A��d�&AFC#��! `;`;`�`;`�`;``�`;`;`�`;`�`;`;`�``;`�`;`�`;`;`�`;`�`;`` %$ ` $ �:�d�KJ�0.C�ME�&0.W50�+'0�G.D�`�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�``;`�`;`�`;`;`�`;`�`;`` &$ `'% �:�(AFC&��+�+"����C�$F '$FG ``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�``;`�`;`�`;`;`�`;`�`;`` ^

$ `'%*`/g ��0���W*+"� �V /�KD�4*0Q?.��C#�*���& '$FG��.$F)�C���G.AF+-�.C# )(����& '0�$ `�``;`�`;`�`;`;`�`;`�`;`` *# +-, * � � ��� * �� ,�& ����. *-, ����/�0 0 1

%*`/g >Z$���0�)F '$FG `;`�`;``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�``;`�`;`�`;`;`�`;`�`;``ug32%*`/g�`/g �����.+�?��.+"A*��! `;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�``;`�`;`�`;`;`�`;`�`;``ug32%*`/g�` $ �K$R����G��(C3?.��+"AF�(!�`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�``;`�`;`�`;`;`�`;`�`;``ug�g

%*` $ �I /�&$F�(!�!,`�`;`;`�`;``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�``;`�`;`�`;`;`�`;`�`;``ug $%*` $ `/g 7�C#�� '���( -�.+b�F�&$*��!�!�H ��d�&0�C#!E`�`;``�`;`;`�`;`�`;`;`�``;`�`;`�`;`;`�`;`�`;``ug $%*` $ ` $ �:0� '!#DE�d?��.+"AB�e�& "0.$ `;`�`;`�`;``�`;`;`�`;`�`;`;`�``;`�`;`�`;`;`�`;`�`;``ug $

%*`'% �V�(+"���d�& '0�$�`;`;`�`;``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�``;`�`;`�`;`;`�`;`�`;``ug $%*`'%*`/g 46587:9<;K\]!��(+"���d�& '0�$ `;`;`�`;`�`;``�`;`;`�`;`�`;`;`�``;`�`;`�`;`;`�`;`�`;``ug $%*`'%*` $ >�+' '�� "!�� `;``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�``;`�`;`�`;`;`�`;`�`;``ug3%

%*`>= ������0.�+�F "$F���& '0�$ ``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�``;`�`;`�`;`;`�`;`�`;``ug3%%*`?& �8A*�&���& '0�$F!�`;`�`;``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�``;`�`;`�`;`;`�`;`�`;``ug@=

%*`?&V`/g �V��+/H-\ �.)B��W*�m���� "0�$j0.HI�nA*�m���� "0�$%C����&�(! `�`;`�`;`;`�``;`�`;`�`;`;`�`;`�`;``ug�&%*` ^ A� '!���A*!�!� '0�$ `;`�`;``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�``;`�`;`�`;`;`�`;`�`;``ugQ^

%*` ^*`/g >�W* "!#�&�.!� '!%``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�``;`�`;`�`;`;`�`;`�`;``ugQ^

B +-, * � � ��� * �� ,�& $ � , ���C $ � (+*-,�" 0 �ED=F`/g A� 'C����d����$��(0V)* "$FG�``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�``;`�`;`�`;`;`�`;`�`;``ug�*

=F`/g�`/g �8 "+'+"��C(4V��0�)F)���$F) O ��)*G�� `;``�`;`;`�`;`�`;`;`�``;`�`;`�`;`;`�`;`�`;``ug�*=F` $ �AFC�HwC&� �(�m��+�0�C� 'G� "$*! `;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�``;`�`;`�`;`;`�`;`�`;``ugQi=F`'% �K$F)F 'C����(����$���0�)F "$FG.!3`�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�``;`�`;`�`;`;`�`;`�`;`` $ 2

=F`'%*`/g 9 /�m�.$*0�`;``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�``;`�`;`�`;`;`�`;`�`;`` $ g=F`'%*` $ �:0�+/���.$F)8�I�.C# "!� o`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�``;`�`;`�`;`;`�`;`�`;`` $ ==F`'%*`'% ���.$FG��(+"0�!# �4F���.C� '!� �.$*)8��0�+'� ``�`;`;`�`;`�`;`;`�``;`�`;`�`;`;`�`;`�`;`` $ &=F`'%*`>= ���kF��C���WFWFC�0���mkF��!}`;`�`;`�`;``�`;`;`�`;`�`;`;`�``;`�`;`�`;`;`�`;`�`;`` $ ^

?� "

Page 8: Evolutionary Design of Neural Networks Marko A. Grönroos Master

?� " '

� � $ 0@��, ��� ��� * *�� . �E�3� # �&V`/g 7:C#�& /���� "�.+�W*C�0��F+'���[! `;`�`;`;`�`;``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�`;``�`;` %*g

&V`/g�`/g ���,W*C�0��F+'��� `;`�`;`;`�`;``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�`;``�`;` %*g&V`/g�` $ � ��� ������ W*C�0��F+'��� `;`�`;``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�`;``�`;` %*g&V`/g�`'% � ������������� )B�e�m� `;`;`�`;``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�`;``�`;` % $&V`/g�`>= � ���������� ����!� )F���m� `�`;``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�`;``�`;` % $

&V` $ �����I�� 6¡L¢ �b��$��mkF���.C#M� '$FG_WFC�0�F+"�(��!3`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�`;``�`;` % %&V`'% "���$FMRC�AFW*���(D,)B�e�m� `�`;`�`;`;`�`;``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�`;``�`;` % =&V`>= O �.$F)F+' "$FG=��kF�)B���m��!��(��!3`�`;`;`�`;``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�`;``�`;` % =

&V`>=F`/g A� '?� '!� "0.$� '$X�&0c!�A��F!��d�&! `;``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�`;``�`;` % =&V`>=F` $ >$#�AF�.+" (����� "0�$s`;`�`;`;`�`;``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�`;``�`;` % &

% +'& � $', �60 $ �� 0 �� . , $ 0 � ��� 0 # 1^*`/g ��0� "!�DE�F�&$*��!�!j`;`;`;`�`;`�`;`;`�`;``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�`;``�`;` %�i

^*`/g�`/g 7��[0�AF$X��0.H�$F0� "!#�� "$%�&C��. "$* "$FG `�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�`;``�`;` = 2^*`/g�` $ �V��+'���d�& "0.$�WF�.C&�.�[�(����C#!x`;``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�`;``�`;` =Fg

^*` $ >@?�0.+'?� "$FG_$F�d�KJ�0.C�MR!�`�`;`�`;`;`�`;``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�`;``�`;` = $^*` $ `/g �:�(AFC&�.+�+'���.C#$F "$*GcWB�.C&�����d�&��C#!�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�`;``�`;` = $^*` $ ` $ 1 �($F�(�� �;�.+'G�0�C� /�&kF��WB��C&�.�[�(����C�! `;`;`�`;`�`;``�`;`;`�`;`�`;`;`�`;``�`;` = %^*` $ `'% ���(!�AF+/�&!�`;`;`�`;`�`;`;`�`;``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�`;``�`;` = %^*` $ `>= �K$F)F /?V ')FAB�.+�C�AF$F!u`;`;`�`;``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�`;``�`;` = %

^*`'% A� '!��(AF!�!# "0�$ `;`;`;`;`�`;`�`;`;`�`;``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�`;``�`;` ^ =D ( * � � �10 � * 0 %��

� ) $ � , ���C $ � (�* ,�" � ,/* . , ��0 � �+* , � , & % 17n`/g,"�� �mM�W*C�0�WB��GX���& '0�$ `�`;`�`;`;`�`;``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�`;``�`;` ^�i7n` $ >$#RAB�.+' )(��e�& "0.$|`;`;`;`�`;`�`;`;`�`;``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�`;``�`;` *Vg7n`'% A�C���J� "$FG[$F�(�KJL0�C#M�!j`�`;`�`;`;`�`;``�`;`�`;`;`�`;`�`;``�`;`;`�`;`�`;`;`�`;``�`;` * $

- . / $ $ , * � � ��� * � ,�& ����. * , ����/�0 � �+* , � , & D #( +-, * � � ��� * �� ,�& $ � , ���C $ � (+*-,�" � , * . , ��0 �6��* , � ,�& D��

Page 9: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� ���f� ���d�

�3kF '!n�&k*��!� '!= "!;�&kF�%C#��!#AF+'�n0.H��UC��(!�����C��mkr)F0�$F�E���=�&k*� A���WF�.C#�����($R�=0.H���0���W*A*�&�(Cc� �( "��$����%0.H� �50�7�Me�.)F�(�� ��$F '?.��C�!# '�KD.4bJ� /�&kF '$���kF�=��0.AF$X�&��!#! N ��0.��WFAV�m���� "0�$B��+��K$X�&��+'+" 'G���$��(��Hw0�C "�AF!� '$F��!#!mYWFC#0eS#���d��4�J�kF �mk% '!��n+'0�$FG�\��&�(C���WFC#0eS#���d�3)F0�$*�� "$���0�+'+-��b0�C����& '0�$=J� '��kj�&kF�-A���WF�.C#�����($R��0.H��K$*Hw0�C \�����& '0�$%�ZC�0 ���(!�!# "$FG[0.H��&kF���AFC�MRAU��$F '?.��C#!� '�KDE0.H@> �(0�$F0��nD.`

��J� "!#kU�&0[�&kB�.$*M���kF�n!#AFW5�(C#?� "!#0�C�!�0.H@�&k* "!:��kF��!# "!(4� �+"+' �:�(?��.+"�. "$*��$U��$F)o9�. "!��E�V�(C���`����.+'!�0J� '!�k���0;��kB�.$FM_9�. '!&�;�V�(C�����$F) "��.C��FC#0 "���mMcHw0�C�WFC�0Q?� ")F '$FG���3��kF�:Wb0�!#!� �* "+" /�KDn��0;JL0�C�Mc '$[��kF���0�A*$R����!#!�WFC�0TS#���(��`�73)F)F '�� "0�$F�.+"+/D�4*��J� '!�k��&0���kB�.$FME��kF� A:��WB�.C��&�[��$X�:0.H���0��[WFA*����C�� �� '��$��(�n0.H� �50_7�Me�.)*���[ �Hw0�C3�.+'+5��kF� ��0��[WFA*�� "$FG_�.$*)�0��&kF�(C3C���!#0�AFC�����!�C�� #RAF "C#��)%�RDj�&kF '!�J�0�C#M6` �� "$B�.+'+'D.4��J� '!�kj��0n�&kB��$FM���kFC� '!#�& "�.$E��(kR�� "$F�($�4 O ��+'�=A*�����(D��(C�4B9�.C# ��� "+'!�!�0.$�4��.$F),����AF$F0_��l�$FMRM.l N �.$F)!#0�����0��&kF�(C�!mY�Hw0�C���kF�� 'C3kF��+'W*HwAF+ �(0����[��$X��!3C���G��.C�)F '$FGc�&kF '!�J�0.C�M6`

�8�.C�M�0 1 C�l�$*C�0�0�!��AFC�MRA�4��.AF$*�[g�i�i�a

Page 10: Evolutionary Design of Neural Networks Marko A. Grönroos Master

Page 11: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� ����� � ��� �

� ���� ����� �� ���

�3kF '!;��kF��!# "!;Hw0 �(AF!��(!=0�$��(0��[WB�.C� '$FG����d�&kF0�)F!Hw0�C;��kF�[�(?�0.+"A*�� "0�$B��C#D~)F�(!� "G.$h0.H�������� �������������� "!�#���$������%'&(�*) N 7��:��Y��.C��mkF '�����d�&AFC#��!�`�7��:�:!�.C#�c$F0QJ��.)F�QD�!;�jJL��+"+ \K�(!#�m� �F+" '!�kF�() ��0��[WFA*�&���& '0�$B�.+WB��C&�.)F 'G�� "$h��kF�j�B�(+")�0�H+������� �����������,�-�.���,�/�102�����3� N 7���Yd`��3kF�(D��.C��jAF!�AB��+"+'D�!#����$}�.!=�����d�&kF0�)Hw0�C� '��WF+'���[��$X�& '$FG+�(0���W*+"� �E$F0�$F+' "$F���.C3���.WFWF '$FG�! N HwA*$��(�� "0�$F!&Y�AF!� '$FG�!# "�[WF+"���(+"�(���($R�&�.C#DEAF$F '��!��kB���_�.C#� ��0.$F$F���d�&�()r��0�G��d�&kF�(CnJ� '��k�J��( "G�kX�&�()�4��.)B�.WV�m��F+'� �(0�$F$F���(�& '0�$F!(` � � �(0�$����($X�&C&�e�&�,0�$0�WV�& "�[ )(( "$FG;�&kF� �(0�$F$F���(�& '0�$�!#�&C#A��(��AFC��;0.H��&kF�$F�d�KJ�0.C�MR!�`

465�&(�/ "���7&(�8����9���:02&(���,�<;2=?> N >Z7�!mY 4� "$F!#WF "C#��) �XD��&kF�nWFC� '$��� 'WF+"�(!:0.H �F '0�+"0.G� ���.+��(?.0�+"AV�& "0.$�4���C���.$*0.�&kF�(CjWB��C&�.)F 'G�� "$�7��=��kB���EkF�.!jC#�����( '?.��){�=A��mk|�e���&�($X�& "0.$q+-�e�&��+/D�`�>Z7�!�43J�kF ��mkz���[WF+'0TD ')F���.+' )((��)���0�)F��+'!�0�H�G���$F�d�& �� ��0�)F��4@C�����0��+�* "$B���� "0�$�0.H�G��($F�(�� �� "$*Hw0�C#�j�e�& "0.$�4 �=A*�m�e�& "0.$F!�4��.$F)!#��+"���(�� "0�$�4XkF�Q?.� �b���($j$F0��& �(��)c�&0�D� "�(+")c?��(C#D_G��($F��C# ���.$F)[C�0�FAF!#��J���DV!�Hw0�C@�B$*)F "$FG!#0�+"A*�� "0�$*!@Hw0�C�(0���W*A*�m���� "0�$F�.+"+/Dn)F !��AF+/��!#���.C��mkEWFC�0�F+"�(��!(`� �$F��!#A��mk%WFC�0�F+"�(� "!��&kF���.)B�.W*�&���& '0�$ N �&C��. "$* "$FGRY0.H�7��:���.C��mkF /�&���(�&A*C���!��.$*)8WB��C&�.�[�(����C�!(`

�3kF��&C��. "$F '$FG=0.H�7��:�:!�AF!# "$FG[>Z7�!�kB�.! �b����$8�=�&kF�(���0.H��=A��mk8���#�&��$X�� "0�$,)FAFC# "$FG=��kF�+-�.!��Hw�dJ D�����C�!�`��3kF '!j "$X����C��(!#�j!�WB��J�$F!jHwC#0�� ���.$XDr)F ��5��C#��$X�E!#0�AFC��(��!(4�0.C�Wb0� "$X��!�0.H�?V '�(J`� �$F� '!��&kB���;0.H��&k*�[7:�m4�J�kF��C#�[JL�_J��.$X�;�&0,+"�d� ��0��[WFA*����C#!�!#0�+'?.�[W*C�0��F+'���[!�.$F)�+"���.C�$o�&k* "$FG�!LS#A*!#��XDh��kF���[!��(+'?.��!cJ� '��kF0�A*�cA*!� "$*G~�~kRAF���.$sWFC#0�G�C��.���[��C(`~7�$F����C��XD��B�(+")�4�!#�&���& '!#�� ����+LWB�e���&�(C�$C#����0.G�$F '�� "0�$�4�kB�.!ZG� /?��($[$*��AFC��.+B+"���.C�$F '$FG����.$XD=!#��C�0�$*G��(0�$��(��W*��AB�.+6�.$F)_�����&k*�������& ����.+R�&0�0�+"!�Hw0�C��kF�E�.$F�.+'D�!� '!�0�H3)F ��5��C#��$X�n�.WFWFC#0X��mkF�(!�`�7:+'��kF0�AFG�k����.$XD #RAF /�&�[�� !�� '��$X�c�[�(��kF0V)*!�kB��?.� �5�(��$)F�d?��(+"0�Wb��)UHw0�C��&kF�;�&C��. "$F '$FG[0.HZ�&kF����0�$*$F���d�& "0.$�J��( "G�kX��!�4�$F0j)F�(�B$* '�& /?������d�&kF0�)F!�� �V "!#�:Hw0�C:��kF�)F�d�&�(C��[ "$B���� "0�$j0.H@7����p�.C��mkF '�����(��AFC��(!:�[0�!���!�AF /�m��F+'��Hw0�C3WB��C#�& ���AF+"�.C�WFC#0��F+'���[!�`

7�$*0.�&kF�(C�?� "�(J '!:�&kF����0.H@������� ���������$�/� AB�d45J�k*��C��=JL�=�&C�D8��0���C#������� N Wb0.�&�($X�& -��+"+'D, '$X�&��+'+" 'G���$X� Y�.C��& /���� "�.+6+" 'Hw�dHw0�C��[!�AF!� '$FGn�&k*��!&�.�[��WFC# "$��( "WF+'��!��.!��&k*0�!���AF!#��)��XDj��kF��$B����AFC��� "$%0�AFCL�(?.0�+"A*�� "0�$�`�3kF��C#��!#AF+'��!��� #�A* "C��()EHwC�0���!�A��mk�� �VW5�(C� "�[��$X��!3�.C��:$B����AFC&�.+'+'D_0.H G.C����e�3 "$X�&�(C��(!#����0n�&kF�:�B��+')F!�0.H�d?�0�+'A*�& '0�$B�.C�D%�.$F),)F�d?��(+"0�WF�[��$X�&�.+ �F "0.+"0�G.D.4F�.!3JL��+'+ �.!3WF!#D �mkF0.+"0�G.D.`

�3kF���[�(��kF0V)*!�J����C��� '$R����C#��!#����), "$E�.C�����kF0�!#���&kB�e� ��0�A*+")��b��AF!��(),!�0�+'��+'D_Hw0�C��&kF���C��mkF /�&��� \��AFC&�.+�)F��!# "G�$o0�H���kF�=$F�d�KJ�0.C�MR!�`�� �nJ��.$X���&0%)F0E��kF�_��d�&AB�.+��&C��. "$F '$FGj0�HZ�&kF�c$F�d�KJ�0.C�M�JL�� 'G�kX�&!J� /�&k��E�&C&��)F '�� "0�$B��+ N $*0�$V\K�d?�0�+'A*�& '0�$B�.C�D*Y:$F��A*C&�.+Z+'���.C#$F "$FG%�[�(��kF0�)�4 �.!��&kF�dDokB��?��!�b����$�!�k*0TJ�$��0%�b�=?��(C#Do� !�� "�($X�;Hw0.C��&kB����WFAFC�Wb0�!#�.`c�3kF�_�(?.0�+"AV�& "0.$B�.C#D��.+'G�0�C� /�&kF� AF!#��!��&k*�[�(C�C#0�C�0.H�!�A��mk����C&�. '$F��)8$F�(�KJL0�C#MU�.!��[�F��$F��!#!�?.��+"AF��&0EG.AF ")F��&k*�=�(?.0�+"A*�� "0�$�`��8�.$XD��d?�0�+'A*�& '0�$B�.C�D8�[�(��kF0�)F!Hw0�C�!�A��mk��.C��mkF '�����(��AFC&��+�)F�(!� "G.$%kB��?�� �5�(��$,)F�d?���+'0�Wb��),)FAFC# "$FGn��kF��C������($R�3D.���.C#!��.$F)%�&k*��C��(!�AF+/�&!

g

Page 12: Evolutionary Design of Neural Networks Marko A. Grönroos Master

$

kB��?.� �5�(��$��($���0.AFC&�.G. "$FGF` O 0QJL�(?.��C�4ZJL� ���.$�0��F!#��C�?��E�&kF���n�[0�!��n0.H3��kF�j�[�(��kF0�)F!�kF�Q?.���5�(��$����!#����), "$%C#��+"���& '0�$���0c0�$F+'Dj�n!# "$FG�+'��WFC#0��F+"�(�84RJ�kF ��mk�kF�.!�0.H�����$��b����$��=!# "�[WF+"���&0QDEWFC#0��F+'����0�C�.$��.C��& /���� "�.+5+' 'Hw�:WFC�0��*+"����`@�3kF�(C��dHw0�C���4FJ��!��d�:�.!30�AFC3���. "$jG�0X�.+50.H �&kF '!�J�0�C#Mj�&0 �(0��[WB�.C�����kF����.WB��F '+" /�& "�(!�0.H�!�0��[��0.H �&k*��!����[�(��kF0�)F! �XD%�.W*WF+'D� "$*Gn�&kF�(� ��0n?��.C� '0�AF! N ��0�C#��0�C�+"��!#!mYL)* � !��AF+/�HwAF$��(�& '0�$��.WFWFC#0��V '�j���� "0�$}�.$*)�WB�e���&�(C�$zC#���(0�G�$F /�& "0.$}W*C�0��F+'���[!�` �60.AFC_0.H��&k*�8WFC#0��F+'���[![A*!���) '$��&kF '!�!#��AF)*Do��C��_�.C��& '���� -��+�W*C�0��F+'���[!�Hw0�C�J�k* �mkoJ�� ���.$~���.!# "+/D8)*��)FA��(�c?���C�Do!�A* '�m� �F+"�=$*��AFC��.+�.C��mkF '�����d�&AFC#��!�`��3kF�dD��.C���Hw0�+'+"0QJ��()��RD%��kFC��(�C�����+/\]JL0�C#+")���+"�.!�!# '�������& '0�$,WFC�0�F+"�(��!���kB�����.C#�JL��+'+MR$F0QJ�$ Hw0.C��b��$��mkF�j��C�MR "$FG�WFAFC#W50.!���!; "$~�&k*�[$*��AFC��.+�+"����C�$F '$FGE�B��+')�`j�3k*��+"�.!#�WFC#0��F+'��� '!��kF�WFC#��)F ��(�� "0�$}0.H �B��$FMRC�AFW*���� '��!jA*!� "$*G�� )F���m�.!#�(�[�&kB�e�jkB��! �b����$q!#�&A*)F "�()qJ� '��kF "$r�&kF����0�AF$X����!�!WFC#0eS#���d�����.C#+" "�(C N "���mM64b�V��C#�.4b�.$F)� �. '�� "$F�($~gQi�i *�Y `

� �UAF!��8�KJ�0 ��C# '����C� "�~Hw0.C��&k*�U�(?��.+'AB���& '0�$q0�H��&kF�UWb��C�Hw0�C����.$��(��0.H���kF�U�[�(��kF0V)*!����BC#!#�% '!��kF�"��+"�.!�!# '�������& '0�$�����(AFC&��dDE0.H���kF�"�b��!��3$F��A*C&�.+5$F�(�KJL0�C�M[�&0�Wb0�+'0�G.D=Hw0�A*$F)��XD���kF���(?.0�+"AV�& "0.$B�.C#D!#���.C��mk�`@�3kF '! ��C# '�&�(C� '0�$n '!I�[0�!#�Z�[����$F "$FG�HwAF+R "$n��kF��C����.+/\�J�0.C�+")�WFC�0�F+"�(��!(`��3kF�3!#���(0�$F) ��C# '�&�(C� '0�$ '!��kF�j!#��+'���(�� "0�$ 0.H�C#��+'�(?��.$X�n '$FWFA*�;?��.C� "��F+'��!�4�J�kF ��mk� "!;�[0�!#�;�[���.$F '$FG.HwAF+@J� /�&k��&kF���.C#�� '���( -�.+WFC#0��F+'���[!_J�k*��C���J����.+"C#���.)VDrM�$*0TJ ��kF� �(0�C�C#���d�E�.$*!#JL��C�` � � ���.$q� �*Wb���d�E�&k*�8�[0�C��,)F 'C����(�$F�d�KJ�0.C�M|��$���0�)F "$FG}�[�(�&k*0V)F!E��0�kF�Q?.� !��&C#0�$FG��(C%�(0�$X�&C#0�+�0Q?���C,�&k*�� '$F)F /?V ')FAB�.+:$F��A*C�0�$F!(4�.$F)��kF��C#�(Hw0�C#�;Wb��C�Hw0�C�� �5�d������C� "$%�&k* "!��m��!�M6`

�3kF�%�&k*��!� '!c "!=!��&C#A��(��AFC��()q�.!=Hw0.+"+"0QJ�!(`�7:$r "$X�&C#0V)FA��(�& '0�$��&0U��kF�%C��(+"�d?.��$R�c��0�WF ���!= '!=G� '?.��$ '$r��kB�.W*����C#! $ �&0 =F`���kF�.W*�&�(C $ "!=��!�kF0.C#�_0Q?��(C#?� "�dJ ��0o�.C#�� '���( -�.+�$F�(AFC&��+�$F�(�KJL0�C#M�![�.$*)��&0!#0����[0.H3��kF�jWFC#0��F+'���[!� '$ �&kF�����F��+")�`U��kB��W*�&�(C %�G� /?��(!=�8!# "�[ "+"�.C�0Q?���C�?� "�(J���0��(?.0�+"AV�& "0.$B�.C#D�.+'G�0�C# '�&k*��!��.$F)n��kB�.W*����C�=�)*���.+'! J� /�&k?��.C� '0�AF!��[�(�&k*0V)F!�Hw0�C ��WFWF+'D� '$FG��(?�0.+"A*�� "0�$B��C#D���+"G�0�C# '��kF��!��0,��kF�_)F��!# "G�$~0.H��.C��& '���� -��+�$F�(AFC&��+Z$F�(�KJL0�C�MR!(`E��kB��W*�&�(C &E)F�(!��(C� �b��!���kF�_WFC�0��*+"���[! N )F���m�.!#�(��!mYAF!#��)UHw0�C:�(?��.+'AB���& '$FG���kF�=Wb��C�Hw0�C����.$��(�n0.H@��kF�=�[�(��kF0V)*!�`��kB��W*�&�(C�^jG� /?���!:�&kF�n�FC�!#��C���!#AF+'��!�0.H!#0����[WFC#��+" '�� '$B�.C�DU�&�(!#�&!��&kB���;JL��C��j�j�.)*���&0 ���.+' �FC����&�c��kF�EWB�.C��.�[�(�&�(C�!;0.H3�&k*�j�(?.0�+"AV�& "0.$B�.C#D�.+'G�0�C# '�&k*��!:�.$F)o�&k*��$�C���!#AF+'��!�0.H��&kF�cC#AF$F!�`c7 )* "!��(AF!�!# "0�$~0.H��&k*�cC���!#AF+'��! "!�G� /?��($� '$ ��kB�.W*����C*V`8�3kF� �mkB��W*�&�(Cc "$��(+"AF)F�(!��(0�$���+'AF!� '0�$F!n�.$F)�G� /?��(!=!�0��[��HwAV�&AFC#�E)F "C#���d�& "0.$F!;Hw0.C�HwAFC��&kF�(C�JL0�C�M6`� �, "�[WF+"�(���($R����)s�&k*�8��+"G�0�C# '��kF��!nC�� #RAF 'C��() �XDs�&k*��!��&AF)VD}J� /�&ks�&k*�U�����x+"�.$FG�AB��G��.4�AF!� '$FG�%kF���Q?� '+'DU0��S#���d�#\K0.C� "�($X�&��) �.WFW*C�0X��mk�`�7:WFW5�($F)F �����!7�4 "�4 �.$F)h� G� /?��_���FC� '�(HL)F��!���C# "W*�� "0�$~0.H��kF��7��:��WFC�0.G�C&�.��+" ��FC&��C#D�4R�&k*���(?�0.+"A*�� "0�$B��C#D��.+"G.0�C� /�&kF� +' �FC��.C#D.4*�.$*),��kF���d?�0�+'A*�& '0�$B�.C�Dj7����+' �FC��.C#D.4*C��(!�Wb���d�& '?.��+/D�`

Page 13: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� ����� � ��� �� � � ��� � ��� � � � � ��� � � ��� � �

�3kF�_kF '!#��0�C#D�0.H���C#�& /���� "�.+�$F��AFC��.+@$F�d�KJ�0.C�MR! N 7�����!mY ���.$��b�=�&C�����()�H ��C"�B��mM���0%�&kF�c�& '���(!�0.H�F 'C#��k�0.H��&kF��)F "G� /�m�.+)��0��[WFA*����C�! N � ����AF+"+'0 �mk��.$F)��� /����!�gQi = %*� O ������gQi =�iXYd`3�3kF�(C��;J��.!�!�0��[�?.��C#DU��$X�&kRAF!# -�.!��& �_C#��!����.C��mk�)F0�$*�c0�$~$F��AFC��.+@$F�d�KJ�0.C�MR!� '$U�&kF�c�FH��� "�(!��.$F)~!� ���& "�(! N ��0�!��($'�F+-���#�gQi &.a*�5�8 "$*!�MXDU��$F)U���.W5�(C#�ngQi�^�iXY 4-�FA*���&kF�($��&kF��$F��A*C&�.+�$F�(�KJL0�C#M�!:J��(C��c�.+'��0.!#�3Hw0�C#G�0.������$�Hw0�C�.+'��0.!#���KJL0�)*������)F��!(`L�3kF���b0V0����&kF��� �5�(G�AF$8���3�&kF��($F)80�H���kF��� "G.kR�� "�(!3 "!3!#�� "+'+�G�0� '$FGc0�$�`

�3kF���j�TS#0.C� '�KDj0.HI�.WFWF+' ���e�& "0.$F!�0.HI7�����!���C��;AF!�AB��+"+'Dj)F '?� ')F��)� "$X�&0_�&k*C��������e�&��G.0�C� '��!�< ���1�(>�!>�� ��� �����7&(� N�� ��� � ����� �*�3�3& 0��-�,� �7&(��Y 4�J�k*��C��,�&k*�8$F�d�KJ�0.C�M��&C# "�(!_��0��(+-�.!#!� /H�D�!� 'G�$B�.+3WF��������C�$*![ '$X�&0WFC#��)F�d�B$F�() �����&�(G�0�C# "��!(� � �*�� ��7�����7&(�B4bJ�kF�(C��=��kF�n$F�d�KJ�0.C�M8��C� '��!:��0E� ����C&�.Wb0�+-�e�&���.$U "$*WFA*��!#��C# "��!(4�.$*) �3&(�-� �*&(� 4ZJ�kF��C#�E�&kF�%$*�(�KJL0�C�M� '!=AF!#��)s�&0o '$R����C���(�� '?��(+'D G�AF ')F�E!�0.���E� ���&��C#$B�.+�W*C�0 ����!#!_0�C)F�d?� ����`:�3k*���BC#!#���KJL0%�.C#���F�.!� ���+'D����.!��(!�0.H���WFWFC�0 �V "������ "0�$�4VJ�kF��C#�nJ��;J���$R�:�&0%��WFWFC�0 �V "�������!#0���� N �KD�WF ���.+"+/Dj$RAF�[��C# ����+�Y�HwAF$��(�& '0�$�`

�3kF�� '$R��C�0�)FA��d�& "0.$ �b��+"0QJ�)F�(!���C# �b��!3�=!#0��[�(J�kB����Hw0�C����.+B?� "�(J�0.H $*��AFC��.+)�(0���W*A*�m���� "0�$j�.$F)+'���.C#$F "$FG*4I�.!;�&kF��7��:� C��(!����.C��mkrkB�.!� "$ C����(��$X�=D.���.C#!=)FC� /H��&�()h!�0.���dJ�kB���nH ��Cn��J��QD HwC�0�� ��kF��F '0�+"0.G� ���.+6���d�m�.WFk*0�C�!(`

����� �+� ��� ��� L���L� � �� ��� L������

7 ���� 2�#���6������%'&(�*)[ "!(4Z�.!n��kF�E$B�.�[�j '��W*+" "�(!�4I��G�C�0.AFWs0.H ���� 2�3&(� >��(0�$F$F���(����)s�&0�G.�(�&k*��CnJ� /�&kN �KDVW* ����+"+'D_0.$F�d\])F "C#���(�� "0�$F�.+�Y@�3&(�-���3�����7&(� >d`I�3kF�� ')F����+" )((��)���0�)F��+b0.H �F '0�+"0.G� ���.+F$F�(AFC�0�$*!3AF!��()% "$�[0�!#�7�����!; '!�?��(C#Do!# "�[WF+"��`=7 $F��A*C�0�$� "!�!#����$ �.!;�.$~��+'���[��$X�m��C#D �(0���W*A*�m���� "0�$F�.+6 2�-�,�@�&kF���C#�����( '?.��! �,� � "� >��10��8��� >IHwC#0��t0.��kF��C�AF$* '�&!(4R!�AF�[!Z�&kF�(��AFW��.$F)_�&kF�($�!#��$F)F!L0�A*���.$ &( 2� � 2� >��10��8��������0�C#)F "$*Gj�&0%��!� "�[WF+'� �,;2�*�3>3;-&(�� A� 2����� �7&(�B`��3kF�=0�A*��WFA*��?��.+'AF� N�� ��d�& /?.�e�& "0.$���Y�0.H�����kU$F0�)F�=0.H�j$*�(�KJL0�C�M8 "!�)*��$F0.����)okF�(C��c��!�� �Q`�73)*)F '�� "0�$B��+"+'D.4FJ�kF��$o!# "G�$F�.+"!:�.C��;�&C��.$F!#Hw�(C�C#��)UHwC�0.�vA*$F '�:�&0AF$* '��4��&kF�dD���C���JL�� 'G�kX�&�()r����(0�C�)F '$FG���0 ��0.$F$F���d�& '0�$hJL�� "G.kR��!"!$#%�Q`��3k* "!= '!;Hw0�C#�j��+" )((��) �.!���kF����#��� ><AB����A� 2�������7&(�

� �$&('*),+ # !$#-�.�/#10 N $ `/gTY

J�kF�(C��%�&k*�2�3#��.C#�% "$FWFAV�_!� "G.$B�.+"!;HwC�0�� !�0�A*C����,AF$* '�&! N !��(� �� "G�AFC#� $ `/gTYd` "LD�!#AF�[�� '$FGUAFW��.$�.C��F '��C&�.C�Dj$RAF���5�(C�0�H���kF��!#���(+"�(���($R�&�.C#Dj$F0�$F+' "$F���.C�HwAF$��(�& '0�$F!3 '$,�.$���WFWFC�0.WFC� "���&�����.$F$*��C�4F�.$XD

%

Page 14: Evolutionary Design of Neural Networks Marko A. Grönroos Master

=

Σ

x

x

xi wij

j

j

j

y

y

y

0

1

�I 'G�AFC#� $ `'g�<������������ ���������������������������� !�!"�#�!$��%��&�#�'����()��*+��������,�-�����.$��%��&��/��������.0�����������1�2������(3 ���� ��$���4�� 3 ���� 5�����6���&��%��&�7/��������98&0���� #�4 ,���4����,�;:��<����,(4�������=$��%����7/����$���6:+>=�2�9 -�6������,���������������? �A@

-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

-10 -5 0 5 10

-sig(x)sig(x+3)

-0.5*sig(x+5)0.5*sig(x*4-3)

-sig(x)+sig(x+3)-0.5*sig(x+5)+0.5*sig(x*4-3)

? *B@

+3

+0

-3

+5

Σ

+1

+1

+1

+4

½

-1

+1

Σ

Σ

Σ

Σ

�I 'G�AFC#� $ ` $ <<�7�4��C��� D%��$�E� 3F3 �9� D$��G 3 ���� H����9�.IKJ9L�M�NOL�ME���2$��GD���$�� D���+�#����>'�2$G� D���( 3 ���� H����9���<PQ(���������,(���SR,TVUXWQY[Z\^]_Pa`�\cb_���� �����/��,� 3 �9� 3 �����S�$G� D���( 3 ���� H����9���c0����'(&�d[�,��,�+�S%����#�� D�������#�_Pe:�����f9���-��$���,�#\g����(h�9��� 3 �������6��� D -�1(!���,����"�6PQ����$$('��$���1\�]�Peic\jb_���E ��9����,�%[����(&$��GB�������#���������k0^����fl0�������������E%������� D����,���j�����7G�$/��,�'���0A�,�G9�+���6PQ�����0��;��:[��/��E����B ��������1 H����9����\A����(=:�$�9�2�1�mPa�2����0��=0�����$�4����<�������������#\H]cb_���6�9�&�%�����������������n/9�m���$���1���S��������� 3 ��� 3 ���� H����9�oPQ���%��&�^����"�#�_(&�h�����^ ,���� ����������E���p> 3 ���� ��$���4���c�����m�����k0^����fl$��%����^/����$���1�A����E%��$�9 ��1(���^������$�����&��%��&�#��\�]0.��kF��C �(0�$X�& "$RAF0.AF![HwA*$��(�� "0�$ ���.$ �5���.W*WFC�0 �V "�����&�()}J� /�&k��.C��* '�&C��.C#DhWFC����� '!� "0.$ N ���W5�()F��!��.$F)�6�.C��5�(C�gQi�a�a*��"� "!#kF0�W�gQi�i &��*4B��kB��W*�&�(C =XYd` �I 'G�AFC�� $ ` $ G� /?���!��.$,� �F����WF+'��0.H��&kF '!�Wb0.����$X�& "�.+�`

�3kF�n��kFC��(!�kF0.+")UHwAF$��d�& '0�$ N �.+"!#0 ���.+'+"�() >+q �(>3;2�,�20 A� 2�������7&(��Y� "!��KD�WF ���.+"+/D��j$F0�$F+' "$F���.C��j�.W�\WF '$FG 'srBtvuw xzyE7p{+|P`o�3kF�E�&k*C���!#kF0�+')rHwA*$��(�� "0�$F!����.$ �b�EC�0.AFG�kF+/Dh)F /?� ")F�()� "$X�&0 �� > ���*��� ���.$F)�3&(�-���,�- &( >LHwAF$��(�� "0�$*!�`Z7�)F "!���C#�(�&��HwAF$��(�& '0�$, "!��KD�WF ����.+'+'D�!�0��[�(��kF "$FG_+' "M.�

'E4k}�;*&�~ y 4B 'H�}����{ 4B 'H�}���� N $ ` $ Y

J�kF�(C��K�h '!��c��kFC��(!�kF0.+")%?��.+"AF��4F0�Co� ���(>d`@�3kF�;�[0�!#��Wb0�WFAF+"�.C �(0�$X�& "$RAF0.AF!3�&kFC#��!�k*0�+"),HwAF$��d�& "0.$� '!��kF�+>��10�= &(� A� 2����� �7&(� N +'0�G� "!��& ��:HwAF$��d�& '0�$6Y

'���4k}�;*& {{l��������� N $ `'%XY� �"����$EAF!���)F ��5��C#��$X���&k*C���!#kF0�+')jHwAF$��d�& "0.$F!� "$[�&kF��!&�.�[��$F�d�KJ�0.C�M6` �B0�C�� �*�.�[WF+'�.4� 'H�JL��J� "!#kE�&0kB��?.��$F�d�KJ�0.C�M,0�A*��WFA*��?.��+"AF�(!�0.A*�&!# ")F��&kF��xzyE7p{+| C��.$FG��;0.H��&kF�!#�&�.$F)B��C�)�!# "G��[0� ')EHwAF$��(�� "0�$�4FJ�����.$8A*!��;�c+" "$*���.C N ")F�($X�& '�KD*YL��kFC��(!�kF0�+')�HwA*$��(�� "0�$' 4�}�;*&�}�Hw0�C���kF�0�A*��WFA*��AF$F /�&!(`

Page 15: Evolutionary Design of Neural Networks Marko A. Grönroos Master

&

(a) (b)

(f)

(c)

(d) (e)

�I 'G�AFC#� $ `'%*<��p�9 D�m�����k0^����fD���%[���$��G9��1��]_PQ`�\�� 3 �����$>= ��������, H���,(4�2$��G9�����V���n>��,�A%[���# ��,%&������ P������A\H] Peic\A� 3 �����$> ��9�����, ���1(; h�����$�$�n>9����%[���# ��,%&������ P����A\�] P��9\7�� D�p(����$��� ���g]FP��g\�� 3 �����$>. ��9�����, ���1(;��1 �������,�+�_�����k0^����f[]P��&\_���%����#�2�,��>' ��������, H���,(=��1 ����������+�^�����k0^����f[]�P�� \_� 3 �,�,( 3 �9�0_���#('�����k0^����f[]��� � � �#-$&����' ���� �C� �����

�3kF�_�BC#!#� #RAF��!��& "0.$h��H�����C�kB��?� "$*G���kF��!#���(+"���[��$X�&�.C#DoA*$F '��!� "!�kF0QJ���kF�(Do!#kF0�AF+')��b� ��0�$*$F���d�&��)��0%����mk~0.��kF��C(`��3kF�=J���DokF0QJt�E$F�(�KJL0�C�M� "!"�(0�$F$F���(�&�() '! ���.+"+'��) ������%'&(�3) � & � &(� & 0�9n0�C ���*�3;2�,!� �3��� 2�*�d`��3kF�c$F�d�KJ�0.C�M8��0�Wb0�+"0�G. "��!�AF!#��)o '$��&kF '!:JL0�C�M8�.C#�@AB�3�� #AB&(��% ��� ������%'&(�*) >d`��3kF�dDU�.C#�c�G��($F��C��.+" (����� "0�$�0.H��&k*� = "�/���,�1��9 ��� � ���*�3� � � �*&(� > N �8��Z!&Y:�&kB�����.C��n��kF�=�[0�!#��W50.WFAF+-��C:�&0.W50�+'0�G.D�����&�(G�0�C#D�AF!#��)_ "$=$*��AFC��.+��(0���W*A*�m���� "0�$�`��3kF��!� "$*G�+"� \K+-��D.��CIWb��C����(W*�&C#0�$ N �* ��Yd4�0�$F��0�Hb��kF��0�+')F��!��$F�d�KJ�0.C�M%�&0�Wb0�+'0�G� "�(! N ��0�!��($'�F+-���#�;gQi�^ $ ��"L "!�k*0�WhgQi.i &.�*4BWFW�`3i�ae\&g32 &�Y 4���0�$*!� "!��&!�0.H@0.$F� �1��9 ���30.H�(0���W*A*�m���� "0�$F�.+�AF$F /�&!(�b��kF�� '$FWFA*�:AF$F /�&!�)F0j$*0.��Wb��C�Hw0�C�� ��$RD%�(0���W*A*�m���� "0�$ N !������I "G.AFC�� $ `'%��XY `�3kF�; "$*WFA*��+-��D��(C� "!3HwAF+"+/D �(0�$F$F���(�&�()8��0[��kF��0.A*�&WFAV�:+"��D���C(46 �` �.`/4B�(?��(C#D� "$*WFA*��AF$F /�� "! ��0�$*$F���d�&��)��0[�d?��(C#D�0�A*��WFA*��AF$F /��`

�3kF� = "�/���,�1��9 ��� � ���*�3� � ���3&(� N �8���4 !������I 'G�AFC�� $ `'%�V\ �QY�kB��!n�.)*)F '�� "0�$B��+I+-��D.��C�!(4�J�kF ��mkh��C�����.+"+'��) ;2� 2��� �1��9 ���*>d`7�+/�&kF0.AFG�kU�[0�!#��$F��A*C&�.+I��C&�. '$F "$*GE�.+'G�0�C� /�&kF�[!��.C��n!&�. ')U�&0j��C&�. '$~�� �Z!�4��kF�(D!����$%��(��AB�.+'+'D=��C&�. '$j�.$XD[$F�d�KJ�0�C#MR!��&kB�e��kB��?.���&kF��AB�3�� #AB&(��% ��� � & � &(� & 0�9 N !#���"�� "G�AFC#� $ `?%eHmY `�3kF '!�G��($F��C��.+" (����� "0�$[HwC�0�� �� �Z!3 "!�AF!#�(HwAF+5Hw0�C��(?.0�+"AV�& "0.$B�.C#D�$F�(AFC&�.+5$F�(�KJL0�C#M�!(4b�.! ����$%�b��!#����$+"���&�(C�` 7�!# "�[WF+"�Z)*�(�B$F /�& '0�$0.H*��kF�ZHw����)VHw0�C#J��.C�);�&0�Wb0�+'0�G.D� '!��&kB�����.$XD �(0�$F$F���(�& '0�$�!$#-� N HwC#0���AF$F /�J� /�&k~ "$F)*� �o$RAF���5�(C��3��0�A*$F '��J� /�&k~ "$*)F� �~$RAF���5�(C��VY��nAF!#�;�[���(� �(C� /�&��C# "0�$��4� �B`c7:$F0.�&k*��CJ���D���0h)F�(!���C# �b�8��kF�8Hw�(��)*Hw0�C�J���C�)zG��($F��C��.+" (����� "0�$r0.H�� ��!� "!_�&kB�e�j�&k*��C�� ���.$ �5� >3;-&(���.�� 2��3&(�-���3�����7&(� > �5�d�KJ��(��$���kF�$F0�$V\K�.)eS���(��$X��+-��D��(C�!(`�]H���$F�(�KJL0�C#Mz)F0���!%$F0.�E���(�(�E��kF��Hw���()*Hw0�C�J��.C#) ��C� /�&�(C� "0.$|��b0T?.�.4� '�jkB�.!%!�0.����Hw�(��)��F��mM

�(0�$F$F���(�& '0�$F!(`@�3kF "!��&0.W50�+'0�G.D���+"�.!�!� "! ���.+"+'��) �*�3�� "���*���-� N !#��� �I "G.AFC�� $ `'%.)V\]�QYZ�.$F)_�&k*���[0�!�� �(0��c\

Page 16: Evolutionary Design of Neural Networks Marko A. Grönroos Master

^

�[0�$c�&C��. "$F '$FG�.+'G�0�C� /�&kF�[!���kB����JL0�C�M=J� /�&kcHw���()*Hw0�C#J��.C#)j$F�d�KJ�0�C#MR!�)F0;$F0.��JL0�C�MnJ� /�&k[C�����AFC#C���$X�$F�d�KJ�0.C�MR!�J� /�&kF0.A*����0�)F /�������� "0�$*!�`

����� �����T�G�!�"� ����� �T�V���

�3kF�(C���� �V "!��&!�?��.C# "0�A*!��C&�. '$F "$*G8�[�(��kF0V)*!;Hw0�C)F ���(C��($R�nMR "$F)F!;0.H3$*��AFC��.+�$F�(�KJL0�C�MR!(` � ��AF!#�%�?��.C# -�.$X�L0.H �&kF� �3�2�3) � �*& � � 0 �����7&(�=�.+'G�0�C# '�&k*� N ��AF���(+"kB��C#��4 O "$X�&0�$�4F�.$F)��{ "+"+' -�.�[!3gQi�a.^XY� '$j�&kF '!JL0�C�M6` "�� �mM�W*C�0�WB��GX���& '0�$j '!���$j�� !�( "��$X��4*!� '��W*+"�.4R��$F)jJL��+"+ \KMR$F0QJ�$j$*��AFC��.+b��C&�. '$F "$*G;�[�(��kF0�)�`@�]� '!��E!�0�\ ���.+'+"�() >� � ����5 � > �� � � �����-�,�20=��+"G�0�C# '��kF�84BJ�kF ��mk~�����.$F!��&kF�����&k*�=�&C&�� "$F '$FGE "!�)F0�$F�=J� /�&k�o!��d�[0.H+���#���,�-�,�20 � �����.����� > N !&����WF+'��!&Y��&kB���!�(0�$X�m�. '$ �b0.��kr��kF�, "$FW*A*�&![�.$F)r)F�(!� 'C���)�0�A*��WFA*�&!(`7:$F0.�&k*��C �(+-�.!#!j0.H�+"����C�$F '$FGh��+"G�0�C# '��kF��!c '! 2� >� � ����5 � > �� � � �����-�,�20.4�J�k*��C���$F0��(0�C�C#��!�Wb0�$F)* "$FG0�AV�&WFA*�3?��.+'AF��!��.C#��G� '?.��$�`

�3kF� �B�.!# ��HwAF$��d�& '0�$,0.H���kF���&C��. "$* "$FG_�.+'G�0�C# '�&k*�� '!��&0_�[ "$F '�� (����&kF���C#C�0�C �b�(�KJL���($U)F�(!� "C#��)�.$*)_��(��AB�.+*0.A*�&WFAV�&!Z0.HB��kF�3$F�(�KJL0�C#Mb`Z�3k*�3��C�C#0�C@ '!��KD�WF ���.+"+/D;�����.!�AFC#��)_�.!@��kF� = � ��� &.A'>+q ���*�� �����*&(�*> N �U�*>�Y�0.H���kF�0�A*��WFA*�&!(<

� &������� � ������ � 4 � ����� ��;��������� N $ `>=RY

J�kF�(C���� ���.$F)�� ���.C��c��kF�_��(��AB�.+Z��$F) � �VW5���(�&�()h0�AV�&WFA*��!�4 C��(!�Wb���d�& '?.��+/D�4���� "!���kF�c$RAF�+�b��C0.H�(+"���[��$X��![ '$�0.A*�&WFAV�[?.���d�&0�C#!�4��.$F)�� "!c�&k*�8$RAF�+�b��C[0.H�WB��������C#$F!�`��3kF�8A*!���0�H�� ��0�$X�& '$RAV\0�A*!��&k*C���!#kF0�+')hHwAF$��d�& "0.$h���.M.�(!= '�;Wb0�!�!# �F+'�[Hw0�C;�&kF�[�&C��. "$F '$FG8�.+"G�0.C� '��kF�x��0UAF!#�j)F�(C� '?����� '?.�j0.H��kF����C&�.$F!�Hw��C;HwAF$��(�� "0�$��&08W5�(C#Hw0�C#� 0��#� ��7���-� 2�3> �3���-� > � ���*�3;%��08�B$F) �&kF�E!#�(�n0.H�JL�� "G.kR��!n�&kF����(!#�& '�j�e�&��!�&k*�E)F��!# "C#��)�HwAF$��d�& '0�$��b��!���`U�3kF�jAF!��E0�H3�&kF��)F��C# '?����& /?��� "!���kF� �F�.!� ��j ")*��� �b��k* "$F)�B� �mM�W*C�0�WB��GX���& '0�$�4TJ�kF �mknAF!��(!@ '���&0:G��(�@�.$n�(!#�& '�j�e�&�L��50.A*����kF��)* "C����(�� "0�$�&0�J�kF �mk=��kF�LJL�� 'G�kX�&!0.Hb�&k*��$*�(�KJL0�C�M_!�k*0�AF+") �b� �mkB�.$FG��()�`��V�(�:7:WFW5�($F)F �_7|Hw0�C@�&kF��)F�d�m�. '+"[email protected]�&kF� �B� �mM�W*C�0�WB��GX���& '0�$�.+'G�0�C# '�&k*� ��$F)����ZC�0�W N �� '��)F�[ "+'+"��C�gQi�i %XYd4V '�&!�?��.C# -�.$X��`

( , * 0 0 �3��� " �$F��WFC�0��*+"���uJ� /�&k�$F�(AFC&��+�+"���.C�$* "$FG� "! ���3& >3>��7��� ) N ��� ��0��F!(4 �.0�C#)B�.$�4��.$*) "��.C��&0�gQi.i 2XY�J�kF �mk0 ���(AFC�!_J�kF��$��&kF��$F�(�KJL0�C#M� '![� �VW5���(�&�()z�&0�+"���.C�$}!��d?���C��.+�A*$FC��(+-������)qW*C�0��F+'���[![���_�&kF��!&�.�[��� "�[�.`���C�0�!#!#�&�.+"MUkF�.!��KJ�0,�[0V)*��!�<�> � ��� �����b�.$F) � ��= � &(�#��� `��3kF�cHw0�C#���(C�0 ����A*C�!�J�kF�($h�E!# "$FG�+'���C&�. '$F "$FG,WB�e���&�(C�$ kB�.!; "$*Hw0�C#�j�e�& "0.$~��50.A*���KJL0�0.C��[0�C��_WFC#0��F+'���[!�`E�3kF��+-���#�&�(C;0 ���(AFC�!;J�kF��$!#A����(��!�!# '?.���&C��. "$F '$FG�WB���#�&��C#$F!��.C���HwC�0���)F ��5��C#��$X�IW*C�0��F+'���[!�` �]��J��.!�$F0.����)��XD ����(0��F!��(�I�.+�` �&kF����[0V)*AF+-�.C�!��&C�A��(�&A*C���0.H���kF��$*�(�KJL0�C�M[J�0�A*+")EkF�(+"WE!#0�+'?� '$FG;��kF��WFC#0��F+'����`I7 ���(0�C�)* "$FGn��0=0�AFC�?� "�(J0�$���C�0.!�!#�&�.+"M64I��kF�j)* ��5��C��($X�=WFC#0��F+"�(��!;J�0.AF+") �b�j� �VW5���(�&�()s�&0 �(0��[W5�d�&��J� /�&k�����mks0.��kF��C;Hw0�C��kF�� 'C�C#��WFC#��!#��$X�m���� "0�$� "$,�&kF�;��0�)FAF+'��!�)FAFC# "$FG_�&k*�;��C&�. '$F "$FG*46�.$F)� '$���kB����J��QD�!#��+'H-\]0�C�G��.$F )((���&0��kF�n$F�d�KJ�0.C�M,�&0�Wb0�+"0.G.D�`: �$F�nW*AFC�Wb0�!���0.H�$F�d�KJ�0�C#M���0�Wb0�+"0�G�D%!��(+"���d�& '0�$ N Hw0.C:� �F����WF+'���XD8AF!� '$FG�d?�0�+'A*�& '0�$B�.C�Ds!����.C��mk6YcJ�0.AF+")}�&kF�(C��(Hw0.C��%�5�,�&0�0�C�)*��C_�&kF�8$F�(�KJL0�C�Ms��0h�.W*WFC�0�W*C� -�e�&�,��0�)FAF+'��!(`�3kF�;�&C��. "$F '$FG_��C#C�0�C� "!��&kF��C��(!�AF+/��0.HZ����0.��WF+'� �,HwAF$��(�& '0�$�0.H@�&k*���&0.W50�+'0�G.D.46�.$F)� '!��/�����(�&�() �XD$RAF�[��C#0�AF!3H ��(��0�C�!���kB����)F0_$F0.��!#����� �&0!�5��!#��WB�.C���F+'�.`

Page 17: Evolutionary Design of Neural Networks Marko A. Grönroos Master

*��������� ���� ����������������� �"!$#%�&�$��'%(*) '%+,!-�.(�/%��) !-��0�)��$�� '� � ����$c)F "!��& "$*G�AF "!#kn�&k*C����LHw0�C��[[email protected]�(0���W*+"� �V /�KD N A�AB�.$*��gQi�i�^XY "$=$*��AFC��.+*+'���.C#$F "$FG��.$F)cWB�e���&�(C�$C#����0.G�$F '�� "0�$�<

1 ��0.��WF+'� �V '�KDj0.H��&kF�WFC#0��F+"�(� N �&kF�)B���&�XY

1 ��0.��WF+'� �V '�KDj0.H��&kF��[0V)F�(+ N $*��AFC��.+�$F�(�KJL0�C#M*Y

1 ��0.��WF+'� �V '�KDj0.H��&kF�+"���.C�$* "$FG&2eC����(0�G�$F /�& '0�$E�.+'G�0�C# '�&k*��3kF����0.��WB�e�& �* "+" /�KD~0.H��&kF�%�[0�)F��+3��$F)rWFC�0��*+"��� ��0��[WF+'� �V '�� "��!� "!c� �(0����[0�$sWFC#0��F+'��� "$

�.+'+�)B���&���[0V)F�(+" '$FG_�.$F)UWF��������C�$8C�����0�G�$* '�& '0�$�`��]HZ���[0V)F�(+�kB�.!��&0�0����.$XD�)F��G�C#���(!�0.H@HwC#���()F0���4 /� ���.$}���.!# "+/D &(5����,�����&0o��kF�,)B���m�V`}�3k* "!_�����.$F!=��kB���[�(?.��$���kF0�AFG.kq�o�[0V)F�(+ ��0.AF+")}WFC��()F �d���kF�c�&C&�� "$F '$FG%)B���&��� �F� �(�&+/D�4� '��!��F "+' '�KD��&0�G���$*��C&��+" )((� ���.$ �b��� �V��C��(���(+'DoWb0V0.C�`_�3kF�[WFC�0��*+"���G�C#0QJ�!��(?.��$ �F 'G�G��(C�J�kF�($o$F0� '!�� N J�kF ��mkU "!:�.+"�[0�!�����+'J��QD�!:WFC��(!���$X� '$U�.$XD�C����.+/\�J�0�C#+")�)B���&�XY� '!�&�.M.�($8 '$R��0[����(0�AF$X��`��3kF�($���kF���0�)F��+5�j��Dj!#�m��C#���&0_0Q?��(C#�F���&0c��kF�$F0� "!#�.4*J�k* �mk�kB�.! �FC#0�AFG�kX�H �.+'!�����0��[WF+"� �V '�KD��&0���kF�%WFC�0�F+"�(�8`~ �H ��0.AFC�!#�.4� 'H3��kF�E�[0V)F�(+ �(0��[WF+"� �* /�KD� "!=+'0TJL��C��&kB�.$���kF�WFC#0��F+'��� ��0.��WF+'� �V '�KD.4���kF�j�[0�)F��+ZJ� "+'+Z$F0.���5����F+'�[��0 ���.W*�&A*C�����kF��HwA*$��(�� "0�$�AF$F)F�(C�+/DV '$FG8��kF�WFC#0��F+'��� �.$*)��&k*�8C#��!�A*+'�_J� "+'+ �5�,0Q?��(C�\KG.��$F�(C&�.+' )(��e�& "0.$�`��]������$ �b����kF0�AFG.kR�[�&kF���_�&kF����0�)F�(+�.$*)|WFC�0��*+"��� �(0���W*+"� �V /�KDq��C�� �b0�AF$F)��&0�G��d�&kF�(C �XDq��kF���&k* "C�)�Hw0�C�� 0.H �(0���W*+"� �V /�KD�43�&kB�e�E0.H��kF�c+"���.C�$F '$FGE��+"G�0�C# '��kF�84BJ�kF ��mk ���.$ �b�c�����.!�A*C���)o '$U�&�(C��[!�0.H��& '������0��[WF+"� �V '�KD�`��3k*�c���.C#+'DX\!��&0�WFW* "$FG[���d�&kF0�)�)F��!���C� ��5�() �b��+"0QJ� "!��[J���D%�&0 �(0�$X�&C#0�+��&kF�;��0�)F�(+ ��0��[WF+"� �V '�KD��XD��.)eS#A*!#�& '$FG��kF���& "�[�"�(0���W*+"� �V /�KD�`

�K$U '$*Hw0�C������� "0�$j��kF��0.C#D�46�&k*�n�[0V)F�(+ ��0��[WF+'� �V '�KD% '!:)* "!��(AF!�!#��)�Hw0.C:� �F����WF+'� "$8����C#��!�0.HI��kF�= �,�-�,= 2= 2�3> ����� � � �7&(� � ���20��<; N � A��Y�WFC# "$��( "WF+'� N "L "!�k*0�W~gQi�i &.�V4*WFW�`�= $ ie\ = % %XYd`) $ � (�* ,�" � * � * � * . &��0��[WF+'� �V '�KD:0.HV�3$F��AFC��.+�$F�d�KJ�0.C�M� '!�G�0Q?��(C�$F�()��XD� /�&!�$RAF�+�b��C�0�HF�.)F�.W*�& /?��@WF�.C&�.�[�(����C#! N JL�� "G.kR��!mY `�3kRAF!(46��kF�!��(+"���d�& '0�$,0.H���kF�$F�(�KJL0�C#ME�&0�Wb0�+"0.G.Dj)* "C����(��+'D%�/�����(�&!3��kF� ��0��[WF+"� �V '�KD�`

7z$F�d�KJ�0.C�MnJ� /�&k=�KJL0�kF ")F)*��$_+-��D��(C�!@0�H5$*��AFC#0�$F!@�&kF���Z "!�HwAF+"+/D���0�$F$*���(����) �b�(�KJL����$_�&k*�3+-��D��(C�!���.$�4X "$��&kF�(0�C#D.4�C��(WFC��(!���$X�L�.$XD=���.WFW* "$FG��&kB���@$F�(�KJL0�C�M;J� '��kc!�0��[��0.��kF��C��&0�Wb0�+"0.G.D����.$ N "� "!#kF0�WgQi.i &.�*4�WFW�`�g $ ae\mg $ iXYd`��]� ���.$�4XkF0QJL�(?.��C�4'�b���[0�C��L)F � !��A*+'�I��0��&C��. "$n!�A��mk[��$F�d�KJ�0.C�M= '$nWFC���(�� ����`�]��!�G.��$F�(C&�.+' )(��e�& "0.$%��F '+" '�KD�����$8��+"!�0 �b��J�0�C#!����&kF�.$�J� /�&k,!�0.���0.��kF��C���0�W50.+"0�G.D.`

�V�d?���C��.+��[�(��kF0V)*!�kB��?�� �b���($%WFC�0�Wb0�!#��)%�&0=0.W*�& '�� (����&kF��!��&C#A��(��AFC���`��3k*��!�� ���.$��b��C�0�A*G�kF+'D)F /?� ")F�()o "$X�&0 �3&(� >����� �����,5�� ��� 2�3>����� -�����,5�� = ���,;-&� (>d`;7:$o� �*�.�[WF+"�n0.H ��0�$*!#�&C#A��(�� '?.�[�[�(��kF0�)F! '!���kF� � �(> � � 2� �3&(���3���1�����7&(�=+'���.C#$F "$FG��.+'G�0�C� /�&kF� N �6�.kF+'�j��$j�.$*)%����F '��C���gQi�i*g.�F�*�:���8g�i�i &�Y `I�]��FA* "+")*!���kF��$F�(�KJL0�C#M[HwC#0���!��(C&�����mk�4V�.)F)F '$FG�0.$F�:A*$F '���������& "�[���.$F)_�&C��. "$* "$FG��&k*�:$F�d�KJ�0.C�M[��H��&�(C����mkh��)F)F '�� "0�$�`=�3kF�[)F��!��&C�A��(�& /?��[���d�&kF0�)F!�.C#�_AF!�AB��+"+'D8C��dHw��C#C���)h�.! � �� "�-�,�20= ���<;-&� (>d`c�3kF�dD�&�.M.�,!�0.���,$F�d�KJ�0�C#M�J� '��k}���.$XD� '$X�&��C#+-��D��(C ��0�$F$*���(�� "0�$*!_J�k* �mkr�&kF�dD��&kF�($ �(A*�[0�$F���XDs0�$F��`�V0.���c� �F����WF+'��!;�.C#�[���.G�$* '�&A*)F�+�B�.!#��) WFC�AF$* "$FGF4� �W*�� "���.+ "LC&�. '$ A��.�j��G�� N "CA�Y 4� �W*�& '�j�.+"�C��. "$8�VA*C�G��(0�$ N "3�FY3�.$F),!#M.��+'�(��0�$F )(����& '0�$ N �*�����~gQi.i &�Yd`

�3kF�=�d?�0�+'A*�& '0�$B�.C�D,$F��A*C&�.+�$F�(�KJL0�C#M�! N !��(�c��kB�.WV�&��C-=RYd46�&kB�e���.C#����kF�n!#A���S#���d��0.H@��kF "!�J�0.C�M64�.C#��0�$*���.+/�&�(C�$B���� '?.��Hw0�C_�&k* "!_�m�.!#M}0�H ��0�$X��C�0�+'+" "$*G~��kF���[0�)F��+ ��0.��WF+'� �V '�KD �XD��.)eS#A*!#�& '$FG ��kF�$RAF�+�b��C�0.HI�.)B��W*�& /?���WB�.C��.�[�(�&�(C�! N JL�� 'G�kX�&!&Yd`

Page 18: Evolutionary Design of Neural Networks Marko A. Grönroos Master

a

� $ . � �6� , ��� �E��� * ����G�A*+-�.C# )(��e�& "0.$j�[�(�&k*0V)F!���kB�����($���0�A*C&�.G��!#��0�0.�&k*��C�$F�d�KJ�0.C�M%���.WFWF '$FG�! �XD,�.)*)F "$FG[� � ���8���/��9� ����=��{�&0c�&kF��(C�C�0.C�HwA*$��(�� "0�$ � N "L "!�k*0�W g�i�i &.�XY

�� & ������� N $ `?&�YJ�kF�(C���, "!��EC��(G�AF+-��C� )(����& '0�$%��0��� !�� '��$X��J�kF ��mk ��0�$X�&C#0�+"!:�&kF�=�[0�)F��+ ��0��[WF+'� �V '�KD.`��:!#�c0.H�!�A��mk�(0���W*+"� �V /�KDzC��(G�AF+"���& '0�$|�&��C#��!, '!%�(0�kF�(C���$X�8J� '�&k{�&k*��� A��WFC� '$��� 'WF+"��` �3kF� ��0.!#��W50.WFAF+-��CC#��G�AF+"�.C� (����� "0�$;�[�(�&k*0V)= '!'%'���10(;2�� 2�3� ��9�J�kF �mkc '!@AF!#AB�.+"+/D; "�[WF+"�(���($R����)�!� "�[WF+/D �RDn�=AF+/�& "W*+'D� "$FG�.+'+5JL�� 'G�kX�&!30.H��&kF��$*�(�KJL0�C�M �XD%!#0��[��?.��+"AF�;�� {���3�&kF���($F)�0.H�����mk,�&C��. "$F '$FG+�dD �(+"��` � �� 'G�kX�)F������D�����$8��+"!�0 �b�G� '?.��$��.!�W5�($B�.+/�KDE�&�(C�� ��0_��kF���C#C�0�C�HwAF$��(�& '0�$

� & {� + # ! �# N $ ` ^XY

J�kF�(C��"! "!:��?.���(��0�C"�(0�$X�m�. '$F "$FG��.+'+ JL�� 'G�kX�&!��.$F) �F "�.!��(!�0.H��[$F�(�KJL0�C#Mb`��3kF "!:��$��(0�AFC&��G���!���kF�JL�� 'G�kX��?����(�&0.C�!��&0c!��m��DE$*���.CC((��C#0F4F "$��&kF��+' "$F���.C�WF�.C#��0.H �&kF��!# "G��[0� ')�HwAF$��d�& '0�$�4R�&kRAF!3C��()FA��( "$FG��kF� �� �3�����,5�� �- 2= ����� &.A � ���#��= ��� ���3>I0.H5�&kF����0�)F�(+ N "� '!�kF0�W,gQi.i & ���*�*�.C#+"��gQi�i &V�V�80V0�)*D%g�i�i =RY `+ � , � & 0 � * � � �6 .4������/9 >�� & � � �,�20 N "� '!�kF0.WqgQi�i & �����*�.C#+"��gQi�i &����80V0�)*D}gQi�i =RY '!��F�.!� ���+'D �,J���D 0.H ��0�$X��C�0�+'+" "$*G��kF����0�)F��+���0��[WF+"� �V '�KD+�XDc����C��[ "$F���& '$FG��&kF�3��C&�. '$F "$FG�J�k*��$���kF����0�)F�(+��5�(G� "$*!���00T?.��C��F�L��0;��kF�)B�e�m�*`��]�L '!��.+"!#0��J���DcHw0�CZ���.MR "$FG���kF�3�&C��. "$F '$FG�H �.!��&�(C�4XJ�kF �mk[ "!Z '��Wb0�C��m�.$X�IJ� /�&k_�(?.0�+"AV�& "0.$B�.C#D$F�(AFC&��+3$F�(�KJL0�C�MR! N !��(�U��kB��W*�&�(C =RY 4LJ�kF�($�JL�8kF�Q?.�8��0���C&�. '$}$RAF�[��C#0�AF![$F�(�KJL0�C#M��&0�Wb0�+"0.G� "�(!)FA*C� "$*G_��kF�!����.C��mk,�&0_�B$F),�&kF� �b��!��:0.$F�.`

�3kF����?.�� "+-� �F+"�;�&C&�� "$F '$FG%WB���#�&��C#$F!;�.C��_)F /?� ")F�()� '$X�&0%�KJ�08WB�.C��&!�<;� � �#���,�-�,�20 > ���@�.$F) � 5(���/!� �����7&(� > ��� `��3kF�%�&C��. "$* "$FGU!#�(�[ "!cA*!���)rHw0�C=��kF�,��(��AB�.+���C&�. '$F "$FG�0.H��&kF�,$F�d�KJ�0�C#M6`}�3k*��$�4�����(��C#�&�. "$, '$R����C�?.��+"!�4��&kF�$F�d�KJ�0.C�M% "!3�d?��.+"AB�e�&��)%J� /�&k%�&kF��?��.+' ")B�e�& "0.$E!��d��`��3kF�WFAFC#W50�!#�0.H���kF "!3 '!��08�[���.!#AFC��_�&k*��G��($F��C��.+" (����� "0�$~� �F "+' '�KDU0�H��&k*��$F�d�KJ�0.C�M6`��{kF��$��&kF�_?��.+" ')B���& '0�$o��C#C�0�C��b��G� '$F!��0oC� "!#�E!� 'G�$F /�����.$X��+'D�4Z /�= '!c!����($}�.!_�U!� 'G�$s0.H:0T?.��C��&C&�� "$F '$FGo�.$F)s��kF�E�&C��. "$F '$FG� '!n�&�(C��[ "$B�e�&��)�`�3kF��JL�� 'G�kX�:!��m������0�H���kF�$F�(�KJL0�C�M% '!�!#�&0.C���)8��H�����C3��� �mk8?��.+" ')B���� "0�$j����!���`�7:H�����C3�&kF����C&�. '$F "$FGc '!����C��[ "$F���&�()�`I�&k*�;$*�(�KJL0�C�M%!��m�����J� /�&k%�&k*�;+'0QJ��(!#��?��.+" ')B���& '0�$E�(C�C�0.C3 "!3C��(!#��0�C��()�`

� ��A*!���){�&k*� 02������� ���/��� �����7&(� � & >3> N 1 �Y[����C#�� '$B���& '0�$ �(C� '����C# "0�$ N �ZC����mk*��+'��gQi.i�aXY� '$|0�AFC� �*Wb��C# "�[��$X�&!(` 1 � "!3)F�d�B$F��)��.!

��� 4�� ;*& {&yXy � ) ����� 4�� ;� � �� 4�� ;��{ 0 N $ `?*�Y

J�kF�(C�� ����� 4�� ;n '!=�&kF�E?��.+' ")B���� "0�$ ��C#C�0�C_���c��C&�. '$F "$*GU��Wb0 �mk��n�.$F)�� � �� 4�� ; &�� ��� �! #"$� 4 ����� 4��&% ; ; '!=�&kF�%�[ "$F '�=AF�u?��.+" ')B���� "0�$ ��C�C#0�Cc!�0~H �.C(`s�:0.�� "0�$ �'�)( '!c)F�(�F$F��)}!�0~�&kB�e�c�&kF�%�&C��. "$* "$FGU '!����C��[ "$F���&�(),��H��&�(C �'� 4�� ;+*-,�`��ZC����mk*��+'�:kB�.!�AF!#��)�WB�.C��.���d�&�(C�!��.C�0.AF$F) ��� � �.$F) ���). `

Page 19: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� ����� � ��� �

� � ��� � � � ����� ��� ����� � � �<� ���

465�&(�/ 2� �7&(�8����9 ���:02&(���,�<;2=?> N >Z7�Y��.C�������0�+'+"���(�& '0�$j0�H����d�&kF0�)F0�+'0�G� '��!� "$F!#WF "C#��) �XD[�&kF��WFC� '$��� 'WF+"�(!0.H6��kF� �F '0�+"0�G. ����+��d?�0�+'A*�& '0�$�`��3kF�(D=kB��?��3!�k*0TJ�$_�&0 �b��?.��C#Dc�.WFWF+' ��� �F+"�L�.$F)c� ��( "�($R�ZHw0.C ���(C#�m�� "$MR "$*)F!�0.H �(0��[WFA*�m�e�& "0.$B�.+"+/D_)F � !�(AF+'��!#���.C��mk�WFC#0��F+"�(��!(`

�3kF�� ")F����0.H 02���������7�+���:02&(���,�<;2=?> N 1 7�!mY�J��.!:�BC#!#�� "$X�&C#0V)FA�����) �XD �.0�k*$ O 0.+"+-��$F), "$hg�i�^ 2.!(`O �j!&��J��&k*�jG��($F�(�� �!��0�)F�E�.!n��!�� #RAF��$��(�%0.H �F '$B�.C�D�?��.+'AF��! N�� �mkFC�0.��0�!#0��[��! � Y���kB������0�A*+")��b��d?�0�+/?���)}J� '��k�� �(0���W*A*�&�(CcWFC�0�G.C&�.��` O '!_�.+"G.0�C� /�&kF� "!c0�H��&��$rC#�(Hw��C#C��()}��0 ��!_��kF� � ���.$F0�$F �� �G��($F�(�� �8�.+"G.0�C� /�&kF��`z ���kF��C[ "�[WF+"�(���($X�m���� "0�$F!n0.H�>Z7�!(43)F����+" "$*G�J� /�&k}C�����+�?��.+'AF��!��.$F)�0.�&k*��C)B�e�m���KD�Wb��!�46kB��?.����+"!�0 �b���($8)F�d?��(+"0�Wb��)�`

>Z7�! ���.$�4�HwC�0��y�&kF�:W50� '$X�L0�H�?� "�(J{0�H ��0.��WFAV�&��C�!��( "�($�����4��b�:�&k*0�AFG�kX�L0.H �.! � 0�$*+'D ��kF�(AFC� '!#�& ��!#���.C��mko���d�&kF0�)F! N !#��C&������G� '��!&Yd`��80�!#�:�&C��.)F '�� "0�$F�.+�kF��A*C� "!��& ���!#���.C��mko���d�&kF0�)F!�AF!��c�[!� '$FG�+"������$V\)F ')B�����n!�0.+"A*�� "0�$�4bJ�kF �mko '!"�mkB�.$*G���) N�� �=A*�&���&�()���Y�����(0�C�)* "$FGE��0E!�0��[� N 0.H��&�($o!#�&0 �mkB�.!��& ��QY:C#AF+"��`�]H���kF��C#��!�A*+'�� '! �b�(�#�&��C��&kB��$j�&kF�:0�+")����.$*)F ")B�e�&�.4� '�L "!��.)F0�WV�&��)�`Z�K$ ��0�$X��C&�.!����&0��&kB����4*>Z7:!�kB��?��� � & � 2�1��� �7&(��0.H ���.$F)* ")B�����%!�0�+'A*�& '0�$F! N "$F)* '?� ")FAF�.+"!&Yd`h�3k*��+' 'Hw� \ �(D �(+"�E0.H�!#A��mkqWb0�WFAF+"���& '0�$F!= '! '+"+"A*!#�&C����&�()E "$%�I 'G�AFC#� %*`'g.`

�:!# "$FG��&kF�+�(0�$��(��W*��!�H �.�� '+" "�.C�HwC�0.�v��kF���F '0�+"0.G� ���.+�G���$*�(�& ���!(4 02����&(��9 � �� '!:�&k*�=G���$*�(�& ��+��0.$V\!��& '��A*�& '0�$U0.H��.$o '$F)F '?� ')FAB�.+P`;�3k*�=J�0�C#) 02����&(= �� '!�AF!#��)~�&0%C��dHw��C��&0E��kF�cG��($F0.�KD�W5�_ '$~�E��0�C#��(0�$���C#�(����+"�d?��(+��� "$!�F "0�+'0�G� ����.+V0�C�GX��$F "!#��!(4R��kF��G���$F0.��� ��0�$*!� "!��&!�0.H �;!��(�L0.H'�3;2�*&(= & > &(= �3>I�j��)F�0.H $RA��(+"�( ����( ")F!(`@�K$ 1 7�!�4V '�� "!L�KD�WF ����.+'+'D[�n!��&C# "$FG=0�H �F "$B��C#D[?.��+"AF�(!�` �{kB�e�3 "!LAF!�AB��+"+'D[$F�(��)F�()�4 '!:�_���.WFWF '$FG=HwC�0�� �&kF�;G���$*0.�KD�W5��&0�� � ;-����&(��9 � �d4FJ�kF �mk8 "!��&k*� � )F���(0V)F�()��m4BG.C�0QJ�$d46 "$F)* '?� ")V\AB��+�`:��0�$F!# ")F�(C� "$*G��&k* "!�HwC�0�� �&k*�n0.��kF��C:)F "C#���(�� "0�$�46��kF�nW*kF��$F0��KDVWb�+���.$ �b�n!&�� ")���0 �b������3&� 2�� '$,��kF�G���$*0.�KD�W5��`

7:H�����C��&k*��Wb0�WFA*+-���� "0�$�0.HV "$*)F '?� ")*AB�.+"!�kB�.! �5�(��$�!�0�)F���(0V)F�()�4T�&kF�( "C-��� ���3>3>��=AF!�� �5���(?��.+'AB������) '$=C��(+-���� "0�$;�&0�!#0�����!�0�C��Z0.H ���-5 �,�*&(�-= ���-�P`I�V '$�����JL���.C#���(?.0�+'?� '$FG�!�0�+'A*�& '0�$F! �&0�!#0����LWB�.C��& �(AF+-��CWFC#0��F+'��� '$~>Z7�!�4 �&kF���WFC�0�F+"�(� "!�0.AFC � �($R?� 'C�0�$F�[��$X� �m`=�3kF�_WFk*��$F0.�KD�Wb��!;0.H��&kF�_ "$*)F '?� ")*AB�.+"!�(0�AF+")�4.Hw0�C@� �F����WF+'�.4��b��S#AF!���WF+-�. '$=C����.+/\�?��.+"AF�()�?.���(��0�C�!Z��kB�����.C#��G� '?.��$[�.!Z��WB��C&�.�[�(����CI��0�!�0��[�HwAF$��(�& '0�$ JL��J� '!�k��&0�0.W*�& '�� (��.`��K$h�&k*���(0�$X�&� ���c0�H��&k* "!J�0�C#M64I�&kF�[WFkF�($F0.�KD�Wb� ��0�$*!� "!��&!�0.H��$F�(AFC&��+�$F�(�KJL0�C�M64b�.$F),Wb0�!�!# �F+/DE!#0������)F)F '�� "0�$F�.+�WB��C&�.�[�(����C�!(`Z7:H�����C��&k*�;�d?��.+"AB�e�& "0.$�4V��kF�$F� ���G��($F��C����& '0�$�0.H���kF�%W50.WFAF+-�e�& "0.$h "!;Hw0�C��[��)��KD�WF ����.+'+'D �XD�!#��+"���(�� "$FGU�KJL0~WB�.C��($X�&!=Hw0�C�����mk}$F�(J� �������7�������A����,��E$�j�k>p%�� ����$�$>l���l��+�����#�� H����9�!:����k0A�,���!�����m���(��/p�(&�����X����(!"�#�j�,�p/+$������ D���+�j$���j�E�_(&�������G����<�9�+���G9�����1�2��6PeG9���0_��������(��, ��&(&$��GD%����& ��,���#\j� 3 �����<���(&�/p�(&�����a]

i

Page 20: Evolutionary Design of Neural Networks Marko A. Grönroos Master

g32

initialize evaluate select recombine mutate

terminate

�I "G.AFC�� %V`'g�< �� 3 � �� �>& ��$�6� 3 %��9%��������$�����_�� �j�E�A B C E F G h i k

recombinationparent A

parent B

descendant

A B C D E F G H I J K

a b c d e f g h i j kD j A B C E F G h i kJ

mutations

d

�� "G�AFC#� %*` $ < � �1 ��9 h:�$��������9�4����(= h�&�#���$���4$� �A�7� '$F)F '?� ')FAB�.+P4*�.$*)8�����& '$FG=�&k*�;WF�.C��($R�&�.+�G��($F0��[��!3�&0_Hw0�C����&kF�G��($F0��[��!3Hw0�C3�&k*�;0 ��!#WFC� '$FGF`Z�3kF�0�5!�W*C� "$*G��.C#���B$B�.+'+'D = 2� ��� �� 3��+" /����+"�.`�� �3�3&(= � �,�8�����7&(��0.HB��kF��WB�.C#��$X�m��+*G��($F0��[��!@��$F)c�=A*�&���& '0�$0.H��&k*�;0 ��!#WFC� '$FG[�.C��� '+"+"A*!#�&C����&�()% "$��I 'G�AFC#� %*` $ `

� ��� � ���d���T�V���

��0�!�!# �F+/D���kF����0.!#�3)F !��AF+/���m�.!#Mj '$,�.+"+bWFC�0�F+"�(� !�0.+'?� "$FGn "!�)F�d�B$F '$FG=�&kF��W*C�0��F+'��� "$%�=Hw0�C#�j�.+���.$F$F�(C�4V �` �.`/4V�B$F)* "$FGc�=C#��WFC#��!#��$X�m���� "0�$E��kB��� ���.$��b��kB�.$F)*+"��)%���.!� '+'D!�XDj��kF��!�0�+/?� "$FG�WB�.C&��)F "G�����IkB�.$F)�`@>Z7�!ZkB��?.� �5�(��$cAF!#��)=J� '��k �50�0�+'���.$�4e "$X����G��(C�4�C#���.+R?��.+"AF�()�4��(0��+�F '$B���&0.C� -��+�4TWB�.C#!�����C�����4+'0�G� ��� �VWFC��(!�!� '0�$�45G�C&�.W*k��.$*)����.$XD,0.�&kF�(C�MR "$*)F!:0�HZ!����.C��mkU!#WB��(��!�` � �n)F0�$F0.����(��AB�.+'+'DE$*����)�.$XD����.WFWF '$FG�HwC#0�� G���$*0.�KD�W5�[�&0UWFk*��$F0.�KD�Wb�.4��.!;J�� ���.$��d?�0�+/?��%��$RD�WFk*��$F0.�KD�WF ��E!#��C�A��d�&AFC#��!)F 'C����(�&+/D�4� 'H�JL�LS#AF!��� "�[WF+'���[��$X�L��kF� �F�.!� ����=A*�&���& '0�$j��$F)%C�����0��+�* "$B���� "0�$[0�Wb��C����& '0�$F!LHw0.C���kF����`O 0TJL�(?.��C(4@�&0����.M��j0�AFC;!����.C��mkr��+"G�0�C# '��kF��!��[0�C#��G��($F��C��.+��.$F)����.!� '��C�&08 "$X�&�(C#H ��(�.4IJL�j0.H�����$J� '!�k���0EAF!��=�.!�!# "�[WF+"�C��(WFC��(!��($R�&���& '0�$F!���!�Wb0�!�!# �F+'�.`��3kF� #RAF��!��& '0�$o "!:�.+"!#0E��b0�A*��!����.+-��* "+" /�KD�4�.!��&k*�:�($���0�)F "$*G�!#0����d�& '���(!Z "$��(+"AF)F�(!L!#0��[��!#0�C#�L0.H)��0��[WFC��(!�!# "0�$�0.H�)B�e�m�*`���A��mkE��$���0�)F "$FG.!L��C��� �*Wb���d�&�()��&0�G���$F�(C&�������[0�C#�;C#��G�A*+-�.C�WFkF�($F0.�KD�WF ��nWB���#�&�(C�$F!(4��.!��&k*0�!��;0��F!#��C#?���*+"�; "$%�F "0�+'0�G� ����.+0�C#GX�.$F '!��[!�` �BAFC��&kF�(C��[0�C���4�AF!� '$FGs��)F���(0V)F '$FGhW*C�0 ����!#!%�.+'!�0h)* "!#��0�C#��![��kF��!#���.C��mk|!�WB� ���U '$z����.$F$F�(C:��kB��������D N 0�C�����D�$F0.� Y�kF��+'WU "$8�&kF�=!#���.C��mk�`�K$U�&0�0j)F 'C����(��.$���$��(0V)F '$FGj��kF�=!����.C��mk�[ "G�kX�3G.�(�:!#�&A��mM% "$8�[+'0 ���.+��[ "$F '�j�V4�J�kF '+"�;�.WFW*C�0�WFC# -������+/D �(0���W*+"� �%��$��(0V)F '$FG[�� 'G�kX�3kF��+'W8G.�(�0Q?��(C3�&kF�(�8`

��������� � �.) � � ) ��/%���- �6 �� , & ��* . $"� '$B�.C�D��(0V)*�j "!n��!#��C&�. 'G�kX��Hw0�C�J���C�)hJ���D ��0U��$��(0V)*�EC����.+L?��.+'AF��!� "$hG.��$F�d�& �j�.+"G.0�C� /�&kF�[!�`,�3kF��F '$B�.C�DEC��(WFC��(!��($R�&���& '0�$,0.HI�_C#���.+5?.��+"AF�� '!��_!��&C# "$FGc0.H1�F '$B�.C#D�?��.+"AF�(!��� yE7+{�����`Z�3kF�!#��C� "$*G[ '!)F����0�)F��),�&0[���B0����& '$FG�\KWb0� '$R�L?��.+"AF� � � x ����#�� 7 ��� � � |�� t �XD%)F '?� ')F "$FG��&kF��?��.+"A*��C&�.$*G��� "$X�&0 � �

Page 21: Evolutionary Design of Neural Networks Marko A. Grönroos Master

g�g

)F '!��(C��(���WB�.C#��!�!�0_�&kB���

��& 4 ��� � � � ����#�� ; � � � �# �� � # � #� � ������#�� N %*`/gTY

� , � & ��* . $�K$�&kF '!�J�0�C#M64�JL�LAF!#�L0.$F+'D:�&kF� 1 C&��D ��0�)F��4�J�kF ��mk� '!�� �(0����[0�$;�.+/�&��C#$B���� '?��@Hw0.C��&kF��WF+-�� "$ �F '$B�.C#D�(0V)F '$FGF`��]�c "!��.+'!�0 �B��!���)s0.$ �F "$F�.C#Do?��.+'AF��!(4 �FA*�c�nA*�m���� "0�$*!n� �5���d�= /�n!#0����dJ�kB���c)* ��5��C��($X�&+'DHwC#0��u$F0�C#�j�.+ �F '$B�.C�D ��0�)F "$FG*`��3k*� 1 C���D��(0V)*�j "!;0.H�����$�WFC#�(Hw�(C�C��() �b������AF!��E /�n '!��b��+' "�d?���) �&0D� "�(+"),!��[0�0.�&kF�(C��(?�0.+"A*�� "0�$B��C#DE+"�.$F)F!����.Wb��!(`L�3k* "!3Hw0�+"+'0QJ�!�HwC�0�� ��kF��H ��(����kB����!�A������(!�!� /?��+�(0V)*��!)F ���(C �XD[0�$F+/D_0�$F� �F '��HwC�0.� ����mkE0��&kF�(C�4RJ�kF �mk ���.$ �b��0�F!��(C#?��()% "$[�I� �F+"� %*`/g�`@7 1 C��QDX\ ��0�)F��)?��.+'AF�� "! �(0�$X?���C��&�()U "$X�&0_�_!#�&�.$F)B��C�)%�F "$B��C#Dj?��.+'AF��J� '��k

� # & #� � ��� � N %*` $ Y

J�kF�(C��� '!�� 1 C&��DX\ �(0V)*��)��F "$F�.C#DE?.���d�&0�C��.$F),�&k*���t)*��$F0.����!3�&k*� � ���0�Wb��C����&0.C�`

�K$X�&��G.��C ���m�.$*)B�.C�) 1 C&��D2 2 2 2 2 2 2g 2 2Vg 2 2*g$ 2*g@2 2Vg�g% 2*g.g 2Vg32= g32 2 g.g32& g32Vg g.g�g^ g�g@2 g@2*g* g�g.g g@2 2

����F+'� %*`/g�<�A�9 -%�����$����=� 3 :�������> �� ��&(&�1(�����(�m�#�n> � ��&(&�,(���+��,G��,�^/��������1��]������� � � ' �$�.( �"! � ) ��/ ���>Z$��(0V)F '$FGo "$X����G��(C=?.��+"AF�(!nJ� '��k �F "$B��C#Dh?��.+'AF��!n "!=� #�A* '?��.+"�($X�c�&0o��$���0�)F "$FGoC#���.+L?.��+"AF�(! � A;��kF�C��.$FG��%���.$ �5��)F /?V ')F��) �XD � � N ��kF�����.WFWF '$FG~ "![���* �S#���d�& '0�$6Yd`��]H��&kF���[ "!_$F0.�[�&kF�%����!��.4���kF����.WFWF '$FGn�nAF!#��0T?.��C#+-�.W% '$j!�0.����J���D�`��3kB�e� ���.!#�� "!L$F0.��)F "!���AF!#!���)%HwAFC��&kF�(C�kF�(C����.!��&kF��C&�.$FG.��!$F�(��)F�()� '$,��kF "!�JL0�C#M ���.$�����!� "+/D �b�!��(�:�.!��cWb0TJL��C�0.H��KJ�0*`

O 0QJL�(?.��C�4�Hw0�C;!�0��[�jW*AFC�Wb0�!��(! N Hw0.Cn� �*�.�[WF+'�.4���kF�j7���� �($���0�)F '$FG��[�(��kF0V)��RDh9� '�&�.$F0� "$��kB��W*�&�(C =RY 4�JL��)F0n$F0���AF!#����$RD[�($���0�)F "$*Gn���L�.+'+FHw0�C� "$X�&�(G���CZ?��.+'AF��!(`��VA��mkj?��.+'AF��!L�.C#�:�=AV�m������)��0.�m�.+'+'D�C&�.$*)F0��[+'D[J� '�&k* "$E�&k*�� "C3)*0��j�� "$�`

Page 22: Evolutionary Design of Neural Networks Marko A. Grönroos Master

g $� � � � �_L�T�����

�3kF� � �F�&$*��!�! �3WFC#0�Wb��C#�KDn0.H6 "$*)F '?� ")*AB�.+"!� "!IAF!�AB��+"+'D;�[���.!#AFC��()[�.!@�&kF��W5�(C#Hw0�C#�j�.$�����0.H5�.$c '!�0�+"���&�() '$F)F '?� ')FAB�.+5 "$�C���+"���& '0�$E�&0_�&k*�;�&�.C�G��d��WFC�0��*+"��� N�� 0��S#���d�& '?.��HwAF$��(�� "0�$ ��Yd`��K$ �* "0�+'0�G� ���.+b!#D�!#�����[!�4��kF��C#�L '!�$*0�!�A��mk=� �VWF+' �� /� "$*Hw0.C������& '0�$��?.�� "+-� �F+"��4��FA*���&kF���(?.0�+"A*�� "0�$; "! �B��!���)�0�$n '��W*+" �( '�5�F�&$F�(!�!0.H��&k*�; '$F)F /?V ')FAB�.+'!��.$*)��.$XD%�[����!�AFC#���[��$X�&!�)F�(W5�($F)�0�$��.C��& /���� "�.+)�(C� '����C# -�*`

��� � ��� � !$�$� #�� ��)�� #%�$'%��� ��� )�� �$ ! ��3kF��AF!���0�H��.$E� �VWF+' �( '���F�&$F�(!�!�?��.+'AF��0�5��C#!��nWb0�!#!� �* "+" /�KD=�&0���0��+�* "$F�:)F ��5��C#��$X���F��$F��!#!�H ��(��0�C�!(4 P` ��`'4�0���S#���(�& /?���HwAF$X�� "0�$F!(`@�3kF���(C�C#0�C�0.H �n��C&�. '$F��)�$F��A*C&�.+5$F�(�KJL0�C�M� "!L0�$F��0�R?� '0�AF! ���.$F)F ')B���&���.!��kF�WFC� '�j�.C�D��*�&$F�(!�!�H ��(��0�C�`�����G�A*+-�.C# )(��e�& "0.$��&���mkF$F #�A*��! ���.$��5�AF!#��)��&0_�� '$F "�[ )((����kF���0�)F�(+�(0���W*+"� �V /�KD���0j�F�:�&kF�=W*C�0��F+'��� ��0.��WF+'� �V '�KD.4��.!:J��.!�$F0.�&�()o "$~��kF�.W*�&�(C $ `�� "�[ "+-��C��&���mk*$F #RAF�kB��! �5�(��${AF!#��)|Hw0�Cj�d?�0�+'A*�& '0�$B�.C�Dq$*��AFC��.+�$F�d�KJ�0.C�MR! N �BC��()FC� 'M�!#!�0�$pg�i�i *�Y �RD ���.+���AF+"���& '$FG ��kF��F��$F��!#! N�� Y3�.!��[+' "$F���.C �(0��+�F '$B���& '0�$E0.H�)F ���(C���$X���F��$F��!#!�H ��d�&0�C#!

� & + # , #�# N %*`'%XY

�3kF����0��� !�� '��$X�&!��.C���$F0�C#�j�.+' )((��),!�0[�&kB��� � # , #�& {.` �6C#��)FC# "MR!�!#0�$ N gQi�i *�Y�AF!#��)o�:�U�*> N C�0�0.�0.H����*>�Yd4 �(+-�.!#!� '�������� "0�$|� ����A*C&��dD�4�$RAF���5�(CE0.H;G���$*��!�4�$RAF�+�b��C%0.Hk* ")F)F�(${AF$F '��!%�.!%��C����& '0��08�,���/�V "�=AF�v?��.+"AF��4 �.$F) $�A*�+�5�(C0.H �(0�$F$F���(�� "0�$F!��.!;�,C&���� "0E�&08�%�j� �* '�=AF�v?.��+"AF��`[�3k* "!�����mkF$F #RAF�� "! �(0���WF���& ��F+"��J� '�&k=��kF��� A��WFC� '$��� 'WF+"� N �[��$X�& '0�$F�()c "$[��kB�.WV�&��C $ Y��.$F)_ "!@ ')F��$X�� ����+��0��&kF����A*!���)EHw0.CLC#��G�AF+"���& '0�$[ "$���C&�. '$F "$*G;0�H $F��AFC��.+b$F�(�KJL0�C�M_JL�� "G.kR��!�`Z7:+'�&k*0�AFG�k[�&kF���&���mk*$F #RAF� '!3 "$X�&�(C���!��& '$FGF4F /�3J��.!�$F0���AF!��()� "$%��kF�� �VW5�(C� '���($R��!�0.H���kF�WFC��(!��($R�:!#��AF)*D.`

��� � � � � � � � �"� ) ��/ )��$�� '����$RD=0.H6�&kF�3�d?�0�+'A*�& '0�$B�.C�DnC#AF+"�(! �mkB�.$FG���C��.)F ���.+"+/D�J�kF��$_�&k*�3�(?��.+"AF���& '0�$+��0.$R�&�. "$*!Z$F0� "!#�.`Z>@?��.+ \AB�e�& "0.$=0.H6$F�(AFC&�.+*$F�(�KJL0�C�MR! ��0.$R�&�. "$*!@�=A��mk_$F0� '!���4�!�0�C#0��FAF!��&$F�(!�!� "!Z��?.��C�D=C��(+"�d?.��$R�@ "!�!#AF�.`@>Z?.0�\+'A*�& '0�$B�.C�Do�.+'G�0�C� /�&kF�[!��.C#�_G���$F�(C&�.+'+'D �b��+' "�d?���)��&0,J� '��kF!#�&�.$F)h$*0� "!#� #RAF /�&�_J��(+"+ N !#���[�&kF�[$F0.����!��b0�A*�3��kF����5���d�:0�HI$F0. "!���J� /�&k,��+' '�& '!�� �5�(+"0QJ:Yd`

� ��� � �f�V� � �� �C�

�3kF�(C�����C������.$XD[J���D�!��&0n!���+'���d���&kF��WB�.C��($X�&!���0+�5�:�j�e�&��)�`� �$F��0.H���kF���[0�!#��W50.WFAF+-��C�J���DV!3 '!��kF���������3>3>�! � �*& � &(��� �7&(�8���b!��(+"���d�& '0�$�4�J�kF��C#����kF�� '$F)F /?V ')FAB�.+'!�.C��_G� /?��($h!��(+"���(�& '0�$�WFC�0�WF��F "+' '�� "��!WFC#0�Wb0�C#�� "0�$B��+"+'Dn�&0=�&k*�� "CL�F�&$F�(!�!�?��.+"AF��`@�3kF '!3���d�&kF0�)%C�� #�A* "C��(!3!�0��[��!�0.C#�30.H�!����.+' "$FG N +" "$*���.CL0�C$F0.$F+" '$F���.C&Y��&0��FC� '$FG��&kF���F��$F��!#!���!�0.H5��kF��W50�W*AF+-���� "0�$c '$�!#0��[��!#AF '�&��F+'��C��.$FG����.$*)�)F '!#��C� �*A*�& '0�$N "$%$F0�$*+" "$*���.C3!����.+' "$FGRY `

Page 23: Evolutionary Design of Neural Networks Marko A. Grönroos Master

g3%��������� ����������� �.��� � �$�� '7�!# "�[WF+"�����d�&kF0�)UHw0�C�!#��+'���(�� "$FGjWB�.C��($X�&! "!���kF�=0�$*�=J�kF��C#�_JL�=�BC#!#�0�C#)F��C���kF�c "$*)F '?� ")*AB�.+"!�0.H��kF��Wb0�WFAF+"���& '0�$�����(0�C�)F '$FG���0n�&k*�� "C��F��$F��!#!�?.��+"AF��`@�3kF��!# )(��:0.H���kF��Wb0�WFAF+"���& '0�$� '!LG. '?��($ �XD���kF�WB��C&�.�[�(����C 9 ` �h��&kF�($�!#��+"���(���&kF��KJL0EWB�.C#��$X�&!�Hw0�C�����mk�)F��!�����$*)B�.$X�� "$,�&k*��$F� ����G��($F��C����& '0�$HwC#0����&kF� 5 �F�#�&�(!#�� '$F)F /?V ')FAB�.+'!�J� '��k�AF$F /Hw0�C�� WFC�0�WF��F "+' '�KD.`��3kF "!��[�(�&k*0V)8 "!�0.H��&�($UC��dHw��C#C���)8�&0�.! 46587:9<;K\]!��(+"���d�& '0�$ N "�f�mMqgQi.i�^XYd` � �,�.+'+"0QJ��&k*�%!���+'���d�& "$*Go0.H3�&kF�%!��.�[�E "$F)* '?� ")FAF�.+��.! �50��&kWB��C���$X��!: '$%0�AFC�� �VWb��C� '���($X�&!�`

������� � � �����$� �-�46�/�,��� >�= �����.$F![�&kB���[JL�o�.C���!&��?� "$*G�!�0��[��0.H��&k*�8�F�#�&��!��% "$*)F '?� ")*AB�.+"! N �&kF�8��+' '�&�(!mYc "$X�m� �(�[�&0��kF�j$F� ���cG���$*��C&�e�& "0.$�`8�3k* "!nW*C��(?.��$X�&!cA*!nHwC�0�� +'0�!� '$FG8G.0V0�)h!#0�+"A*�� "0�$*!��XDh����( ")F�($X��4��.!�!�0��[�!#��+"���(�� "0�$����d�&kF0�)F!;�� 'G�kX�$F0.��!��(+"���d�n!#0��[�� '��Wb0�C#�&�.$X��!�0.+"A*�� "0�$F!)FA*�[��0�C&��$F)F0��[$F��!#!� '$���kF�!#��+"���(�� "0�$8WFC�0 ���(!�!�`��3kF��G�0�0V)�!�0�+'A*�& '0�$F!��[ "G�kX�:�.+"!#0�G.�(�:�j������),J� '��k� "$���0��[WB���� �F+'��!�0�+'A*�& '0�$F!(4��k�A*!:WFC#0V)*A��� '$FG=H ���m��+�0�5!�WFC# "$FG N "LC&�.$FM��_gQi�i &�Y `

>Z+" /�& "!#��kB�.! �b����$ ��C� /�& (� "!#��),Hw0�C� '��!�����$F)F�($��(D��&0!��0.$R?.��C#G��=WFC#�������&AFC#��+/D�4B�KD�WF ���.+"+/DE�&0!�B�.)+'0 ���.+I�[ "$F '�j��! N "�f�mM�gQi.i�^*4�W�` *�iXYd`=�]�;��+"!�0,kF '$F)F�(C�!��&k*�[!#��+/H-\ �.)B��W*�m���� "0�$�0.H��nA*�m���� "0�$�C&������!N !���� �b��+'0TJ:Y `���0�����!#�&A*)F "�(! N 9� '�&�.$F0zgQi.i 2��*� "�� �mMb4��V��C#�.4��.$F){ �. '�� "$F�($pgQi�i *.Y[���[WF+'0TD� '$FG�d?�0�+'A*�& '0�$B�.C�Ds7��:�:!jkF�Q?.��AF!#��)z�(+" /�& "!#�84�!�0.��� N A:��+"+"�.��C���gQi�i &V� �BC��()FC� 'MR!�!�0.$�gQi�i *V� �6A*+"+"�[��C�.$*)��8 ' "MRMRAF+-�� "$F�($sgQi�i*g�� 1 C�AB�.A��.$*) �{kF /�&+'�(D�g�i�i %XY� '$~Hw0.C�� 0.HL�&kF�_� �V��C��(�� '!#�+>�� � � �9 !7>��7���.�>Z7�!#��C&������G.D.4�J�kF��C#��0�$*+'DU0.$F�c "$F)* '?� ")FAF�.+� '!�C��(WF+-��(��)����;�E�& '����`n�3kF�_!#��+"���(�� "0�$~!#��C��($FG.�&k�0.H��kF�!#�&���.)*DX\K!��m�����n>Z7� "!3+'0QJ4F!�0[ '�3!#kF0�AF+'),$F0.� �5�!#0[!#AF!��(��W*�� �F+'���&0[WFC��(�j����AFC�� �(0�$X?��(C�G��($�����`

7 !��&C&��$FG��.4��.$*)|W50�!#!� ��F+'D})B�.$*G���C#0�AF!�4�WFk*��$F0��[��$*0�$zJ���!E$F0.�� ���()| "$z!#0��[��0.H���kF�U����C�+'D����!#��!n)F0.$F�[Hw0.C��kF "!;!#��AF)*D.`���0�$F!� ')F��C����*�&$F�(!�!�HwA*$��(�� "0�$~�&kB�e�nC#�(�&A*C�$F!�$F0�C����.+'+'D8)F "!��&C� ��FA*����)C��.$F)F0���?��.+'AF��!(` �{ /�&k�!�A��mko�cHwAF$��d�& '0�$8$*0j��d�&AB��+��d?�0�+'A*�& '0�$, "!�0.H ��0�AFC#!���W50�!#!� ��F+"��`��]HIJL�nA*!���(+" '�� "!#�84���$F)~�(?��.+"AF���&�c�&k*�[�(+" /�&��!LS#A*!#�;0�$��(�� '$~��kF�� 'C�+" /Hw�(�& '����45JL�����.$�0��F!��(C#?.�E�.$ �,�,�/ >��7&(��0.H�d?�0�+'A*�& '0�$�4F��!���kF��kF 'G�kF��!��3�F�&$*��!�!� "$E��kF��Wb0�WFAF+"���& '0�$EC&�� "!��(!3 "$��=+"0.GX�.C� /�&kF�[ ��H �.!#kF "0�$,��!3��0�C#�C��.$F)F0�� ?.��+"AF�(!_�.C��%G��($F��C����&�()�`r�3kF "!_ '!c)F���[0�$F!��&C&�e�&��)} "$ �I 'G�AFC#� %*`'% N J�kF �mkrJ��.!_!���+'���d�&��)�.!:�&kF�c�[0�!#�� "+"+'AF!#��C&���� '?.�����.!��cHwC#0��v��50.A*�cg32EC#AF$F!mY `=��A*C#?�� ��� ���� !�kF0QJ�!�J�kB����kB�.WFWb��$F!(4 'HJL�,C����d?��.+"AB�e�&�j��kF�EJ� "$F$*��C�� ! � �F��$F��!#! �E0�$������.$*)���?.��C&��G��E�&kF�,$F�dJ ?��.+'AF�jJ� /�&ks�&kF�%W*C��(?� '0�AF!0�$*�.`L��AFC#?.��� ��� � � ��� !#kF0QJ�!�J�kF����kB�.WFWb��$*!: /H���kF��J� "$*$F��C� "!�C����d?��.+"AB�e�&��), '$��d?��(C#D,!�A������(!�!# '?��G��($F��C����& '0�$ �XD}��?���C��.G� '$FGU�&kF�,$F�dJ��[���.!#AFC��(���($X�[J� /�&k}�.+'+L�&k*�%WFC��d?V '0�AF!_�[���.!#AFC��(���($R��!cHw0�C��kB���� '$F)F /?V ')FAB�.+P` �3kF "!L���5���(��)F "�[ "$F '!�kF�(!�4R 'H5�&kF���(?�0.+"A*�� "0�$�C�AF$E '!L)*0�$F��!#�(?.��C&��+��& '���(!�4��.$F)j��kF��F��$F��!#!�?��.+"A*��!�0�H@�&kF��)F ��5��C#��$X��C#AF$F!�����!#W5���� /���nG��($F��C����& '0�$F!��.C�����?���C��.G��()�` �{ /�&kF0�AV���(+" '�� "!#�84��kF�c��?��(C&�.G����F�&$F�(!�!�0.HZ��kF� � J� "$F$* "$FG3�; '$F)F /?V ')FAB�.+�JL0�AF+')o0��X?� "0�AF!#+'D%�b� y � y*4� /H@�&k*�=W50.WFAF+-�e�& "0.$!# )(�� '!30�$F�.46��!3 '�� "!3 '$%�&kF���BG�A*C��.`

� ��� � � �d��� � �V� ���� ���

7�H��&��C3!#0��[�;WF�. "C�kF�.! �5�(��$�!���+'���d�&��)%�XDE�&k*�;!#��+'���(�� "0�$,�[�(��kF0V)%Hw0�C3������ "$FGF4R�&k*�� "C3G.��$F0��[��!���C��C#����0.�+�F "$*��)c�&0�Hw0�C#�t0�$*�30�C@�[0�C���0 ��!#WFC� '$FGF`I�3k* "!Z0�Wb��C����& '0�$=kB�.! �b���($��[0�)F��+'��)c��H�����C@��kF� �F "0e\+'0�G� ���.+�WFC�0 ���(!�!��(!�0.H ��C#0�!�!#0Q?���C N '$X�&��C��mkB�.$FG. "$FG!��(G��[��$X�&! �5�d�KJ��(��$�kF0��[0�+"0�G.0�AF! �mkFC#0��[0�!�0��[��!&Y

Page 24: Evolutionary Design of Neural Networks Marko A. Grönroos Master

g@=

-6

-4

-2

0

2

4

6

0 50 100 150 200 250

rand

om ‘‘

fitne

ss’’

‘‘generations’’

gaussian noisemax

2-avgmax-avg

�I 'G�AFC#� %*`'%*< �cdX�, ����l� 3 ������>o�,/n���������$��� 0���� �,������ 4]ob_�����k������1����'$�l�.���9� !���$�$>o(&��k���$:��&���,( �#����(��� /����$����� W����1Z�]�.$*)� "$F)*��Wb��$F)F�($X�[�.!�!#0�C#�����($R�=0.H��&k*� �mkFC�0.��0�!#0��[��!=)FA*C� "$*G��[�� "0.!� "!(`��3kF�(C��E '!��KD�WF ����.+'+'D~$F0� ���( "0�!# "! �: '$8>Z7:!�4��FA*����kF�C����(0��+�F '$B���� "0�$%0 ���(AFC�!�)FAFC# "$FGc��kF� � Hw��C��& '+" )(����& '0�$��&`

�3kF��C�����0��+�* "$B���� "0�$0.H*!� '��WF+'� �F "$F�.C#D�G.��$F�(!� '!� '+"+'AF!#��C&������) "$��I "G.AFC���%*` $ `��3kF��C#���.C#�Z?.��C� "0.AF!�[�(��kF0V)*!��&0�C����(0��+�F '$F�c0.��kF��CG��($F�c�KDVWb��!(` �B0�C�� �*�.��W*+"�.4���kF�_C����(0��+�F '$B���� "0�$o0.HLC����.+/\�?��.+"AF�()G��($F��! ���.$ �5�3)F0.$F� �RDc�Q?.��C��.G� "$*GF4�0�C �XD=�&�.MR "$FG��C&��$F)F0�� ?.��+"AF� �b�(�KJL���($���kF��WB�.C��($X�m�.+*?��.+'AF��!(4�d� �.`

� �L)F ')n$F0���4e "$;0�AFC�� �VW5�(C� '���($R��!�4�AF!�����C#����0.�+�F "$F���& '0�$0�W5�(C&����0�C�Hw0�C �&kF��C����.+/\�?.��+"AF�();G.��$F�(!�4S#AF!���Hw0�C@�&kF�( "C ��0.$R�&�. "$*��C�!(`@�3kF��C�����0��+�* "$B���� "0�$c '!ZG���$*��C&��+"+'DnkB�.$F)*+"��)[ "$[��kF '��C&��C��mkF ����.+B���.$F$F�(CN !����n7�WFWb��$F)* � "�Yd46J�kF �mkUJL�c)F0%$F0.��� �VWb���(����0jD� "�(+")UC��.)F ���.+"+/D,)F ��5��C#��$X��C#��!#AF+'��!� "$UC#��+"���& '0�$��0_��kF�!#�&�.$F)B�.C#) N $F0�$V\��&C#���d\]!#��C�A��d�&AFC#��)6Y�C�����0����F "$B�e�& "0.$%WFC�0 ���()FAFC���`

� � � � �L����V�C���

>���mk G���$F�[�KD�W5�[kB�.!���!#�(�n0.H��=AV�m���� "0�$~0�Wb��C����&0�C#!�`��3kF�j!��m�.$F)F�.C�) 0�W5�(C&����0�C�Hw0�C��&kF�!�F '$B�.C#DG��($F��!n!� "�[WF+/D �B "WF!��F '��!�J� /�&k�WFC#0�WB��* "+" /�KD�����#�� �����e4@J�kF ��mk�+" '��!;�KDVW* ����+"+'D~!#0��[�(J�kF�(C�� �b�(�KJL���($y � yXy {���$F) y � {�`@�3kF�30�Wb��C����&0.CIHw0�C@AF$* 'Hw0�C#� N $F0�$V\ �F "$B��C#D���$��(0V)F�()6Y@ "$X�&�(G���C#!ZC&�.$*)F0��[+'D;!��(+"���d�&!��$F�dJz?��.+"A*��J� '�&k[WFC#0�WB��F '+" /�KD�� # � ������� ��`@�3kF��!#�&�.$F)B��C�)[0�W5�(C&����0�C@Hw0�C�C����.+/\�?��.+"AF�()cG���$*��!�G���$F�(C&������!$F�dJ�?��.+'AF��HwC�0�� } % &�} ��� 4yE71� ; N %*`>=RY

Page 25: Evolutionary Design of Neural Networks Marko A. Grönroos Master

g�&

0

200

400

600

800

1000

0 200 400 600 800 1000

erro

r

mut

atio

n pr

opab

ility

per

bit

generation

(a) Binary coded GA for hill-climbing

min error

0 200 400 600 800 10000.0001

0.001

0.01

0.1

1

10

erro

r

mut

atio

n pr

opab

ility

per

bit

generation

(a) Binary coded GA for hill-climbing

avg mutation rate

0.0001

0.001

0.01

0.1

1

10

100

0 100 200 300 400 500 600 700 800

erro

r, m

utat

ion

varia

nce

generation

(b) ES with sphere

min erroravg mutation

�I 'G�AFC#� %*`>=F< ���)��C��� D%��$�.� 3 ����o�2�,� 3 ����(���%&�����$����� 3 h�&�#���$���)�#�����,�,] PQ`�\!�7�&��+��(���%&�$/�� 6��0�������$�$� � ��$� l:�$��G-��,�2� � 3 ���� ��$����]EPeic\_���&���9��(���%&���/9� �j/����$�&����9� �+��������,G�$�,�^0�"���4����B�%����,��m��1�k� 3 ���� H����9��]J�kF�(C�� �s '!��&kF�n�=A*�m�e�& "0.$8?��.C� "�.$��(�nHw0�C�C#���.+ \]?��.+'AF��)8G���$F�(! N !#��� �b��+"0QJ kF0QJ '�� "!�)F�d�&�(C��[ "$F�()6Y�.$*) � 42yE7p{�;� '!:�[$F0�C#�j�.+'+'D�)F "!��&C# �FA*����)�C&�.$*)F0���?��.+"A*�J� /�&k8��?���C��.G���0.H8((��C�0j�.$F)�?.��C� -��$����0.H0�$*�.`

����� ��� � �.� �� ) + ) ��-)��$�� ' �� � /��-)��$�� ' ! )��$����V�(+'H-\K�.)B�.W*�&���& '0�$j0�HI�=AV�m���� "0�$EC����&�(! N "�f �mMUgQi�i�^�Y�J��.!�AF!��()8 '$E�&kF��� �*Wb��C# "�[��$X�&!�0.H ��kF "!�!��&AF)VD�`�3kF��G���$*0����(!0.H��&k*�� '$F)F '?� ')FAB�.+'!"��0�$X�&�. "$�G���$*��!���kB������0.$R��C�0�+Z��kF���nA*�m���� "0�$~C����&�(!�0.H�)F ��5��C \�($R��G��($F�[�KD�Wb��!(`��I "G�A*C�� %*`>=X�, "+"+'AF!#��C&������!�.AV�&0X�.)F�.W*�& /?�� 1 7�Hw0.C;�nAF$F)B�.$*��kF '+"+ \ ��+' "�+�* "$FG_�&�(!#�HwAF$��(�& '0�$��84 }�; & �

�# ��� } # � � � `o�3kF�%$RAF���5�(C=0.H���+'���[��$X�&!= '$h�&k*� �F "$F�.C#DX\]?��.+'AF��) ?����d�&0�Cc '!� & {pyXyXy*`[�3kF�[0���S#���d�& /?��_?.��+"AF� � �mkB�.$*G���!;�(?.��C#D $ & 2�G��($F��C����& '0�$F! N ��+'�&�(C�$B�e�& "$*G �2&�y��.$F)� & {TYd` �I 'G�AFC#�-%*`>=��E '+"+'AF!#��C&������!L�.A*�&0��.)B�.W*�&���& /?���>Z?.0�+"AV�& "0.$%����C&������G� '��! N >��54F�.$,>Z7�WF�.C&�.)* "G����kB����A*!���!�C#���.+ \]?��.+"A*��)[G���$F0��KDVWb��!&YLHw0�C���kF� � !#WFkF�(C�� �:�&�(!#��HwA*$��(�� "0�$�� 4 } ; & �

�# � 4�} # � � ;���J� /�&k��kF�80��S#���d�& '?.��?��.+'AF���mkB�.$FG. "$FG��(?.��C#D�g�& 2~G��($F��C����& '0�$F!�`��3kF��)F "�[��$F!# "0�$r0.H:�&kF��C����.+/\�?��.+"AF�()G��($F0��[�� "! � &�Xy*`Z�3kF��+"�.$F)F!����.Wb��0.H �&k* "!�?.��C#DE!� "�[WF+'�:HwAF$��d�& '0�$���0�$X�&�. "$F! S#AF!#��0�$*��0�W*�& '�=AF�Wb0� "$X���.$*)[��kF�:0.W*�& '�j�.+VW50.WFAF+-�e�& "0.$c!� )((�3J�0�A*+")!�5� $ `I�3k*�:!��&C&�e�&��G�D_WB�.C&�����d�&��C#!ZHw0�C �50.��kc�&��!��&!�.C#�.< 4�{� 7p{&y[y ;K\]!���+'���d�& "0.$�4F�.$*)�$*0�C#����0.�+�F "$F���& '0�$�`

�K$r0�AFC= '��W*+"���[��$X�&���& '0�$�4 �&kF�%G��($F� �#���.� � �,�8����9!��0.$R��C�0�+'!n�&k*�%WFC�0�WF��F "+' '�KD~0.H �F '$B�.C�DhG��($F��=AV�m���� "0�$F! N ����#�� ��� ��Y 4?�#��� �����-�� '$X�&��G.��C�\�?��.+"AF�()|G���$*���nA*�m���� "0�$*! N � #�� ��� � � � Y 4��.$*) 5(�����������3� ��� & ����(0�$X�&C�0.+"!���kF��?��.C� "�.$����:0.H �&kF��C#���.+ \]?��.+'AF��)�G���$F���nA*�m���� "0�$*! N ��Yd` � ��AF!���C#���.+ \]?��.+"A*��)jC#��WFC#��!#��$V\�&���& '0�$EHw0�C��&k*�;�nA*�m��* "+" /�KD[G���$F�(!�`��3kF�(D���C����=A*�&���&�()�J� /�&k,�=A*�&���& '0�$%0�Wb��C����&0�C� % & � ��� ��� � �� ��� 7 N %*`?&�YJ�kF�(C���� % "!��_�=A*�&���& '0�$ � �[�(�&�e\KC����&�.��Hw0�C3�=A*�&���& '0�$,C&������G���$F�(!�`�� �mkXJ��dHw��+ N gQi * *V�B�.+'!�0_ "$ "�f �mMgQi.i�^*4�W�` * $ Y:!#AFG�G��(!#��!���%��v{���� � �I4�J�kF�(C�� �s "!���kF�c$RAF�+�b��C�0.H�C#���.+ \]?��.+"A*��)UG��($F��!(`�� �[A*!��� % & {�� � �[y[��$F),C&�.$FG.�K� � xzy � yXy { 7p{3;L "$,0�AFC3� �VW5�(C� "�[��$X��!�Hw0.C��.+"+b�&kF���&k*C����;G��($F���KDVWb��!(`� �hAF!#��)�4; "$�0�AFC�� �VW5�(C� '���($R��!�4;0�$F+/D{G�+"0��F�.+�!��(+'H-\ ��)B�.W*�&���& '0�${ "$�C#��!#W5���(�U��0��&k*� J�kF0�+'�G��($F0��[�U0.H�����mk{ '$F)F '?� ')FAB�.+P` 7:$F0.��kF��C%0�WV�& "0.$zJ�0�A*+") �5�U��0sAF!��~+'0 ���.+:!#��+/H-\ �.)B��W*�m���� "0�$�Hw0�C����mk8G.��$F��`

Page 26: Evolutionary Design of Neural Networks Marko A. Grönroos Master

gQ^

� ��� ���V� �d� ����� ���

>@?�0.+"A*�� "0�$B��C#D��.+'G�0�C� /�&kF�[!kB��?����b���($�Hw0�AF$F)h��0 �b�EW50QJL��C�HwAF+L��0V0�+'!�Hw0�C?��.C� '0�AF!�!�����C��mkrWFC�0�V\+'���[!�`��3kF�� 'C�WFC� '�j�.C�Dj!��&C#��$FG.��kF!:�.C��G��($F��C��.+" /�KD,�.$F)�C�0��*AF!#��$F��!#!�`�7:$B�.+/D��� ���.+�!#��AF)F '��!�0�$���kF�� 'CWFC#0�Wb��C#�� "�(!LkB��?.��$F0.�LG� /?���$j�j�.$XD_WFC���(�� ���.+6�.$F!�J��(C�!�`��3kF�:��0�!���C��(J��.C#)F "$FG�!#��AF)F "�(!�kB��?.�"�5�(��$!��m���� "!#�� ���.+��.$F�.+'D�!��(!�0.H���kF�� 'C3W5�(C#Hw0�C#�j��$�����J�kF�($��.W*WF+" '��)%�&0c?��.C� '0�AF!��.C��& /���� "�.+���$F)8C#���.+ \]JL0�C�+')WFC#0��F+'���[!�`

��������� � �� �&�$) � � �4 � � >��7�(>�� >@�[���.$*!�4R "$ �F '0�+"0�G. ����+VG��($F�(�� �(!�4R�&kF��)F 'C����d�� "$X�&�(C&��d�& "0.$[0�H�)F ���(C���$X��G��($F��!�!�0�&kB�e����kF�� �*W*C���!#!� '0�$80�H�0.$F��G���$*��)F��Wb��$F)*!:0�$E��kF��� �VWFC#��!#!� "0.$80.H�!�0.����0��&kF�(C3G���$F�(!�`��K$��c��0�C#��G��($F��C��.+!#��$F!#�.4� /���[����$F!�HwA*$��(�� "0�$B��+�)F��Wb��$F)*��$��dDU0.HZG.��$F�(!� "$8C��(+-���� "0�$%�&0[�&kF��0Q?���C��.+"+��F��$F��!#!�` "LD,�&kF '!)F�d�B$F /�& "0.$�4L�[0�!���G.��$F�(!E�.C#���[0�C#��0.C[+'��!#!��(WF "!��m���� �%J� '��k�����mkz0.��kF��C_ "$}�[0�!#�[�(?.0�+"AV�& "0.$B�.C#D!#���.C��mk�WFC#0��F+"�(��!(`

9�.A��5�j��$ N gQi�i %V4�g�i�i &�Y�kB��!�!��&AF)F '��)~�&kF�[���5���d�&!;0.H��(WF "!��m�.!# "! �XD~AF!� '$FG,�&kF�!��0�$*$F���d�& '?� /�KDWB��C&�.�[�(����C�0�HZkF "!�����! ������%'&(�*) >���&0j��AF$F�n��kF���(0��[WF+"� �* /�KD�0.H�!����.C��mk~+-��$F)F!����.Wb��!�` O "!:C��(!�AF+/�&! '+"+"A*!#�&C����&�%��kF��WFC#0��F+'����<U�&kF�8��0�C#� �(0�$F$F���(�&�()�� G��($F�(�� �UC#��G�AF+"���& '0�$}$F�(�KJL0�C�M} "!(4��&kF����0�C#�C#AFG�G��()q�&kF���F�&$*��!�!j+-�.$F)*!�����W5� �5����0��[��!(`��3kF�U+"�.$F)F!����.Wb�%�5����0��[��!j��0.�m��+"+'DhC&�.$*)F0�� ���j��kF�Wb0� "$X�%0�H;��0.�m��+ ��0.$F$F���d�& /?V /�KD�`t�:�(?.��C��&kF�(+"��!#!�4�!#0�����+"�(?.��+�0.H;�(WF "!��m�.!# "!E!#�����[!%�&0 �b�okF��+'W*HwAF+P4 /H�$F0.�[�(!�!��($X�& -��+�4���0h�(?.0�+"AV�& "0.$� '$�!#0�����WFC#0��F+"�(� +-�.$*)F!����.W5�(!�`|�3kF '!�����Dr!�AFG.G���!��j�&kF������kF��(0�$F$F���(�& /?� '�KD�4 0�C����0�A*$R�0�H ��0.$ �B �d�& '$FG���0�$*!#�&C��. "$X��!�4��j��D �b�[�.$� "�[W50�C��m�.$X�:H ��(��0�C� "$~���.$XDMR "$*)F!�0.HI�d?�0�+/?� "$FG_!#D�!��&���[!�46 '$���+'AF)F "$*G=$F0�$V\ �F "0.+"0�G� ����.+P`

O 0.+"+-��$F) N gQi * &�Y�kB�.!�G� /?��($~�.$F0.��kF��C�?� "�dJ N�� !��mkF�����j�&k*��0�C#��� ��Y:0.H��(WF "!��m�.!# "!� '$oG���$*�(�& ��c�.+ \G�0.C� '��kF�[!�` O �n!#���(!��&kB���:�&kF�n0�W*�& '�j��+�!�0�+'A*�& '0�$ �(0�$F!� '!#��!�0.H�!����.+'+�!�A��F!#0�+"AV�& "0.$F!:��kB���"�(0��[W5�d�&�J� /�&k�����mk 0.�&kF�(C�`E�3k*���(C�0�!#!�0Q?��(C=0�Wb��C&�e�& "0.$ �(0��+�F '$F��!���kF�[�*���&�(!#��!�A��*!�0�+'A*�& '0�$F!��&0�Hw0�C�� ��kF�0�WV�& "���.+ !�0.+"A*�� "0�$�` O '!��&k*��0�C#��� WF�QD�!G�C#������e���&�($X�& "0.$U�&0%�&kF�c)* "!�C#AFW*�� '?��n���5���(��!0.H�C#���(0��+�F \$B�e�& "0.$,�.$F)��=A*�m�e�& "0.$E�&0_�&kF�!�A��F!�0�+'A*�& '0�$F!(`��3k*���kF��0.C���� '��W*+" "�(!L��kB�����&kF�$RAF�+�b��C�0.H�G��($F��! '$��&kF�n��WF '!#�m�e�& ����+'AF!#����C�!�0.H�����mk~!#A��F!�0.+"A*�� "0�$U!#kF0�AF+') �b�c�.!�!#�j�.+'+��.!�Wb0�!�!# �F+'�.4���!�!�kF0.AF+") �b���kF�� 'C3G���$F0.�� ���)F "!��m�.$����.`

,b_��� ��� � �����k0^����f&�7�����-������(&�� �G9����%����E0��������-���� � �� 3 ���#�7���4����D�p�� h:[���6� 3 ���$�� D�,�9�#�<����(� ���4�����n/��,����G����p�� l:��,��� 3 ��������, ��$����� 3 �9���,�� #�4���$�� D�,�9�1]

Page 27: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� ����� � ��� �

� � ��� � � � ����� ��� � � � � ��� � � � � � �

�K$,�&kF '! �mkB�.W*����C(46JL�G� '?.�;�_!#kF0�C��: '$X�&C�0�)FA��d�& '0�$E�&0_!�0.���0.H��&kF��[0�!#�3JL��+'+/\]M�$*0TJ�$��.W*WFC�0X� �mkF��!Hw0�C��d?�0�+/?� "$FG�$F��A*C&�.+X$F�d�KJ�0.C�M��&0�Wb0�+'0�G� "�(!�` �B0�C��[0�C�� �(0��[WFC��(kF��$F!# '?.��0Q?��(C#?� "�dJ�!�0�$;�(?.0�+"AV�& "0.$B�.C#D$F�(AFC&��+�$F�d�KJ�0�C#MR![!#��� N "��.+"�.MRC� "!#kF$B�.$��.$F) O 0�$B��?��.CEgQi�i &V� "�C&��$FM.�ogQi.i &V��9:0�)eS���B� �mkF -�.$h�.$F)�8�dD��(C�gQi.i &V�6�8 /� �mkF�(+"+@g�i�i�^XY `

�3kF�(C�����C�� ��AFC#C���$X��+'D���QD �b��)F0 (��($F!I0�HF)F ���(C���$X�����d�&kF0�)F!�Hw0�C �(?.0�+'?� '$FG:7�����!�` � ��!���+'���d�&��)��kF���BC�!��3�KJ�0_�[�(��kF0V)*!�!#��AF)F "�(), "$E�&k* "!�JL0�C�M N �[�(��kF0V)*! �XD,�8 '+"+"�(C��d���.+�`/4F��$F)�9 /�m�.$*0RY��[0�!#��+'D�b�����.AF!��=��kF�(DU�.C��n!�0EJL��+"+ \KMR$F0QJ�$~�.$F)~���.!#D8�&0E '��WF+'���[��$X��`��3kF�=�&kF 'C�)U�[�(��kF0�)UJ��.!�!���+'���d�&��)�b�����.AF!��� /��kF�.),���&�(��WV�m���� "$FG�!�WB��(�d\ ��0�0�C�)F '$B��������$��(0V)* "$FGn��kB���LJ��.!3k*0�W5�()j�&0=D� '��+")�$F�(�KJL0�C#M�!��kB���c��C��j�[0�)FAF+-��C���$F)h?� "!#AB�.+"+/D~!� '��WF+'�.`��3kF�jHw0�A*C#�&kh���d�&kF0�) J��.!=!#��+"���(����) �b������AF!��% /�n '!=�)F�(C� /?.�e�& '?.��0.HB��kF�3WFC��d?� "0�AF!I0�$F�.4R��$F)c���[WF+"0QD�!Z��HwC���(�&�.+VG.C�0QJ3�&k_WFC#0 �(��!�!Z!# "�[ "+"�.C��&0��&k*�����d�&kF0�)�XD,9� '�&�.$F0F`

� �3�.+"!#0�G� /?�� �b��+'0TJs��kF�3 "�[WF+'���[��$X�m���� "0�$)F�d�m�. '+"!�Hw0�CI����mkc���d�&kF0�)�`��3kF� �F "G.G���!��@)F ���(C���$�����b�(�KJL���($_��kF��0�C# "G� '$B�.+X�[�(��kF0V)*!@�.$F)c0.AFCI '��WF+'���[��$X�m�e�& "0.$F!� "!��&kB�����KJ�0�0�HB�&kF��0.C� "G. "$B�.+X�[�(��kF0�)F!)F ')=$F0.�@AF!��3��!#��WB��C&������$F��A*C&�.+V+"����C�$F '$FG��.+'G�0�C# '�&k*�84 �FA*�I�&kF� �(0�$F$F���(�� "0�$=JL�� 'G�kX�&!IJL��C#���.)B�.W*����)�XDE��kF� 1 7�`

�2��� ��� ��� � �����d�����V�T�

A� 'C����(���($���0�)F '$FGE�[�(�&k*0V)F!:)F���(0V)*�n�&kF��WFkF�($F0.�KD�W5�c)* "C����(��+'D%HwC�0.� ��kF�nG.��$F0.�KD�Wb�=!�0E��kB��������mkWFk*��$F0.�KD�WF ��cHw������AFC��c '!���$��(0V)*��) �RDU� �*��(��+'D�0�$F�cG��($F0.�KD�WF � �(0V)*�.`n�3k*�[0.$F+'D8)F "C#���d���$��(0V)F '$FG�[�(��kF0V), '$F!�Wb���d�&��)� "$%��kF "!3!��&AF)*D, '!��&kF�0�$*���XD��� "+"+'��C��d���.+�` N gQi�a�i�Y �5�(+"0QJ`

� ������� � �������"!"��� +%+ ) '%+�� �.+ ( � �$F�,0.H��&kF�,���.C�+' "��!��c��$���0�)F "$FG~�[�(��kF0V)*![ '!=�&kF�%0.$F�,WFC�0�Wb0�!#��) �RD��� "+"+'��C(4Z��0�)F)}�.$F) O �()FG��N gQi�a�iXY `_�3kF�(D~�($���0�)F��)��.$ ����4 � �O{�;������&C# �U "$oJ�kF �mk ����mk ��+'���[��$X�;��$��(0V)F�(!;��kF�_�KDVWb�0.HI�&kF����0�$*$F���d�& "0.$ �5�d�KJ��(��$U�KJL0E$F�(AFC�0�$*!� "$8�.$ �,\K$*��AFC#0�$U$F�d�KJ�0�C#M6`:�3kF�dDU��+"!�0[��$���0�)F��)���kF��KD�Wb�n0.H@��kF���F -�.!�?��.+"A*�.46kF��$�������kF� 4 � � {�;���50Q?.�.`��3kF��?��.+'AF� � 2/��[����$F!:$*0 ��0.$F$F���d�& '0�$ N 0�C�F "�.!mY��.$F) � ���[����$F!�+"���.C�$F��F+"� ��0.$F$F���d�& '0�$ N 0�C �F -��!mYd`I�3kF "!� '!� '+"+"A*!#�&C����&�()j '$��I "G.AFC�� =F`/g�`Z�3kF�$F�d�KJ�0.C�M��&0.W50�+'0�G.D� "!cC#��!��&C� ��(����)s�&0 �b�EHw����)VHw0�C#J��.C�) �XDs "G.$F0�C� '$FGU��$RDhHw����)��B��mM ��0.$F$F���d�& '0�$F!

g�*

Page 28: Evolutionary Design of Neural Networks Marko A. Grönroos Master

gQa

1 2 3 4 5

1

2

3

4

5

source

unit

target unit

0 0

0 0

0 0

0

0

0

0

0

0

L L

L L

L

L

0 0

00

0 0 0

1 3

2 4

5

chromosome: 0 0 0 0 0 0 0 0 0 0 1 1 0 0 0 1 1 0 0 0 0 0 1 1 0

�I 'G�AFC#� =F`/g�< .$�$���,� � !������CX8[����mG��,������$ h��,%���1�2�,�+��������9��8�����(;�����l���,������$��G������k0^����f�����%[���$��G�>9]Eb_���l:�����m������!G9�����9 D�!"�����#���� 3 ���� ���0��'����( ��9���� -���!$� ����' !�����"C 8F����( ��9�9����p���!(&��0�� �����' ��9���� D��8g����(K��������$G��+�_��-�����<����Cp�7 ����$�� D��]�.$*) ��0�$*$F���d�& "0.$F!j�&0 �&kF�U '$FWFA*�j+-��D��(C�`��� "+"+'��C_�(�E�.+�`�AF!��(){W50�W*AF+-���� "0�$}!� (��80.H & 2*4��F��$F��!#!�\WFC#0�Wb0�C#�� "0�$B��+*!��(+"���(�& '0�$�4X�(+" '�� "!#�y0.H�0�$F�� "$*)F '?� ")*AB�.+�4��=A*�&���& '0�$F!@J� '��k �F '�KJ� '!���C&������0.H_y � yXy V4R�.$F)C#����0.�+�F "$F���& '0�$=J� '��k�WFC#0�WB��* "+" /�KD=0.H_y ��� '$[��kF�� 'CZ� �VW5�(C� '���($R��!�`Z�3kF�( "C�C�����0����F "$B�e�& "0.$[0.W5�(C&����0�C�mkF0�0�!#��!��[�j�e�&C� ���(0�+"AF�[$�C&�.$F)*0���+/D�46�.$*)U!#J��.WF!��&kF��C���!#W5���(�� '?�����0�+'AF�[$F!�HwC#0�� ��kF�nWB��C���$X�&�.+G��($F0��[��!��&0���C������&���&k*��0�5!�WFC# "$FG*`I�3kF�:C�����!�0�$F '$FG��b��k* "$F)[�&kF '!�0.W5�(C&���� "0�$[ "!��&kB�e������mk �(0�+"AF�[$C#��WFC#��!��($X�&!��.+'+��&k*�� '$���0��[ "$*G!�(0�$F$F���(�� "0�$F!��&0��_!� "$*G�+"�AF$F /��46�.$*)8�&k* "!�!��d�� '!�!#AFWFWb0�!��()��&0��5���HwAF$��(�& '0�$B�.+)�FAF "+')F "$*G+�F+"0 �mMj0�H���kF�$F�(�KJL0�C�M6`

�3kF�,)F 'C����d�c��$���0�)F "$FGo�[�(��kF0�)sWFC��(!���$X����) �RDr�8 "+'+"��C;�(�[��+�`~ "!�S#A*!#�_0�$F�jW50�!#!� ��F+"��`� ��&k*��CWb0�!�!# �F '+" /�& "�(!�J�0.AF+")+�b�.4eHw0�CI� �*�.��W*+"�.4e�&kF�L��$��(0V)* "$FG�0�H�S#AF!#�I�&kF�L� �V "!��&��$����30.HB '$FWFA*�IAF$F /�&!�4�0�C���kF�$F�d�KJ�0.C�Mc�&0�Wb0�+'0�G.D+�(0�AF+')��b�:C#��!��&C� ��(����)���0�!#0��[��kF�.$F)��(C&��H�����)���0�Wb0�+"0�G�D�`I�3k*��Hw0�C#���(C���$��(0V)F '$FGkB��! �b����$jAF!��()EHw0�C��F$F)F "$*G��&k*���[���.$F '$FG.HwAF+6 '$FWFA*��?��.C� "��F+"�(! N "���mM64F�V��C#�.4F��$F)% �. '�� "$F�($8g�i�i *�Y `�K$F!��&���.)n0.H*��$��(0V)* "$FG@S#AF!#���&k*�L� �* '!#����$��(��0.HV�&kF� ��0�$*$F���d�& "0.$F!�4eJ�� ��0�AF+')n��+"!�0���$���0�)F����kF�� 'C�J��( "G�kX�?��.+'AF��!(4B�.!3J��(+"+ �.!3��kF� �F -��!�?��.+'AF��!(4F0�C���kF���&C&��$F!#Hw�(C�HwA*$��(�� "0�$F!30�HI�&k*�;$*��AFC#0�$F!�� �VWF+' �� /�&+/D�`

�3kF '!�MR "$F)j0.H�)F 'C����d����WFWFC�0���mkF��!�G� '?.��!#��C�0�$*G���0.$R��C�0�+b0Q?��(C��&kF���B$F��)*�(�m�� "+"!�0.H��&kF��$*�(�KJL0�C�M64�FAV����kF�(D�+"��mME!����.+-� �F "+' '�KD�`Z�]� ����$�C��(!�AF+/�� "$,kRAFG��nG.��$F0��[��!(46�.!��&kF�;0�C�)*��C�0.H@C#� #RAF 'C���)8$RAF�+�b��C0.H�G��($F��!� "!�AF!#AB�.+'+'D[�&kF�$RAF�+�b��C�0.H�$F��A*C�0�$F!�! #RAB��C���)�`

��0 ��� $ 0 $ ��3� ��� * . $ �@��� � 0 �$F+/D��&k*� �(0�$F$F���(�& '0�$F!��&kF�����.C���AF!#��)�Hw0.C���$;Hw�(��)*Hw0�C�J���C�)�&0�Wb0�+"0.G.D��.C#����$��(0V)F�()n '$��kF��G���$F0.����`� ��)F0�$*0.����$��(0V)*����kF��� �V "!��&��$�����0�H5��kF� �F -�.! �(0�$F$F���(�� "0�$F!(`� �$[��kF��0.�&kF�(C�kB�.$F)�4XJL�:)*0;�($���0�)F���kF�=� �V '!#�&�($����c0�H@�&kF�n$F��AFC#0�$F!(4 �.!:JL�=J���$R���&0 �b�c��F+'�;��0 ��0.$R��C�0�+��&kF�n!���+'���d�& "0.$U0.HZ�&k*�= "$FW*A*�AF$* '�&!�[0�C��c� �����(�� '?��(+'D.`j�3kF�[0�A*��WFA*��AF$F '��!;�.C��_kB�.C#)V\ �(0V)*��)~�&08�.+'J���DV!;� �V '!#� N �.+/�&kF0.AFG�ko�&kF�dD�[ "G�kX�3$*0.��$F���(��!#!&�.C# "+'DEC����(�� /?����.$XD���0�$*$F���d�& "0.$F!mY `

� � 0@� �10�0 � * 7:$B�.+'D�!# "!�0.HZ�&kF��)F "C#���d����$���0�)F "$FG����d�&kF0�)� '!�$F0���!# "�[WF+"��`��3k*��C��=�.C��;�KJ�0%WFC# "���.C#D #�A*��!#�� "0�$*!�<�BC#!#�3 '!L��kB����k*0TJ�+' "M.�(+'D_ /�� '!LHw0�C��n$F�(�KJL0�C#M��&0��5��+'�(��kB�.+�4R P` ��`'4R�&kF�� "$FWFAV�&!3�.$*)E0�A*��WFA*�&!��.C��:$F0.��(0�$F$F���(�&�()h�&0.G��(��kF��C������.+"+���7�$F0.��kF��C #RAF��!��& '0�$h '!��kB����� �(��C��m�. '$ $F�d�KJ�0.C�Mo�&0�Wb0�+'0�G.D ���.$��b��($���0�)F��)o '$U���.$XD�J���D�!�4 �.$F)UJL�nJL0�AF+')o+" "M��;��0%MR$F0QJy� �*��(��+'D8 "$UkF0QJ ���.$XD�J���D�!�4 �.$F)ok*0TJ

Page 29: Evolutionary Design of Neural Networks Marko A. Grönroos Master

gQi

��kB���:� �5���(��!���kF���.)B�.W*�&���& '0�$�`��3kF��!#�=�.C#� �50.��k8)* � !��AF+/� ��0��+�* "$B����0�C� "�.+�W*C�0��F+'���[!�46�.$*)�JL�n��C��$F0����QJ��.C#��0.HI�.$XD,�.$F�.+'D�!� '!3G� '?� '$FGc)F�(�F$F '�� '?����$F!#JL��C#!:�&0c��kF����`

�2� � � �� �X�G��� L�!�R����� �C�V���

��0��FA* "+") ��0.��WF+'� �r$*��AFC��.+:$*�(�KJL0�C�MR!�4�C#��!����.C��mk*��!EkB��?.� N �.G��. "$6Yn+'0V0.M.��)q����kF0QJ '�[kB�.!��5�(��$)F0.$F�j '$��F '0�+"0.G� ���.+@!#D�!��&���[!�`��3kF���j�.W*WF "$FG,HwC�0.�uG���$F0��KDVWb�j��0�WFkF�($F0.�KD�Wb�E "!)F�d�B$F '����+/D $*0.�)F 'C����(�� "$ �F '0�+"0.G� ���.+:0.C�GX�.$* "!��[!�` � ���.C��~$F0����FAF "+/�,�����0�C#)F "$FGr�&0r)F 'C����(� � �*+"AF�(WFC� '$R��! � �FA*������0�C#)F "$*G���08 '$F)F "C#���d� � C����� "Wb��! � N A*!� "$*G���kF��� �VWFC��(!�!� '0�$F!��RD A���J�MR "$*!�4�g�i�a�^XY `��3kF� � �(0V0�MR '$FGWFC#0 �(��!#! �L "! ���.+'+"�()��&k*� &(�-� & 02�����3>�� >�0.HB�.$=0�C#GX�.$F '!����e��kF��+'0�$FG:�.$F)+�(0���W*+"� �;W*C�0 ����!#!@0�C�!�WF+' '�#�& "$*G�.$*)o!�Wb���� "�.+" (����� "0�$80.H ���(+"+'!�����(0�C�)* "$FGE��0E�&kF�=C#AF+"�(!���$���0�)F��)� "$���kF�cG��($F0��[�.4�J� /�&kU�&k*�c�.)FAF+/� '$F)F '?� ')FAB�.+��.!3�&kF�C��(!�AF+/��`

���.$XDh0.H��&kF� �(AFC�C#��$X�_�(?.0�+"AV�& "0.$B�.C#D�$F�(AFC&��+�$F�d�KJ�0�C#M��[�(�&k*0V)F0.+"0�G� '��!kB��?����b���($r "$F!#WF "C#��)�XD[�&kF���$�,� 2���-= ��9 ����!�� 9 >�� ��=?> N �\���D�!#�����[!mY `Z�3kF�:Hw0�C#�j��+" "!#���.$*)%�.$%�.W*WF+" ������� "0�$_0.H���kF "!� ")*���J��.!3 "$X��C�0�)FA����()��RDE� "$F)F�($F���QD.��C N gQi *.^XY 4V0.C� "G. "$B�.+'+'D_��!3� 0��#��= = ��� �7���.WFW*C�0X��mkEHw0.C���0�)F�(+" "$*GWF+"�.$X���[0�C�WFk*0�G���$*��!� '!�`;�3kF�_G�C&�������.C�!�0.H��.$~�\K!�DV!��&�(� ��0�$*!� "!��0.HL�E!��d�0.H � �*&� � -��� �7&(� �� "� �3>��kB�����.C��:AF!��()E�&0nG.��$F�(C&���������[0�C�W*kF0�+"0.G� ���.+F)F�(!���C# "W*�� "0�$�!#��C� "$*GF`@�3kF��W*C�0 ����!#!�0.H���WFWF+'D� '$FG;��kF�C#AF+"�(!� '!����.+"+'��) >�� ���,�20�! �*��% ���,� �,�20.` � �[!#�m��C#�;�&kF��!#�&C# "$FGe\KC��dJ�C� /�& "$*G,J� /�&k �.$h '$F '�� -�.+I!#�&C# "$FG N ��kF���� �7&(=;Y `>�� �mk�+'�(H���\KkB�.$*)U!� ')F�=0.HL�EC�A*+"�nHw0�A*$F)o "$���kF� ��A*C�C��($X�!#�&C# "$FG% '!�C#�(J�C� /������$ N C#��WF+"����()6Y�XDU��kF�_C� "G.kR��\KkB��$F)o!� ')F�.` �B0�C�� �F����WF+'�.4� /H�JL�_�BC�!���kF�Q?.�[�.$ '$F '�� -�.+ !��&C� '$FG � ���=�.$F)oJL�j��WFWF+'D��kF�C�AF+'�

� w � !���� ��!�� N =F`/gTYJL�8G.�(�_�&kF��!#��C� '$FG � ��\ � ��� � \ ���&` �{kF�($}JL�U��WFWF+'D �&kF��C�A*+"�,�.GX�� "$�4�J���G��d� � ��\ � ��� ��\ ��\ ��\� ��� ��\ � ��� � \ � ��� ��\ � \ ��\ � ��� ��\ � �&`��3k*�8C#AF+"�(!���C��%AF!#AB�.+"+/Ds�.W*WF+" '��)sHw0�Cc!�0.���,WFC#��)F�d�B$F��)$RAF�+�b��C0.HL '����C����& '0�$F!�`=>�� �mk !��&C� '$FG%J�kF �mk�kB�.! �b���($ G��($F��C����&�()h '$o!�A��mk �j�.$*$F��C�=AF!��kB��?���o!�0.AF$F)r "$X�&�(C�WFC#�(�&���& '0�$��&0 �b�,AF!��dHwAF+�` �3kF�,!#D��+�b0�+"! �!7�� 7 � � ���.$ �b�%AF!��()}��0o)F "C#���(�c��kF��[0Q?����[��$X�0.HL� � �&AFC��&+"�.��0�$~�E!�AFC�H �����`n�3kF�c��AFC#��+"�=C#���.)F!���kF�c!#��C� '$FG%�.!�E+' "!#��0.H ��0��[���.$F)F!(�� ���[�����.$F!�&kB�e�n�&k*���&A*C#�&+'�j!#kF0�AF+') J��.+"MoHw0�C�J��.C#)�4 � \ �_�[���.$*!��&kF���= /�n!#kF0�AF+') �&A*C�$�+'�(H���4I�.$F)� ����C# "G�kX��`~�]H�JL�8�e���m� �mkr�UW5�($r��0U�&kF���&AFC��&+"��4@J��%G.�(�[�U)FC��QJ� '$FGU�&kF���c "!�!�kF0QJ�$} "$ �I 'G�AFC#�=F` $ �*`��3kF '!� "!���(��AB�.+'+'D��[HwC���(�&�.+� "$X�&C#0V)FA�����) �RD�9:0 �mko "$ gQi 2 =*`:�]�� "!�$*0.�:D.�(��?.��C�DUAF!#�(HwAF+�Hw0�C�[0V)*��+" '$FG=�[0�C�W*kF0�G��($F��!# "!�`

�]H�J�� "$X��C�0�)FA����:�KJ�0_$F�dJ�!#D��+�b0�+'!�4 ��� � �.$F) �� �&4VJL�����.$,��0.C������.!� '+'D�G��(� � 0�C�G��.$F �.��\]+"0�0�MR "$FG)FC���J� "$FG�!(`Z�3kF�:�FC�!#��!#D��+�b0�+�4 ��� � 4V!��&0�C#��! N WFAF!#kF��!&Y��&kF�:W50.!� '�� "0�$��.$F)�)F "C#���d�& "0.$j0.H���kF�:��AFC#��+"��0�$��0�W�0.H@��!��m��mM6`��3kF�;!����(0�$F)o!�DV���50�+P4 �� �m46C��(!#��0�C��(! N Wb0�WF!&Y3��kF��&0�WF�[0�!��:!��&0�C#��)UWb0�!# '�& '0�$%HwC�0����kF�!#�m� �mMb` � �����.$,$F0QJp���.M.��G�C��.�[�j�.C#!�!�A��mkU�.!

� w ��x � xQx � | ����| ����x���� | ����|� w ��� � N =F` $ Y

�3kF��C��(!�AF+/��0.H��&kF '!:G.C&�.�[�j��C ���.$ �5�;!��(��$o "$ �I 'G�AFC�� =F` $ ��`��]�� '! �(+"����C�+'Dj?���C�D�WF+-�.$X��\K+" 'M.��`��3kF�!��&0�C# "$FG�\]0�Wb��C&�e�& "0.$�!� "�nAF+-������!��&k*�L!#WF+" /���& '$FG�\]0�W5�(C&���� "0�$�0.H��(��+"+'! N 0�C�WF+-��$R� �FC��.$��mkF�(!mY "$��* "0�+'0�G� ���.+0�C#GX�.$F '!��[!�`

Page 30: Evolutionary Design of Neural Networks Marko A. Grönroos Master

$ 2 ? �A@ ? *B@

�I 'G�AFC#� =F` $ <�PQ`�\ m���� - !������] �;P �7�& #��� 3 �#�� H�#��� \�0���� �k0^�;"�����#���$��� �2���%���] PQig\ m�#�� D !������] �4(&�#�n0��o0����:��#���� #��$��GD����G9��������� 3 �����l���,�����$���;�k����%��,]A���J�MR "$F! N gQi�a�^�YkB��!=AF!��()r��!� '�� '+-�.C��[0�)F��+��&0U '+"+'AF!#��C&�����_��kF�E�d?�0�+'A*�& '0�$h0.H��[0�C#WFkF0�+'0�G.D�`

O �cAF!��() $F '$F� ���(+"+@)* '?� "!# "0�$UWF�.C&�.�[�(����C#!��&0��FAF '+")oG�C��.WFkF ����.+ 0.C�GX�.$* "!��[!�� ����+"+"�() = &(� � ; >d` O '!C#AF+"�(!�J��(C��:S#AF!��)F '?� '!� "0.$U�.$FG.+"��!��.$F)o+" '$F�n+'��$FG��&kF!(4�C��(!�AF+/�& "$*GE "$U)*C&��J� "$FG.!�?� "!�AF�.+"+/D8!# "�[ "+"�.C3�&0�\K!�D�!#�&�(��!(`

� "$F)*��$F����D���C � !30.C� "G. "$B�.+6WFA*C�Wb0�!���Hw0�CL�&kF���\]!#D�!#�����[!�J��.!���kF� ��C#������ "0�$j0.H AB&(��=?>L0.H W*+-�.$X�&!(4�FAV���(C����e�& "$*G�!#0��[�(�&k* "$FG,�&kB�e��+'0V0.M�!+' "M.�[�,WF+-��$R�;)F0���!#$ ���n�[���.$��&kB�e�� /��J���!���0.$F!#��C�A��d�&��)h "$��kF�n!��.���;J���D��&kF�nWF+-�.$X����(��AB�.+'+'D,G�C#0TJ�!(` "� '0�+"0.G� ���.+��&C#���(!��.C���G�C�0QJ�$ �XD8)F '?� ')F "$FG!���(+"+'!�4b$F0.�J� /�&ko�&AFC��&+'��!�4�!#�&��mMo0�Wb��C����& '0�$F!�0�CG�C��.�����.C#!�`c�3kF�[!#��C� "$*G�\KC#�(J�C� /�& '$FG%!#D�!#�����[!n��C��.4�kF0QJL�(?��(C�4�����[W*�m���� '?.�� ")F���.+" (����� "0�$F!�Hw0�C���kF��!#��WFC#0 �(��!#!���!(`

"� '0�+"0�G. ����+�0.C�GX�.$* "!��[!=)F�d�B$F /�&��+/D�)F0~$F0����(0�$X�m�. '$sWFC�0�)FA��d�& '0�$rC�AF+'��!��L�&kF�dD ��0�$X�&�. "$rG��($F��!J�kF ��mkU�.C#��J�C� '�#�&�($� "$%��kF� A��:7n`b�3kF�;WFC�0 ���(!�!��&kB���:��d�&AB��+" )((��!3�&k*��C#AF+"�(!�J�C# '�#�&��$8 "$�A���7t "$�\?.0�+'?.��!������mkB�.$F '!��[!���kB����)F����0�)F����kF� A��:7�!�� #�A*��$��(��!3 "$X��0;W*C�0.���� "$*!�`@�3kF '!� "$X?�0�+/?��(!�!�A��F�����mkV\�.$* "!��[!;+" "M���G.��$F�j��(�� '?����& '0�$�4 �&C��.$F!��(C� 'W*�& '0�$h0.H!A��:7��&0U���:��7 ��$F)h�&C��.$F!#+-���� "0�$�0.H3���:��7��0EWFC�0��&�� '$F!�`��3k*�cG���$F�(!�.C���$F0.��)*����0�)F�()�!# "�=A*+'�m��$F��0�A*!�+'D.4 �*A*��0�$F+/D8��HwC&��d�& '0�$U0.HZ��kF�=G��($F��!�.C#�%��d�& '?.�,���c�UG. '?��($s�& "�[�.`o�3k*�%�����mkB�.$F '!�� ��kB��� �(0�$X�&C#0�+"!n��kF "!nWFC�0 ���(!�!c "!����.+'+"��) 02������� �7��*�70� 2�1��� �7&(�B`

����C� "$*G�\KC#�(J�C� /�& '$FGj!�DV!��&�(��!;kB��?�� �b����$�AF!#��) �.!�.$~ ")F���.+" (����� "0�$80.H�G���$*�(�& ��cC��(G�AF+-�e�& "0.$o�.$F)�(��+"+�)F ���(C���$X�&���& '0�$U "$��j�.$XD8!#��AF)F "�(!�)F���.+" '$FG�J� /�&ko�(?.0�+"AV�& "0.$B�.C#D�$F�(AFC&��+I$F�d�KJ�0�C#MR!; '$��&k*�=+-�.!��Hw�dJ D�����C�!�`o�V0��[�j�.W*WFC�0X� �mkF��!=kF�Q?.�%AF!��() 02������� �7� �*�70� 2�1��� �7&(� ������%'&(�3) >�Hw0�C;��kF "!� ")F���.+" (����� "0�$ '$F!#�����.),0.H�G�C&�������.C�!(4*!#0�����0�HIJ�kF ��mk��.C#��C��d?V '�(JL��)8+-������C�`

�2��� � � �T�_�G� � �����d�����V�T���

�3kF�L�&C��($F)_ "$=�($���0�)F '$FG��&k*��7��:���&0�Wb0�+'0�G� "�(!�kF�.! �b����$=��0QJ��.C#)F!Z "$*)F "C#���(� N 0�C�J����.MVYI��$��(0V)* "$FG�!(`�3kF�dD��.C���� �VWb���(����)=��0�D� "�(+")��5�d���&�(C�!����.+"��F '+" '�KD��.$F)��5�d������CI)*�(?��(+"0�W*���($R��0.HB�[0�)FAF+-��C�kF "�(C&�.C��mkRD.`

Page 31: Evolutionary Design of Neural Networks Marko A. Grönroos Master

$ g� ������� � ���$) ' �3kF� 0��#� � ; 02�������#�����7&(� 0��#��= = ���:)F�d?��(+"0�Wb��)��RD O "C#0X�.MR Z9� '�&�.$F0 N gQi�i 2��4ZgQi�i 2���Y: "!�.$�����C�+'DG�C��.�[�j�.C���$���0�)F "$FG����d�&kF0�) �B�.!#��)_0�$ ��0.$R��� ���#\�HwC��(���.$F)c)F�d�&��C#�� '$F "!��& ����\K!�D�!#�&�(��!(`@�3kF�3G�C��.�c\���.C �(0�$X�m�. '$F!�WFC�0�)FA��d�& "0.$�C#AF+"�(!30.H��&kF��Hw0�C#�

� w ��� �� �� N =F`'%XY

J�kF�(C����&kF��+"�dH��#\KkF�.$F)V\]!� ")*� N O �FY=0.H���kF��WFC�0�)FA��d�& "0.$� '!���!#D��+�b0�+��.$F)}�&kF��C� 'G�kX�#\KkF�.$F)V\]!� ")*�N � O �FY� "!;� � � � �����&C# �U0.H�!�DV���50�+'!�HwC�0�� ��kF���.+"WFkF��5�d� � 7 � 7 �a�Q� 7� 7���7 � 7 �Q�a� 7 � 7�y 7p{��R`_�3kF�G�C��.�[�j�.C� '!)F '?� ")*��)h '$X�&0,�KJ�0UWF�.C#��!�<n��kF� 5(������� � � � � �����P4��.$F) �&kF� �3&(� >�� ���-� � �����P`%�3kF�[?��.C� \��*+"�oWB�.C��, "!E��kF�~0�$F�~��$��(0V)*��)� "$|�&kF�~G��($F0��[�~�.$F)� '��!, O �z!#D��+�b0�+"!��.C#�UHwC�0�� �.+"WFkF��5�d� � 7 � 7 �Q�a� 7 �R`��3kF�=!#�&�.C#�:!#D��+�b0�+ � � �; "!�G�AB�.C��.$X�&�(��)���0j� �V '!#���.!:��kF�n O �80.HI��kF���FC�!#��C�AF+'� "$��kF��G���$F0.����`I�3kF� ��0�$*!#�m��$R��WB��C#� ��0�$X�&�. "$F!3g�^C#AF+"�(!ZHw0�C@�&kF��+'�(H��#\]kB�.$F)�\K!� ')F��! ��7 � 7 �Q�Q� 7 � �R4�J�kF �mk�(0�C�C#��!�Wb0�$F)8�&0j��kF�jgQ^[W50.!�!� ��F+"� � � � \K�����&C# ���(!�0.HZ0�$F�(!��.$F) (���C#0�!�0.$��&kF�n� O �������&C# �5`��3kF�0�$*��!��.$F)�(��(C�0�!��.C#�;C#�(J�C# '������$%J� '��k

y w � y yy y � 46�.$F){;w � { {{ { � � N =F`>=RY

�]�� '! ��0��[��0.$%)FAFC� '$FG=�&k*�;C#�(J�C# '�& '$FGcWFC#0 �(��!�!3��kB���3�&k*��C��� �* '!#��!�$*0[C#AF+"�� '$%�&kF��G�C��.�[�j�.C�Hw0�C���(��C#�&�. "$~!�DV���50�+ N � 7 �Q�Q� 7 ��Y� "$o�&kF�[!#��C� '$FGF`c�3kF0�!#��!�D��+�50.+"!;�.C��c '$X�&��C#WFC��d�&�()��.! � )*���.)��&4 �.$F)�.C#��C#�(J�C# '������$8AF!� '$FG���kF�n!��.���;C�A*+"���.!�Hw0.C ((��C�0.!�`��]H@�&k*��C��n�.C���KJL0EC�AF+'��!�J� '��k8�&k*��!��.���� O � '$U�&kF�_G��($F0��[�.4��&k*�=�BC�!���0.$F�c "!�AF!#��)�`c�3k*�[C#�(J�C# '�& '$FG% "!�����C#�� '$B���&�()~��H��&�(C��%WFC��()F�(����C#�� '$F��)$RAF�+�b��C�0.H� '����C����& '0�$F!�`�7�+'+�$F0�$V\]$�A*���(C� �[!#D��+�b0�+'!n!#�� "+'+�W*C���!#��$X�_ "$��&kF�j�j����C� ���.C���C��(WF+-��(��)J� /�&k (��(C�0�!(`

�3kF��)* -�.G�0.$B�.+��F /��0.H���kF�:�F$B�.+b�j����C� �_��$��(0V)*��!���kF��WFC#��!��($F!���0.C���*!���$*!���0.H ��!�Wb���� /����A*$F '��4�.!� '��)* ")% "$��&kF���($���0�)F "$*G+�XD,�8 '+"+"�(CL�d���.+�`I��0c���.M.�:�&kF��$*�(�KJL0�C�Mj��0�Wb0�+"0�G�D[Hw�(��)*Hw0.C#J��.C�)�4F�.$XDHw�(��)��B� �mM ��0�$*$F���d�& "0.$F!�.C��nC����[0Q?��()�HwC#0��v��kF�+�(0�$F$F���(�& '0�$~�j�e�&C� �5`��3kF�_)F���(0V)F '$FGEWFC#0 �(��!#!; '! '+"+"A*!#�&C����&�()E "$%�I 'G�AFC#� =F`?%V`

9� '�&�.$F0%AF!#��)~�F�&$F�(!�! \KWFC#0�W50.C#�& '0�$B�.+I!���+'���d�& "0.$�4���+' '�& '!���4�!# "$FG�+'�c�.$F)~�=A*+'�& 'WF+"����C#0�!�!#0T?.��C��.$F)�=AV�m���� "0�$F!(`���A*�m���� "0�$*!:JL��C��n)F0�$F�+�XD �mkB�.$FG. "$FGj�j!#D��+�b0�+I '$8��kF�+�mkFC#0���0.!�0��[��C��.$F)F0.��+/D%�&0!#0�����0.�&k*��C�J� /�&ko�.$~��)B�.W*�� '?���C&�����n?��.C#D� '$FGjHwC�0.� $�� ��0 % 2 � 4�)*��Wb��$F)F '$FG%0�$���kF� O �.���[ "$*G)F '!#�&�.$���� N $RAF�+�b��C�0�H��[ "!#�j�e� �mkF�(!mY �b�(�KJL���($���kF���KJL0cWB�.C#��$X�&!(` O "G�kj)F "!��m�.$��(��C��(!�AF+/�&��)% '$E+"0QJ�=AV�m���� "0�$%C����&��.$*)�?� �(��?���C#!&� N �����0�C#)F "$FG=��0E�� '� �mk*��+"+P4�gQi.i�^XYd`

9� '�&�.$F0 �(0���WF�.C��()�k* "!��[�(��kF0V)U��0E�&kB�e� �RDo�8 "+'+"�(C��(���.+�`J� '��k =�\ �R\ =,��$F)~ae\ �R\KaE)F���(0V)F '$FGWFC#0��F+'���[! N !#������kB�.W*����C�&�Yd4QJ�kF ��mk;�.C��@��C&�.)F /�& '0�$B�.+T�&�(!#� �b��$��mkF��!� "$��&kF�Z!��&AF)VD0.H�$F��AFC��.+X+"���.C�$* "$FGF`O ����C&�. '$F��){�&kF�~$F�d�KJ�0.C�MR!UAF!# "$FGr�&kF��!#�&�.$F)B��C�)��B��mMRWFC�0.WB�.GX���� "0�$��.+'G�0�C� /�&kF��` �3kF��C��(!�AF+/�&!!#AFG�G��(!#�&�()|!�0��[�(J�kF����H ��!#�&�(C��(0�$X?��(C�G��($����~�.$*) �b�(������C�!�����+" "$*G WFC#0�Wb��C#�� "�(![Hw0�Cc��kF��G�C��.�[�j�.C�($���0�)F "$*GF` O �_�.+"!#0%�(?��.+'AB���&�()U�&kF�c!����.+"��F '+" '�KD�0.H���kF�c���d�&kF0�) �XD���C#D� "$FGE?��.+'AF��!�0�HC&�4Zg32*4 $ 2V4�.$*) = 2 �.!���kF�8$RAF���5�(Cj0.H���kF�8?��.C# -��*+"�%WFC#0V)FA��(�& '0�$qC#AF+"�(!��($���0�)F�()z "$}�&kF�8G���$F0.���(!�`{�3kF�+'0�$FG��(!#��0.H��&kF�G��($F0��[��!�GX��?�����kF� �5�(!#��C��(!�AF+/�&!����3�&k*�;�($F)�0�H���kF��(?�0.+"A*�� "0�$%C#AF$F!�`

Page 32: Evolutionary Design of Neural Networks Marko A. Grönroos Master

$ $

0 0

0 00 0

0 00 0

0 10 0

01

0 00 00 0

0 10 0

1 101

11

0 00 00 0

0 00 0

0 00 0

0 0

0 10 00 00 00 10 10 00 0

C D

A B a c

c p

ea

a a

a

a a

a

a b

a aS

10

2

7

3

0 0

0 0

a b

a a

0

01

1

0

0

1

1 1

1

1

10 0

0 1b

C

D

S

a

BA C D

c e p

A

B

S

C D

A B

A B D A B C

a c

c p

ea

a a a

a a

a

C c p a c a a e a a aa

�I 'G�AFC#� =F`'%*<��E�, ��&(&$��G�� G��#�� D !���oPe��C��� -%���� 3 ��9 �6���������8 �������9\H] PQ`�\��A������ D�9��� D�;������=�,�� ��&(&�1�=�G��#�� D !���1]7Peic\�b_���B%����p(��� H����9�4�����$�,�,]mP��9\7��%�%��$>p���G!����lG��#�� D !���^�� 3 ���� �D:[�p���$�,��� P�.��$�$���H\� !������C ]mP�� \b_���6��1�2���"�����GD�����k0A�9�f��0 ��� $ 0 $ ��3� ��� * . $ �@��� � 0� �o��$��(0V)*��)�4: "$|0�AFC%� �VW5�(C� "�[��$X��!�4�^ =�?.��C� -� �F+"�8WFC�0�)FA��d�& "0.$|C�AF+'��!% "$z��kF�oG��($F0��[�U0.H;����mk '$F)F '?� ')FAB�.+P4�J� '��k $ ^ ?��.C� "��F+'�U O �q!�DV���50�+'!�`�7�!EJ� /�&kz��kF�U�[�(�&k*0V) �XD{�� "+"+'��C[�(�,��+�`/4���kF�0�AV�&WFA*��A*$F '��!�JL��C#�n��+'J��QD�!���$F��F+"�(), "$%�&kF� �(0�$F$F���(�& '0�$��j����C� ��`

� � 0@� �10�0 � * � ����C��, "$X�&�(C��(!#�&�()z "$rJ�kB���[$F�d�KJ�0.C�MR!EG��($F��C����&�()�HwC�0.� C&�.$*)F0�� G��($F0��[��!��.C��,+" 'M.��`z��(��AF!�.!#!�AF�[����kB����JL��kB��?.� ���o?.��C� -� �F+"��!#D��+�b0�+'! N $ ^��RD�)F�dH �.AF+'�mYd4 �� �(0�$F!#�&�.$X�3!#D��+�b0�+'! N g�^�J�kF��$��kF��� O �_�j�e�&C� �_kB�.!�!� (�� � � � Y��.$*) � �LC�A*+"��!L��$��(0V)*��)E '$[��kF�:G.��$F0��[�.`I�3kF��WFC#0�WB��* "+" /�KD=�&kF�������+'���.!���0�$F������ �mkF '$FGcC�A*+"��J� "+'+)�b��Hw0�AF$F)� "!

� �� � � & { � 4�{ � {��� ;

� � N =F`?&�Y

�3kF '!=G� /?���!=��50.A*� *Vg � �B0�C�� � & � � C�AF+'��!c��$F)r��b0�A*�ci $ � Hw0.C � � & ��� C#AF+"�(!�`��:0.���j�&kF�����kF�~!#�m��C#��!#D��+�b0�+� "!%G.AB�.C&��$R�����()��&0r� �* '!#�� "$|��kF�~G���$F0.����4�!�0r�&kF����b0Q?���� #RAB���� "0�${ '!%$F0.������AFC����&��`j�3kF�[WFC#0�WB��F '+" /�KD8��kB���n��G� /?��($ !�DV���50�+Z '!;�%�(0�$F!#�&�.$X�n0.$F�� '! ��+"���.C�+/D �� & �������� ���

Page 33: Evolutionary Design of Neural Networks Marko A. Grönroos Master

$ %�������������� �� ����������� ��������� ����������� �� �������������� ��� ��!"�����#� ���� ����$ % $ $ $ $ $% & '#( )�% $ '#( )�% $ $& * + %#),+#( - ),$#' +#+ )/.0% &*�),$#( %"1 ),$#-' ( .�1 ),'#1 & )/.0% (#& )�% '#+ ),$#+ &#- ),( %* %"+ (#( ),1#& %#) *2- 1#$ ),'3. *2& ),- ' %#),1#+- '#& 1*�),$* $ )/.�( 1*�),(#& *2- ),13. '#- ),&3.+ +* 1#+ )/.�1 $ ) *2& 13.0),&#& *4.0),(#' '3.0),$#-

����F+'� =*`'g�< �cC&%��1 H���,(;��C����$���4� 3 ���$�� D���+������;�����B(&�, ��&(&���G! D�����"C40�"���;����<�,�� ��&(&$��G! D�������&(;:p> �6"�#��������7���a]cb_���1�2�</����$���1����%�%��$>'0����,�4����,��<�����65 �-������1�_���� ��p(��,(4��4�����<G��,���� D��]�.$*)=� �VWb���(�&���& '0�$c "!E�� & � ��j0.C@��b0�A*��g�` & $ ��0.$F!#�&�.$X�Z!#D��+�b0�+"!�W5�(C@C�A*+"��Hw0�CI0�A*CI)F�dH �.AF+'��?��.+"AF�(!N ��50Q?.�QYd`

� �!���.$�$F0QJ ����+��A*+-�����n�&kF�_WFC#0�WB��* "+" /�KD8��kB���;�����(C#�&�. "$~!#D��+�b0�+Z '!����V��) N � �a�Q� � 7�yE7p{ ��Y����� �&k� '�&�(C&���� "0�$ N � * {TYLJ� /�&k,C�����AFC#!� '?.�n��+"G�0�C# '��kF���7 4 � ;Dr & { � 4�{ � ��8 4 � ��{�; ; � 4�{ � �� ;�:9�4 � ;Dr &�4�{ � � � � � ; � 4�{ � ��8 4 ��� {�; ;��8 4 � ;Dr & ��7 4 � ;�� �:9 4 � ;� � 4 � ;Dr & � 9 4 � ;�� y � � ��8 4 ��� {�;� � 4 � ;Dr & y � � �:7 4 � ��{�; � # � �+ � �� �:934 � ; 7

N =F` ^XY

J�kF�(C�����kF��WFC#0�WB��* "+" /�& '��!��.C���<���kF��WFC#0�WB��* "+" /�KD ��7�0.Hb�:� �*�()c!#D��+�b0�+�4 � 9 0.Hb���[ "!#!� '$FG�C#AF+"��4 ��8c0.H��0.�m�.+6���V��),!�DV���50�+'! N �.+"!#0nHwC�0�� ��kF���[ "!�!# "$FG�C�AF+'��!&Yd4 � � 0.H�(���C#0�!�4F�.$F) � � 0�H�0.$F��!(4FC��(!�Wb���(�� '?.��+'D.`�3kF� '$F '�� -�.+b�j�e�&C� �EkF�.!

��7 4y ; & �:9�4y ; & ��8 4y ; & � � 4y ; & � � 42y ; & y � N =F`?*�Y7:+"!�0*4 �b�����.AF!#���&k*�[�BC#!#��C�AF+'�_ "!�G�AB��C&�.$X�&�(��)��&0�� �V "!���4 � 9 4�{�; &�y8�����kF�[�FC�!#�� '����C����& '0�$�`_�3kF�$RAF�+�b��Cn0.H (��(C�0�!cG� /?��($ �RD �&kF�(!��%� #�AF���& '0�$F!= '!��&k*�E$RAF�+�b��C=0.H����V�() ((��C#0�!���C��(���(�+�5�(Cn�&kF�����H�����Cc�&k*��C#�(J�C# '�& '$FGokB�.!c�B$* "!�k*��)z��+"+�$F0.$V\K$RAF�[��C# �%!#D��+�b0�+'!_�.C��,C��(WF+-� ����)rJ� '��k (���C#0�!�`��3kF�WFC#0�WB��* "+" /�& '��!�Hw0�C � � & ��� ��C���G� /?��($c "$=����F+'� =F`/g�`I�3k* "!�����+'+"!IA*!I�&kB�e�@�&kF�� "$F /�& -��+���0�$*$F���d�&��)*$F��!#! '!�!#0��[�(J�kB����4-�FA*��$F0.�:!� 'G�$F '�����.$X�&+/D�4F+'0QJ��(C���kB�.$�J� '�&k,�&k*���($���0�)F "$*G��[�(��kF0V)��XD��8 "+'+"�(C��(���.+�`J�kF�(C����&kF��WFC#0�WB��F '+" /�KD�0.H*0�$F��!��.$F) (��(C�0�!� "! � #�AF�.+�`��3kF "!�!�k*0�AF+");C�� �B���d�I��0���kF��$�A*�+�5�(C�0�HF+"�d�&kB��+$F�d�KJ�0.C�MR!c "$��&kF�� "$F /�& -��[email protected]+-�e�& "0.$�` O 0QJL�(?.��C�4ZJL�E�=AF!��=$F0��&�_�&kB�����&kF�j��b0T?.� ���.+�(AF+-���� "0�$*!G� /?��LS#AF!����&kF�;��?��(C&�.G��WFC#0�WB��* "+" /�& '��!�4�$F0.�3��kF�� 'C�?��.C� "�.$�����`Z�]�� "!3���.!#DE��0_!�����&kF���3�&kF�G�C��.�[�j�.C�($���0�)F "$*G�WFC#0V)FA�����!n� ���&C#���[��+'D �(0�$F$F���(�&�()s0�C;!�WB�.C#!��E '$F '�� -�.+I$F�(�KJL0�C�MR!c�=A��mk���0.C��[WFC�0��F��F+'D��kB�.$,�&kF�)F 'C����d����$��(0V)F '$FGF4B��!���kF��C#�; '!3kF "G.k �(0�C�C#��+-�e�& "0.$��5�d�KJ��(��$8��kF�;$F�� 'G�k'�50�A*C� "$*Gc��+"�(���($X�&!0.H��kF� ��0�$*$F���d�& "0.$�������C� �5`��3kF����?��(C&�.G��oW*C�0�WB� �F "+' '�& '��![G� '?.��$ �XDz��kF� ���.+���AF+"���& '0�$F!�!�kF0�A*+")��kF��C#�(Hw0�C#���b�;�.)eS#AF!��&�() �XD%�&k*�;!# )((��0.H���kF� "$F /�& "�.+5Wb0�WFA*+-���� "0�$%��$F)���kF��?��.C� "�.$�����`

�V ')F)F #R ���$F)��A����.! N gQi�i.aXYLkB��?����.+'!�0_�j��)F��!�(0��[WB�.C� '!�0�$��b�(�KJL���($��&k*�;)* "C����(�:�.$F)�G�C��.WFkG�C��.�[�j�.C��($���0�)F "$*G�!�45AF!� '$FGj�&k*�=!&�.�[�n�($���0�)F�(C�WFC�0�F+"�(� N !����c��kB�.W*����C &�Y��.!�9� '�&�.$F0�AF!��()o "$

Page 34: Evolutionary Design of Neural Networks Marko A. Grönroos Master

$ =? �A@

neuron expressionx physical position

branching anglesegment lengthsynaptic weightbiasneuron type

y -’’- -’’-

? *<@ ? � @

�I 'G�AFC#� =F`>=F< �A�9���k����� H�$���)� 3 � ������� ����( �c�����27�����k0^����fX]��2`�� ���,������� �������:��&��1�������;��1��( 3 ���� ����G��,���� D��]��ki�� ���,����9���7����<%[�9���$�����1(.��;�k0^� ��(&$ D�������9�����F�2%��9 ��h����(.��C&�9�;������,�E�2%���9�&� 3 ���� ����l��������������]� ��� �A�������1 H����9���^��-�����G9�������,����9���������m�,�2����:�����2���,( ]kF '!"��0.��WB��C� "!#0�$ N g�i�i 2��XY `�3kF�(D �(+-�. '���()��&kF�����&k*� ��0��[WB�.C# "!�0.$o�j�.)*�+�XD~9� '�m��$F0jJ��.!�AF$*H �. 'CHw0�CL�&kF�)F 'C����d����$��(0V)* "$FG �b������AF!��;9� '�&�.$F0cAF!#��)�WFC�0�WF��F "+' '�KD ��� & y � �=�&kB�����cG� /?��($%�(0�$F$F���(�� "0�$JL0�AF+') �5����$B��*+"��)% '$j�&k*��)F "C#���d����$���0�)F "$FG*`@�3kF�(D�Hw0�AF$F)E��kB���L�&kF��)* "C����(�3�($���0�)F '$FG=Wb��C#Hw0.C��[��)�=A��mk �5�d���&�(C�J� '��kUkF 'G�kF��C:WFC�0.WB��F '+" '�� "�(!�4BHw0�C�� �*�.��W*+"��J� /�&k ��� & y � ` � �nJL0�AF+')o+" "M�����0E!��(�.4��H�����C �(0�$F!� ')F��C# "$FG���kF "!@J� /�&k_0�AFC��.$F�.+'D�!� '!Z��b0Q?��.4R�&kF����9� '�m��$F0�� ! ��0��[WB�.C# "!#0�$=J���!L$F0���!�0AF$*H �. 'C��H�����Cn�.+"+P4I!� '$����E��kF� �(0�$F$F���(�& '0�$sWFC#0�WB��F '+" /�& "�(!�Hw0�CnkF '!=��$���0�)F "$FGUJL��C#�,�.+"!#0 #RAF '���E+"0QJ`o7:+"!�0*4��kF "!�0.W*�& '�j�.+ �(0�$F$F���(�& /?� '�KD8�j��D8)F��Wb��$F)�0�$U��kF�=WFC#0��F+"�(�845!�0%�&k*�+�5�d������C�WFC#0�WB��F '+" /�& "�(!3Hw0�AF$F)�XD~�� ")F)F #R @�.$F)~�A����.!����QD8$F0.��kF0�+")UHw0.C�0.�&k*��C�WFC#0��F+'���[!�`�]� "!��j?.��C�DUG�0�0V)o!��m�.C��& '$FG�\KWb0� '$R� '$,��kF���$��(0V)*��C�WFC�0��*+"�����&kB�e����+"+���kF� "$FWFAV�&!��.C���($B��F+'��)8�.$F)%��0�$F$*���(����)��&0��.+"+b�&kF�;0�A*��WFA*�&!(4J�kF ��mk�JL0�AF+") �5�n��mkF "�d?��()UJ� '�&k ���$& { � y*`��3kB����)F 'C����(�&+/D,G� '?.��!���J�0.C�MR "$FGj!�0�+'A*�& '0�$���kB��� ���.$��kF��$!�5�3W*C�AF$F�()[��0+"����C�$[� �F '�@H ��!#�&�(C�`@�3k*�� "CZ$*0.�& '0�$c)F0���!�4RkF0QJL�(?.��C�4 �FC� '$FG�Hw0�C��&k_0�$F�3WFC#0��F+'����< /�� "!$F0.�;��!;���.!#D��&08�.)eS#AF!��;��kF� ��0�$*$F���d�& "0.$�W*C�0�WB� �F "+' '�KD�Hw0�C��&kF�_G�C��.�[�j�.C:��$��(0V)* "$FG��.! '� '!Hw0�C���kF�)F "C#���d����$��(0V)F '$FGF`

� ����� � � � #,)�'%+�� ) ! � � � ������������������������! #"%$����'&��(�����)�*�+��$-,*.0/1"2��30����$546���������87�9;:�: $=< 9;:2: =?> < �+�����@��A��("2���B���(�C�)��D�"%$���$E �F�+�GD)"="���$��������+�)�8���H�I� E "�J�$@�� #�����(��"2�����%�(&���D)��KMLB���! ���&@&�����NPOQ��"� RN������)�8�+"��@��A��("2���M���6$������)D)����S�������@��� < ,�A@�T�����BD�"�������DU�+��"2���������BN���" E �S���S����&V��D)�W���@ ����@�����)K8LB���P&����������X"�OV�+�@�B$���D)"=$�����N&��("=D)���(�H���(�#������A��(���+������$Y���[Z8��N�A����S\�K]\�K�LB�@"2���^����A��("2��� E ����D_�`Oa�����M���*�+"b�+���#���UOc�d&����(�d"�O!������(&���D��d���(�dD)"2������$����(��$e���I����&�A@�1A��@���+�1���@$-����"2���f�+�����IOa�����g���?��"h�+���i����N2�*�I&����(�I���(�iD)"2���(��$��)����$���G"2A@�+&@A@�HA��@���+�)KjLB���5D)"2�����)D)�+��"2���h�����0$��U�+�)�� #�����)$�,*.k���)��������N � �ml="2�[�+���)��� �5N2�(" E OQ"�� E ����$OQ�("2 n����A@��"2���)K�LB�����C���I������A����+�+�m�+��$-���eZ8��N�A����i\�K]\2,gKCLB�@�G�+�(�����������i,����(��D��F.pogJq�(.%�(���� rOQ�+��DU�_�����N2�)���������+�)$-OQ�("2 s�����fN2�+�� ^ ^���

�Ow ��x � �.|Hx"�� | 7Q\�Kut*>

E �F�+�b3�v2�H�F�+�)�+������"2���)K!LB���d���)N2 ^�)�*�����)��N����e���@$p�+�@�G,�������D_������N0���@N2���f"�O6�+���iOQ�+��DU�_���w���(�d����$��xJv%��$@A������F.f����D)"=$@��$SOQ"2�M����D_�#�@��A��("2�gKMyzD)"2�����)D)����"2�S���6 ���$�� E ���)���)v����{���S�ml="2�S,�������D_�h�+"2A@D_��������@"��+���)�B����A@��"2�gKLB���|���)A���"��-����$��}l0v�����A@� �T"�O6���5����&�A@�B"�A��~"2A@��&�A@�PA��@���~� #�"�O������|���U� E "2�(�0���!$��)������ #���@��$,*.Y�+�����9 � �iN2�)����K-/1"e���)&��������+�#�+�+����������N-����N2"��������� #� E ���GA��(��$�,*.[/I"2�F3����@$�48���(���(��K0LB���U.

Page 35: Evolutionary Design of Neural Networks Marko A. Grönroos Master

���

� �)���f���� #� N2���@�f��.%&V� ������N��+�[7a,��F�+�+> #���@�� HA� ^�ml=�� HA@ �Ul=&��(�����(��"2� , "%"2������� 9 JD�"%"2��$ K l ,�����J ��"2��� � � tD�"%"2��$ K]. ,�����J ��"2��� � � ���,��W��� ,�����J ��"2��� 9 � J+9 9E �)��N2�*� ,�����J ��"2��� 9 � J+9 9���)N2���)��N��+� ,�����J ��"2��� \ � 9���)N*����N2��� ,�����J ��"2��� � J+9 9��.%& � ,�����J����?� \ � 9 �

L6��,����f\�K ��� m�����9 D$ m����%����,����+�����$��� 3 ��� ���9�"�.����( �c�����2 �,�� ��&(&$��GA��(��$����������)A��+���{���U� E "����[OQ"��i���������+A�$@.["�O1�����+�F3�D������T���FOQ� < D�"2��D)���(������Ne ^"2���+�F. �+���^��������D_��"�O� OQ"="%$��{����$ � E ���+�)� �!��"2A��(D��)�T,?.G���h��A@�+"2�@"2 ^"�A��M�����+�F3�D������%������ ^��� K�LB���).G����v2�P������"� ^��$��{��"2 #�"2,@������v����+��"2���i"2�[������&��(�UJ���$���&@�+���+��"2�`&������@"2 ^�)���p�}l=����,��F�+�)$����Y�+���)���i ^"%$��)�{���d�}l@&V��DU�+�)$�����("2 ^�|&@A���D)��A�������$e�?A�������,��(�W�G #"=$@�����!"�O6�����f,���"���"2N2��D����V�)v�"2��A=�+��"��gK

��� �������������������������� ���!�"��#LB���iN2�)��"2 #��D|���)&����)���)�?�+���+��"2�eA@����$e���b"2A��1�� #&����) ^�)�*�_������"2�0���PN2��v����-���-L8��,@���f\�K � K!/1"��+�f�+�����E �d��N2��"2�(�C�+�@� E ����N2�*�+�1����$-,��������)�1�(����D)� E �fA��(�i�����f����A����������������@����Nh #�)����"=$ K

$I��$�$��)�p���)A���"����C�����f����$@�Ul=��$e��D�D)"2��$�����Nh�+"S�+���)���D}�JqD�"%"2��$�����������KX qO8� E "����)A���"����I���;v��i��������� ^��}�J�D�"%"2�($������m�+� < ���������h"2��$@���H�����+���b���(�+��.�"�OI�@��A��("2���S���H$@�)�+�)�� #�����)$ ,?.[�+���)���H"���$��)�h��������SN2����"� ^��KH ���&�A@�d���@$["2A=�+&�A@�fA@�������f�����S���@$��Ul=��$[��D)D�"2�($�����N0��"-�����&%�' �)( N2������KSZ�"2�|����&@A@�A��@���+�B�����d����$��}l �{��� � & � ��c�+*�,.- �0/M����$pOQ"2�P"2A=�+&�A@�IA����F�+� � &�� � ���E�21�� ��c�3*�,4- ���65 <E ���)��� �0/w���!�+���|�?A� G, �)�1"�O6����&�A@��� < � �~�+���|�?A� G, �)�B"�O8"�A@�+&�A=�+� < ����$ � �+���|��"��_��� �?A� H,V���B"�O���)A���"�����K871�����@Nf�������T����$��}l@����N < �(�)v����+���V�@��A��("2����D����SD��������(��.G����v2�B�+���P���� ^�B����$��}l K8LB�����(�)OQ"2�(� <�����CD)"2�����)D)�+��"2��"�O�����&@A@�~����$�"2A=�+&�A@�!A����F�+������������$�����$^���0�i��&V��D)�W���' ^�������)��OQ"2�X�+�@��������D)"=$�����N #�)����"=$ K:9k����$�$ � ���������1���@&�A@�B����$5"2A@��&�A@�~����.2���(� E ���)���|����D_� � ���������1����&�A@�!A����F�~���{D�"2�@����DU�+��$��"h�)v2�)�(.5�)��D�"%$��)$p����&�A@�BA@�����B"�O������|D�"������)��&V"2��$�����NH��.%& � < ����$5������� E ���(�COQ"2�!�����|"2A@��&�A@�PA����F�+�)KLB���I�ml="2�������(�1N���" E �#OQ�("2 ���������W���%�(.% H,V"2� �<; �B,*.SN2���� # ���� � w ��x �� |#x�� � | �IOQ"��M3�v2��F�+�������+��"2��� < ����$ ��Oc�����P�+���d�W�����C�F�+�������+��"2�-,?. � w � �?KILB�����C���I�%A@��v������)�*�C�+"#�+��� � ���� # ����\�Kut < ,@A@�C�F�BN2"%���B�+�@��"2A�N��p����D_�p&����+�-"2���F.5"2��D)��7c.2�)� < �+���f�������������B"����f$�"=�)��� � �}>}K{y D)"2�����)D)����"2����h ���$@� E �@��� �����-�ml="2� �+��&���"2A�D_���)�����@"��+���)�S����A��("2�gK=9k�-$�����D�����$�OQ���)$�,���D_� D�"�������DU�+��"2�����D)D�"2�($����@N#��"#�����d����$��}lbv�����A��)�1"�O8�+�@�d���)A���"�����KBy ��� E 7aN2��"2,����W>{&������� ^�U�+�)� E ���1���*�+�("=$@A�D��)$ �D)"2�����)D)�+�Fv%����.#�+��$@��A�� <�> � < N2�Fv2�������{�����C$@���(�+����D)�IOQ��"� �+���C�ml="2�^����&^��"d�����CD)���*�+�)�~"�Og�����I�+����N2�U����)A���"��gK-/I"2�F3k�U�h��� K5��&�&��������*����.YA��(��$�v�����A@� > � & y � < 9[�^�)�(���� ^���+�)$[�+�����dv�����A�� > � & � � yE "2A���$-N���v2�i�h��������"�����,����d�� ^"2A@�?�~"�O8���)�������g���U� E "����?�IOQ"2�~�����f&���"�,����) ^�BA��(��$-���5�+�@���B�(��A�$@.�K

� ������� �) ' ( �.�� � � ��� ) !-� �$� ) ' + � � #LB���p ^�U�+��"%$ ,?. /1"2��3 ����$ 48���(����� E ���SOQA��(�������#$��)v�����"2& �)$z,*.@?~����N2�)��"2�(� < 46���������P���@$z/I"���37 9;:2:�A*>}K LB�@�). ��$@$���$ D��)���C$@��v%���(��"2� ����$ ^��N2�+������"2� ��A���������"CB�D6EGF ����� ����A@��"2� & "�&�A��W�m�+��"��

Page 36: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� �

�����(������$Y"�O{����D)"=$@����Nb����D_�[���)A���"��[$������)D)�+�F.2KHLB�@���f ^�U�+��"%$ ���f��N*����� GA�D_�[�������S���`ogJq�(.%�(���� -K� ��N2�����������+��"2�0"�O��+�@�iN�����"2 #�|���B������A��(���+������$5���-Z8��N2A��(��\�K � K

rule 1 rule 2 rule 3 rule 4 rule 5 rule 16. . .

description of daughter 1 description of daughter 2

1110 1100110110

+1.07827

type face segmentlength

variation

00100110111110 1011

left

0011111011

-0.4912

weightvariation

biasvariation

daughterlocation variation

+5 deg

variation

+5.5 deg-1.2

angle

Genotype

Rule

DescriptorCell

BinaryCode

Z8��N2A����C\�K ��� � �����1�� ����+��������1(���������<G������� D�LB���d"2�*�+"2N2�)�����(���1���1�(�+���(����$ E �F�+�-"2����� �)N2NfD)����� E �F�+�p�^��&V��D)��3�Di�(�+���(�ID��)������.%& ��KBLB���iD���������~��&������|7a��� E ���F���+�)�'>!���*��"H� E "S$���A@N2�*�+���PD)������� E �����0�+������.%&V���1����$b #"=$@��3�D����+��"2���X�+"#����������,�A@�+�)�N2�Fv2�)� ,*. �����Y��&�&������)$ ��A�����K��="2 #� D��)���C��.%&V���- ���. �� #&���. &��("2N2�+�� ^ #��$ D)�����C$��������gK LB���

$���A�N2�*�+�)�ID)�������1�����i& "���������"2�@��$b���b�+���dtS& "2�(����,����f��"%D��m�+��"����B���b�+���i��A@,��(���+�����GN2�(��$-����"�A���$p����� #"��+�@���BD��)��� KMLB���f$���v%������"��5���B���)& �����+�)$-OQ"��B��"2 #�|�?A� H,V���B"�O6�������+�m�+��"���� < ��Oc�+�)� E ����D_�b�+���fD)��������� �����A��+�m�+� I���B����A��("2���)K�LB�@�|����A��("2���B�(& �)D��W�������)�����!����&�A=�B"2�~"2A=�+&�A@�~����A��("2��� E �F�+�0�+�@���+�� #��(&����+�����8�(A����H���|���Y/1"2��3Y����$`48���(����� �u�C ^"%$����8����$ �+�@�����C�Ul@��D)�f��$����*������.j����$��U�+���( ^������$ ,*.j�����3�������D��)���g��.%& ��K!LB������Oa��D�� |N2�����i���P�S��� E ����������,�A@�+� E ����D_�pD)"2�*�+�("2���B�+�@�d$������)D)�+��"2� E �����(�i������ml="2�bN2�(" E �H7cOQ��"2 �+���ith& "�������,����|$@�����)D)����"2���B"�����Oa��D)���� >UK

��A��������1/1"2��3e����$p48���(���(� < ?~���@N2����"2�����U����� KXA����)$p�+�@�d #�)����"=$b�+"#�)v�"2��v��dD)"2�*�+�("2�����)� E "2�(�%�OQ"2�P���(�+�F3�D������V����OQ�UOQ"2�� #��K

��� ����������������������=� � � �)�"��#LB���S�(� E ���F�+����N0"�OX�+�@�#D)������� E ���f�������+�m�+��$jOQ"��COQ"2A�����"5���Fle�+�� ^�)� < $��)& �)��$�����Nb"2� �+���h&��("2,����� -K9[�h$���$ �@"��|A��(�H�+��������� ( < �@"2�C�+�@�&F ( � B���%M����$ � � ���1N2�)�����)K � �+���)� E ����� < �����h�� #&����� #���*�_������"2�E �����(A��(�1��������OQ"��~�+���f #�)�+�@"=$b,*.b/I"���3-�)�I��� KT��,V" v���K

� ����� � �����! #"%$'&!&("*)+$ � �! �, �4�.-G# �)���0/21��� �.-3!"%���(�w����$54|A���&V���T7�9;:2: � > ����v2�XA��(��$d�~v2���(����"2�f"�O=ogJq�(.%�(���� #���+"PN2��" E �+���T�@�)� E "2���?��K8LB���).|A@����$�6�6E�7)% ( ��%98:� ( 7;� � % �=<�( o J��(.%���+�� ��"G��� E ���F�+�1����A��("2���!����$0 #"=$@A����)��"�O�����A@��"2���)KTLB���C�@��A��("2���~����� ^��������$ E �����h�(.% H,V"2��� �?>@>A>CBED K'Fp"%$�A������T�����B$��)��"��+�)$ E �F�+�h,�����D_���U�+����A�D_�^���G� � y!3!y � < ����$�����).[���(�^������$����)$��Ul@��DU�+�F.`���G����$���v%��$�A����M�@��A��("2���h���(��KIHX��D_�����)A���"��KJ� #"=$�A@���S���i,*.[$@�)Oa��A��F�D)"2�����)D)�+�)$ �+" �+�@�`�@�Ul%�j��$�����D��)�*�e���)A���"��KJ� #"=$�A@����KLFp����������N D�"2�@����DU�+��"����e�����Y$����@"��+�)$ ,*.

Page 37: Evolutionary Design of Neural Networks Marko A. Grönroos Master

���� ���

��� � � ��� � � ���� ���� � � ������ � � � ���� � � � � � �

��� �

a

A

B

B

B

B

B B

C D C D

DC

C C

C C C C C

CCDD

D

C

C

C

e f g

dcb

Z8��N2A��(�1\@K � ���������! #"%$!&(')$!*,+.-!/�021,34+ � *5/�&4'7683 � 159!';:=<>6@?�6@15'A"CB.? +.'A*D6E � - � /!3($F'�* � �HGI�EJK'ALK*,3M1,3 ��N � 3 � 34153O #&� 'A/�*5+ �%P5�Q LK3M1,9R1,9!'S159�'T*5/!&('�6 � *,'�65/!&M1,3 ��N U6V159!' � 'W1XLV+�*,Y PW ����Z� �A�[ ������E�\�8Q2�D)"2 ^ ^� < ��A@D_������� y < 3 +K�yB$@$�������"2�����MD�"2�@����DU�+��"����H���(�^$@����"�����$ E �F�+�`�?A� H,V�����i�+���m�i���������@" E ^���*.5���)A���"2�@���SD�"2���@��D)����"2�-���?��&��^]'OQ"2�P�Ul@�� #&���� < � y A�yCyIyCy |$����(D�����, �)�C�SD_�������p"�OM���)A���"2�@� <E ���)���B�+�@�~3������X����A��("2�S���MD)"2�����)D)����$0������"I�+"|�+���~OQ"�A��(���h����A��("2�gK:9[�P��&�&@��.h���(A����{�+"i������A@��"2��������1 ��m�+D_���)�1�����d&@���� ^����.0�(.% H,V"2�w���b�+�@�d���)Oc�(Jq������$%J�����$��|"�O6�+���f��A@��� � 7E_f����� �6E�7)% ( ��% < �FO6������(A����#�����d��A�D_�gKpLB����D)"2�*�+�}l=�H���i$�����"��+��$�,*.a` ����$cb "��[�+�@�����UOc�(Jq������$=Jq����$��S"�OP�p�(A�����KbL6"��&@&���.��h��A���� E �����b�HD�"2�*�+�}l%� < ���~ HA��(�1������"G �����D_�5�+���|����&�A@�B�@��A��("2���~�+"h�����|&����� ����(.#����A@��"2�OQ"2�{�+���|���)Oc�BD)"2�*�+�Ul%�d7W`C> < ����$5�����|"2A@��&�A@�B���)A���"����BOQ"2�!�+�@�|����N��?�~D�"2�*�+�}l%�d7AbI>UKTLB���f�(� E ���F�+����N&��("=D)���(�I���B������A��(���+������$0���-Z8��N2A@���|\�K �@K

LB���1&���"%$�A�DU�+��"2�S��A������X���(�1�)��D�"%$��)$����H�����PN2���@"2 ^�1���T,@���X�(��������N2��K8LB���P�(�+�(����N��{�����B������$#���,��F�M�+�(��&����)���P7a HA@D_�#�������~D�"%$�"2���T���h,���"���"2N2��D����?D_���("2 ^���+��$����+> < E ����D_�������~���?�����(&����U�+��$^���T��.= G, "2������H����&�����,V�)�ed � >A>@>4fhg.i >A>@>(jkg!lmg7n5gUo.Dqp d g D 7c�+���srB���8�C���)&��������+"2�6�(.% H,V"2�c>�A��(����NC�I�+�������������+��"2�f�_��,����7Q HA�D_�0�������P�+�@��D�"%$�"2���!�����1�+�������������+�)$0���!�� #����"d��D���$��_>}KMLB������.% H, "�� ���+������N2����"h��D ?A����(��$5��������?�����(&����U�+��$Y����&���"%$�A�DU�+��"2�e�(A����)��K�L�"5"2,@�+�����e�����w�+���d��A����������e�+�@�GN2���� ^ ^��� < �����G������&@���)���C������(����$bOQ��"2 �+���f���+������NS���5�+�@�����f$��Ht �)���)�?�1,��F�B&����������I����$b�+"S,V"��+�b$������)D)�+��"2���)Ku �)�)v ��� ��# �+�)���xw �����)�LB���G����D)"=$�����N0 #�)����"=$e,?. ?~����N2�)��"2�(�8����$ HT�� ^����7 9;:2: � >B���ID�"2�*�����?A�������"2�j"�OT�+���H #�)����"%$j,*.?~���@N2����"2���6�)�f��� K�D�"� ^&�������$ ���e�+�@�������+A�$@.�Kf q�|A����)�i��N2���@�)�+��DH���)N2A������+��"2�e���U� E "���� 7 �zy /�>B�+"D)"2�*�+��"��M�+���#"2�*�+"2N������U�+��Dh&@��"%D����(��K^LB������� �{y / D)"2���(���(���f"�O � �5�(��N2A������+"��(.j�)���) ^�)�?���^7aN2�)�����+> <$��Fv%��$��)$-���*�+" D ( � (2| % EGD �B"�O8�}l=���+��D)������A������~����N2������� < � %�D#}K� %@}�D ��~ ( ~ (�� ( 7)%=���+�����1D)"2�*�+��"��g�+���f�Ul=�)D�A=J����"2�-"�OT$��Uv2�)��"2&� #���*�+���6�Uv2�)�?��� < ���@$�D ( B�}k~A��% EGD ' ( ~ (�� ( 7)%=�B�+���m�C�(��N2A������+�f�+�@�GN2�)���G�}l@&@�����(����"2�gKLB���GD��������1N2��" E ���j���h��������&���D��H�?A���v��������*�I��"��+�����C���p�����H�������������P #"=$��)��KPyC�C���j�}l��� ^&����"�O{�+���#D�"��?����"2�T&@��"%D����(� < �����) ^�)�*�z���k�������^����DU�+�d���i�b���� #����N5�(��N2�����MOQ"2�|D��)���X$���v%������"��gK 9 ������������I"=D)D�A��(� < �+���d&��W��D)����N#"�OM�����i$���A�N2�*�����CD)�������1���P$��)�����( ^������$p,?.b�����G&��*.%����D��������*v%���("2�� #���*����("2A���$5�����f ^"�������� < ����$-,*.5�+���i�� #"2A��*�B"�O6�������=�k�����E�.�j���@$����k�����8���#������ #���*�+�)K

y1l="2�`N2�(" E ���`����$`�(.%����&@��"2N2�)�����(���i�����hD)"2�*�+�("2������$ ,*.`�ml="2�����8N2��" E �+� Oa��DU�+"2�(� < ��� E �����T����}l=���+��D)������A������~����N2�������~�� #���(�+�)$-,*.0�����f��A��(��"2A@��$����@N#D)��������K

Page 38: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� t

LB��� �zy / A@����$G,?. ?~���@N2����"2���%����$ HX�� ����i���6 #"%$�������$d��Oc�+�)�������!,���"2��"�N2��D�����E |)( D E�7C #"%$����?"�ON2�)���)����DI����N�A��W������"2� K6 q�!��������D)"=$��)$b���~�d,����{�(�������@N < E �@�����C����D_�5"�O �+��� � �GN2�)�����{���!�(��&��(���(���*�+�)$���I���I��"2&V����"���f���?A�����D)�h"�O � t#,�������KPLB���H"�& �)��"2�p���1$���v%��$@��$e���*�+"S� E "5&����(�+� � D ( B�}k~A��% EGD '07 9��,��F�+�+>!����$ (��U| D ( � � � E�7h&������d7�9 � ,��F�+�+>UKTLB���|�(��N2A������+"��(.^&����(�PD)"2���(���(���B"�Ow� E "#���)N2��"���� � � 7E_�} � % EGD7atC,������_>�����$ � 7;� ��� � % EGD '{�(��N2��"2�57atC,������_>}K8LB���~�}l=&����)������"2�h&������M���M������"C$@��v%��$��)$H���*��"C� E "|�(��N2��"2��� �D ( B�}�~A��% � E�7H7 tP,������_>w����$ � %�D#}K� %@}�D ��~�����N���"2��7a\1,������_>}K8 qO��1���)N2A��W�m�+��"��|����N���"2�i"�O'���i�Ul=&��(���(����$SN2�)��� ^���+D_�@���!���������@$�A�D)��"2������N���"2�0"�O�����"��������{N2����� < �+�@���W���(�+�)�{N2�)����,V��D)"2 ^�)�~�Ul=&��(���(����$ < A������)���~�F����������@��,��F�+��$e,?. �b�(��N2A@�W������"2�j�(��N2��"2�j"�O!����"��+���)�|N2�����h ^����D_������N0�����h���@����,��F�+"2��.-����N���"2�gKiLB����� #"2A��*�i"�O!�Ul=&����)���(��"2�z7a"2�!���� ^"2A@�?�i"�O{�+���#D_���) ^��D����T�)���� #���*���>�$���&V���@$��G"2�Y�+�@���� #"2A��*�i"�O�����f����$�A@D)�+"��(.0�(��N2A@�W������"2�5�)���� #���*��K

�&���"� �!�.-�� �)��� , ���.-LB���CD�������A������XN2��" E ���5 ^"%$����V"�O��C�)�����������~���@$63!���)�i7�9;:�:�\?>TA����)�P�GN2���@�)�+��DC�(��N2A������+��"2���@�)� E "2��� <������&������)$[,*.E4f��A�t ������u�^7�9�:2:�A*> y ����$�"2 3{"="2�������[/I�U� E "����?� < ��"e�(�� HA��F�_���@��"2A��(��.e,�A�����$`��������)A��+�������)� E "2���b����$-�����f&��*.%����D����� #"2��&��@"2��"2N�.�"�O8���-�����+��3�D��W��� "2�(N*�������� -KLB���U.YA����)$k�5���)N2A������+��"2�j���U� E "2�(�j�+"bD�"��?����"2�6�+���S$��Fv=������"2� < $��Ht �)���)�?�+���+��"2�Y����$`��&V"2&@��"2�����7Q���*�+�)�?����"2�����{$@�������'>d"�OB�����5D��)�����)K LB�������h��&�&@��"*��D_�����G,���"2��"�N2��D������F.j&�����A�����,����^����$��(�� #�������|�+"�����h ^�U�+��"%$Y,*. ?~����N2�)��"2�(�M�)�i����KG ��@�(�+����$k"�O{N���" E ����Nb���Y� ����&���D�� < �+���S #"��+�@����D)�����8$���v%��$@������F�+�)������������NI��"2�(����"��?�+�����F.i����$hv2�)�(����D�������.fOQ"2�8��"2 #�~�����������+��"2��� < �+�?A��MOQ"2�( ^����N�� �� N2�(��$gK6Z�"2�N2�(" E ����NS�+���dD�"2�@����DU�+��"�����C�)���W�����(�I���@$ 3!���)�C����v��HA����)$ ��D)"2 ^&@���Ulp����$j�#���� #&�����3��)$p #"=$@����K ��Y�+���hD)"2 #&����}l #�)�+�@"=$ �+�@�^� l@"����fN2��" E ,*. ������� �#��NHOQ"���N2A���$�����N ��D_���� #��D������ H�) ^�F������$ ,*.D)�������8���d�+�@�~N2����$gK � �@��.dD��������w�+���m�T�Ul=&��(�����X��&�&���"�&��������+�{N2�����)�TD����H��D)�X���T�C���)��$��)�T"2�M�C�(��D)����v����"�OB�eD�"2�@����DU�+��"��gK �="� ^�#D��)�����d���`�+���^N2����$kD�"��?�+����� � ?!������A������|yB$����)����"2�%Fp"2����D�A@����� e7 ?!y�Fp�_>�������1������" E �ml="2�����gN���" E �+�-";v2���B������ -KTLB���d�ml="2�b�(�_���(�+�BOQ�("2 �h��"�A���D)�iD)����� < �(����t �P����"�A���$b�+"3��@$ E �@��D_�`"�O{�����h���)��N2�?,V"2A�������N5D��)�����������| #"2�(�|�����S��&�&@��"2&��(�W����� ?!y F < ����$ �+���)�`N���" E �f�����������$@�����)D)����"2�gK|y D�"2���@��D)����"2� ���C ^��$�� E �@��� �+���GN2��" E ���@N5�ml="2� ���@D�"2A��*�������i�0D)�����6�� #���(�+���@N%�D E | � � �1D_���� #��D�����Oa��D)�+"���K�yI���w�+���h� l@"����|���(�HN2��" E �j�(�� HA@���_������"2A@����.-A��*�����w�+���G����"2&@����DiOa��D)��"2������Ul=����A@�(�+�)$`OQ�("2 r�+���G�+����N��)�|D)��������K0?!"2���@��D)����"2� ���+�(����N������i�����G$��)������ #���@��$ ,*.e�����S�� #"2A��*�"�Ow����"2&��@��DCOa��DU�+"2�!&����)�����*�I���B�������_���(N2�)�~D������g��Oc�����~�����|D�"2�@����DU�+��"�� E ���B ^��$���KTLB���|���� ^&�����3��)$ #"=$@���MD)"2�����)D)�+�i�)v�����.YA������f�}l=&����)��������Nb�+��� � � E�7-N2�����h��"-�Uv2�)�(.YA����F�f�Ul=&��(�����(����N-�+���h�+����N2�U�N2�)��� E ���������b�S�+���@N2��K

� �*-� ����4�)� �)� �)�����61�� �y ���U� E "����5&��("=$�A@D���$-,*.0�+�@�|����D)"=$�����NS ^�U�+��"%$b,*. $C���(& < �@�� ���$b����$ � A����-7 9;:2t2:*>�D�"2���(�����+�"�Oi�[���)�0"�O ��D ( ��� < E ����D_� �����e"����e�+"[�+���(���UJq$��� #���@����"������P,���"%D_�?��"�Of�@��A��("2����K ?!"�������DU�+��"2������(�5����D)"=$@��$ ���h&���" �(��D)����"2�@�#,V�)� E ���)� �����b����������KkLB���pN�����"2 #��D^�(����A�DU�+A��(�p"�OP�����b����D)"=$�����N���G������A����+�����+�)$[����Z8��N2A����#\�K � K HX��D_� �������p���G�)��D�"%$��)$ ���h�e,���������.[�(� ?A��)��D��5���k�+����N2����"� ^� <���_�����+���@N�OQ��"2 �0��&V��D)��3�DS�(�+���(��J� ^���������|����$Y����$�����N0�+"b���`�)��$=Jq ����(���)��K $I����&Y�U�i����Kf$���$ ��"����DU�+A�������.Y�)��D�"%$��������� ^���(�����(� < �("e�+���U.��������@"��h�Ft ��DU�+�)$�,?.k HA@�+���+��"2����K HX��D_� ���(���e�����H�����D ( � | ��D � � ( % ( D6� |)( � � � � ��% � E�7��������5$��)��D)����,V���5�F�+�5�m���+�(��,�A=�+���)K $C���(& �)�b��� K A����)$ A�,@���+� 7 tv�����A����+>POQ"2�1����D_�Y�m���+�(��,�A=�+��K1LB���h�������^ �� ������v2�)�f���|�^���� ^�iOQ"2�P�+���h�������=KC q�����C��� E �;.%� � OQ"2������h����&@A@�i�������5����$ � OQ"2���+�@�h"2A@�+&@A@�i�������@KHLB��� % EG% ��~ � � �G( �)��D�"%$��)�f�����S�?A� H,V���|"�O{D��)�����C���

Page 39: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� :

��������

������������

������������

������������

��

��������

� � ��

��������

ProjectionSpecif.Field

������������

End-Of-Area Marker

��������

������������

Area ID

Dimension 3 ShareDimension 2 ShareDimension 1 ShareTotal Size

Start-Of-Area Marker

Start-Of-Projection Marker

Target AddressMode of AddressRadius, Dimension 1Radius, Dimension 2Radius, Dimension 3Connection DensityInitial EtaEta Slope

AreaParam.Field

Area 0

Area 1

Area 2

Area N

Z8��N2A��(�|\�K �����;' � +�"%3O0S6X1,*5/�0W15/!*,'S3 � 1,9!'T' � 0A+�-�3 ��N "%'A159!+�- B.?��� �*5$ � �� #" �- � -��;/!9F ������h���(���5���|�0&V" E �)�|"�OT� E "k7cOQ"2�C�}l@�� ^&@��� <.� N2��v���� A � D��������+>UK|LB���h&��("2&V"2�(����"2���I"�OT�+�@�H�+���(���$��� ^�)������"2���8�����{����D)"=$��)$#����� �;��D ( ��]��+�@�~$���D)"=$@����N|����N2"2�(������ 3���$@�T$��� #�����(��"2�@� E ��"2�(�~&��("=$�A@D)������?A����?�+"P�+���X�+"��+���*���@��� < E �������XD�"2�=OQ"2�� #����NBD)��"2�(���F.|�+"P�+��������$@��D��m�+��$i���������)��K8LB�@�!D�"�������DU�+��"2���,V�)� E ���)�[�+�@�S���������i�����h$��)��D)����,V��$ E �F�+� | D E�� ( � % � E�7 � |)( � � � � ��% � E�7 � ( ~H_�� E �F�+�����j�+���S�������5N2�)������+��A@D)�+A@����KXLB���|�+����N2�U�1��$�$��(���(�1���!�+�@�d��,���"2��A@�+�h7 ���(���h ��|>!"2�B�(���W�m�+��v��S7 �������H����$��}l0OQ"2� E ���($b��������BN2���@"2 ^��>6��$@$����)���X"�O'�+���{�_���(N2�)�X������� < $���&V���@$�����Nf"2�H�����P��$�$@�����(������N| ^"%$���K8yz,���������.GN2�)������������ E ����D_�5��$�$����)���(����NH #"%$��B�+"GA@����KTLB�@��D�"2�@����DU�+��"����!�����C ^��$��P"2�@��.S&������+�������F.H,V�)� E �����0��������(����� < �(& �)D��F3���$0,*.S�+�@�C�+��$���A���&������� #�)�+�)���)KMLB���CD)"2�����)D)����"2�0$@�����(����.#&������� ^�U�+�)�{�(& �)D���3����{�����$��)N2���)��"�O�D)"2�����)D)����v%����.#,V�)� E ����� A ��� ����$j9 ��� �0< E ����D_�5��$�$@�~���0A@��$��)�����( ^���������+��DP�)���� #���*�{�+"�����ID)"2�����+��A@D)�+��"2�#&���"%D��)����KXL E "d��������������Nf&������� ^�U�+�)���X"�O �����1,���D_�?&���"�&���N*������"2�^����N2"2���F�+�� < ��������������W�����������(������N^��&V���)$ 7Q�)�+�*>C����$ �F�+���}l=& "2�@���*�+�����8$��)D���.eOa��D)�+"�� < E ���(�S�����("0����D)"=$@��$Y,*. $C����&�U�C����K

LB�����{�)��D�"%$����@Nd #�)����"=$^��D������)� E ����� < ��O HA@�+���+��"2���T�+���m�{�������)�(�!����$^$������)�+�I���(���i����$�&@��"��(�)DUJ����"2�5N2�)�����I���(�d��$�$���$ K

� -1 � 1� ��A���A �u�17 9;:2:�\*> � ( ~>~m}�~A��D ( 7 �6E^_ � 7�B � ( %=�)E^_BA@�����{� B�D�� � � ��D %"D (6( �+"f�)��D�"%$��P�|D��)����A@�W����$��)v�����"2&=J #���*�_���@&��("=D)�����M��"�N2�(" E ���)A��+���@���U� E "2�(�?��KXLB���~$��)D�"%$����@N|�(�_���(�+�6OQ��"2 �C���U� E "2�(� E �����h��������N2�������$�$��)�I� D)����� ��������I���1D�"2���@��D)����$j��"0����������&�A=�����@$j"2A@��&�A@�I����A��("2����"�OM�+���d���)� E "2�(�VK1LB���HD)�����

Page 40: Evolutionary Design of Neural Networks Marko A. Grönroos Master

A �

���_�����+��������$�����Nf�+�@�IN2���� # ����M�����)�1OQ�("2 �����X��"%"���KMLB�@�I��"%$��)�!"�O �+���P�+�(���I�����1�������+�(A�D)����"2���X�+�����D)"2�*�+��"��8��" E �+���GD������8���C$��Fv=��$���$ < �)��D�KfLB���hD_������$jD)�������C"�O��0$���v%���(��"2�p$���t ���(���*�+�����+�d,*.e #";v=����N����������� ������$=Jq������$@�����"S$���t ���(���*�1,��+���@D_�p"�O��+�@�iN��+�� # ����!�+�(����KXLX.%&���D������������+�(A�D)����"2���P�����

� � (�� } ( 7)% � ��~e_ �=< � � � E�7�7������?> < E ����D_�[���)��A��F�+�G���[� E "eD)�������dys����$�3 E ���)����ys���)D����Fv2�)�H����������i����&�A=�+�B�+"S�+���i"2�(��N2�������gD)����� < ����$p���PD�"�������DU�+�)$e�+" 3 < E ����D_�p���PD�"�������DU�+�)$e�+"^�����g�����"�A@�+&�A=�+�P"�O��+���f"2�(��N2�������VD�������K

� | ��D���~>~ ( ~�_ �=< � � � E�7e7X���@> < E �����(�d,V"��+�pD_������$pD)�������P�����@�����F�B�+���d����&@A@�I����$e"�A@�+&�A=�CD)"2�����)DUJ����"2�@�~OQ��"2 �+���f&����(���*�1D��)����K� �����(����A�DU�+��"2���+" ( 7E_ D ( �=_ � 7�B#7 �� �@> < E ����D_�b���+"2&��BN���" E ����NH�����|N2�(" E ���0OQ"2�!�����|&������+��D)A��W���D)������K� 7QA�������.@>i���@�(�+�(A�D)����"2�@�iOQ"2�d ^"%$��FOc.=����NbD��)��� �]�i���*�+�)�����������)N2�����+�)��� < ��A�D_� ���d,��W��� < �U�+D�KeLB����(��N2���(�������h����D���A�$��0D)"2�����)D)����"2� ���)N2�����+�)��� < E ����D_� &V"2���?�G�+" ��&V��D)��3�DbD)"2�����)D)�+��"2���H��"�J ���@$=JOQ�("2 s�����fD��)����K

� 7QA�������.@>!�������+��A@D)�+��"2���~OQ"2�B #"%$���Oc.%���@Nd�+�@� E ����N2�*�P"�O8�SD)"2�����)D)����"2�-& "����*�+�)$5,?.-�hD)"2�����)DUJ����"2�5�(��N2���(����� < "��BD�A@�(�+���@NS�����fD�"2�@����DU�+��"��p�����+"�N2�)�������)KLB���iN2��" E ���-���+"2&@� E ���)�e�����gD)�������B����v2�i������$5�+������=�5�������+�(A�D)����"2�gK� ��A���A �� ^&����� #���*�+�)$��+���5N������U�+��D5"�& �)�+������"2���-7Q���)D�"2 H,@����������"2������$ HA@�+���+��"2�'>d��� � E ��.�(�� #���W������"#����� � �)���)����Df4T��"2N��+�� # ^����NH&����+��$���N2 $@�)v2�)��"2&V��$-,*.I4I" ���e7 9;:2: �=< 9;:2: � >UKT ������+��A@DUJ

����"2���e7a�@"=$��)��"�O|�����p�����)�;>^�����e GA@�_������$ �+"�"��������^�������+�(A�D)����"2��� E ����� �����e���� ^�e�����F��.2K LB����(��D�"� H,��������+��"2� "2&V�������+"��0���)&��W��D)���b���(A�,=Jq�����)�jOQ��"2 "2��� &��������*� E �F�+� ����A@,=Jq������� OQ�("2 �����"��������B&������)�?��K

� �!�*-G� ����2������" �u�G7�9;:�:�A*>B ^"%$���� E ���|������"^�����(&����(��$e,*.eo�����$��)�� ^��.2��� �u�C�(.%�(���� #��K ?!�)�����C�����dN2��" E �j��� �� E "�J�$@�� #�����(��"2�����M��&���D���K �=���@��"2�i����A@��"2���d���(�#"��`�����^"��+���)�i�(��$��S"�O{�+���S�(&���D��^����$k��D)��A�����"2����)A���"����C"2�-�+���i"��������)K1LB�@�G&��("=$�A@D)�+��"2�-��A������1"�OM�+�@�d #"=$@���wD�"2�*����"2��v�������"2A��P&��("=D)�����(��� < ��A�D_����5D)������$���v%������"�� < D��)����$������+� < �ml="2� ����$ $��)��$��(���+� N���" E �+� < �)��D�K yPl@"����-����$ $����@$����F�+���b�����N2�(" E �Y��D�D)"2��$�����N���"0N2�+��$����)�?����"�OXD_���) ^��D������C�) ^�F���+�)$j,*.p�+����N��)�|D)��������K�LB�@�).j,V"2A��@D��h��N2���������"2,@�(�_��D����)�H��A@D_� ���d�+���0,V"2�($����(�h"�OB�+���5�(A�,����+�+�m�+�b����$�OQ"��� �eD�"2�@����DU�+��"�� E ����� �+���U.k�(����D_����@"��+���)�B����A@��"2�gK3?!"2�@����DU�+��"����IA@����,������+"h3���$p�H�_���(N2�)�1���)A���"2�-N2����$�A�������. E ������$���� E K

���2���(��"S�����IA����)$e�+�@�d #"=$@���gOQ"2�1D�"2�*����"2�������@NH�+���i, �)����v%��"2A��1"�OX���j�����+��3�D��W���g���FOQ�)OQ"2�( pKXLB��� #"=$@���C$@"=�)�5��"��bA��(� ��������������N�$�A��(����N������Y���FOQ�)�+�� ^�b"�Oi�+�@� "2��N*�������( pK q�bA��(���-���(.% H,V"2����D�(��&��(�����)�*�_������"2�bOQ"2�~�+�@�iN�����"2 #��K

Page 41: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� ��������� �

������������������ ��� �������

9���! #"%$'&)(*�,+.-/��)v) #0213+.42 ��'&)(*5k�/�!16(.&)0B�/�7+98: )(���"%�;+.-6 3</=?>@5A+B-/�!4C(D$E�;((OF #(*"G&��6�!��8H4C+B- OF )1/(�I4��6</=H �OJ$6(B #>/0C�!"%= �K)L LM8N �=*42"%$/02�D&O(*+.4QP'�!42&)0M+. R5S$/(* #>/02�;"T=;UV+.-6� ; ��yXW $'&)(*4C+956YZ$/(B )>/02�;"[&��/<S+B-/�%\H] ; ]^\��)�3]�; 3<64���ND$/(* #>/0C�!"

�_L LM8N T"% #(B�`�;0a&)>b #(B&O+.�`&O(*+.4QP'�!42&)0 OF1@�/�;+B42 2�c&)$/$6(B �l342"T&O+.4C 2�,$/(* #>/02�;"T=A L Ld-6(B�!�N$/(B )>/02�;"T=�OF(B )"e+.-/�dfhgVikjElnmNo Wqp (B�;�r-/�!0Q+ KRs)s \IY��! #0C02�;�;+.4C 2�` �O'$6(B #>/0C�!"%=�OF #(M>E�)�/�r-3]"T&)((�_4���ND4��b�/�;1/(.&O0��/�;+98N #(���0C�t&)((�/4��@N

\ L Ld-6�?3:&����I(B1/$3+.�;5</&O+r&)=*�;+u1/=*�!<v>@5 3:&)�_���;+w&)0 L W KRs)s=� Y

x?y!z {}|�~M�7���:�;������|�����7�H� �9��T�O&)0C42<'&O+B�!<� #1/(�42"%$/02�;"T�)�@+r&O+B42 2�/=Z )�h+.-6�G"%�;+.-6 3</=�>@5 F�420C02�!(�&��6<�4`4C+.&��/ 8H4C+.-�+98: ��#�!(�5+B(.&)</4Q+.4C 2�'&)0n+.�;=*+u$/(B )>/02�;"T=U]6+.-/� ; ��y &��/<IHT�/�; 3</�;( L�h������� �k�V� &!"*)��Z�� M� d-/� ; �{y�W $/&)(B4Q+95/Y�$/(B )>/02�;"¡4C=¢&v�;0a&)=*=B4C�t&)0�$/(B )>/02�;"£+B �+B�!=*+¤+.-/�,�!&)$'&)>642024Q+95S )�d+B-/�0�/�7+98: #(*¥�F #(u$b�!(*�F )(B"%4��/¦S�/ 2�6024��6�t&)(H=B�;$'&)(B&O+.4C 2��Ub=B�!�¤ J&)>602�¤§ LCK)Lu¨ +w-'&)=w>E�;���©=*-/ R8P�©+.-'&ª+Z+.-642=u$/(B #>602�!"�!&����/ )+�>b�D02�!&)(��/�;<�>I5�&�=*4��/¦#�;0Q]«0a&t5#�;(¬$E�;(B�;�!$6+B(B 2��+. #$b #0C #¦)5 L  d-/�%"T4��/42"T&)0w�/�;+98N #(*¥S�! 2�/=*42=�+.= )�� 2�/��-/4C</</�)��1��64C+H&��6<cP/�)���; 2���/�;�;+B42 2�/=H4���&O020 L�h�����®­ ¯±°N²�³V´JµV¶ &("*)��¬� M� d-/�v=B�!�; 2�/<�+B ·5¸$/(* #>/0C�!"¹8N�©1/=B�v42=?+.-/�v\H]«ºu]^\}���/�; 3<64��/¦�$/(B #>602�!"cU:8H-/4C�r-�42=%�!02&)=B=*42�!&)0H4��>b���/�r-6"G&)(*¥I4��/¦Y�/�;1/(.&)0d0C�t&��64��/¦�&)0C¦# #(*4C+.-6"T= L  d-/��+.&)=B¥A4C=¢+. �4��6$/16+%&S$'&O+*+.�!((��+.-'&O+?-/&)=? 2�/�4��/$/16+�&O=¬ 2�/�D&��/<S )+.-6�!(B=�&O=��!�;(B /UM&��6<S(B�!�;�!4Q�#�¢+.-/&O+`=.&O"T�¢$/&O+B+B�!(���&ª+¬+.-/�D )16+.$/13+`0a&t5#�;( W +B-/�+B(.&)4��/4��/¦�=B�7+D�! 2�@+.&)4��/=¢&)020»+.-/� $E�;(B"¢16+.&O+.4C 2�/=.Y L©¨ �H¼ ` �U�+.-/�0�6�;+98N #(B¥A"¤1/=*+D�; #"%$/(B�;=B=

A K

Page 42: Evolutionary Design of Neural Networks Marko A. Grönroos Master

A�� ���������� ��������� ����� ������ � �� � �� � �� � � J&)>602��§ LQK����9!'����;J $!*,+�B!&('A"

W ���/�; 3</�tYM+B-/�h$'&O+*+.�;(��¢=* #"T�;-/ R8�U@&��/<�+.-/�)�D</�!�; 3</�:4C+J&)¦@&)4��¤&O+�+.-/�N #16+B$/16+k02&t5#�!( L�� #(����6&)"%$/02�OU&P�/�;+98N #(*¥�8H4Q+.-��w4��/$/16+�&��/<� #16+B$/16+�1��/4Q+.=�"¢1/=*+�-'&t�)�h&O+�02�!&)=*+M+B-/(B�;�:-/4C</</����1��/4Q+.=M+. u>E�N&)>/0C��+. =*1/�!�;�!�!<%4��¢+B-/42=�+r&)=*¥E]I+.(B&)4��64��/¦w=B1/�r-T&��/�;+98N #(*¥¢42=k�!&)020C�!<��·]��ª] �Z���/�; 3<64��/¦`$/(* #>/0C�!" L�¨ � 4`4C+.&��/ � =+B�!=*+B= W 4`4C+.&��/ KRs#s� &#Y7UE+B-/�¤¼ 8:&)=�&T�F(*�!�¢�O&)(B42&)>/0C�)UE&)=¬4C+Z42=w</�;+B�!(B"%4��6�!<S>@5v+B-/�¢�;�) #0213+.42 ��'&)(*5=*�t&)(*�r-%�F #(�+.-/�H #$6+B42"T&)0?�/�;+98N #(*¥D4��D(B�;=B$b�!�7+�+B ��!(B(* #(�&O� +B�!(»&��I1/"¢>b�!(» )�V�/�;1/(.&O06+.(B&)4��/4��/¦¬�753�;02�;= L4`4C+.&��/ ¢+B�!=*+B�!<�-/42=d¦#(B&)$/-c¦#(.&O"T"T&)(:�)�/�! _</4��/¦?"T�7+.-/ _<�8H4C+.-c>b )+.-"!O]®ºw] !%&��6<#�·]«ºw] �D���/�; 3</4��/¦$/(* #>/0C�!"%=!U#1/=*4��/¦`+B-/�H¦#(.&)"%"T&O+.4C�:���6�! _</4��/¦¬+B ��! 2�/=�+.(*1/�;+{�/�;+98N #(*¥_=»8H4C+B-D+. )+.&)0/"T&$�342"¢1/" )�%��� #(�&'!�1��/4C+B= L( 0C�t&)(*0C5)U%�6 ¤-/4C</</���G1��/4C+B=:&O(B�u(B�*)I1/4C(B�;<�&O+:&)020qU@>/16+:+B-/�Z�; 2���/�;�;+B42 2�/=N�t&��T>E�w"G&O</�</4C(B�;�;+.0Q5 �F(* #" +B-/��4��/$/16+D+B S+.-/�c #16+B$/16+%0a&t5#�;( L  d-/4C=%"T&)¥O�!=D+.-/��)�/�! _</4��6¦�$/(* #>/0C�!" (B&O+.-6�!("¢1@�/<'&��/� L

¨ �D�! ��I+B(.&)=�+k+. w+.-/�h O+.-/�;(J$/(* #>/02�;"T=;UO8N�d</ ��/ O+k1/=*�d�t&)(*0C5�=*+B #$/$/4��/¦w�F #(�+.-/�;=B�h+98N `$/(B )>/02�;"T=;U>/13+w16=B�`+.-/�?F,+�H�8H4C+B-c+B-/�`+.(.&O4��/4��/¦¢=B�7+w&)=d+.-/�`P/+��/�!=*=u�O&)0C1/� L�h�����.- /�´�´021�023»µ54 $ ��$ d-/�76�8988�;:��;<>=�<'&ª+r& W � (*42�;</"G&�� KRs#s6K Y%-'&)=G>E�;��� ¦#���6�!(.&ª+.�!< 16=B4��6¦ & �F1��/�;+B42 2��+.-'&O+,-'&)=&�/ ��/024��/�t&)(�&)<6</4C+B4C�#�w</�!$b���6</���/�;�` 2�G+B-/�ZP'(*=*+h+98N ¤�O&)(B42&)>/0C�!=!U3&¤0C4��/�!&)(»</�!$b���/<6���/�;�� ��G+.-/�I�/���_++B-/(B�;��&��/<�4C=d4��/<6�!$b���/</�)�@+w O��+B-/��0a&)=�+dP/�#� W $/16(B�f�/ #4C=B�RYN�O&)(*4a&)>602�!= L@? ��16=B��&D�F1@�/�;+B42 2�A@BDCFEGIH � >�i;J*K LNMPO QiROSJUTWV XZY L�[ T]\�^_V�`�a Ocb;d Cfe O � C K O Cfgih Okj �ml \.Xn oqp2r C ots W § LQK Y$/(*�!=*���@+.�;<�>@5 � (B4C�!</"T&�� L  d-6�c=*�!�; 2�/< +.�!(*" 4C=¢�!0C�t&)(*0C5�+.-/��=*42¦#"% #4C<��F1��/�7+.4C 2��U�=B �4Q+¢�t&��¸>b�"% 3<6�!02�;<G+. %&)(*>/4C+B(.&)(�5,&O�!�!16(.&)�75,8H4C+B-�u*1/=*+H 2�6�|�/�!1/(* 2� L  d-/��$/(* #>/02�;" </&O+r&D1/=*�!<4�� #1/(N+.�!=�+.=�; 2�@+r&)4��/= G j �?+B���3]«</42"%���/=*42 2�/&)0��! R�O&)(*4a&O+B���)�!�;+B #(B=w¦#���6�!(.&ª+.�!<v4��+.-/��1��/4C+u-@5_$E�;(B�;1/>E� Lv? �&)=*=B4C¦2��+.-/���! )(B(B�;=B$b 2�/</4��/¦?(B�;=B$b 2�/=B���O&)0216�!=u&)�!�; #(B<64��/¦D+. w o GxA�BDC o E Ozy o g i|{~}{ g W § L �#Y8H4Q+.-�+.-/� y o G B � g.i E &��/< A�BDCFE ¦#4Q�#�)��>@5 W § LCK Y L»¨ +w=*-/ #1/0C<�>b�f�/ )+B�!<�+B-'&O+u=B4��/�!�`+B-/�� )16+.$/13+.=�!&��v-'&t�)���O&)0216�!=u #16+.=*42</��(.&��/¦#� l � g^i^n U'+B-/�� )16+.$/13+Z1��64C+.=u )��+.-/�d�/�!1/(B&)0w�/�;+98N #(*¥_=Z�t&��j�6 )+u1/=B�+B-/�,=*+.&��/<'&O(B<�=B4C¦#"% #42<�+.-/(*�!=*-/ #02<A�F1@�/�;+B42 2��UJ>/16+D"% #=*+¤$/(B�7�F�!(B&)>/0C5 &v0C4��/�!&)(¤ 2�6� L  d-/4C=¢-/ #0C</=&)0C=B ¢�F #(h+B-/���N��:>=���6>�$:E�����©</&O+r&D>b�!02 R8 L�h�����D� �3°�1�µV¶@��²f1�0V³b°�4 $ ��$ d-/�S�N�W:2=���6>��:������e<'&O+r& 42==*42"%420a&O(T+. +.-6� 98988��:E�;<>=�<'&O+r&3U`&)02=* $/(B�;=B���@+B�!<�>@5 � (B42�;</"T&��W KRs#s6K Y L  d-/�<'&ª+r&)=*�;+D8:&)=?¦#���/�;(.&O+B�!<¸1/=B4��/¦�&©�F1��/�;+B42 2�A+B-'&O+?-'&O=?&S+98N O]®�)&O(B4a&O>/02�0�6 2�/024��/�t&O(

Page 43: Evolutionary Design of Neural Networks Marko A. Grönroos Master

���</�;$E�)�/�!�OU6&� 2�/� ]«�O&)(*4a&)>/0C�!�/ ��/024��/�t&)(�<6�!$b���/</�)�/�!�OU3+98N �0C4��/�!&)(k</�;$E�)�/</�)�/�!�;=h&��/<%42=�4��/</�;$E�)�/</���@+ )��+.-6��02&)=*+dP6�#� W $/1/(*�f�/ #42=*�RYN�O&)(*4a&)>/0C�!= LA@BDCFEG b=i ��� }�� B��PC \ C V E O �F� BDCfe�� i � � E V h Ocb�i � C K Ocj Cfgih O j �ml \.Xn oqp2r C o s > W § L �@Y d-/���! R�O&)(B42&O+.�;=d8:�;(B�¤¦)���/�;(.&O+B�!<v(B&��/</ )"T0Q5G�F(B )"}&%1��64C�F #(*" </42=�+.(*42>/16+B42 2� L  d-6�¤(B�;=B$b 2�/=*�!=¬&O(B�&)=*=B4C¦2�/�!<%1/=*4��/¦ W § L �#YJ8H4C+B- A�BDCFE ¦#4Q�#���T>@5 W § L �@Yk&��/<?8H4C+B- y >E�;4��/¦�&�=*+r&��/<'&)(*<^�/ )(B"T&)0/</�7�342&O+.� L d-/��<'&ª+r&)=*�;+u1/=B�;<v4��c )1/(h+.�;=*+.=u�! ��I+.&)4��6= G �����D=.&)"%$/0C�!= L

x?y � ����������� �S������� ��|��T��� � ��|J����;�H� �fhgViJjVlnmNo W p (B�!�r-6�!0C+ KRs)s !IYw4C=`&,�! #0C02�;�;+.4C 2�© )��$/(* #>/0C�!"%=Z�F #(��/�;1/(.&O0T�/�;+98N #(B¥v02�t&O(��/4��/¦,4��©+B-/�(*�t&)0C" )�±$'&O+*+.�;(��,�;0a&)=*=B4CP/�t&O+B42 2�T&��/<G�F1@�/�;+B42 2�G&)$/$/(* ;�34C"G&O+B42 2�?$/0C1/=h&�=B�7+d )�±(*1/02�;=:&��6<,�! 2�@�)���3]+B42 2�/=��F #(k�t&O(B(*5_4��/¦` #16+»>b���/�r-6"G&)(*¥�+B�!=*+B=�8H4C+.-D+B-/�!=*�d #(�=B4C"T4C0a&)(M$/(* #>/02�;"T= L fhgViJjVlnmNoZ�; 2�@+r&)4��/=K §�<'&O+r&O=B�;+B=N�F(* #" K ��</4HtV�;(B���@+:</ #"T&)4��/= W =*�!�¬ �&)>/0C�¬§ L �#Y L  d-/(B�;�¬ )��+B-/�!=*�`$/(B )>/02�;"T=»8:�;(B�¬16=B�!<4��+B-/42=d=�+.1/<35 L

!#"%$'&)(+*, ���������%- ����� �����%- .�/0,m�)(+*1- 2�(3/'-%-�)"%$N�4/0&)56(65 �75+*1-& 8 , �%$N�:9;'<'=>;'?A@ � B � B C DABAB DAE 9 EGFIH XKJ �L*MN/*�756OG*QPRTS <�UNU � B � B D C��V -W*1*X&Y*(+$QZ[ ?N<A@N\ �:] D �;� ^AE C BAC;� VNEGFIH XKJ �L*MN/*�756OG*QP �&)>/0C�u§ L � � � 1@1,*53(B!/�1,')6X1,*5/�0W15/!*,'+:_�159!'a`�bTc>dTeGfhg�$!*5+UB!&('A" 6 � �9!'#i./!"�BF'�*q+:_�3ji!$�/�18/Gi!341,6E3(6 N 3jkU'Wil_\+�*qB!3mi� #*,?�\BF�e :i�- 0A+Qi^153mi./!+�/F6 �H07�T3mi!$!/�1D6� Qi�- B!3mi� #*,?z3mi�-�3O0A #15+�*D6 �H" ��_\+�*�" 3O6,6@3mi N k #&(/!'76 � � � +�i^153mi^/�+�/�6e" '7 :i�6 " +U*5'159� Qi 1XL�+%-�3jn�'�*5'oiU1)+U*,-!'A*,'�-�k �&4/!'76,�

p 6U� ��=�� <'&ª+r&4q�<6�t&)0C=�8H4C+B- +.-6�,</4a&O¦2�/ #=*42=� )�d>/(*�t&)=�+D�t&��6�!�!(¢&��/< +B-/�G+r&O=B¥�42=�+. ©�;0a&)=*=B4C� 5�+B13]"% #(B=¤&)=D�!4Q+.-/�;(¢>b���/4C¦2�A #(¢"T&)0C42¦2�'&��I+�>'&O=B�!< 2���;�!0C0:</�;=B�!(*42$6+B42 2�6=¢¦@&O+B-/�!(*�!< >@5A"%42�!(* #=B�; #$/4C��i�/&O"T4��'&O+.4C 2� L  d-/���O&)(*4a&)>602�!=h&)(B�`</�;=B�;(B42>b�!<�4�� �&)>/02��§ L � LrYs 6���� </&O+r&�</�!&)02=`8H4C+B-��;0a&)=*=B4QP'�t&O+B42 2�S O�h¦#02&)=B=¬+95_$b�!= Lut 0C0k4��/$616+.=�&)(*�%�; 2�@+.4��_16 #1/=�&��/<�+98: )�M+B-/�!" -'&t�#�`-'&)(*</0C5G&��@5,�; #(B(*�!02&O+.4C 2�T8H4Q+.-,+.-6�¬(B�;=B1/0Q+ L  d-/�`=*4wv!�;=d )�M+.-/�|&¢�;0a&)=*=B�;=H&)(B� �U U � &3UK!� U K �6U s &��/<#� s =B&)"T$602�!=;U/(B�;=B$b�!�7+.4C�)�!0Q5 L  d-/�`�)&O(B4a&O>/02�;=d&)(B��</�;=B�;(B42>b�!<c4�� �&)>/0C��§ L ! Lx =96��9: </&O+r&Ty�42=�1/=*�!< +B �$/(*�!</4C�;+�-/�t&O(*+�</42=*�t&)=*� L  d-/�T>/4��/&)(*5S<6�!�!4C=B4C 2� 4C=�>/&)=B�;<A 2���)&O(B42 )1/=$b�!(*=B 2�'&O03<'&ª+r& L{z #=�+k )�/+B-/�N&O+B+B(B42>616+.�;=�-'&t�)�h"T4C=B=*4��/¦d�O&)0216�!=!UO=B #"%� )_164C+.�N"G&��I5 � �F #(�&O+B+B(B4C>/16+.�;=| ��*53 N 3mi� #&=65+�/!*D0W'�}�~�i!3mk�'�*,653M1X?s+:_>��3O6,0W+QiF6@3mi���+U65$!341, #&O6 �G� �-�3O65+QiL�G��* � ��3(&(&43O #" � � � +U&4B�'A* N� ��*53 N 3mi� #&�6@+U/!*D0W'Q} �)/Ni N �*53O :i���i�6@153415/!15';+:_ � #*D-�3(+�&(+ N ? �U /�-� #B�'�6@1o� � i�-!*, U6��^ :i!+^6@3 ���h� � �4� ~ai!3mk�'A*D653M1X? �)+^6X<$!341, #& �T� /�*53O0D9 � �.LK341���'A*,&( Qi�-)�G��3(&4&(3O #" �.15'A3mi.B!*,/GiGi �T� � � �(� ~�i!3mk�'�*,65341X? �)+^6@$!341, �& �F U6@'�& � ��LK3M1��A'A*,&O :i�-)� � 15159!3O �6��� 6@15'�*5'�* ��� � � �(����� ���Y� '�-�3O0A �& � 'oiU1,'A* � :�+Qi N{ '7 �0D9 :i�- � &('WkU'A&O :i�- � &(3ji�3(0���+�/GiF-! 1,34+�iL�8JK+�B�'A*51l��'W1,*, Qi!+ ���� � �(� � 9 � � �

Page 44: Evolutionary Design of Neural Networks Marko A. Grönroos Master

�'!K; U K �H&��/< K#K +.-/�;(B�N&)(B�� )s U�!���&H&��/< & K#K �O&)0C1/�!=±"%42=*=B4��6¦/UR(B�;=B$b�!�;+B4C�)�!0C5 L�z )=*+� )+.-6�!(�&O+B+B(B4C>/16+.�;=-'&t�)� &)(* #1��/< & "%42=B=*4��/¦A�O&)0C1/�!= L t </</4C+B42 2�/&)0¬>b 3 #0C�t&�� 4��/$/16+B=c&)(B��1/=*�!< +B (B�!$6(B�!=*���@+v+B-/�� "T4C=B=*4��/¦2�6�!=B= �/ )��+.-/�;=B���O&)021/�;= L  d-/���O&)(B42&)>/0C�!=d&)(*��</�!=*�!(B4C>E�;<�4�� J&)>602��§ L § L

x?y�� � � � �?|�����~���� �`~�� d-/�w>'&��/¥I(*1/$6+.�75G</&O+r& W� 6U� �W�����W:/Y:�; 2�/=*42=*+B=: )��<'&O+r&O=B�;+B=: 2�6�)U3+98N D&��6<T+.-6(B�!�w5#�t&O(B=:>b�;�F )(B�w+B-/�>'&��/¥I(B1/$6+B�;5 L�� &O�r-S<'&O+r&O=B�;+¬�! 2�@+r&O4��/=u+.(.&O4��/4��/¦T</&O+r&T8H4Q+.-,! � �t&O=B�!=�&��/<S&T+B�!=*+¬=B�;+Z8H4C+.- K��' �!&)=B�;= L ? �1/=*�� ��/0C5�+.-/�,P'(*=*+% )�u+.-/��+B-/(B�;�c</&O+r&)=*�;+B=T4��A+.-/4C=D=*+.16<65 L  d-/��t&)=*�!=%-'&t�#�c>E�;����; #020C�!�;+B�!<G�F(* #" K & ��� § t "%�!(*42�t&��,�! #"%$'&��642�!=N4�� ( #"%$/1/=�+r&O+ t ���I1'&O0 ¨ �/</1/=�+.(*4a&)0 � 420C�w<'&ª+r&)>'&O=B��F(* #" KRs �@§%+B KRs#s � L t </�;�!$b�!(`</�;=B�!(*42$6+B42 2�v )��+.-/�¤<'&O+r&,-/&)=¬>b�!���S¦)4C�#�)�S>@5��h&)�r¥nU�+3�;(B�OU±&��/<�M&)4Q+.4��6��� W KRs#s�� Y L�� &)0Q�' )�'+B-/�:�!&)=B�;=»&)(B��� &)420C4��/¦d�; #"T$/&��/42�;= W �!0a&O=B= K Y�&��/<¤-'&)0C���/ 2�3]®� &)420C4��/¦ W �!0a&O=B= Y L  d-/� ����4��/$616+`�O&)(B42&)>/02�;=`=B�;02�!�7+.�;<�>@5��h&)�r¥v�;+�&)0 L W KRs#s�� Y¬&)(B�¢P��'&��/�;4a&)0k(B&O+.4C #=¬+.-/&O+�-'&t�#�>b�!�)���F #1��6<�+B �>b�T16=B�;�F160�4���=* #"%�%$6(B�;�_4C #1/=�>'&��/¥I(B16$6+.�75�$6(B�!<642�;+B42 2��=�+.1/</4C�!= L  d-/�%�)&O(B4a&O>/02�;=&)(*�`</�!=*�!(*42>b�!<v4��� J&O>/02��§ L & L

 d-/�u�t&)=*�!=»8H4C+B-/4��D+.-6�H+B(.&)4��/4��6¦`<'&O+r&�&)(*�H(.&��/<6 #"T0Q5¢$b�!(*"¢16+r&ª+.�!<T&��/<D+B-/���T #(B</�;(B�;<T=* �+.-/&O+� &)4C024��/¦?&��/<j�6 2�3]«� &O42024��/¦D�! )"T$'&��/42�;=Z&)0Q+.�;(��'&O+B��4���+B-/�¤=*�;+ L  d-/�¤+B(.&)4��/4��6¦%</&O+r&%42=w+B-/���v</4C�_42<6�!<4��I+B �&��/�!16(.&)0/+B(.&)4��/4��/¦w<'&O+.&�&��/<%&ZP/++�/�;=B=��;�O&)0C1'&O+.4C 2�¤=*�;+�4�� �F�������¬(.&O+B42 /U@&O=�</�!=*�!(B4C>E�;<?>E�;02 R8�U&��6<c4�� � 42¦#16(B��§ LQK#Lx?y � !£� �"��;��� � ~a���#��~����±�h~���h�D�w��� $&%(')%+*,%(-/.0%(.�1 -2* 3 � *,451 *? �T<64C�_42</�?+.-6�T�;0a&)=*=B4CP/�t&O+B42 2��<'&O+.&)=B�7+.=¤4��@+. �F #1/(�$'&O+B+B�!((� =B�7+.= L#� 42(B=�+¤4C=`+.-/�G&)�;+B1'&)07698�:<;�=>;�=,?@BA 6M+.-'&ª+¬+.-/�G�/�!1/(B&)0J0C�t&)((�/4��6¦,&)0C¦# #(B4Q+.-/" 1/=B�;=¬+. ,+.(B&)4��c+.-/�¤�! 2���6�!�;+B42 2�©8N�!4C¦#-@+.= L  d-/�D=B�;�! 2�/<4C=¢&DCE:�~F;HGI:<6H;KJE= @BA 6qU�16=B�!<A�F )(¤�t&O(B0C5�=�+. #$6$/4��/¦v</1/(B4��/¦v+B-/���/�;1/(.&O0:02�!&)(��64��/¦ L  d-/�G+B-/42(*<A42=�&��A CE:�~m}L:<69;KJE= @BA 6 L  d-/�u�;�) #0213+.42 ��'&)(*5¢&)02¦) #(B4Q+.-/" 1/=B�;=:4Q+��F #(»�;�O&)021/&O+.4��/¦¬+.-/�HP/+��/�!=*=: )�b+.-/�H+.(B&)4��6�!<�/�7+98: )(B¥I= L ? �S"T�!&)=B16(B�©+.-6��P6++�/�;=B= )��+.-/�S+B(.&)4��/�!< �/�7+98: )(B¥I=v&O= z + � 4�� (B�;=B$b�!�;++B +B-/��7�)&O021'&O+B42 2��=B�7+ L  d-/�h�;�O&)0C1'&O+B42 2�� )�/+B-/�NP/+��/�!=*=k�t&��H�/ )+J>E�N</ 2�/��8H4C+.-�+.-/��+.(B&)4��/4��/¦u=B�;+!U#>b�!�t&O1/=B�8N�d8h&��@+»+. �"%�t&)=*1/(B�d+B-/�H¦#���/�;(.&)0C4wv!&O+.4C 2�D&)>/4C024Q+95� O�E+B-/�P�/�;+98N #(B¥nU%�/ )+%u*1/=�+»+.-/�H02�!&)(��64��/¦`&O>/420C4C+95 L d-/�`�F #16(*+.-=*�;+w42=h+.-6� � =M:�~56 AN@ 6 @BA 6qU/8H-642�r-c42=d1/=*�!<c4���P��'&)0�+B�!=�+.=d+. %>E�)�/�r-/"T&)(B¥T+.-/�f�/�7+98: #(*¥+B #$E )02 #¦#4C�!=J�F )1��/<%>I5D+B-/�u�;�# )0216+B42 2�'&O(*5?&)0C¦# #(*4C+.-6" 8H4Q+.-?+.-/�H</4HtV�;(B���@+N���/�; 3<64��/¦�"%�;+.-6 3</= L  d-/�=*�;+¬+B-'&O+`4C=Z1/=*�!<�&)=Z+B-/�¢�;�O&)0C1'&O+B42 2��=B�;+�<61/(B4��/¦G+.-6�¢�;�) #0216+B42 2�v(B1���UV42=Z16=B�!<�&)=w+.-/�¤�O&)0C42<'&ª+.42 ��=*�;+u4���+.-6��P��'&)0�+.�;=*+B= L? ��F )(B"%�!<�+.-/�=*�;+.=D�F #(¢+B-/�>'&��/¥I(*1/$6+.�75 <'&O+.&�>@5 </4Q�_42</4��/¦v+.-6�c )(B42¦)4��'&)0�<'&O+.&)=B�7+T&)=?420Q]0C1/=*+B(.&O+B�!<�4�� � 4C¦#1/(B�©§ LQK#L  d-/��fdgEikjVlnm�o�<'&O+.&)=B�7+.=�&O(B�v<64C�_42</�;<�4���& =B4C"T4C0a&)(¢"T&����6�!(POw�F #(�/�;1/(.&O0n+B(.&)4��/4��6¦`<'&O+r&�§ � U@�F #(»�;�O&)0C16+.4C 2�?=B�7+ �#§ � U_&��6<T�F #(�P��'&O0/+.�!=�+h=*�;+ �#§ � )�E+.-/�w&t�O&)4202&)>/02�$'&ª+B+.�;(��/= L p (B�!�r-6�!0C+ W KRs#s �#Y�"T&)</�G&©=B�t&O(B�r-��F #(¢&�¦# 3 _<A=*4wv!�T )�H+.-/�T�)&O0242</&O+.4C 2��=B�;+D8H4Q+.- +B-/�fhgViJjVlnmNo¢<'&ª+r&)=*�;+.= LQ� ��(B�;�!�!4Q�#�;<�+.-6��>b�!=�+u(B�!=*1/0C+B=d8H4C+.-$b #(*+B42 2�6=d(.&��/¦)4��/¦¢�F(* #"SR���T +. U�IV<T )��+.-6�`���@+.4C(B�`+.(B&)4��/4��/¦¢<'&ª+r& L�? �`1/=B� � � )��+.-/�|�/�;1/(.&O0�+.(.&O4��/4��/¦¢<'&O+.&?&)=d+.-/�¬�O&)0C42<'&O+B42 2�T=B�7+tU&��6<c(*�!=�+¬&)=h+B-/�`+.(B&)4��/4��/¦D=B�7+ L

Page 45: Evolutionary Design of Neural Networks Marko A. Grönroos Master

�@§fhgVikjElnmNoA�! ��I+.&)4��6=G+.-/(*�!��</4HtV�;(B���@+$b�!(*"¢16+r&ª+.42 ��/=, )���t&O�r- </&O+r&)=*�;+ L  d-/�S=B�7+.=�t&�� >b�

$'&O(*+.4Q+.4C 2�/�!<¤4��¢=*4 �?&O</</4C+B42 2�/&)0I�! #"¢>64��'&O+B42 2�6= L ? �h16=B�d+.-/�NP'(B=�+»$E�;(B"¢16+.&O+.4C 2�D&��6<%$/&)(*+B4C+.4C 2�/4��/¦/U8H-/4C�r-�4C=d4��/<642�t&ª+.�!<4��,+.-/��<'&O+.&)=B�7+1�'&)"%�¬8H4C+.-VU/�F #(d���6&)"%$/02�OU%�'6U�F�'=�����6 L

400 cases

400 cases 170 cases

Final testing

Final test setEntire training data

Evaluation set

Neural training set

120 cases

120 cases280 cases

224 cases 56 cases

Permutation

Partitioning

Partitioning

Training Fitness evaluationNetwork

Neural training data

Validation set

� 42¦#1/(*��§ LQK������jk�������Qi�:_��� ������������������ � �� ���i���������� �!�"���a_#������ ��$�%�:i�&�����'(��)�*+���"��� �

�h�D�w�®­ ,.-)30/ � %213/�1 %+-/.

 d-/�¤4��/$/13+Z�#�;�;+B #(B=` )�»+B-/�¤>'&��/¥I(B1/$6+B�;5S</&O+r&T8N�!(*�D�*)I1'&)0C4wv;�!<©1/=*4��/¦T+98: �"%�;+B-/ 3<6= �4 ; @ 6(J ?<8�: �A � }L:�~F; � :<69;KJE=¢&��/<"?I:�} @N@ ;H:<= A � } :�~F; � :<6H;KJE= W =*�!� t $/$b���/</4q� t Y L_¨ �,>b )+.-T�t&)=*�!=h�!&)�r-� )��+B-/�w�)�!�7+. #(�; #"T$b 2�/�)�@+.=`42=`� )I1'&)024 v!�;<�=*�!$'&O(.&O+B�!0C5 L  d-/�D+.�;=*+�=B�7+.=`8N�!(B�?� )_1/&)024 v!�!<�1/=*4��/¦�+B-/�D�*)I1'&)0C4wv!&O+.4C 2�$'&O(.&)"%�;+B�!(B=��F(B #" +.-/�:�! #(*(B�!=*$E ��/</4��6¦¬+.(.&O4��/4��/¦Z<'&ª+r& L \w )+B�:+.-'&ª+k+.-/4C=k�*)I1'&O024wv!&O+.4C 2�¢&O$/$/024C�!=� 2�/0C5+B �+B-/�H>'&��/¥I(B16$6+.�75T</&O+r&LO@+B-/�w</&O+r&)=*�;+B=N4���fhgEikjVlnm�o`8N�!(*�w� )_1/&)024 v!�!<%>@5 p (B�!�r-6�!0C+ W Kts#s !IY�8H4Q+.-0C4��/�!&)( W ¦#&)1/=B=*4a&��'Y:�*)I1'&)0C4wvt&ª+.42 �� L576�8�8�6�9�v;:=<?>�@BAC8

 d-/�;(B��42=B�6 %�;02�!&)(B0Q5G>b�!=�+u8:&t5�+. D4��6�F #(B" W "% #=*+rY:&)(�+.4CP/�!4a&O0 �/�;1/(.&O0��/�;+98N #(B¥�"% _</�!0C=:+.-'&ª+H=B #"%� )�n+B-/�H4��/$/13+k�#�;�;+. )(��; #"%$E 2�6���@+.=�&)(*�d"T4C=B=B4��/¦ L�� (B #" +.-/�¬fhgViJjVlnmNoZ</&O+r&)=*�;+B=!UI=B1/�r-G&��/ #"T&)0C42�!=-'&t�)�Z�!4Q+.-/�;(N>b�!�)�,(B�;"T R�)�!<, #(N&)(*�w4��/</42�!&O+.�;<T>@5T&�=*�!$'&O(.&O+B�Z>/4��'&)(*5¢4��/$/13+.= L�t >E )16+ KN � )��+B-/��!&)=B�;=N4��%+B-/�H>'&��/¥I(B16$6+.�75T</&O+r&)=*�;+��! ��I+.&)4��%"%42=B=*4��/¦¬�O&)0C1/�!= L t � +B�!(�+.-6�u� )I1'&)024 vt&O+B42 2�VU)8:�u=B�7+N+B-/�"%42=*=B4��6¦G�O&)021/�;=Z+. �+B-/�?&t�#�!(B&)¦#�D )�»+B-/�D�*)I1'&)0C4wv;�!<�=B�7+.= � 6L §G�F #(w+.-/�D-/4C=*+B #¦#(.&O" �6 #(B"T&)024 vt&O+B42 2�&��6< 6L �F #(h+.-6��¦#&)1/=B=*4a&��b�/ )(B"T&)024 vt&O+B42 2� LD @!E(F�@GEH:IACJ�E(KML�8? ��=*�t&)0C�!<c+.-/��+.-/�� #16+B$/16+u�#�;�;+. )(B=Z O�k+.-/��>'&��6¥_(*1/$6+B�;5c<'&O+.&T=B %+.-'&ª+ ��NPO G7QSRUT �N� X &��/< ��NV GQSRUT �G� \ L  d-/��(B�!&)=B ���>b�!-/4��/<�+.-/4C=d42=h+B-'&O+tU64C�M+.-/�� #13+.$/16+u02&R5)�!(d )��+.-6�i�6�!1/(B&)0g�/�7+98: #(*¥�1/=B�;=u+B-/�=*42¦#"% #42<©�F1@�/�;+B42 2��UM4Q+.=�</�!(*4C�O&O+B4C�#�D4���+B-/�?024C"T4Q+.= &��/< K 8: #1602< >b� v!�;(B /UM8H-/42�r-�"T4C¦#-@+`�t&O1/=B�$/(* #>/0C�!"%=d4��,+.-6��+B(.&)4��/4��6¦D$/(B _�!�;=B= L

Page 46: Evolutionary Design of Neural Networks Marko A. Grönroos Master

��&������������� �������������������� ��������� \ 2�( �),m�"!$#)5+8&%U�L*1-W- �(' �i� V )��)5+* $'"7, 5 �-, $�*a2{*(6( . 5/.:* �(' �i� e )��)5+* $'"7, 5 �-, $�*a2{*(6( .0#4/*��* �(' �i� K 1 /0"7MA5 �4/0( �324#L*1-75+$N� �(' �i� g . 5 �)MA(+*65 �)5 �7#L*(653/0(�2{*(6(�. 5/.:* �(' �i� r �/0"%*68��L8(+*5 �(' �i� :9 {(3/*��2u2;#)"%$', /*�75 � �(' �i� =< 8 $'"7, /0(�8 �L8(+*1$'(65 �(' �i� => 1u5 �%$A-%*1- �(' �i�? \:@ ? V 2�(3/'-%- J ? \�A &�* �)56M;�CB ? VDA , /0(656M;�4/*�$�oP �&)>/0C��§ L � � � �S�����"��E � ���mi0�� ��GF�H�I4F�J�K ���"��� � �� ��$���Qi�LS� ���W_#��� �3��� �� ��$���Qi�LS� �ji0�� ��$�S���ML��ji%�:E ����� � �

������������� NPO��RQS������ TU��� TV�4W TV����� XY NZ�[���\�R��4�����]�_^`����Oa�0������ \ b � � 9 E��;�:C � 9 EA^A^AB � 9 E��:]0V � 9 �;�A^;� '�� 9 �:D0VNC V 8 / �i� 9dc ^ � cT9 ^A] �:^ 9 V$� c B � 9 ]��:DAD � 9 E;�A^;� e 1�M � V 9 VNB C 9 DA]0VNE � 9 VAVNC0V '�� 9dc VAV c K ��( � 9 CAB ^ 9 E � 9 VAVAVNB � 9 VNBABA^ � 9 EABA]A] g . 5 DAB 9 ]�� c E 9 V9� c C 9 DAE;�AB � 9dcDc VNE � 9 �:E��:E r

e � D 9 C�� � 9 VNB c � � 9 DAEACAC '�� 9 ���i�;� 9 2 / E 9 VN^ �:D 9 �:B ] 9 BAE c � � 9 VNCA^AC � 9 �;�;� c < �/ � ^ 9 �:E � 9 � c E;� � 9 VNB c C � 9 E c E�� => fL* � � 9 E�� � 9 �AE c � � 9 �AB c V '�� 9 �:] c Bgih �:� h � NP����:�`����Qj�? \ @�)56(k2�5 �)MKZ�5 ��2)$:Z�-�B�l4$G/*��)"%$T81*1-%-%*=2? V @�)56(k2�5 �)MKZ�5 ��2)$:Z�-�B9�L$N� ' l4$G/*��)"%$T81*1-%-%*=2? e m *n#)5+8(+*�Z�5 ��2)$QZ�-:B�l4$G/*��)"%$T81*1-%-%*=2? K 2{$N�$�W/05 �L*"%-? g !�/�o)(+*Z /0"%*?r

p *:/�2�(3/0,m�L- �&)>/0C�¬§ L ! �a��i�'��(�!�:i�� ���(��'��(��k��"�����"��E� �I�ji �� ��rq�s�H�t�t ���"��� � �� ������Qi�LS� �I�:i%� �U� �����������+u������W_#���M������ ��B�����vLS�mi��:E����� � �

Page 47: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� ��3���0�� �n��� h ����������������� �� ��0�:����������������A� MG* \ � 81$N�U�75 �$�L$N�L- ��������������������������A-%*��

V � o)5 � "7, J ��� *�*, (+*DB � � , (+*QPCA8 #L*1-��� 5 ��� ,'��* e�! K ! g�! r V �L$', 5 � ( J ^ A � ,'�)5+8 ( �)MA5 � B V A" �-,U�)5+8 ( �)MA5 � BE

A�L$N� ' �)MA5 � (%� 5 �CB D A" -7,T,m���%$', �75+8QP :9 � o)5 � "7, J ��� � �7" �)"%*1-%* �U�:B � � � �7"7, 5+-%-%5 �)M P^

A"%*1- �75 �)Mio)(+$T$R2 �)"%*1-%- �)"%*

< � 81$N�U�75 �$�L$N�L- ];� 96969 C;�;� => � o)5 � "7, J ��� � �7" �)"%*1-%* �U�:B � � � �7"7, 5+-%-%5 �)M PV

A-%*" �), 8&#L$'(+*1- �%$'" ( 5 ��, M$#�2�( \.X � 81$N�U�75 �$�L$N�L- ]AE 96969 D;�A^

\ \ � o)5 � "7, J ��� � �7" �)"%*1-%* �U�:B � � � �7"7, 5+-%-%5 �)M PEA* - �75 �)Mio)(+$T$02�- �)M " \.V ! \ e C �L$', 5 � ( J �:C A&% �'��(*)�+-,$.

@�'/A10 �'��(*)2+-,3. P

\ K � o)5 � "7, J ��� � �7" �)"%*1-%* �U�:B � � � �7"7, 5+-%-%5 �)M PDA"%*1- �75 �)M *(+*18 �7"%$T8 " 2�5+$'MA" ��#)5+8 "%*1- �)( �%- \ g�! \ r ! \ 9 ^ �L$', 5 � ( J �:E A �L$'"7, ( B �:D A54 ! ' !�Z OG* o��L$'"7, (65 � ,�B� c

A(+* *t��OG* �$�7"75+8 �)( "(#�,'��*" �7"%$N��#�,LP \ < � o)5 � "7, J ��� � �7" �)"%*1-%* �U�:B � � � �7"7, 5+-%-%5 �)M Pc

A, ��56,v�), #L* " ��" �%* 8 #)5+*OG*=2 \ > � 81$N�U�75 �$�L$N�L- D;� 96969 C;�AC

V X � o)5 � "7, J ��� � �7" �)"%*1-%* �U�:B � � � �7"7, 5+-%-%5 �)M P]A*��)*"%85+-%*�5 ��2��L81*=2 �)MA5 � VZ\ ! V V C �L$', 5 � ( J C�� A ,G*1-:B CAC A �L$NP V e � o)5 � "7, J ��� � �7" �)"%*1-%* �U�:B � � � �7"7, 5+-%-%5 �)M PB

A64 ! 2)* �)"%*1-%-%5+$N� 5 ��2��L81*=2�o�,�*��)*"%85+-%*X"%*( �756OG* �%$ "%*1-�� V K � 81$N�U�75 �$�L$N�L- '�C 9 D 96969 D 9 C V g � o)5 � "7, J ��� � �7" �)"%*1-%* �U�:B � � � �7"7, 5+-%-%5 �)M P�i�

A�7#L*�-7(+$N��*�$�*P�7#L* �Y* % *��)*"%85+-%* 4 !�-%*MA,K* �U� V r ! V 9 ! V < ^ �L$', 5 � ( J CAD A ���L-7(+$N�)5 �)M�B C c A l �:B CA] A 2)$:Z��L-7(+$N�)5 �)M P V > � o)5 � "7, J ��� � �7" �)"%*1-%* �U�:B � � � �7"7, 5+-%-%5 �)M P�;�

A�U�),Zo�*"l$�*�, 87 $'"�OG*1-%-W*(+- J �\'�^ P 81$'(+$'"%*=2�o0, l4$N�)"%$A-W$N��, e X � 81$N�U�75 �$�L$N�L- � 96969 ^

e \ � o)5 � "7, J ��� � �7" �)"%*1-%* �U�:B � � � �7"7, 5+-%-%5 �)M P�:CA�7# ( e V ! e e�! e K ^ �L$', 5 � ( J ^AC A �L$'"7, ( B ^A^ A 9 �)*=2 2)* * *18 �:B^0V

A"%*OG*"%- o)(+*P2)* * *18 �oP e g � o)5 � "7, J ��� � �7" �)"%*1-%* �U�:B � � � �7"7, 5+-%-%5 �)M P �&)>/0C�¬§ L § � � �S�����"��E � �?�ji �� ��6:�J�H\K; ���"��� � �� ��=<?>A@�B!�mi��(�AC ���%_#� ���M���$�� �� � �&E�� �ji �� ����S���ML��ji���E����"����D-E! ��vE �G�� ��F�GIH�J�KMLINIOPFQN R @�>B�ji%�(�SC0���W_#��� �I��� �� ��$'���� '����Du�� ����� �+���"��� �

Page 48: Evolutionary Design of Neural Networks Marko A. Grönroos Master

���m "75 o)(+* b �75+$ !r,U��*� 2 - #�#A2��)"7"%* �$����5 o)56(65 �75+*1- �C 2 - # f (+$:Z #A2��)"7"%* �$����5 o)56(65 �75+*1- �^ 2 - # f (+$:Z #�! $N� (%�l-W-%* �%- �V 2 - # f (+$:Z #�! $N� (��X*no�� �E 2 - #�#�8l* � 4� (+*1- �D 2 - #�#�! $N� (F� -%-%* �%- �

c 2��)"7"%* �U��� -%-%* �%- #A2��)"7"%* �U����5 o)56(65 �75+*1- �] 2��)"7"%* �U��� -%-%* �%- #�8 * � 4� (+*1- �B 2��)"7"%* �U��� -%-%* �%- #�!�$N� ( � -%-%* �%- ��i� 2��)"7"%* �U����5 o)56(65 �75+*1-�#�5��$�)5 �-, ��;� 5 o)5 � #�! $N� (P�.�U�%*"%*1- ��! ,T,K* �$�%- ��:C 5��$�)5 �-, # 8 * � 4� (+*1- 4�:^ ���NOG* �U�%$'"7,2#�8 * � 4� (+*1- ��V � $N�)M`! *"7,� *no�� #�5��$�)5 �-, 4�:E � $N�)M`! *"7,� *no�� #�8 * � 2 �)5 � (�5�,m�)(+$:,G*=2 4�:D 1 "7%G* � m ( �L*�$�* 5��U�)5 � , #* $ $�% m ( �L*�$�*�X*no�� 4� c 8 * ����L81$',K* #�! $N� (P�l-%-W* �%- !�:] 8 * �����)5+8 %�� -%-%* �%- #*���NOG* �U�%$'"7, ��:B 8 * � 4� (+*1-1# !�$N� (F� -%-%* �%- !C;� 8 * � ��$'" �7#�#�! $N� (���5 o)56(65 �75+*1- 4C�� ����*" �75 �)M ���L81$',K* #�! $N� (P�l-W-%* �%- !CAC ���)5+8&%��l-%-W* �%- #A2��)"7"%* �$����5 o)56(65 �75+*1- �CA^ ���)5+8&%��l-%-W* �%- #�8l* � 4� (+*1- �C0V ���)5+8&%��l-%-W* �%- #�! $N� ( � -%-%* �%- �CAE b �%*�$�*bl* � �)" ���%$ 2{$', ,K$N� 4 �%$T8 % !CAD bl* � 5 �L*=2 5 " �)5 �)MG- #�!�$N� (%� -%-%* �%- !C c !�$N� (��X*no�� #�5��U�)5 � , 4CA] !�$N� (��X*no�� #�! $N� (%�l-W-%* �%- 4CAB !�$N� (���5 o)56(65 �75+*1-�#�8l* ��2 �)5 � (�5#,m�)(+$:,G*=2 4^;� ��$'"7%T5 �)M 2 �)5 � ( #�8 * � 4� (+*1- �^�� ��$'"7%T5 �)M 2 �)5 � ( #�8 * ����$'" �7# �^AC ��$'"7%T5 �)M 2 �)5 � ( #�!�$N� (%� -%-%* �%- �^A^ 5 " �)5 �)MG-� * *�$'"%* �.�U�%*"%*1- � ��2 ! ��*1- # ! $N� ( � -%-%* �%- ! �&)>/0C�§ L & � � �ji%�:i�u����E�� ����� � ���mi �� �����H�I���K�����; ���"��������� � �� �� K�� H >����&EvE� �� %��� �� ��0���"���� ��� �����;E� � �����(� �U* D� ��'���� � � �"���vE� �U*8D(�S��!"� ����E��(� �U* �mi��(�+u��"���S� �

Page 49: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� ��������� �

� � ������ ������� ����� ������������

���� "!$#&%(')!+*-,$ ".0/21435.764/8%9 :%9!4;<3= 8!4.>/8.0%8?4@A "%(BC;D/(%9;DEF.G,4/8.0@&#HEI#H�+*J/9KL'2*J@&#HM4/"*N "#&;J�I ".0%9 8%21O*J�4P� 8!4.2�P4#H%8'0?4%8%: "!4.7/9.2%8?$@H "%QBC;D/( 8!4.7.2�4'0;RP$#&�4SLEF.0 "!$;RP4%0T

UIV2W XZY\[0] � ^�_a��`:]a]bc.�64/8%9 I*J�4*[email protected] 8!4.�*JEI;J?4�e I;-BG�4;D#H%8.#&�f�4.0?4/"*-@: 8/"*J#H�4#&�$SgP4?4. ";h/"*J�4P$;DEI�$.2%8%F#&�f#H�4#H 8#i*J@'0;D�4�4.0'0 "#H;D�L3j.0#&SD!e "%0TlkQ!4#H%m3j*J%mP4;D�$.: 8;7'n*J@H#&M4/8*- ".j 8!4.po t BC;J/l "!4.:P4.rqD.2@H;D,4EF.2�e 5;JBs�$.2?4/8*J@+�4.0 ut35;D/8vL*-/8')!4#A ".2'r "?4/9.2%0Tlbw.Q "!$.2�x%9.n*J/9')!4.2PFBC;D/mSD;y;RPIo t ,+*J/"*-EI.r ".2/9%m;D�I%9#&EF,4@&.j%8.n*-/8')!x,$/8;[email protected]%3:!4#H@&.Gq-*J/uKR#H�4SL "!4.z*JEF;D?4�e :;JBl�$;D#&%9.JTjkQ!$.z,+*-/"*JEF.0 8.2/8%: "!4*- :3j.0/8.\;D,$ "#HEx*-@sBC;D/( "!$.{*JEF;D?4�e |;JB�4;J#&%8.>#H��4.2?4/8*J@�@&.2*J/8�$#&�4S},4/9;[email protected]%(3j.0/8.z*JP4;D,$ 8.2P�BC;D/Q@&*- ".0/Q?4%8.-T

�~ |Ex*nK�%9.2.0E�*LM$#H :%9 8/"*J�$SD.> ";I*JP4P��4;D#&%9.F��/8*J�4P4;DE�#&�4#A "#i*-@&#wv2*- "#H;D�L;JB�35.2#HSD!e "%"�( 8;F 8!4.7.0q-*J@�t?+*N "#&;J�c;JB5 "!4.I#&�4P$#Hqy#&P4?4*J@&%7*J�$Pc "!$.2�cBC?$%8%�*-M�;D?R z 8!4.I,$/8;[email protected]%7#H \M4/8#H�4SD%0T�kQ!4.x/8*J�4P4;DE�#H�4#At 8#i*J@H#wvn*N "#&;J�c#H%21�!4;<3j.rqD.2/01(.2%9%8.0�� 8#i*J@QBC;D/{�4.2?4/8*J@Q@&.2*J/8�$#&�4S�*J@HSD;D/9#H "!$EI%0Tw��#H/8%u L;JBG*-@&@�1�#A }#&%}P$;D�4. 8;�*nqD;D#HP�,4/8;JM4@&.0EI%pP4?4.{ 8;�%9KyEFEI.r "/8#H.2%p#&�� 8!4.��4.r �3j;D/9v��H�j#&%9!4;D,��<�J�e�J*$1�,4,�T7�-�D�Ntu�-�e�D�rT �j?$ 21 8!+*- \P4;y.2%8�s�� 7KD.r {.��R,4@i*J#H�g3:!�Kg35.F?4%8. G<; � A 8 A =>6l/"*J�$P4;DE�#H�4#H 8#i*J@H#& n*N "#&;J��.rqD.0/9K� "#HEI.�35.F 8/"*J#H� 8!4.I�$.0 �35;D/8vOT���#H/8%u 7;JBQ*J@H@�1�*-%zEF.2�e "#H;D�4.0Pc#H�w¡j!4*J,$ ".0/��y1¢ 8!4.} "/"*-#&�4#H�4S�.2/9/8;D/7#&%> 8!4.I/9.2%9?4@H \;JB*�'2;JEI,[email protected]��BC?4�4'r "#&;J�h;-B5 8;D,�;J@&;DSJKJ1s.0%8,�.2'2#&*J@&@AK�3:#A "!�P4.r ".2/9EI#H�4#&%u "#H'�@&.2*J/8�4#H�4S�*J@HSD;D/9#H "!$EI% O�%8EI*J@&@')!+*-�4SD.2%�#&�{ 8!4.5 8;D,�;J@&;DSJK7'2*J��'2*J?4%8.j?4�4,4/9.2P4#H'0 )*-M4@&.5')!+*J�4SD.0%�#&�\ "!4.� "/"*-#&�4#H�4Sp.0/8/9;D/2T£kQ!4#&%£EI.2*J�4% 8!+*- l 8!4.2/9.(#&%¢¤��4;D#H%8.r¥j*J�eK�3j*<Ky%01$*J�$P}#&�4#A "#i*-@&#& 0#&�4S5 "!4.(35.2#HSD!e "%l;JBO 8!4.(%8@H#&SJ 8!4@HK7P$#H¦�.2/8.0�e ��4.0 �35;D/9vy%/8*J�4P4;DEF@HKIP4;y.2%9���� |EI*JvJ.> 8!4.7�4;D#&%9.>E�?4')!3j;J/8%8.-T5kQ!$.\%9.2'0;D�4P�qJ.2/uK#&EF,�;D/u )*J�e Q/9.n*J%9;D��#&%( "!4*- 8!4./"*J�4P$;DE§#H�4#H 8#i*J@H#& n*N "#&;J�hSJ#HqD.0%} "!4. ��t *�%u )*- 8#&%u "#&'2*J@&@AKhEI;D/9.�q-*J@&#HPwqy#&.03¨ ";g "!$.�SJ;R;yP4�4.0%8%;JBp*� 8;D,�;D@&;DS-Kh 8!+*J�f*�%9#&�[email protected]%u )*J/u "#&�$S-t�,�;D#&�e 735;D?4@&P�SJ#HqD.-T�kQ!4#&%�#H%�.2%9,�.0'2#&*J@&@AKc#HEI,�;D/u )*J�e \BC;D/ 8!4.�.2@H#H 8.2%���*J�4P�*-@&%8;�BC;D/�*J'0'2#HP4.2�e )*-@&@HKh#HP4.2�e "#H'n*J@m#H�4P4#Hqy#HP4?+*J@H%)�r1¢3:!4#&')!c¤�%8!4;J?4@&P��$;J �SD.r L*�BC/9.2.@H?4�4')!R¥�©9?4%u (#HB�*{'2.0/9 "*J#&�I#&�4#A "#i*-@&#& 2*- "#H;D�{!4*J,4,�.2�4%j 8;zB�*nqD;J/j "!4.0E�T����4%9 8.n*JP�1y3j.p3(*J�e ( 8;{.rqJ*-@&?+*- 8. 8!4.2E�E{?4@H 8#&,4@H.\ 8#&EF.2%ª 8;�EI*Jv-.}%8?4/9.L 8!4.0K�/8.n*-@&@HK�*J/9.}SD;R;yP�TzkQ!4.} "!4#H/8Pg/8.2*J%8;J�c#H%>*� ".2')!$�4#&'2*J@;D�$.J«:P4.0 8.2/9EI#H�4#&�4SL3:!4#H')!g'2;D�4�$.2'0 8#&;D�$%ª;JBm%9#&EF#&@i*-/(�4.0 �35;D/9vy%7*-/8.z 8!4.\¤�%"*JEF.r¥\#H%p?4%9?+*J@H@HK�!4#&SJ!4@HK*JE{M4#&SD?$;D?4%2T

¬ �

Page 50: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� ������������ ������������������� ������� �!�"#�$%�&���� '(�������)*�+�,��,��

-,./�01032 43576,898�5 : ;=<+> -�./�03012 49576,838,5 : ;=<?> -,./�01032 43576,898�5 : ;=<+>@�A9BDC E @�A9BDC E @�A3BDC E @�A3BDC E @�A9BDC E @�A9BDC EF 836,-HG?6�. I J J K?5 L#M N#5 O�P J J N�Q?5 L#L N#5 Q#L N�K?5 R#K L?5 L�P N,S"5 Q#Q N#5 L#TQ#M�JUR�JVLW< N�L?5 S�L N#5 L#Q N�O?5 Q#Q O?5 P+N N*P+5 K#Q N#5 L#T N�Q?5 M#Q O?5 S�Q N�K?5 M#Q N#5 L#K N,S"5 M#R O?5 S�PQ#M�JXS�JVLW< N�L?5 K#L N#5YN�K N�O?5 M#K O?5 T#M N*P+5 R�S N#5 L#R N�Q?5 M�S O?5 S�O N�K?5 P�S N#5 L#M N,S"5 M#T O?5 S�LQ#M�JUL�JVL N�T?5YN�R T?5 M#M N�M?5 T#Q N�O?5 L#M L#O?5 M#Q M?5 Q#K N�R?5 M�S N�O?5 Q?N L?N#5 K#K M?5 O�P N�K?5 P�Q N�O?5 S"N

k£*[email protected]�$TH�J«[Z ��� '��"�������\ �^]I�� ������ ��^\)_�` '��+u &S�?_ ���S'���E��LS�� � E!� �� ba+c%c�c �����S��\���\�L�`P��� ������\�L^` ���7\���E!� �� d_(��e ������\�L����\)_(���f\��2� E3�S��& ��\�� �����E ��g �"�����\ih�jM�:E�X_������ �%\ � �����S���^\)_lk !!m �S��� LS��nS�+\o]#�S�!� ��u 0�����+hqp� ��sr�� �U�!�%\�� D7t�u"`Dvw`,x�D ���� ������"� � �����+_ ��*oyM��� u �� E �G��\ ���!���"� '�E� ��� �U� �{z ����� �� ��|r�� �U�!���IE~}#h

�o������� ��� -/3 .�1 -�� . -/%(* 4 %(.S1(�=//%(. %(.l�kQ!4.�*JEI;J?4�e };JB:�4;D#H%8.I#&�w 8!4.�64 "�$.2%8%�3j*J%}.0%9 "#HEx*N ".2PwM�Kh "/8*J#&�$#&�4S�*J�4P� ".0%9 8#&�4S� 8!4.����i�����3�7�P+*N )*{�<�J�D�p "#HEI.0%£3:#A "!{ 8!4/8.0.(6$�R.2PL�4.2?$/"*J@y ";D,�;D@&;JSD#&.0%a 8!+*- l35.2/9.Q%8;DEF.03:!4*- �P4#A¦s.0/8.2�e lBC/9;DE .n*J')!;J 8!4.2/0T}kQ!4.F/8?4�4%>35.2/9.IP4;J�4.L?4%8#H�4S�����/8;J,��C,4/8.0%8.2�e 8.2Pw#H���ª,4,�.2�4P$#A���G�p3:#H "!����s����� V�� N��R1���~�X��� O� �¡(¢21&£q¡¤�¥� N Vh*J�4P�£§¦¨� O�N RR1j%9 )*-�4P+*J/9P�%8#HSDEF;D#&P� "/8*J�4%uBC.2/LBC?4�4'0 8#&;D� BC;D/L!4#&P$P4.2�?4�$#H "%014@&#H�4.n*-/j "/8*J�4%9BC.0/QBC?4�4'0 8#&;D��BC;D/Q;J?$ ",4?R "%|*J�4Pª©¬«{­: ".0/8EF#&�+*- 8#&;D�sT£bc.2#&SJ!� 8%(3j.0/8.\#&�4#A "#&*J@&#H 2.2P/8*J�4P4;DEF@HKx ";�/8*J�4SD.b®V¯�� N V±°w� N V)² TªkQ!4.�%9Ex*-@&@�1O*-@H "!$;D?4SD!�%9 )*N "#&%u "#H'n*J@H@HK�%9#&SD�4#A6+'n*-�� pP4#A¦s.0/8.2�$'2.2%ª#&�/9.2%8?$@H "%L*-/8.�,4/9;DM+*JM4@AK�P4?$. 8;�EI#H�4;D/{P$#H¦�.2/8.0�4'2.0%L#&�� "/8*J#&�$#&�4S�,4*J/"*JEF.0 8.2/9%21�%8?4')!d*J%} "!4.�?$%8.2P%9#&SDEF;D#&PIBC?4�4'0 8#&;D�s1$ ".0/8EF#&�+*- 8#&;D��EF.0 8!4;yP�14.0 8'JT�� ��?4EI.0/8#H'\'0;DEF,+*J/8#H%8;D��;-B� "!$.\/9.2%9?4@H 8%|#H%QSD#HqJ.2�#H��k�*JM$@&.>�$TA�DT�kQ!4#H%( ".0@&@&%5?4%Q "!+*N ( "!4.>%9#&SD�4*J@At� ";-t~�4;D#&%9.p/8*- "#H;�EF#&SD!e (M�.>%8;JEI.r3:!4.2/9.\M�.0 �35.2.0�w�D«A�*J�$Ph�J«H�<�J�$T

0

20

40

60

80

100

12 13 14 15 16 17

freq

uenc

y

MSE

35-8-2 S35-4-2 S

35-2-2

��#HSD?4/9.}�$TA�D«l³ ��������� ���������\ �^]´n��:E�Xµ������ �%\¬k !!m��s]#�S���� ��1:�J�H�K;i¶nHoµ��"���)h�p� �� �������\LS� �"� � E�� ���(u2��\%�U������u2���?µ��u u2�S��µ(��\�L0����� �� � �^\�L�� ��]!� ��u ��� ��� u������ ����'��S���"��� E *8DC����� ����� � u���E ��\�L·n��"���� �+h�p� �� ��� ����E�(�����\¸z9\ ������������]� E�"� ��}!�^]=�� ��� �������\LS� �"� E3���{a+c%c�c�D(a+c�c ��\)µ¹u^cº]#���G�� ������2���»t%uw`Hv^`Dx !�D7t%uw`1¼�`Dx !+��\)µ·t%uw`Dxw`Dx�D(��� ��'�� u2����nS�&E*�h½p� ��]#��� � ����\�u�*�E��S� � u��:E�+µ ��� �� ������� �� � �IC(������¾]#��� � ����\0u2*l]#�S��� ��u �������\LS� �"� ��ºa+c%c7h~¿B�"������ %��� �� �� �"nS��� �:L��k !!mÀz LS��nS��\ ��\op��S��E��Á7h�a?}±]#�S�M�� ��~t�u"`,x"`,x�\��2� E3�S��&���I�U���MEvE����(������µ����� ��~k�!!m ����\�LS����]��� �� L����S'� DS��� �� ��"��u2����nS�u2�%\�����\���� �3��� �� ��$���vLS �+h

� !4#&%u ";DSD/8*JE /9.2,�;D/9 8#&�4S� "!4.�P4#H%9 "/9#&M4?R "#&;J� ;-Bªq-*J@&#HP+*- 8#&;D�ÃÂÅıÆm%I#&%F%8!4;<3:��#H���£#&SD?4/9.��$TH�JTkQ!4.FP4#H%9 "/9#&M4?R "#&;J�g;JB5 8!4.F%8EI*J@&@H.2%9 ª ";D,�;D@&;JSJK�#H%7,+*J/9 8#&'0?4@i*J/9@HK�#&�e 8.2/8.0%9 8#&�4S41a%9#&�4'0.I#A 7%8.2.0EI%7 "!4*- #A GEF#&SD!e ª*J'0 8?+*J@&@AK�Ky#&.2@HP�M�.0 8 8.2/G�$.0 �35;D/8v�%> "!+*-�� "!4.�M$#&SDSD.0/ª;D�$.2%21a*-@H "!$;D?4SD!�#H "%p/8.0%8?4@A "%7*J/9.{;D�

Page 51: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� �*nqD.0/"*JSJ.QE�?4')!}3j;J/8%8.-T�ÄR#&�$'2.j35.:P4;>�4;J �!4*<qJ.|*J�eK{3j*<K{;JB�.r�R,4@H;D#H 8#&�4S| "!4#H%lM�.0!+*nqy#&;D?4/01D3j.Q#HSD�4;D/9.#A |*J�4P@&;y;DvF;D�4@HK�*- : "!4.\*nqD.0/"*JSJ.7q-*J@H?4.2%0T�ÄR;DEF.7P4#&%9'2?4%9%8#&;J��;J�� 8!4#&%Q#H%QSD#HqJ.2��#&��¡j!+*J,R ".2/��RT

�~ :%8!$;D?4@&PM�.>�4;J 8.2P� "!+*N ( "!4.0%8.\*J/9.5©9?4%9 :%9;DEI.ª!+*J�4PRt~,4#&')v-.2P�%"*JEF,[email protected]%jBC/9;DE¨ 8!4.>!�?4SD.>%8,4*J'2.;JB5 ";D,�;D@H;DSD#&.0%>*J�4P� "!$.0K�EI*<K��$;J \M�.}qD.0/9Kh/8.0,4/8.0%8.0�� "*- "#AqD.-T�k�*-vy#H�4S "!4#H%\#H�e ";�*J'2'0;D?4�e n1a "!4.0%8./9.2%8?$@H "%:'2*J��SJ#HqD.>;J�4@HK�*}qJ.2/uK/8;D?4SJ!�.0%9 "#HEx*N ".JT

kQ!4.{*JM�;<qJ.{/8.0%8?4@A "%|E�?4%u G*J@H%8;FM�.\vJ.0,$ G#H��EF#&�4P�3:!4.0�g*J�+*-@HKy 2#H�4SF 8!4.\.0qD;J@&?$ 8#&;D��SD/"*-,4!4%|#&�ÄR.0'0 8#&;D�g�RT �RTA1�*J%p 8!4.�SD/8*J,4!4%p%8!4;<3 "!4.dÂÅÄ§Æ ;JBl "!$.{64 8 8.2%u >#&�4P$#Hqy#&P4?4*J@�;JB�.2*J')!gSD.2�$.2/"*N "#&;J��Tª�~B;D�$.\.0�4'2;yP4#H�4SLEI.r "!4;yP�,4/8;yP4?4'0.2%|�4.0 �35;D/9vy%:3:#H 8!�*F@&*J/8SD.0/(@&.2*J/8�$#&�4S�q-*J/9#i*J�4'0.ª "!4*J�� 8!4.7;J "!$.2/8%01#A :Ex*nK�@H;R;JvIM�.0 9 ".2/01O*J@H 8!4;D?4SJ!�#H :#&%Q�$;J nT

�o������� ���������� �������=�����������½���k¢;�'n*-@&#&M$/"*- 8.: 8!4.���,+*J/8*JEI.r ".0/G� "!4.p�y?$E�M�.0/j;JB�,�;J 8.2�e "#&*J@O,+*J/9.2�e "%"�5;JB� 8!4.����|°�����t�%[email protected]'0 8#&;D�s1D3j.?4%9.2P�*�6$�R.2Pc,�;J,4?4@i*N "#&;J�h%9#& 0.F;-B:�J�#&�4P$#Hqy#&P4?4*J@&%7*J�$Pc.rqD;[email protected] "!4.! ¹� 3:#A "!� "!4.F%8,4!$.2/8.F ".0%9 BC?4�$'0 "#H;D� N TF�~ \#&%7%8;JEI.r3:!+*- #"�?4.2%u "#&;J�+*[email protected]!$; 3�3j.0@&@� "!$#&%7%8#HEI,4@H.{ ".0%9 \BC?4�4'r "#&;J��6$ "%\!4.2/9.J1¢M4?$ 35.z!$;D,�.G 8;LSD.0 p*- :@H.n*J%u :%8;DEF.7P4#&/9.2'0 8#&;D��BC/9;DE�#A nT

Æl¦s.0'0 8%>;JBm�4;D#H%8.{;J�� "!4.z%8,4!$.2/8.� 8.2%u GBC?4�4'r "#&;J��*J/9.{qy#&%8?4*J@&#H 2.2P�#&����#&SD?$/8.z�$T �)�|tu¡ªT��~ >%9.2.2EF% 8!+*- ª 8!4.�;D,R "#&E{?4E 3j;D?$@&P�M�.�%8;JEI.r3:!4.2/9.�M�.r �3j.0.2�$���&%('�)*),+��.-�T �ª%9%8?4EF#&�4SI "!+*- p "!4#H%ª%9'n*[email protected]% 8;z;J 8!4.2/m,�;D,4?4@&*- "#H;D�}%8#H 2.0%�@H#&�4.2*J/8@AKD1J35.:3j;D?$@&PF!+*nqD./�10¤��)32546��Ts�p%�*J�eKL/8.n*-@+%8.n*-/8')!x@&*J�4P4%9'n*J,�.'2*J�M�.>.��$,�.2'r ".0P� ";LM�.>E�?4')!�/8;D?$SD!4.2/01$35.\%9!4;D?4@HP,4/8;D,4*JM4@HKI?4%9.\%9;DEF.03:!+*- Q35.n*-vJ.2/|%8.0@&.0'0 "#H;D�#AB(3j.�!$;D,�.I ";�6+�$P�M�.r 8 ".0/�%8;J@&?$ 8#&;D�4%0T�kQ!4.0�f*JSe*J#H��1lEI*J�eKc,�.2;J,4@&.I!+*nqD.�?4%9.2Pf.0qJ.2�f%9 8/8;D�4SJ.2/%9.2@&.0'0 8#&;D�BC;D/Q.0qJ;D@Hqy#H�4SL�4.2?4/8*J@a�4.0 �35;D/9vy%0Tjbc.\�$;J "#H'2.2P�P4?4/9#&�4S} 8!4.z.2*J/8@AK�/9?4�4%|;D�� 8!4.\*J/9 8#H6+'0#i*J@,4/9;[email protected]%F 8!+*- n1j#HBª 8!4.�%[email protected]'0 8#&;D� 3(*-%x ";y;c35.n*JvO1( 8!4.7 ·��!4*JP�SD/9.n*- IP4#,8F'0?4@H 8#&.2%F#&�dSD.0 9 "#H�4S/9#&P�;JBj "!4.xB�*N )*J@��4.0 �35;D/9vy%L*-�4P�SD;y;RPc�4.0 �35;D/8v�%�"�?4#A ".�;JB 8.2�wq-*J�$#&%8!$.2P�BC/8;JEZ 8!4.�,�;D,4?4@&*- "#H;D��TÄR;JEI.(�$;D�Rt�.rqD.0�I%9.2@&.0'0 8#Hqy#H �K{M�.r �3j.0.2�I 8!4.Q,+*J/9.2�e m'n*-�4P4#&P4*- ".0%�EI#HSD!e l!+*nqD.:!4.0@&,�.2P} "!$#&%�,4/9;DM4@&.0E�1M4?R \35.L "!4#H�4v� "!4*- \%8?4')!h3j.0#&SD!e "#H�4S#&%7.9"�?4#Aq-*J@&.0�� > 8;� 8#&SD!e 8.2�4#H�4S� "!4.:� %[email protected]'r "#&;J�h,4*J/"*JEF.0 8.2/0TkQ!4.0/8.rBC;D/8.-1�35.{'0;DEI,$/8;DEF#&%9.G ";�*L%8EI*J@H@&.2/(q-*J@H?4.7;JB5�Å� ��),+<;=4>��*J�4P�!4;D,�.\ 8!+*- p%8?4')!�*I/8;J?4SD!.0%9 "#HEx*N ".>%8?�8I'0.2%0T

kQ!4.0%8.x/9.2%9?4@H 8%zP4;��4;J \ ".0@&@lE{?4')!�*JM�;D?$ 73:!4.r "!4.0/{;D/7�4;- \35.F%8!4;D?$@&Ph?4%8.I.2@&#A "#H%8E§���4;D�yt�/8.�t.rqJ*-@&?+*- 8#&�4S\.2@H#H 8#&%8Ex�rT��p%j3j.|3j.0/8.>*NBC/"*J#HPI#A jEF#&SD!e �'n*-?4%8.G%9;DEF.| 8/8;D?4M$@&.|%8?4')!*J%� "!+*N (P4.0%8'2/9#&M�.2P#H��')!+*J,$ 8.2/ ¬ 1-35.(3j.0/8.(/8*- "!4.0/�3j*J/9K{*JM�;D?$ l?$%8#&�$SG#H 2T@?|; 35.0qJ.2/01y#A £3j*J%l�$;J "#H'2.2P}#H�z 8!4.(.n*-/8@HK\/9?4�4%.0%8,�.2'2#&*J@&@AK�3:#H 8!� "!4.�A>#A )*J�4;IEI.r "!4;yP� 8!+*- ª 8!4.�,4/9;D,+*JM$#&@&#A �K;JBm!+*nqy#&�4S*I%8?4/uqR#Aqy#&�4S�#H�4P4#AqR#HP4?+*J@#H�� "!4.L%9 "*J/9 8#&�4S�,�;D,4?$@i*- 8#&;D��3j*J%7%8;JEI.r3:!+*- 7@&;<37T��~B5;D�4.}SJ;R;yPg#&�4P$#Hqy#&P4?4*J@¢3j*J%>BC;D?4�$P�1�#H >3j*J%?4%9?+*J@H@HK\@&;D%u :�C,�;D%9%8#HM4@HK7BC;D/9.0qD.0/)��*NB ".2/¢ "!4.56+/8%u m/8.2,$/8;yP4?4'0 8#&;D�{#HB+�4;>.0@&#A "#&%9E 3(*-%l?4%8.0P�TlkQ!4.0/8.rBC;D/8.#A Q3(*J%:P4.0'2#HP4.2P ";L?4%9.\35.n*Jv�.0@&#A "#&%9E�;JBl;D�$.>.2@&#A ".>#H�4P4#Hqy#HP4?+*J@ TB ¿DC�E�FvuHGIE�J(KLE�EMJ(G@CON<EMF3P�K�Q \SRTPVUWGHXYC�Z�N(K�X�G�\9E�[�Z\C]XY[MNTJTGHX�GDZ\R)\�u^E�F_C%\�E�JTG+\`E�JTGHX�GIFa[ \TC \(C]Fa[bGcF3[�dfe7gOh�kfC]X�G

K�u uRTXiKLE�GHQ3j DOEMJTG@C]N<E�F_P�K]QW[MGHQ3G uEMF3C�\k[bEMXiKLE�GHlOjmFa[on�g�pqgsr�z\GtQ_F_EMFa[bEYNWC]N(RTQ3K�EMF3C�\ E�F_EMJkC�\TG@N(K]XMG+\OEYK^\)µ`C�\TGcC^eu[bNTX�F�\Tl3D[bGtG Z J(K�N<E�GHX�tmZ\C]XYZ\R(XbE�JTGHXDGAC<NTQ3K�\(KLE�F_C%\/C]Z�E�JTF3[I[bGtQ_G u^EMF3C�\�PvG uiJ(K�\TFa[bPo}#h

Page 52: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� ������

0.001

0.01

0.1

1

1 3 5 7 9 11 13 15 17 19

erro

r

parents

stddev 62.5stddev 12.5

stddev 2.50.5

stddev 0.1no noise

�����

0.001

0.01

0.1

1

1 3 5 7 9 11 13 15 17 19

erro

r

parents

stddev 62.5stddev 12.5stddev 2.5

0.5stddev 0.1

no noise

����

0.001

0.01

0.1

1

1 3 5 7 9 11 13 15 17 19

erro

r

parents

stddev 62.5stddev 12.5

stddev 2.50.5

stddev 0.1no noise

��#HSD?4/9.}�$T �R« m e G�E�[oC]Z d:E�C/E�JTG�K�µTK]N<E�K�EMF3C�\ [bNWGHG?µ���F_EMJ EMJTG�[MNTJTGtXMGmEMG6[�EoZ\R7\ EMF3C�\¸z3xw`HµTF_PvG�\>[bF3C�\(K]Q���a?Áw` UTF El]XiKsj�` G+\ C�µ<G?µ)}���F_EMJoµTF e GHX�G�\9E�Q3G�nOGHQa[ C�Z K�XMEMF�r�HF3K]Q�\TC]X�P�K�Q3Q_jºµ<F3[bEMX�F3UTR<EMG?µ&\TC]Fa[MG�h�������lOF�nOGt[ E�JTGDX�Gt[MRTQ_E�[ Z\COXIn\d������OrK^\)µ���� �YZ\COXYGHQ3F E�F3[bEon*d p!���9r�[MGHQ3G�EMF3C�\"��F_EMJ�d¹nLK�X�jSF�\(l�Z\X�C]P aIE�C�a�# z$��F E�J�[bEMGtN([bF�gHG@C�Z�x�} Z\C]Xsa+c�cVl]G+\TGHXiKLE�F_C%\([�h��%&�cJ(K][�K]Q3[MC K�\ GHQ3F E�F3[bEVn\d`p'�(�Or�[MGHQ3G�^E�F_C%\��<UTR<E)��G+*]GtGHNkEMJTG{\SRTPmU>GtX�C]X�G�nLK]Q_R(K�EMF3C�\([,HC�\([bE�K�\OE=z1x^c�c%c%} [bC E�J(KLEEMJTGs\SRTPVUWGHX�C�Z�l]G�\(GHXiKLEMF3C�\>[ Fa[,�(�(�-�/.<n10+2 dmp g6r»z3��G@K%µ7µkpmgIUWG�tK�R([MGIC]Z EMJ(GcX�G�` G�nLK�Q3R(K�EMF3C�\�C�Z.EMJTG4*SF�\Tl!}#h pYJTG5 \(Cº\(C]Fa[bG764RTX�n]GoFa[YU>GtQ_C8� EMJTG5Q3C8��GHXYQ_F3PvF EIZ\C]X)97K^\�µ Z h

UIV;: <>={Y@?�=I[/ACB A�`(_ D YFE4GI]H|.0 �35;D/8vª 8;D,�;D@&;DSJ#&.2%�3j.0/8.5*JP+*J,R ".2P7MeK>.rqD;D@H?$ "#H;D�+*J/uKª%9.n*J/9')!\BC;D/�.rqD.0/9K7,4/9;DM4@&.0E P4*- )*J%9.0 ¢MeK7*J@H@J;JB 8!4.|BC;J?4/5.0�4'2;yP4#H�4S{EF.0 8!4;RP$%2Tl���4P$#Hqy#&P4?4*J@+/8?4�$%5 ";y;Dv}M�.0 �35.2.0�*JM�;J?$ ª�<�7EF#&��?$ 8.2%5*J�4P �-�z!4;D?$/8%;D� �<�u�<tu�J�D�  ?p 'Ip@A "/8* ÄR,4*J/8'L3j;J/8v�%9 "*- "#H;D�4%21£P4.2,�.2�$P4#&�4S�;D�h "!4.F,4/8;JM4@&.0EZ*J�4Pc 8!4.F.2�4'0;RP4#H�4SEF.0 8!4;RPsTzkQ!4.L/9?4�4%G3:#H 8!� "!4.}.0�4'2;yP4#H�4SEI.r "!4;yP4%GMeKJH|;D@H6h*J�$P���*J/9#&%8# 1�*J�4Pc¡(*J�$SD.2@H;D%8#£.0 \*J@ T 8;R;DvI%8;FE�?4')! "#HEI.ª 8!+*- Q35.zEI*JP4.>;J�4@HKx;D�4.7/8?4��3:#A "!�.n*J')!�;JB¢ "!4.7'2@&*J%8%9#H6+'2*- "#H;D��,4/9;DM4@&.0EI%0T

kQ!4.\,+*J/8*JEI.r ".0/8%(BC;D/( 8!4.7.r�R,�.0/8#HEI.0�� 8%|*J/8.7P4.0%8'2/9#&M�.2P�M�.0@&;<37T

�o��� ��� K ��L � ��������=���� �l�����{� ���������½� �H|.2?4/8*J@5 8/"*J#H�4#&�4S�3(*-%}P4;D�4.�?$%8#&�$SJM���/8;J,�P4?4/8#H�4S� 8!4.�.0qJ;D@&?$ 8#&;D�4*J/9Kh%8.2*J/8')! *J�$P�?4%8#H�4SgM+*J')vDt,4/9;D,+*JSD*- "#H;D�x3:#H 8!�EI;JEI.0�� 8?4E #&��6+�+*-@s ".0%9 "#H�4S4T�[email protected]*J/9�4#&�4S{,+*J/"*-EI.r ".2/9%"N�*J�4PÀ£xBC;J/(M+*J')vDt,4/9;D,+*JSD*- "#H;D�x35.2/8.7%9.0 Q ";}6$�R.0Pq-*J@H?4.2%o��)a2�*J�$Pª��)3'$1$/8.2%9,�.0'0 8#[email protected]#HSD!e "%(35.2/9.\#H�4#H 8#i*J@H#& 0.2PL ";/8*J�4SD.¬®U¯l��)PO±°w��)QO)² T{©[«SRj.n*-/8@HK{%9 8;D,4,4#H�4S\3j*J%�?4%8.0P�P4?4/9#&�4S7.rqD;D@H?$ "#H;D��1�*J�4P�©¬«{­5#&�}6+�+*J@+ 8.2%9 8#&�4S$T

Page 53: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� ¬�o��� ��� � ���k���� �V�����{� i��� � ���{� ���������½� ��£*J/"*JEF.0 8.2/9%�'2;JEIEF;D�7 ";G*-@&@e/8?$�4%l*J/9.jSD#AqD.0�{#&�zk�*-M4@&.5�$T �RT£kQ!$.(SD@&;JM+*J@e'2;y.O8F'0#&.2�e 8%£BC;D/¢E�?$ "*- "#H;D�/8*- ".0%G*J�4P�q-*J/8#&*J�4'2.z*J/9.{E�?4@A "#H,4@&#H.2/8%5BC;D/| 8!4.�*-?$ ";e*-P+*J,$ 8.2P�/8*- ".0%2T|�+;D/p.��$*JEI,$@&.J1O "!$.{/"*-�4SD.7BC;D/ 8!4.\*J'0 8?+*J@����H�X�����>#&%o��)���+�4(®��)���+ °S+ )��u�{� ® ��)�� � ��+ °w��)���+T��T

�+;D/Q "!4.��� M *J�4PªÆ��4'2;yP4.2/|,4/9;DM4@&.0EI%014 "!4.7��?4E�M�.2/|;JB£ "/"*-#&�4#H�4S}'0Ky'[email protected]%:3(*-%p%9.0 | ";I*F/9.2@i* t 8#HqD.0@HK}%9Ex*-@&@4q-*J@&?$.|;-Ba�J�$1�M�.2'2*J?4%8.|3j.:3j*J�e ".2PI ";�*nqJ;D#&PL "!4. M �m/9;D,[email protected]*J/9�4#&�$SG "!4.p,4/8;DM$@&.2EF%l ";y;35.2@H@�1D# T .-TH1e/9.n*J')!4#H�4S> "!4.Q'2*J@&'0?4@i*N "#&;J�{,4/9.2'2#H%8#H;D�}@&#HEI#A n1-*J�4P} "!4.0/8.rBC;D/[email protected]*nqy#&�4S>�4;7P4.0'2.0�� �SD/8*JP4#H.2�e BC;D/7 "!$. ¹�� ";�.0qJ;D@HqJ.�;D��T��O;J/\ 8!4.2%9.x �3j;�,4/8;DM$@&.2EF%21¢3j.xP4#&P4�s�� z�4.2.0P�.n*J/9@HKh%9 8;D,4,4#H�4S4T�kQ!4.��?4E�M�.2/j;JB¢,�;J 8.2�e "#&*J@s�$.2?4/9;D�4%(3j*J%:*�,�;<35.2/Q;JB� �35;41O*J�$P�%"*JEF.ªBC;D/j*J@&@O "!4.>.0�4'2;yP4#H�4S}EI.r "!4;yP4%0T�~ p3(*J%ª/8.n*-%8;D�+*-M4@HK!4#HSD!4.0/| 8!+*J�� 8!4.z 8;J )*J@¢��?4E�M�.2/p;JB�#&�$,4?$ "%ª*J�4P�;J?$ ",4?R "%p 8;�@&.2*nqD.{/9;R;JE BC;D/!4#HP4P4.0��?4�$#H "%0T�kQ!4.2%9.z,$/8;[email protected]}t�%9,�.0'2#H64'>,+*J/"*-EI.r ".2/9%:*J/8.7SD#AqD.0��#H�k�*JM$@&.7�$T ¬ T

�o��� ��� � ��� L��i���kQ!4.LM�.2%u 7�4.0 �35;D/8v� 8;D,�;D@&;DSJ#&.2%|;JB� "!4.�64�+*J@l,�;D,4?4@&*- "#H;D�4%p;JB�.n*J')!h.0qJ;D@&?$ 8#&;D�g/9?4�g3j.0/8.} "/8*J#&�$.2P*J�$Pw ".0%9 ".0P�BC;D/ ¬ �� 8#&EF.2%73:#H "!cP4#H¦�.2/9.2�e �'0;D�4�4.0'0 8#&;D�w35.2#HSD!e �#H�4#H 8#i*J@H#& n*N "#&;J�4%2TFkQ!4.xq-*J@H#&P+*- 8#&;D�%9.0 (?$%8.2PIBC;D/5.2*J/8@AKL%9 8;D,4,4#H�4S{#H�F 8!4.2%9.ª6+�+*J@O ".0%9 8%j#&%m "!$.ª%"*-EI.|%8.r j "!4*- 53j*J%5?4%8.0PxBC;D/m "!4.|64 "�4.0%8%.rqJ*-@&?+*- 8#&;D�g#H�h 8!4.F.0qD;J@&?$ 8#&;D�+*-/[email protected]*J/9�4#&�4S�,$!+*J%8.-Tb�pB 8.2/7 "/8*J#&�4#H�4S41s 8!4.F�4.0 �35;D/8v�%{35.2/9.F 8.2%u ".2P3:#A "!� "!4.>6+�4*J@� ".0%9 |%8.r "%2T�kQ!4.7/8.0%8?4@A "%|*J/9.\SJ#HqD.0�#&�k�*-M4@&.7�$T � T

kQ!4.Q%9.2@&.0'0 8#&;D�4%£;JB+ "!$.(#&�4,$?$ �q-*J/9#i*[email protected]%01-;DM$%8.2/uq-*JM4@&.(*J@&%9;ª#&�z "!4.(�$.0 �35;D/8vz,4#&'r "?4/9.2%�#H�}��#HSD?4/8.0%�$T � ";F�$TA���$1+*-/8.7%8?4EFEI*J/8#H 2.2P�#H�k�*JM$@&.7�$T �RT

�o��� ��� � ���� ��� �� Lk�V� � Lk���kQ!4.�,�.2/uBC;D/8EI*J�4'0.�'2?4/uqD.0%�BC;D/� 8!4.g#&�$P4#Hqy#&P$?+*J@|.0qD;J@&?$ 8#&;D� /9?4�4%�*J/8.gSJ#HqD.0� #&� ��#HSD?4/8.0%��$T ¬ ";�$TA�T�RT�kQ!4.�,$@&;J 9 ".2PcqJ*-@&?4.F#&%\ "!4.bÂÅÄ§Æ ;JBQ "!4.������� "!#�j#H�4P4#AqR#HP4?+*J@�;-BQ "!4.I,�;D,$?4@i*- 8#&;D��BC;D/z.n*J')!SD.0�4.2/8*- "#H;D��T}kQ!4.}64 9 ".0%9 z�4.0 �35;D/8v�%z*- > "!$.L64�+*J@�SD.0�4.2/8*- "#H;D�d�u�<�D�D�ª;JBj.2*J')!h.0qD;J@&?$ 8#&;D��/8?$�c*-/8.%9!4;<3:��#&����#HSD?4/9.2%:�$T � ";F�$TA���$T�kQ!4.7�4.r �3j;D/9v�P4/"*n3:#H�4SF*J@&SD;J/8#H 8!4E� "!+*- Q35.\?4%8.0P�#H��,$/8;yP4?4'2#H�4S 8!4.L�4.0 �35;D/8v�,4#H'0 8?4/8.0%z#H%>.r�R,4@i*-#&�4.0Pc#H� �p,4,�.2�4P4#����{T¢�+;D/G 8!4.LEI.r "!4;yP4%7MeK Hp;D@A6w*-�4P �£*J/8#H%8# 1*J�$P�¡(*-�4SD.2@H;D%8#s.0 |*J@ TH1$*J@&%9;� "!4.>#H�� 8.2/9�+*J@��4.r �3j;J/8v�%ª*-/8.>%8!$; 3:�sT5kQ!4.7.rqD;D@H?$ "#H;D��@&;DS{SD/"*J,$!4%:*J�4P�4.r �3j;J/8v�,4#&'r "?4/9.2%z*J/8.I*J'0'2;DEF,+*J�4#H.2P�MeKc*�%9!4;D/9 zP4#H%8'2?$%8%8#H;D�w;-Bj "!$.I/9.2%8?$@H "%0TxkQ!4.IP4#&%9'2?4%9%8#H;D�4%'0;DE�M4#H�4.G "!4.7/9.2%8?$@H "%QBC/9;DE¨ 8!4.> )*[email protected]%:*J�$P�6+SJ?4/8.0%|M�.2@H;<37T

Page 54: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� �

��������������� �������� ������������������! " �H�X����� #%$&#%' (*),+.-0/213+24�576�)�895;:�+=<?>�5A@�5;13)�4CB�8D)�BE@�F�1HGH1H5JIK)�6LF�1H4E@�8;INM�+24�+PO" �X�RQ3SJTAS�� #%$&#%' (*),+.-0/213+24�576�)�895;:�+=<?>�5A@�5;13)�4CB�8D)�BE@�F�1HGH1H5JIK)�6L1H4�5D+2M�+287M�+24�+PO" �;S*�VU #%$H' (*),+.-0/213+24�576�)�895;:�+=<?>�5A@�5;13)�4CB�8D)�BE@�F�1HGH1H5JIK)�6L8D+�@�GXWZY[@�GH>�+P\KM�+24�+PO"K] #%$H' (*),+.-0/213+24�576�)�895;:�+=<?>�5A@�5;13)�4CY[@�8;1^@�4�/P+=)�6_8D+�@�GXWZY�@�GH>�+P\CM�+24�+PO"�`Zacbed �gf�QJh #%$&#%' i�)�jg+28kFl)�>�4�\m6�)�89<n>�5A@�5;13)�4o8A@�5D+PO�$p,qPa�r '�#[# s�>�<?Fl+287)�6_M�+24�+28A@�5;13)�4�O�+2Y�)�GHY�+P\t u # vL)�B�>�G^@�5;13)�4wO;1Hx�+y z s�>�<?Fl+287)�6_B{)�5D+24�5;1^@�G�BE@�8D+24�5DO| ' s�>�<?Fl+287)�6}+2GH1H5D+PO~1H4�5;:�+�Bl)�B�>�G^@�5;13)�4d �;SJ���*� � #%$ u � +P/P)�<?F�1H4E@�5;13)�4o6�8D+P��>�+24�/2ImB{+2895D)�B%WZG3+2Y�+2G�M�+24�+25;13/=/P)�4�5A@�1H4�+28qP�,�����!����`���a�r ' s�>�<?Fl+287)�6_5;8A@�1H4�1H4�M�WZ5D+PO;5;1H4�M�+2Y[@�GH>E@�5;13)�4�O76�)�895;:�+�4�+25Jjg)�8;�%O�.�,�2��q�r � #[#[# �w@R�%1H<?>�<�4�>�<?Fl+28�)�6_5;8A@�1H4�1H4�M�/2I%/2G3+PO��q���"�`Za�������� ��� R � :�+?+�@�8;GHImO;5D)�B�B�1H4�M�<�+25;:�)�\��q���"��Nd!����� #%$&� u vL)�8;5;13)�4o)�6_5;8A@�1H4�1H4�M�OV@�<�B�G3+PO9>�OD+P\N6�)�8~+�@�8;GHImOD5D)�B�B�1H4�M�¡  Q ��� ¢ '�# £J4�5D+28;Y[@�G�)�6_Y�@�GH13\�@�5;13)�4C5D+PO;5DO¤6�)�87+�@�8;GHImOD5D)�B�B�1H4�M

k£*[email protected]�$T �y«~¥ G+\TGHX�FQcN>K�XiK�PvGE�GHXi[�Z\COXYEMJTG{m�9=h

�=���E¦_����� §K�����R�{ �� ¨�©��ª��� ¨c������ ��� �« ¬k�����¡©­�P��E�L�_�� �«®%¯[° '�± � u # 4�)²�³!´�µ�¶,·�¸ � � z u # 4�)¹ ¶�¶�ºR»Eº�¼�· � � '�± � #[#[# I�+PO½�³�»%·[¸%¾%´R»Eº[µ�³ � � '�± � #[#[# I�+PO´�¾[³E´[·�¸{¿�¾ � � '�± � #[#[# I�+POÀ,Á ¾,Â�Â%¿R¾ � � '�± � #[#[# I�+POÃ%·�¾�¸�»{¿R¾ ±�Ä ±�Ä � #[#[# I�+POÅ%¾[³�Æ�¸�Ç�È�» ±�Ä ±�Ä � #[#[# I�+PO

kgÉJMlÊ¡Ë��$T ¬ « y X�C]UTQ3GHPº` [bNWG�HF r N(K�XiK�PvGE�GHXi[�hÍÌ7ÎAÏ[ÐJÑPÒ�ÓmF�\)µ<FQHKLE�Gt[vE�C EMC]E�K�Q~\9R(PVUWGHX/C]Z@lOG�\TGHEMFQHK]Q_Q3j:G�\�C�µ<G+µ\TGHR(XMC%\([ ��F�\ Q3R)µ<F�\Tl�E�JTGfF�\TNTR<E K^\)µ COR<EMNTRTE/R7\TF_E�[+hÕÔ[Ö�×�Î;ÓvF�\)µ<FQHKLE�Gt[`EMJTG¹\SRTPmU>GtX`C�Z{\TGtRTX�C�\!E�jSN>G6[�Z\C]X`EMJTGPvGEMJ(C!µ([oU9j¹¿IC]Q�r GHE�K�Q1hmK^\�µ Z K^\(l]GHQ3CO[MF�GE�K�Q1hNÔ�ÐJØPÙHÒ�ÙHÒ�Ú Fa[@EMJTGvP�KPÛ<F3PVRTP�\SRTPmU>GtX5C�Z�Q3GtK]X*\(F�\Tl j HQ_G6[ ��F_EMJ\TGHR(X�K]QuQ_G6K�X�\TF�\(l �SR7\TQ3Gt[�[YF EDFa[D[bEMCONTN>G?µ�GtK�X�Q3F_GtX�USj`G6K�X�Q_j`[bEMCONTNTF�\Tl)h

Page 55: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� �

� ��$��7� ��� �¹��#��$�� ����� ��*����� ���� �§�������!�"�� $%�&�,�� �+�,��,��-,.349576,838,5 : ;=<+> -,.349576,838,5 : ;=<+> -,.943576,898�5 : ;=<?>@�A3BDC E @�A9BDC E @�A3BDC E @�A9BDC E @�A9BDC E @�A9BDC E

-*/��?-�6,8,N�/ W2Y.Y.Y6,8 N ��� ������� � ­ R � ������� ��� ��� ������� � ­ ��� ������� ��� R � ������� ��� R �� ­ ��� ­ �L ��� ������� ��� R � ������� ��� ��� ¢#¢ ��� ��� ��� ������� ��� R �������� ¢ � R �� ¢ ��� ���Q ��� ­ ����� ­ � ��� ������� R ¢ R � � ¢ ��� ­ � R � � ¢ ���� ­ R � ������� ¢ � ��� ������� ���S ��� ������� ��� ���������� ­ � ��� ������� � R ��� ������� � ­ R �� ¢ ��� ��� R � ������� ¢#¢ 2 I1/���! N R � ­ ¢ ��� ��� R �� ­ ��� R ¢ ��� ������� ��� R � � R ��� ��� "#� $#$%��� ­ ¢ ��� ­ ����� R#­L R � ������� R � R � R ����� R � ��� R ����� ��� R � � R ��� R ¢ "#� $#$%��� ¢ � ��� ­ ����� R �Q R � ¢ ����� � R R � R R ��� R#­ R � ������� ¢ � R � R#­ ��� R � R � � R ����&� R � ���'��� ­ �S R � ­ ����� ��� R �������� � R R � � ­ ��� ��� R � R ����� R � R � R ����� ¢ � ��� ������� ���

��!#. ( N ��� ������� ��� ��� ������� R R ��� ������� � R ��� � ¢ ��� R � R � � R ��� ­ � R � � ¢ ��� R �-�/���)#6,.!�32 N ��� ­ ����� R � ��� R ����� ��� R � � ¢ ���� ­ R � ¢ ������ ­ R � ������� ¢#¢ R � � ¢ ��� ­ R* 836,-HG"6,. I < R � ������� ��� R � ­ ����� R � ��� ¢ R ��� ��� R � ­ ����� R#­ R � R ����� ­#­ ��� ������� ���

+ < R � ¢ ����� ��� R � � ¢ ��� ¢ � ��� ������� ��� R � � ¢ ��� ��� R �������� R � ��� ¢ �'��� ���)#./�,*N�/ W2Y.Y.Y6,8 N ����� ¢ ����� ­ � ��� � ­ R � ��� � R � �-� ¢ � ��� ����� ��� R � R � ����� ��� ­ � ��� ����� ������� ���L � ¢ � ¢ ����� �.� ��� ­ �/��� ¢#¢ ����� ¢ ����� �.� ��� ���0��� ��� ����� � ­ ­ � R � ����� ��� R � ���Q � ­ � ��������1� ��� ������� ��� � R � �-����� ��� ����� ������� ��� ����� �����.� R � ����� ¢ �2���� RS ����� ������� ­ � �.� ���0��� R ¢ ����� R � ¢ � �-� ��� ­ ����� � ­ ��������������� ��� ���'��� � ­ 2 I1/���! N ����� ���3�.� ­ � �.��1�/���� ­ ����� ������� ��� ����&����� � R ����� � ¢ ­ � ��� ��� ������� ­ �L R ��� ­ ���.� ­ � ¢ � ���0������ � ­ �� R R � ¢ � ��� R ����� R ¢ ����� � ¢ ­ � ��� ��� �-�4��� � RQ R ������ ­ � ��� �.� � ¢ ��� ��� ����� ��� R � � R ��� ������� R ¢ 5�6 � 7#8 ­ � R#­ ��� ¢ �'��� ¢#¢S �������� ­ � � ­ �.� R ����� ��� ����� ������� ­ � ��� ������� R#­ ����� ���������� ��� � R ��� ���

��!#. ( N ����� � ­ �1�#� ¢ � ����� ������� ¢#¢ ����� ���9� R � R � � R �������� ­ ¢ ����� ¢ ����� ��� �1��� �.� ­ � ���-�/���)#6,.!�32 N ¢ R � ¢ �:�1�#� ��� � ¢ � R ���.� ­ � ­ ��� ����� ­ � ��� � ­ � ¢ R ¢ � ��� ¢ ��� � ¢ �1��� ��� � ¢ � ��� ¢ � ���* 836,-HG"6,. I < ����� � ¢ ¢ � R#­ �.� � R ��� ��� � ¢ ���� R � ¢ ­ ��� ­ ����� ��� ������1� ­ � R � ������ ¢ ��� ¢ �

+ < � R � ��� ­ � ­ ¢ �.� � R ��� ��� ���.�������� ��� ��� ������� ��� ���;� �-� ¢ � ��� ��� � ¢ ����1�G"6�/�89I�N�/ W2Y.Y.Y6,8 N � ­ �������� ��� ����� R ����� ­ � �&�.� R ¢ ��� ��� � R � ������� R � R ��� � R ���� ¢ � ­ � ������� � RL � ­ � R ����� � R ����� � R ��� ��� ����� ¢ �/����1� ����� ������� ��� R ��� ­ �<��� � R � ­ � R ¢ ��� ���Q � ­ � � R ��� � ­ ����� ���0��� ��� �&�.��1�/��� R � � R � ¢ �<����&� R ��� � R ��� R#­ �1��� ���9������S �&��� � ¢ ­ � ��� �1�;� ­ � ­ � ��� ����� ��� ­ � ­ R � ­ ���� ­ � ��� R R � � ¢ ��� ��� �&�.���� ­ � � ¢ 2 I1/���! N �1�;� ���/��� ��� ����� R ����� ��� �&�.� �������� ¢ ����� ­ ����� ¢ ­ R ��� ���0��� R � �1��� ­ �'��� ¢ �L �1�;� � ¢ ��� ��� ����� ­#­ ��� ��� �&�.� ������� ��� ����� � ­ ��� ��� ".$=� $�>?��� ��� �1��� ���4��� ���Q �1�;� � ¢ ��� ¢ � ����� ������� � ­ ����� ­ ����� ��� �1�;� ������� ��� R ��� ��� R � ��� � ­ � R ����� ­ �S ����� R#­ ��� ��� ����� R ����� ­ � ����� ������� R � ����� � R ��� ��� R ��� ­ ������ R �1��� ������� �����!#. ( N R R � ������� ¢ � ����� ���9����� ��� R ��� ­ R ��� ��� ����� ¢ ������� � R R ¢ � ���@�.���� R ��� ������� R �-�/���)#6,.!�32 N � R � ���A� R � R R R �;� � R ��� ��� ����� ���9� R � ¢ � R#­ � ­ R ��� � R ���;�� ¢ ����� � ¢ R ¢ �������� � ­* 836,-HG"6,. I < � R � R ����� ��� ����� � R ��� ­ � �&�.� ¢ ­ ��� R#­ ����� ­ ����� ��� B�CD� E;BF������ �1��� ¢ �G��� ���

+ < � R � ¢ R ��� � R ������������ ­ ¢ ����� ������� ��� ����� � ¢ ��� ��� ����� ������� ��� �1��� ���G��� � ­H /�� 8JI * I W2Y.Y.Y6,8 N ����� ¢#¢ R � R � �1�;� ���<��� ��� R ��� R � R � ��� � ¢ � ������� ��� R ��� R � R � R � �&�.� R �K��� R �L ����� R � R � ­#­ �1�;� � ­ ��� ��� R R � � ¢ R � � R � ­ � � ­ ������ R R � ���0��� ��� � ¢ � ���9���� ¢Q ����� ���/��� ��� � ­ � ���0��� ��� R ��� ¢#¢ ��� ��� � ­ � ������� � R R ��� R �/��� ��� � ¢ � � ­ ��� ­ RS R ��� ������� ��� � ¢ � ­ � R � �.� R#­ � R ����� ��� � ¢ � ��� R � ¢ � R ��� R ����� ��� ����� ­ R,R � ¢ � 2 I1/���! N ��������0��� ��� ����� ������� ��� R ��� R �0��� ¢#¢ � ¢ � � ­ ��� ��� R R � ���/��� ��� � ¢ � ¢ ����� � RL ����� ���F��� ��� �1�;� ��� R ���� R ��� �����;� R ¢ � ¢ � ���0��� � R R#­ � R �F��� � ­ ������ ­ ��� ­ RQ ����� � R R � ��� �1�;� R �0��� ��� R ��� ��� R ���� � ¢ � ���0��� R � R ��� ¢ � R � ­ � �&�.� ���9��� ���S ����� � R ��� ­ � �1�;� ������� � R R ��� ���0��� ��� � ¢ �������� ��� ".$=� 8 6 ��� ­ � � ¢ ����G��� ���

��!#. ( N R ��� ­ ����� ¢ � � ­ � ��� R � ­ ¢ R R � ������� ­ R � ¢ � ��� R � ¢ ­ R �;� ­ ����� ¢ � ����� ­ � R � ­#­-�/���)#6,.!�32 N R R ��1����� ¢ � � ¢ � R R ��� � ­ R ��� � ¢ R � ­ ¢ � ¢ � R R ��� ­ R R ��� ������� R#­ �&�.����9��� ­ � �/��-Iw/�. < ����� ­ ����� � ¢ �1�;� �.� R � ­ � R#­ � ���0��� � ­ ��������0��� � ­ R ¢ � ������� � R ����� � ­,R � ­ �+ < R ��� � ¢ ��� ¢ � � ­ � � ¢ ��� ��� R#­ � � R R � ­ � �&��� ¢ �0��� ¢ R R �;� ¢ � R � � ¢ �&�.� ���9��� � ¢

kgÉMLlÊ¡Ë��ON � «bZ Q3KO[M[MF r HKLE�F_C%\ EMG6[�E XMR7\>[���F_EMJ:E�JTG/UWGt[bE \(GHRTXiK�Q EMCON>COQ_COl]F3Gt[oZ\COR7\)µ�USj EMJTGkG�nOC]Q3R<EMF3C�\(K]XMj [bG6K�X�iJXMR)\([�hQP�G6[bR(Q Ei[5C]U<EiK�F�\TG+µ#Z\X�C]P E�Gt[bE�XMR7\>[+��F E�J E�JTG�UWGt[bE5EMC]NWC]Q3C]lOF_G6[cZ\C]R7\)µ USj¹y X�GE�iJTGHQ_E���K^\)µ@��F_EMJ�K [bF3PvF_QaK�Xz\P�K^\SR(K]QX}V[bG6K�X�iJ Z\C]XmEMJTGSRUT�VDWYX=Z=[D\[µ(KLE�K � K�X�G/l]F�n]G+\ Z\C]X C]PvN(K]XMFa[MC�\¸z 5�] 6�µ<G+\TC�E�Gt[ [bJTCOXbE�R<Ei[VK�\)µ 5 ¿ ] 6 \TC[bJ(C]XME RTE�[�}#h=¿DC]EMFQG EMJ>KLE@EMJTG k ] m [@K]XMG l]F�n]G+\fPVR(Q E�F_NTQ3F3G+µ U9jda?c�c � KO[DE�JTGHj�� GtXMGml]F�n]G�\ F�\#EMJTG E�Gt[bE�[|µ<C�\(GmUSjy X�G�iJTGtQ E?h

Page 56: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� ��?�R�!¦L�����

� �������� �N�L ¬k ������L��� �����L�¡��!� �2 {����R������¡�{ �o1HGHG3+28 ' � � � � � � � � � � � � � � � � � � � � � � � � � � � �

� � � � � � � � � � � � � � � � � � � � � � � � � � � � �

� � � � � � � � � � � � � � � � � � � � � � � � � � � � �Ä � � � � � � � � � � � � � � � � � � � � � � � � � � � �

� 1H5���4�) � � � � � � � � � � � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � � � � � � � � � � �

� � � � � � � � � � � � � � � � � � � � � � � � � � � � �Ä � � � � � � � � � � � � � � � � � � � � � � � � � � � �

� )�G�� � � � � � � � � � � � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � � � � � � � � � � �

� � � � � � � � � � � � � � � � � � � � � � � � � � � � �Ä � � � � � � � � � � � � � � � � � � � � � � � � � � � �

(���4�M�+2G3)[O;1 � � � � � � � � � � � � � � � � � � � � � � � � � � � � �� � � � � � � � � � � � � � � � � � � � � � � � � � � � �

� � � � � � � � � � � � � � � � � � � � � � � � � � � � �Ä � � � � � � � � � � � � � � � � � � � � � � � � � � � �

�?�R�!¦L������ �������� �m�L �?�� ������ ���������o1HGHG3+28 � � � � � � � � � � � � � � � � � � � � � � � ��� ��� ��� ��� � ��� ��� ��� ��� ��� � ���

� � � � � � � � � � � � � � � � � � � � � � � ��� ��� ��� ��� � ��� ��� ��� ��� ��� � ���

� � � � � � � � � � � � � � � � � � � � � � � ��� ��� ��� ��� � ��� ��� ��� ��� ��� � ���Ä � � � � � � � � � � � � � � � � � � � � � � ��� ��� ��� ��� � ��� ��� ��� ��� ��� � ���

� 1H5���4�) � � � � � � � � � � � � � � � � � � � � � � � ��� ��� ��� ��� � ��� ��� ��� ��� ��� � ���� � � � � � � � � � � � � � � � � � � � � � � ��� ��� ��� ��� � ��� ��� ��� ��� ��� � ���

� � � � � � � � � � � � � � � � � � � � � � � ��� ��� ��� ��� � ��� ��� ��� ��� ��� � ���Ä � � � � � � � � � � � � � � � � � � � � � � ��� ��� ��� ��� � ��� ��� ��� ��� ��� � ���

� )�G�� � � � � � � � � � � � � � � � � � � � � � � � ��� ��� ��� ��� � ��� ��� ��� ��� ��� � ���(���4�M�+2G3)[O;1 � � � � � � � � � � � � � � � � � � � � � � � ��� ��� ��� ��� � ��� ��� ��� ��� ��� � ���

�?�R�!¦L������ �������� �m�L �N������� � �� �� �������o1HGHG3+28 � � � � � � � � � � � � � � � � � � � � � � � � ��� ��� ��� � ��� ��� ��� ��� ��� � �

� � � � � � � � � � � � � � � � � � � � � � � � ��� ��� ��� � ��� ��� ��� ��� ��� � �

� � � � � � � � � � � � � � � � � � � � � � � � ��� ��� ��� � ��� ��� ��� ��� ��� � �Ä � � � � � � � � � � � � � � � � � � � � � � � ��� ��� ��� � ��� ��� ��� ��� ��� � �

� 1H5���4�) � � � � � � � � � � � � � � � � � � � � � � � � ��� ��� ��� � ��� ��� ��� ��� ��� � �� � � � � � � � � � � � � � � � � � � � � � � � ��� ��� ��� � ��� ��� ��� ��� ��� � �

� � � � � � � � � � � � � � � � � � � � � � � � ��� ��� ��� � ��� ��� ��� ��� ��� � �Ä � � � � � � � � � � � � � � � � � � � � � � � ��� ��� ��� � ��� ��� ��� ��� ��� � �

� )�G�� � � � � � � � � � � � � � � � � � � � � � � � � ��� ��� ��� � ��� ��� ��� ��� ��� � �(���4�M�+2G3)[O;1 � � � � � � � � � � � � � � � � � � � � � � � � ��� ��� ��� � ��� ��� ��� ��� ��� � �

gÉMLlÊ¡Ë"!ON$#R« ] RTPvP�K�X�j=C�Z EMJTG F�\TNTR<E�[MGHQ3G�^E�F_C%\#USj¹µ<F�eWGtXMG+\9EoPvGHEMJTC�µT[cZ\C]X{µ<F�e GHX�G�\9E5NTXMCOUTQ3GHP�[�h=pYJ(GmR([MG C�Z�KGtXbEiK�F�\/F�\TNTR<EDFa[½µ<G�\TC]EMG?µ ��F_EMJ&%&�<K�\)µ/Q3GtK"nSF�\Tl C]R<E,��F E�J&'!h pYJTGoF�\(NTR<E�[�K]XMG@C]X�µ<GtXMG?µ`F�\kF�\ X�GtKO[bF�\TlmC]X�µ<GHX�Z\X�C]PQ_GHZ E�EMCvX�F_lOJOE?h pYJTGt[MG�[bGtQ_G�^E�F_C%\([,HK^\ K�Qa[MC UWG5C]U>[bGtX*nOG+µ`F�\kEMJTG5NTFQ^E�RTX�Gt[YC�Z�EMJ(G5U>G6[�E�\TGHE�� COX *<[ U>GtQ_C8� F�\)(�F3l]RTX�Gt[Á7h ¼ EMC Á7h�a+v)h

Page 57: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� �

� �������� É,Ë�� ���2Ë���������� É�Ê�Ê �CÊ¡Ë����QLlÊ�É�����

Page 58: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� �

�����

�nÊ�Ê��CË�������� � � ����� É �0Ê�Ë�É � � ���lË �ZË�É ���,L{Ê�Ë ���,Ê� ������� � ��N ËMN� gÉ ���,Ê� �����������lË��.Ë � �lË �lË ��� ��� � � É�É �0Ê¡Ë�É� ��� ������� É�Ê � ������ ����VË��VË9"�����VË�� � �ÍÊ¡Ë�É� � ���lË ����� L{Ê�Ë�� ��N ��lË��CË�������� � L��  �¡Ê�Ê�Ë���É���A � �2É��� � �� ��� É �ZË�É���JLlÊ�Ë�� �%Ê� ������� � � � �lË���� � � ��É,Ê � ����lÊ�É �������4N ��lË��CË�������� L��'H �,Ê��oÉ��� �*É ����� �� �� ��� ��� � �ZË�É���JLlÊ�Ë ���,Ê� ��������� N ��lË!�oË � ���"�FL��$#�É��,Ë�Ê�����~Ë��mÉ,Ê�N � ������ �����lËoÉ��������� ���� � ����lË Ë&%��%Ê� � � ��� ��.É���' L� � ���lË �lË ��� ��� � �(� ���)����+* ��� �,���� ���.Ë�� � � L�Ë É �ZË�É� �,LlÊ¡Ë ���,Ê� ��������N ��lË��.Ë-��Ë��.Ë ����oË ��Ë�É� � ��� � �{Ë�Ë�%��,Ê� ������� ��.É��� � ��� � �lÉ �.����/ 0��� ��� �1� � ���� ��� �lÊ � � �{Ë ���lË��� ���lË�� �lË���� ��� � �-��Ë��VËÉMLlÊ�Ë � �­Ê¡Ë�É� � ���lË ��� � LlÊ�Ë�� ���lÊ � � � ���.É������É,Ê¡Ê � N32 �-�oÉ �FL�Ë ��� É � ���lË� ����� � ���2É� ����� � ���CË4�kÉ� ����~Ë�������� � ��� ���lË����oÉ,Ê�Ê��lË���� ��� � � ��� �������Ë�� L�� � �lË5�CË������"�' �������Ê¡Ë���lË L����,Ë�� �lË ��� ���� � %Ë��lË��.É �2Ë��?L�� ���lË �� �lË��5�oË � ���"���=Ê�Ë�É���{Ë�� ��� É-� ��.Ë � �2ÉML��¡Ê�Ë6�oÉ���lË��=N

1e-06

1e-05

0.0001

0.001

0.01

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

xor / miller

run 1run 2run 3run 4

1e-06

1e-05

0.0001

0.001

0.01

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

xor / kitano

run 1run 2run 3run 4

1e-06

1e-05

0.0001

0.001

0.01

0.1

1

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

xor / nolfi

run 1run 2run 3run 4

0

0.05

0.1

0.15

0.2

0.25

0.3

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

xor / cangelosi

run 1run 2run 3run 4

7 ����.Ë ! N98�: mqn]COQ_RTEMF3C�\�Q_COlO[ Z\C]XYE�JTG<;>=�X/NTXMCOUTQ3GHP h

Page 59: Evolutionary Design of Neural Networks Marko A. Grönroos Master

*��

��������� � � �

����� ����� � � �

� � ��� � � � � � � � �

� � � � � �

� ����� ��� ��� � � � � � � � � �

� � � � � �

7 �����.Ë !ON *�: ¿DGHE�� COX *<[ Z\C]XYE�JTG �"!$#�N(XMCOUTQ_GtP&%

Page 60: Evolutionary Design of Neural Networks Marko A. Grönroos Master

#��

��� ������� ��lË��oË � ���"��� L��f ��Ê¡Ê�Ë���Ë �KÉ,Ê�N É��� A � �PÉ��� �����"����RË�� �ZË�É���JLlÊ�Ë ���%Ê� � � ����� ��� É�Ê�Ê ������ N ��lË� �%Ê� ������� � � �������L�� A � �2É���� � Ë������"����� ��Ë��VËCÉ,Ê�� ��� � �2É�CË�� ��� �������lË�� �� � � ��É ��� É,Ê�Ê �������� ��������lË����2Ë�� � �mÉ,Ê�Ê �� ���� ���=N �lË � �%Ê��� ���� �kÉ��É L�� �4� ��.Ë ��� É� �.Ë OL� � � � É � �,�� �.ËRË�� � � � � É %%Ë��Ë�� � �����CË�� �.Ê ������.Ê �$� ��� �.Ë ��� É %,Ë��2É %Ë � � ��Ë Ê�� ��� É � ���lË Ë&%��%Ê� � � ��� ���� %%Ë N ��lË Ë���������� ��L��  ��Ê¡Ê�Ë��?Ë ��É,Ê&N�Ê�Ë ��� � ���oË ����{Ë���Ë����.É� � �������{Ë�� �� � � �� AL� � � � �lÉ�­É,Ê �����������lË����.Ë�� É,Ê¡Ê �������� ������.Ë����2Ê � � � � �{Ë���� �������VË���� ����� ���� �� ���� � � N�� �lË�� ��Ë$���� � É �.Ë � �lË1������lË�� � ��%�� � �¡Ë�� �� ���lË� �%Ê� ������� � É��� � �lËNÉ %,Ë��.É%Ë ��Ë�� � ����oÉ����Ë�� �� ���lË �,����� �kË-��É� �VË�Ë � �lÉ � ���lË ��� ����lË���Ë����2É � ��� �Ë������2É3�������{Ë���������� � �oÉ � � É %%Ë �{Ë�Ê���Ë�� ��� �lË���2É,Ê~Ê¡Ë�É� ������ON ��lËoË�%�%Ê� ������� ��.É����� L�ËRÊ�� � É �.Ë� ���oË&��� É � � ��� ��Ê�É � � ��� É %,Ë��.É%Ë � ��� �������VË3�VË�� ��� �.Ë��<L�� A � �PÉ ��� ��� �����%É��#N ����VË�Ë3������-��� � ����lË��oË � ���"��L�� A � �2É��� É� ���¡Ë�%,Ë�� É %%Ë�� � �� ��� ��Ë�� � �����oÉ���RË ��� ���� ��� ���lË�� ��� � %Ë��lË��2É �������4N ���� �5� É � ��� �{Ê � � � É � �ZË�É���JLlÊ�Ë ���%Ê� � � ����� ��� ��� É,Ê�Ê �������� �=Ë�� É LlÊ�Ë�� ��Ë��VË ���.Ë��VË���� ��� � �lË � ��� ����É,Ê� ����lÊ�É � � ����� N

��lË �CË������"��� L�� H �,Ê��­É ��� �*É ����� �cÉ��� #�É� %Ë�Ê �����ªË�� É,Ê�N���Ë�� � �����CË��3� ����.Ë � � É� � �lË���� ��CË�������� ��ÉML �>%,ËMN H � � ���RË ��� É �5�,�����8�É����* ��� � � ���lË6�CË�� � ��� L��CH �%Ê�� É���À�*É ����� � ��Ë��VË � ���lË��� � � !* � ��.Ë���� ��É,Ê �lË��������=N& ������VË-������ � �¡Ë�Ê��{Ë��­Ë�%,Ë��3L�Ë ���.Ë�� � �%Ê� ������� � � �lÉ� � �lË-�,����6��� � ����lË A � �2É���� � �CË������"��N� ��lË6�CË������"� L�� #�É� %Ë�Ê ������Ë���É,Ê�N�� ��� � �� � ���É��� �ZË�É���JLlÊ�Ë ���%Ê� � � ����� N

0.001

0.01

0.1

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

encoder / miller

run 1run 2run 3run 4

0.001

0.01

0.1

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

encoder / kitano

run 1run 2run 3run 4

0.0001

0.001

0.01

0.1

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

encoder / nolfi

run 1run 2run 3run 4

0

0.05

0.1

0.15

0.2

0.25

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

encoder / cangelosi

run 1run 2run 3run 4

7 � ���VË !ON$#�:���� C]Q3R<EMF3C�� Q3C]l9[�Z\COXYEMJTG! �V�"&=$#% XvNTX�C]UTQ3GHP&%

Page 61: Evolutionary Design of Neural Networks Marko A. Grönroos Master

# �

��������� � � �

����� ����� � � �

� � ��� � � � � � � � �

� � � � � �

� ����� ��� ��� � � � � � � � � �

� � � � � �

7 � ���VË !ON$!�: ¿IGE���C]X *<[�Z\COXYEMJTG��=V�"&=$#% XvNTX�C]UTQ3GHP&%

Page 62: Evolutionary Design of Neural Networks Marko A. Grönroos Master

#��

� � ��������

��lË!�oË � ���"��L��  �¡Ê�Ê�Ë���Ë��mÉ,Ê�N � �� ��� � �{Ë�� ������� É,Ê �.ËRÊ�Ë�� � � ��� �� �������� � � � �����.ËRË��,����=N ��lË�CË��������/L � A � �2É��� � ����� É �ZË�É���JLlÊ�Ë ���%Ê� � � ��� � � ���lÊ � ���lË �� ���lË � ������� ���=N 2 �wË�� ÉMLlÊ¡Ë��É,Ê���É � � � �{Ë Ë���� ��� ��� � � ���� ���� <������� � � � ��� ��� ÉMLlÊ ��L�Ë���É��.Ë ���lË LlÊ��"� � � ��� ���lË������ �lË�� � ��% � � ��oÉ ��� � � ���lÉ,Ê�Ê � � É %,Ë � ���Ë ��kÉ � � ��Ë����� ��� � N ��lË��CË���������L��JH �%Ê�� É��� �gÉ��� ��� ��Ë�� � ����CË��É,Ê ���f"��� �.Ë5�kËRÊ�Ê �� �¡Ë�Ê�� ���� ��� ���ZË�É���JLlÊ�Ë�� �%Ê� ������� �=N ��{Ë �CË�������� L��!#�É��%ËRÊ���� � Ë���É,Ê&N ��Ë�� � ����CË���RÊ�Ë�É �.Ê ��� ��� � � : ��� �ZË�É� �,LlÊ¡Ë � �%Ê��� ���� �kÉ� � ������ ��� É��� � ��� �lË!������ N H �� ����Ë ��� É � �������� � 8� *� *É��� #3�.Ë9"�����.Ë��,�� �NÉ � ���2É� ������������lË���������� �(� ��� ������ � � � � ���lË � � ���� � ���� ��� �.ËO"�����VË���,�� � ��lË � �����lË�� �� � � �É��� ��� �� � � �VË9"�����VË�� �2É ���lË�� �oÉ��� �������{Ë�� ��� ���=NoÄ���oË ����� �lË�� � ��% � � �� É ���2Ë����Ê�� �,Ë �������5� ��� � L�Ë �VË�Ë�� L�� % ���, É,Ê � ������Ë�� � ���� �� ���lË �lË ��� ��� � � ���%%Ë��?L�� ���lË.�oË � ���"�L�� H �%Ê�� É�����gÉ��� ��� LÉ��� É,Ê ��� �(� ��� � �lË �{Ë���� ����� ���wÉ��� 8 L � � �lË��oË � ���"� L���#�É� %Ë�Ê �����gË��É,Ê&N ��{Ë-�������{Ë�������% � � � ��� � �lË �lË���� ����� � ���%%Ë�� L � � �{Ë �oË � ���"� L��Å ��Ê¡Ê�Ë��=Ë ��É,Ê�N��kÉ� � � � ��� ����� �VË�Ë�É��� � É � �2Ë��������� � ��� ������� �YN

0.8

1

1.2

1.4

1.6

1.8

2

2.2

2.4

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

additive / miller

run 1run 2run 3run 4

0.8

1

1.2

1.4

1.6

1.8

2

2.2

2.4

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

additive / kitano

run 1run 2run 3run 4

1

1.5

2

2.5

3

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

additive / nolfi

run 1run 2run 3run 4

1

1.5

2

2.5

3

3.5

4

4.5

5

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

additive / cangelosi

run 1run 2run 3run 4

7 �����.Ë !ON3��:���� C]Q3R<EMF3C���Q_COlO[ Z\C]XYE�JTG��$#%#���\���� VN(XMCOUTQ_GtP&%

Page 63: Evolutionary Design of Neural Networks Marko A. Grönroos Master

#8

��������� � � �

����� ����� � � �

� � ��� � � � � � � � �

� � � � � �

� ����� ��� ��� � � � � � � � � �

� � � � � �

7 �����VË !ON ��:�� GHE�� COX *<[ Z\C]XYE�JTG�� #%#���\���� �NTX�C]U(Q_GtP %

Page 64: Evolutionary Design of Neural Networks Marko A. Grönroos Master

# *

� � � �� ��� ��� � � ��lË �oË � ���"��� L �  �¡Ê�Ê¡Ë��=Ë�� É,Ê �A � �2É���� �É��� H �%Ê��­É��� �*É ����� � � ����� �ZË�É���JLlÊ�Ë����,Ê� ��������� ��� É,Ê¡Ê�,����=N ��{Ë �CË�� � ��� L � H �%Ê��wÉ��� �gÉ��� ��� � ������ � �lË?Ë��{É� �2Ê �!�������VË�� � ��� �� � �.Ë�Ê¡Ë�� � ���� ���oÉ,Ê¡Ê � ����,����=N ��lË��oË � ���"� L�� #�É� %Ë�Ê �����gË���É,Ê&N � ������ ���lÊ � ���{Ë �ZË�É� �,LlÊ¡Ë � �%Ê� �������4N 2 � � � ���*8!��lÊ � ����VË�Ë0É��� � ����������������lË���� ��% � � � � É ���2Ë����3�.ËRÊ�Ë�%�É������� ���lË ����� L{Ê�Ë�� � É �2É L�� % � �� É,Ê � ������Ë�� � � ����N

0

1

2

3

4

5

6

7

8

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

interaction / miller

run 1run 2run 3run 4

0

1

2

3

4

5

6

7

8

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

interaction / kitano

run 1run 2run 3run 4

0

2

4

6

8

10

12

14

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

interaction / nolfi

run 1run 2run 3run 4

0

5

10

15

20

25

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

interaction / cangelosi

run 1run 2run 3run 4

7 �����.Ë !ON ��:���� COQ_RTEMF3C�� Q_COlO[ Z\C]XYE�JTG ��VD\ X�� ";\ � =�VmN(XMCOUTQ_GtP&%

Page 65: Evolutionary Design of Neural Networks Marko A. Grönroos Master

# #

��������� � � �

����� ����� � � �

� � ��� � � � � � � � �

� � � � � �

� ����� ��� ��� � � � � � � � � �

� � � � � �

7 �����VË !ON � ��:�� GHE�� COX *<[ Z\C]XYE�JTG���VY\ X�� "�\�� =�VmNTX�C]U(Q_GtP %

Page 66: Evolutionary Design of Neural Networks Marko A. Grönroos Master

# !

� � � ���� ��lË��CË������"��L��à��Ê¡Ê�Ë���Ë �KÉ,Ê�N ��Ë�� � �����CË���L�Ë�� � L� � � �lË��CË���������L�� H �%Ê�� É��� �gÉ��� ���4�kÉ�É,Ê ��� "��� �2Ë �� �"��N ��lË��VË ��É� ��� � � �� � Ë�%�%Ê��� ���� ��� ���lË-���� �6��� � � ���lË-�CË�� � ����� L �  ��Ê¡Ê�Ë��Ë �0É,Ê�N0É���$A � �2É���� LÉ��� �2É � �lË�� ����"� � �%Ê� ������� � �kË��.Ë � ������1� ������ � � � �{Ë � ��� ����É,Ê � ����{Ê�É ��������NA � �2É���� � �oË � ���"� ��� �������Ë�� � �lË �lË���� ����� � ��� � � ���lË Ê � �kË�� �5�RÊ�É� ��������É �������CË��,������ {É,Ê � ������ ���lË�lË ��� ���� � ,Ë��lË��2É �.Ë��%L�� ���lË.�oË � ���"� L��� ��Ê¡Ê�Ë���Ë��nÉ,Ê&N �kË��.Ë������� �� �3� �����VËMN

2 ������ � ��� �RÊ��� � � ����� � �lË�� � �9É��� ! � É � �� � � �� L É�.Ë �"���Ê�Ë���� ��Ë��VË=Ë�� ÉML{Ê�Ë�� � �KÉ,Ê�Ê ���%Ê� � � ����� N

0.01

0.015

0.02

0.025

0.03

0.035

0.04

0.045

0.05

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

cancer1a / miller

run 1run 2run 3run 4

0.01

0.015

0.02

0.025

0.03

0.035

0.04

0.045

0.05

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

cancer1a / kitano

run 1run 2run 3run 4

0.01

0.015

0.02

0.025

0.03

0.035

0.04

0.045

0.05

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

cancer1a / nolfi

run 1

0.01

0.015

0.02

0.025

0.03

0.035

0.04

0.045

0.05

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

cancer1a / cangelosi

run 1

7 �����VË !ON ��� :���� COQ_RTEMF3C���Q_COlO[�Z\C]XYE�JTG " ��V�"� X�����NTX�C]U(Q_GtP %

Page 67: Evolutionary Design of Neural Networks Marko A. Grönroos Master

# �

��������� � � �

����� ����� � � �

� � ��� � � � � � ����� ��� � � � � � � �

7 �����.Ë !ON � ��:�� GE���C]X *<[ Z\C]XYEMJ(G�� ��V�"� X N(XMCOUTQ_GtP&%

Page 68: Evolutionary Design of Neural Networks Marko A. Grönroos Master

# �

��� ����� ��lË �.Ë���lÊ � � � ��� � ��� � ��� � LlÊ¡Ë�� ��Ë��VË ������� ��� ���� N�� � � ��� � � ������ � �lË3�oË � ���"�<L � H �%Ê�� É����gÉ��� ��� ��Ë�� � �����CË����RÊ�Ë�É �.Ê � L�Ë�� �=NV? � �kË&%%Ë��� � �lË�É %%Ë��2É,Ë�� ���%,Ë�� ��� gÉMLlÊ�Ë�!ON * � ��������É �2Ë � � É �����lËL�Ë�� �����%Ê� � � ��� � �� ��� L�� � �lÉ �5�CË�� � ��� ��Ë�� � �����CË��!"" � �2Ë L É�lÊ � N�� Ë6��É�É�Ê���� � L��.Ë��,%,Ë ��� É � ���lË%�É� ��É���RË � ��� � �{Ë ��Ë�� � �����oÉ���RË �� ��� É � ���,Ê� ���������kÉ�f"" � �2Ë ��� ���N � � É �.��Ë �ML��.Ë��,%%Ë �lË��.Ë ������lË ��.É����� � � ��� ��� ÉML{Ê � � �lË �������VË Ë��Ë�� �5�lË������ �,L�Ë�� ���¸Ä!Ë�� � ���� !ON � N � N<2 ������Ë�� � ��� KÉ,Ê�Ê � �{Ë6���� �� ��Ë���É� ����.Ë=É �.Ë����{Ë���� � � � É � ���lË����%Ê� � � ����� ��� É � � É %,Ë É6��Ë�É��Ë���É %,Ë��.É%Ë����%,Ë������lË���%�É� ��É���RËÉ��� ��Ë�� � ����� L�Ë ���2Ë��?É����������� �� � � � �{Ë0Ë&%��%Ê� � � ��� ��.É����� N

A � �2É���� � �CË�������� �����"����RË�� %%Ë�� �mÊ�É� %Ë�É��� �����lÊ � ������lË�� �2Ë�� �{Ë���� ����� �=N<2 �9É,Ê�� � ��� �������Ë�����lË �lË ��� ���� ��� � � � �lËoÊ�� ��Ë�� � ��Ê�É ������� ��É � ���� Ë�������=N ��lË � �%Ê� ������� � �������L�� ���lË��CË������"��L��H �%Ê��oÉ��� �*É ����� ����É � � ���oË&��� É � ���oÉ,Ê�Ê¡Ë�� ��� É� � �lË ���,Ê� ��������� � ����� L � ���lË��oË � ���"��� L��  ��Ê¡Ê�Ë��Ë � É�Ê�N9É��� A � �PÉ���ON

��lË ������ � � 8 � �oÉ��lË������� � É ��� � � LlÉ������ ���kË��.ËCË�� ÉML{Ê�Ë�� ��� É,Ê¡Ê����� � L�� É,Ê¡Ê��CË�� � ����� N ��lË � �kË��.Ë � �lË����lÊ � ������ � �?Ë�� É LlÊ�Ë�� � �ÍÉ,Ê¡Ê � �{Ë �,���� �����lË.��� ��� ���lË �CË������"�?L��ªÂ �¡Ê�Ê�Ë���Ë��nÉ,Ê É��� ���lË.�oË � ���"� L�� #�É��%ËRÊ���� �_Ë��nÉ,Ê&N �.ËRÊ�Ë�� �2Ë��ÍË��{É� �2Ê � � �lË��.Ë N

0.06

0.08

0.1

0.12

0.14

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

glass1a / miller

run 1run 2run 3run 4

0.06

0.08

0.1

0.12

0.14

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

glass1a / kitano

run 1run 2run 3run 4

0.06

0.08

0.1

0.12

0.14

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

glass1a / nolfi

run 1

0.06

0.08

0.1

0.12

0.14

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

glass1a / cangelosi

run 1

7 � ���VË !ON � 8�:���� C]Q3R<EMF3C���Q3C]lO[�Z\COXYEMJTG� � � ��� ���mNTX�C]UTQ3GHP&%

Page 69: Evolutionary Design of Neural Networks Marko A. Grönroos Master

#��

��������� � � �

����� ����� � � �

� � ��� � � � � � ����� ��� � � � � � � �

7 � ���VË !ON � *�:�� GHE�� COX *<[ Z\C]XYE�JTG�� � � � �5NTX�C]UTQ3GHP&%

Page 70: Evolutionary Design of Neural Networks Marko A. Grönroos Master

!��

� � ��� ��lË5�VË��,lÊ ��� � ��� � �{Ë`?nË�É � � ��� � LlÊ�Ë�� É �.Ë������ �¡Ê�É� ��� � �lË/ �Ê�É� � ��� � LlÊ�Ë��?N ��lË���.É����� � ��� � � �lÉ ����lË.�oË � ���"� L �À ��Ê¡Ê�Ë���Ë��nÉ,Ê&N ��Ë�� � ���,�oË�� L�Ë�� � ���� �?L�Ë�� �2Ë������ É� � �lË.�CË�������� L�� A � �2É���� {É������ � �lË.�CË�� � ��� L�� H �%Ê�� É��� �*É� �����&N�? � ��Ë�%%Ë��� � �lË �.Ë���lÊ � ����� �>��� ��� gÉMLlÊ�Ë&!ON * �2ËRÊ�Ê}É%É��� É��� �LË��.Ë�� � � ����� � ��A � �PÉ� �� �~Ë������"����� � ��ËRÊ��lË�� � �{Ë ���,Ê� �������-��� ��� ���lË Ê �>��Ë�� � �RÊ�É� ��������É �������KË��,������ É,Ê � ������ � �{Ë �VË��,lÊ ����� �� � �lË.�CË�� � ��� L��� �¡Ê�Ê�Ë���Ë��nÉ,Ê&N ��Ë��.Ë��������É �QL�Ë��������4N

2 ������ � � � É%Ë �*É��� � � �VË���� �kË��.Ë=Ë��lÉMLlÊ�Ë�� ���KÉ,Ê¡Ê��� ���=N�2 � �� � � * � É � ��� ����É�ÊlÉ����� É�� # � ������É� ���� É�Ê � �lË�� ��� É� � �& �W� ��� É � ��Ë�É� ���­Ë��{Ë��������.Ë�� �.Ë���oË���� �& 8�� � �"�� L�Ë�� �� � É � ��� %%Ë����VË�Ê�����%Ê����VË�� L�� � ���� ������������� LÉ ��� 8�� � �������oÉ,Ê ��� É,Ê �4�kË��.Ë �VË�Ê¡Ë����.Ë�� "" � �2Ë�����.Ë���N ��lË �VË�Ê¡Ë���������� �����lË �������� ��� � É �������JL� �2Ë ���.Ë��VË���� ����������É ����� � ��É� L�Ë � ������VË�� ��� ����Ë ��� �� � � � ��É � ��� ���.Ë�Ê¡Ë�� �2Ë��� � ����.Ë���N

0.1

0.12

0.14

0.16

0.18

0.2

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

heart1a / miller

run 1run 2run 3run 4

0.1

0.12

0.14

0.16

0.18

0.2

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

heart1a / kitano

run 1run 2run 3run 4

0.1

0.12

0.14

0.16

0.18

0.2

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

heart1a / nolfi

run 1

0.1

0.12

0.14

0.16

0.18

0.2

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

heart1a / cangelosi

run 1

7 � ���VË !ON � #�:���� C]Q3R<EMF3C���Q3C]lO[�Z\COXYEMJTG�� � X=\����mNTX�C]UTQ3GHP&%

Page 71: Evolutionary Design of Neural Networks Marko A. Grönroos Master

! �

��������� � � �

����� ����� � � �

� � ��� � � � � � ����� ��� � � � � � � �

7 � ���VË !ON � !�:�� GHE�� COX *<[ Z\C]XYE�JTG�� ��XY\vNTX�C]UTQ3GHP&%

Page 72: Evolutionary Design of Neural Networks Marko A. Grönroos Master

! �

� � ��� ������� ��lËQL�Ë�� � �lË ��� ��� �NË�%�%Ê�%,Ë��-��� ����A � �2É���� �*Ë������"����� � É� � �{Ë�Ê�� ��Ë�� � �RÊ�É� ����� ��É ��������Ë��,������ ������Ê¡Ë���lË �CË������"�%L���� ��Ê¡Ê�Ë���Ë � É�Ê�N ��Ë�� � �����CË�� ÉML �� �nË9"� É,Ê¡Ê � ��Ë�Ê¡Ê ���ÍÉ %%Ë��.É%Ë N ��{ËmË�%�%Ê��� ���� Ê ����.É�����7É�VË?É�É� � � ���VÊ�Ë�É����� ��� � � ��� �.Ë�����Ë����=N�H ������RË���� É � � �{Ë ��Ë�� � �����oÉ���RË5��� � � ���lË �.Ë�� � �VË���kÉ��É���� É,Ê�Ê �NÊ �>��Ë�� � �lÉ� ��� � � � �lË�%�É,Ê���� É ���������Ë�%�É,Ê�lÉ � � ��� �VË��=N ������ �.Ë���lÊ � � � � É��� � �0Ë����lÊ�É���4N

��lË��.Ë ��Ë��.Ë�� � ������ � � �VË�Ê¡Ë����.Ë�� ���NÉ,Ê�Ê�� �{Ë ���� �=N�7É� ��ÉML{Ê�Ë�� � � # ����.Ë���� � ���VË������ HnË � �{É,Ê¡Ë�� � � � �� "��� � ��� HnË � �{É,Ê¡Ë�� �& ~É��� � ! � � É����Ë���7É,Ê�lË �� "��� � ����� ������7É,Ê�lË ����nË=L � � �kË��.Ë�VË�Ê�Ë����.Ë�� � � É�Ê�Ê<�� ��� ��� � � � �lË �CË�� � ���3L���� ��Ê�Ê¡Ë�� Ë �NÉ�Ê�N� �L� � ���lË L�Ë�� � ��Ë�� � ���,�oË�� �.Ë�� ���lÊ ����{Ë �� � �lË��?N ���� � %�É����É � � ����� ���������� �{Ê � � � É � � �lË � �%Ê��� ���� ���v"��� �2Ë � lÊ � ��� �"� É,Ê � ���.Ë�� ��Ë������ � �lË �������� �.ËRÊ�Ë���� � ����N ������ ��� ����lË���� �PÉ���lÉMLlÊ�Ë � �����RË�É,Ê�Ê � � � �lË � � É������É,Ê �2É � ���� �lÉ %,Ë L�ËRË��� �� ��� ��.Ë�� �(lÊ ��� ����oË � ������¡Ë�� N

0.12

0.13

0.14

0.15

0.16

0.17

0.18

0.19

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

bankrupt / miller

run 1run 2run 3run 4

0.12

0.13

0.14

0.15

0.16

0.17

0.18

0.19

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

bankrupt / kitano

run 1run 2run 3run 4

0.12

0.13

0.14

0.15

0.16

0.17

0.18

0.19

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

bankrupt / nolfi

run 1

0.12

0.13

0.14

0.15

0.16

0.17

0.18

0.19

0 10 20 30 40 50 60 70 80 90 100

MS

E

generation

bankrupt / cangelosi

run 1

7 �����VË !ON ��� :���� COQ_RTEMF3C���Q_COlO[�Z\C]XYE�JTG R ��VYWYX=ZY[D\mNTX�C]U(Q_GtP %

Page 73: Evolutionary Design of Neural Networks Marko A. Grönroos Master

!�8

��������� � � �

����� ����� � � �

� � ��� � � � � � ����� ��� � � � � � � �

7 �����VË !ON � ��:�� GHE�� COX *<[ Z\C]XYE�JTG�� ��VYWYX=ZY[D\mNTX�C]U(Q_GtP %

Page 74: Evolutionary Design of Neural Networks Marko A. Grönroos Master

!*

����� ����� ����������A

� �lË��!��ËnÊ ����NÉ � � �{Ë �VË��,lÊ ��� � ���EË���������� !ON � N � �� � �VË�Ë�� � � � É � ���lËnÊ¡Ë�É� ����� %Ë����4� ���.Ë5� �,8 ��lÊ �É��� �lË �lË���� ��� � � ���Ë É����� ��É� �lË�� ���lË�� ������� É�Ê ��� �ËMN � �� ���lË L�Ë�� � ���,Ê� ��������� � �������L�� ���lË�,� É,Ê¡Ê�Ë�� �{Ë���� ����� ��É�VË �oÉ � L�ËmË&%%Ë��3L�Ë�� �2Ë�� � �lÉ� � � ���.Ë � ����� L�� � �lË �lË���� ����� � ��� É � ��Ë�� � ���,�L�Ë�� �2Ë�� �� É %,Ë��2É %ËMN � Ë-��É � É�Ê���� �ML��.Ë��,%%Ë ������� ���{Ë������CË��lÉ � � � �lË-�VË��,lÊ ��� �(����� � �lË�Ë&%��%Ê�%%Ë���lË ��� ���� �=N �lË�Ë����lÊ�É� É ������� �oÉ � L�Ë ��� É �=É L�� �%Ë�� �lË���� ��� � � É�5� ���.Ë É,Ê �.Ë�� � É � ��%%Ë�� ���lË��VË � �L�Ë��� � ���lË��.Ë�É ��� �' ��� � � É �� � � � � %Ë���� � ���� � � �ÍÉ � � ���=Ê��"��É�Ê ��� �����oÉ � � ���lË�É,Ê �2Ë�� � É ����%%Ë � � ��É�� � ��Ê¡Ê}Ë����lÊ ���.Ë �� �lË���É,Ê �2Ë�� � É ����%%Ë��=N � Ë � � ���� ������� � ��� É � ���­É �����lÊ � �������lË����2Ë�� �lË���� ����� ���lË���� L�Ë����� ����� �¡Ê�É��É,Ê �2Ë�� � É ����%%Ë�� � �lÊ�� L�Ë�Ë���� ���{Ë���� ��É,Ê�N

� � É,Ê �2Ë���� É ����%,Ë �kÉ � ��~Ê�� ��� ����wÉ � � � ����É�VË �oÉ �����oÉ,Ê�Ê � ���� ���VË�� �.Ë��1���� ����2Ë�� �������2É� �� �lË��VË ��� �lÊ¡Ë��CË����2Ë�� É� �lË���2É,Ê �lË���� ��� � � ��N �� ��� � �mÉ % ��Ë�� ������� ���lË��.Ë���L�� A�É � � É � ��� ��� #��& � ���oË&��� É � É��� �%Ê�Ê � ���=N �� ����� ��¤É ��� � LlÊ¡Ë��3 É��� � �lË������� �2Ë�� � � ��� ���JLlÊ�Ë ��� ����2É � � � É � � �%Ê�%,Ë�����lË �����MLlÊ�Ë��?N ��lË ������� �2Ë�� � �������2É� ��É�@L�Ë �lË�� �{Ë��<L � � � É � � � � É� ��� �VË������� É��� � � �.Ë ���Ë�É ������ ��� ����lË���Ë����2É � � �����{Ë � ��� É � � �!Ë&%%Ë��� L� � É��� Ê�����,Ë�� �������2É� � �!Ë��=N 7 ���KÊ�Ë�É ����� ���,�� � �������2É� � � � ��� ��� � ��� �PÉ��� � � É � � �lË ��������.É� � ��� �����.Ë������� É � �.�����{Ë�É�.Ë�� ���VË ���ML��� �$�� � É ��%Ë ���lË�� ÉÍÊ � ���.Ê�ËKÉ��� É ���oÉ,Ê¡Ê<��� ��Ë��VË����RË ���FL�Ë�� É %�� ���� ��É��L�Ë �ML��.Ë��,%%Ë��' <������� � ��� ���lË�VË9"�����VË��CË������ ���?É,Ê�ÊLÊ�Ë�É ����� ��KÉ��� Ë�%�%Ê� �������lÉ� �É � É� �2É � � ����N 7 ��� � �{Ë � ������� É�Ê ��� ����.É� lÉ���� � É ��%Ë��.Ë���lÊ � � � � � ��2É,Ê � � É ��%Ë ��� �( �����������' ~É � � �lË � É � � � � � ���lË ��� ����2É � É�VË ���� �lÊ¡Ë��.Ë�Ê �� � �.Ë��,�lË���Ë����{Ë����YN ��lË��.Ë�� ��.Ë � � � � � ���.Ë ���,8 ��{Ê � ��� � ���É �������VË���� �������2É� L�� É� É � �PÉ ������� É����lË.�.Ë9"�����.Ë��ÍÊ�Ë������ L�Ë������CË�� ������� �2Ë��nÉ ��� ���lË � ��� �%Ê��� � � ���� �­É� ��� � ��� É�Ê �lË ��� ��� � � �lÊ����Ë�� � ����� Ê�Ë�� �5�kËRÊ�Ê ��� É %%Ë��2É%Ë�É ���.Ë����lË���2É,Ê}Ê¡Ë�É� ����� N

� �.��� É � � �4��Ë �.Ë�É�Ê�Ê � ��É � ��� ��� ��� ���� � ���oÉ,Ê¡Ê�Ë�� �������2É� ��� �lË ��� ������� � ������ L�Ë � ���VË6�.Ë��lÊ�É � � ��� �.Ë���� � � ��� � �lË ��� �lË���� �(������ � ������ lÉ� �,��%Ë�� �.Ë�� ��� �EË���������� 8ON � N � ������lË�� � � ����L�Ë � ����.Ë � ��� ����%Ë�� �.ËRÊ�Ë�� � � ��� É��� ËRÊ�� � ���,� ���� ��� ��� ������ ����5��É�.Ë ���-� �� �É L ���� � �{Ë�É %%Ë��.É%Ë��Ë�� � �����oÉ���RË �� ���lË ����� ��% ����lÉ,Ê�� N

Page 75: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� ��������� �

� ������������� ����

� ËwË�%�%Ê�%,Ë�� É� ����� ����É,Ê �lË���2É�Ê �lË ��� ��� � � �� �%Ê ����¡Ë�� ���� �� � �lË %Ë��lË � ���wË�������� ������CË�������� � L��� �¡Ê�Ê¡Ë���Ë��NÉ,Ê�N� �� � �2É���� H �,Ê�� É��� �*É� ��� � ¤É ��� #�É��,Ë�Ê�����7Ë���É�Ê�N ��lË������lË�� � �� ���lË �lË ��� ��� ������ �,Ê�����¡Ë��5�kÉ� ��É,Ê���lÊ�É �.Ë�� ���� �� ���lË ���2É� ������CË��,��������� ��� ���lË ��9Ë������� ����� L{Ê�Ë�� � ������ �� ���lËË&%��%Ê� � � ��� É� � �.Ë�É��� ��N ��lË �{Ë���� ����� � ��Ë��VË ���2É� �lË��1���� �� � �lË M � � ��� É�Ê����� � ����� ������� � ���0ÉL É � � ������� É �É � � ��� %,É ����É � �=N ��lË ����� L{Ê�Ë�� � �����RÊ���{Ë�� � ���mÉ � � ��� ����É,Ê ��� � LlÊ¡Ë�� ��É ��� � ���� �VË�É,Ê �� ���.Ê�����Ê�É��� ��� ��É � � ��� ��� � LlÊ�Ë�� � N ��lË L�Ë�� � �{Ë���� ����� � � ������ L�� ���lË�Ë�%�%Ê��� ���� É� � �VË�É�,� � �,������Ë��VË������ � É�VË�� É�������,������ ��� � �{Ë�������Ê�É ������� ��É � ���� É������.É���+��� � � ���lË��.Ë�É,Ê � � ��.Ê�� �����MLlÊ�Ë�� �� É���ÍÉ�������,����� � � � �lË����=ÉML��¡Ê�� � � ��� �.Ë�Ê¡Ë�� � ���lË.�.ËRÊ�Ë�%�É��� ��� �� � � ��� � � � �{Ë�É � � ��� ����É,Ê ����� LlÊ¡Ë�� �=N

��lË �lË ��� ���� ����� �,Ê�����¡Ë��?Ë�%�%Ê�%,Ë�� ��� � � ���lËNË������"����� ��oË � ���"� L���� � �2É��� %É %,Ë %Ë��lË��2É,Ê¡Ê ����lË L�Ë�� �!��Ê�É ������� ��É � ���� �VË��,lÊ ���=N ��lË �CË������"�0L�� � �¡Ê�Ê�Ë��NË��oÉ,Ê&N ��É� ���� ��É� L�Ë���� ����N ��lËË������"����� !�CË�������� L�� H �%Ê�� É��� �gÉ��� ��� ��Ë�� � �����CË�� � ����.Ë�� � É � ���lË���� ���CË������"���?ÉML � %,Ë �É������lË.�oË � ���"� L � #�É��%ËRÊ���� �}Ë��?É,Ê&N���É�����lË �kË�É�,Ë�� �YN� � ��Ë�%,Ë��� ��Ë � L��VË�� %%Ë�� � �lÉ � � �{Ë L�Ë�� ���{Ë���� ����� ��%Ë��{Ë��2É �2Ë�� L�� ���� � � � ��� �.Ë�� �CË�� � ����� � É�

� ���oË � ���oË��4� �� �wÊ�É� %Ë�� %�É����É���RË � � � �{Ë�����Ê�Ë�É����� �����Ë�� � ���,� É����Ë����lË�� ���.É���{Ë�� �VË�%,Ë��2É�Ê � ���oË����� � ����� ��Ë��VË���� �2É������� � ��� ����É,Ê ���É � ������ �� ���lË �lË���� ����� ��Ë�� ���� � N�� Ë�� L��VË�� %%Ë�� � � É � � ���oË � ���oË��É��� �lË �lË���� ����� ��� �Ë L�Ë������CË�� �,� É�Ê�Ê�Ë��� � �lË É %%Ë��.É%ËwÊ¡Ë�É� ����� ��Ë�� � �����oÉ���RË L�Ë�����oË�� � �����VË É,Ê � ������ � �{Ë L�Ë�� ���lË���� ����� � ���.É���lË������ � � ���lË ���oÉ,Ê�Ê¡Ë�� ����� �%Ê�����Ë�� ��É�3L�Ë�����oË�Ë&%%Ë��FL�Ë ���.Ë����� É� ��� � � ���lË�Ê�É� %Ë�� �{Ë���� ����� �=N

��lË1��Ê�É��� ��� ��É � � ��� �.Ë���lÊ � � � ��� � �{Ë Ë&%��%Ê�%%Ë�� �lË ��� ��� � � ��� �%Ê�����Ë��!��Ë��.Ë ���� � �������� ��É � �.Ê �L�Ë�� �2Ë��� � �9É � É,Ê�Ê:L�Ë����.Ë��� ��� É� ���lË �.Ë���lÊ � � � ��� ���lË ����� �%Ê�����Ë���� �� ��� L�� �<�VË�� �lËRÊ � � � � �*��5��� � �É � � � �2Ë��oÉ ����� �.Ë�É��� � � ��� � �lË��! #"%$#&('*) � É �PÉ�VË�� �� �� ���VË�Ë��� ������� � �kË.��VË�� ��� � ��� ��� ���� � N

��lË��CË���������L���� ��Ê¡Ê�Ë���Ë �CÉ,Ê�N �kÉ� ��Ë�� � É��� ���lË L�Ë�� � � �� �.ËRÊ�Ë�� � � �� � �{Ë������,�.Ë�� � ��� �� � �� É,Ê � ������ � �lË��CË�������� L��'H �%Ê��oÉ��� �*É� ����� �kÉ� ���� ��É� L�Ë���� ����N� ��lË?Ê�É ���2Ë��<�oË � ���"� %Ë��lË��2É,Ê¡Ê �� �� ��� � �%Ê��� ������6��� ���1���� � Ê¡Ë���� � ���� ���=N ��lË!�CË������"�3L��+� � �2É��� ��Ë�� � �����CË��1��Ê¡Ë�É�VÊ � � ��� � �� � � � ��� �PÉ� � KL�Ë���É��VË � ��� É � ��.Ë�É � ���-, ��{Ê � �¡Ë������ %Ë��lË��2É ������ ���oÉ,Ê¡Ê �{Ë��PÉ ��Ê�� � � � �{Ë �lË ��� ��� ��lË������������ ����3�oÉ ����� � � � ��.Ë���N

� Ë�����2Ë � � É �KL�Ë���É �.Ë��� ��� �� �.Ë/.�����VË��CË���� � � � ����� �� � � �� �VË�� ������RË�� �.Ë/.�����VË�� � � ��Ë�� � ��������lË �.Ë�� ���� "�kË �kË��.Ë É LlÊ�Ë�� �0Ë�%�%Ê�%,Ë ���lÊ � ���lË � � � ���� ���%Ê� � � ����� � ���7Ë�É� � ����� LlÊ¡Ë�� ���CË�������� �lÉ��� N2 � ����� ���� ������JLlÊ�Ë �������2É ��É � � � �PÉ � ��� � ����É,Ê¡Ê � �.ËRÊ���É LlÊ�Ë6�������RÊ��� ������� �(� ��� �,�� � É �ZË�� �2É� �lÊ¡Ë��=N

2 � � ��� ������� �������������� �� ���lË ��2É� � ��.É� � É� Ë���������� ��3�oË � ���"� � � � �PÉ ��� � � ���%É��& 0� � �PÉ ���

! #

Page 76: Evolutionary Design of Neural Networks Marko A. Grönroos Master

! !

����� �lÉ�.Ë�� ��� � �CË������"� � � � �lË �����.Ë�� � Ë������"��� ����CË�������� L���� ��Ê¡Ê�Ë���Ë ��É,Ê&N ��� ��� ���lË � � � ���CÉ���* � � ��*0Ë��������lË�� ��� � LlÊ¡Ë�� �=N �nÊ ��������� �kË ������� ��� � �{Ë��.Ë �.Ë���lÊ � �� ���Ë É,Ê ��� �VË�Ë � � É � � � ��� ����� L{Ê�Ë���kÉ� ��� É�{Ë .� É �.Ë � ���0����� �lÉ��� �����' �É��� ��Ë����lÉ��� �����CË���� É �9L ��É�VË�� ��� ��É�,��� � �lË ��2É ��� ��.É� � É�Ë������"����� N � Ë���É � � ��CÉ��VË�Ë ��� ��� � �lË � ��2Ë L�� ���������-. �kÉ����� ���É � ��� � � ����� �lÉ � � � �2É���� ���� ���� � É,Ê ����� �lÉ��� �����3��É� � ��É���SL�Ë���É ��.Ë �lË���.Ë�� L É� � É�.É�CË��2Ë���� � ��� ���lË �����.Ë�� ��Ë������"������ON 6���É� É,Ê � ����� ����� ��� ��� É � � �lË ����� � ��É�Ê��lË���� ��� �!�������lË���� ��% � � ����É ��ÉML �� � � �lË �2É�CË � ���*� � �2É���� ��CË��������4N � � ��Ë�%%Ë��� � � ��������nË�É� � � � ��� �{Ê�Ë��CË������,�� � � É�.É�CË��2Ë������ ����� �lË���2É ��� %Ë��lË��.É � � �����.É� � É� N ��lË��VË�� ���VË ���Ë5��É�-�����������lË�� � � �� �"� � � �lÉ %,Ë � �lË�� ��� ���,L ��Ê�� � � � � �.Ë � �{Ë � É�.É�oË �2Ë������� � � � �lË.�����.Ë����=Ë������"������ON

��lË0Ë�������� ������CË�� � ����� L�� H �%Ê�� É��� �*É ����� � É ��� #�É ��%Ë�Ê �����}Ë �nÉ,Ê�N~É�VË L É�.Ë�� �� �� ����oÉ��� � ��� ���CË���� ����� É�Ê � � É��Ë ���{Ë��.Ë ���lË �lË����������É �.Ë�Ê��"��É �2Ë�� É�������lË��VË � �lË � �� �>� � É � �� ���.ËRË�� ���� � ���,� �������lË������������ N ��lË �CË������"��� ����� ��� � ��Ë�� � ���� %%Ë�� �!�kËRÊ�Ê ��� ��� �.Ë�� � �=N � �>��Ë�%,Ë��� ������CË�� ���� �.Ë��,lÊ ��� ����� ����É �2Ë ��� É � ��Ë � ��� ���� � ��� � ��� � É�.É�oË �2Ë���� %,Ë�� ����Ë�Ê¡Ê }É ��� É,Ê ��������� ���lË�CË�������� �5� � ���� � É %%Ë���Ë�� � ����CË�� L�Ë����.Ë��5��� ��� �����CË ����lË���� É�.É�CË��2Ë����� � �lË �VË���� � ����% � � � �� ���lË� É �2É�CË��.Ë���� ��� � ���.ËRÊ ��É L��� ����� LlÊ¡Ë�� N � Ë��.ËRË�� � É � ���lËQL É� � É �2É�CË��.Ë����<��É��VË�� � �lË5�CË�������� � � ���� �������Ë %,Ë�� � ���oÉ,Ê�Ê �lË���� ��� � � ��� É �6��Ë��VË � �-, ��lÊ � ��� Ë�%��,Ê�%%Ë 'L�Ë���É �.Ë�� �� � � ��PÉ ��������� �kË��.Ë� ��� �KÊ ����Ë�Ê � ��É �2É,Ê�N ��{Ë ������ "!"!��� %Ë��lË �.Ë��<L�� � �lË �CË�������� � � �����CË���� É � ."{Ë�� �������lÉMLlÊ�Ë L�Ë���É��.Ë � � �������.Ë�É�.Ë�� � �lË É,Ê��.Ë�É � � � ���� Ë������ �PÉ� ���KÉ��� ��� �2ÉML{Ê���� �� �kÉ���2Ë�� �lË��������� � �NË�É� �Ë������������ � � � �lË ����lË�� ,Ë��lË��=N � ËoÉ ���lË�� É �lË�� � É�.É�oË �2Ë��� � �{Ë-�������{Ë���������� �.É���� � �� ���lËÉ ����� �������� É��� � ����� � ��� � � É�.É�CË��2Ë�� ��VË��(lÊ � � É� �,�� � � �� � �lË �������lË�������% � � � �� � �lË �lË ��� ���� �=N

��lË � ��� � � L % ����� �( ����.Ë �PÉ� �1� ��lÊ���L�Ë É��� ����3� ��.Ë�� � ��Ë��.Ë����NË������"������ �oË � ���"����� ����lËÊ��,L��2É� � É��� Ë&%,É�Ê� É ������ ���lË�� ��� � � ���lË �.É�CË L�Ë���� ���oÉ��� �=N ��lË3� É � ��� ��� ,!��lÊ ����Ë�� ���������� � ���� � �kË��.Ë � ����� �� � �lË�L�Ë�� � � � ���2É �.Ë�� �lÉ�2É�CË��.Ë�� �É��� � �lË � É�.É�CË��2Ë���� � ��� ���lËË������"����� !�CË�������� �=N � � ��É � É� �2É � � ��� �� ���lË��VË � É�.É�CË��2Ë������ �lÊ�� � É��Ë����lË0Ë�%�É,Ê�lÉ � � ��� �PÉ� �Ë�É���¡Ë��=N � ���oË�Ë�������� ������CË�������� � É�2É �oË �2Ë�� �� �,�� � É� ���lË ������lË�� � � �����2É� ���� �lÉ�2É�CË��.Ë�� � ������lË �CË�� � ����� L�� H �%Ê�� Ë �É,Ê&N É��� #�É ��%Ë�Ê �����?Ë�� É,Ê�N� � ��lÊ�� L�Ë .��� �2ËÍË�É� � � � É � ��É � É� �=N�ÍÉ � � �� � �{Ë �lË���� ����� ����RË � ���.Ë �,��É,Ê�ÉMLlÊ¡Ë ��� ��lÊ���L�Ë �2É � �lË���Ë�É� � � ����É�Ê�Ê�L� � � �{Ë-�oË � ���"� L��� �¡Ê�Ê¡Ë��kË �nÉ,Ê�N

�lË0É����� ��É� � ������� � ��Ë � ��� ���������� �lÉ�.Ë � � ������� � ��� � ���5�� ���� %Ë��lË������.�.Ë��lÊ�É � � ��� �lË � �� ����� � ��� M H � � � � ���� �����%Ê � �lË��� ����%Ë��lË������ ������� ������ � � ��� �� �lË���.É,Ê��lË ��� ���� �� ��� � �2Ë�É� �� ���� ����� �������������� �2É� � É ��� ���� �oÉ� � � �2É���� �=N �����CË �� �,�� �!�CË������"���9É�VË �oË���� ����lË�� � � � �lË�� ������� ������� � ��� � � # � É� �.Ë��<* N � Ë �VË�ËQL �� � � � ���lË��VË=É� �.Ë�� �����-.�lË�� � ���¤Ë&%��%Ê�% ����6����� �� �2Ë�� ��� ����2É � � �� M H ��É�VË ����� �� �2É � � ��� É,Ê¡Ê � Ë/.����%�É,Ê¡Ë���� � ���VË�������VË������lË���.É,Ê �lË ��� ���� �=N ��{Ë �������2É� � %Ë����Ë��2É �.Ë���L�� ���� � É3� ���.Ë�����Ê�� � �;Ê¡Ë�%,Ë�Ê9Ë������"������3�CË�� � ��� É�.Ë ��VË�� ��� �����������,Ê ���lË ������� ���,�������������� ����lË�� ��Ê�Ë�%,Ë�Ê ��� ����2É � � � ���lË�� � É�Ê �lË���2É�Ê �lË ��� ��� � �=N � Ê � ������+�oÉ��� ��Ë����lÊ�Ë � É %%Ë �.Ë���,�� � ���������.Ë���� ��� � ��Ê�Ë�%,Ë�Ê��CË�� �lÉ�����,� � �lË � � ��Ë��.Ë�����Ë�� L�Ë ���kËRË�� � �lË5� � ��Ë��.Ë����9Ê�� � �;Ê¡Ë�%,Ë�Ê"�oË � ���"���� ��2É� �oÉ���kÉ��� � M H � � � É %%Ë�����SL�ËRË��3����� � É�VË��' �lË�� � �lË��nÉ � É,Ê � ������É�Ê�Ê � ���Ë�����Ë������oË�� �2É,Ê�Ê � N

�kË���� ���oÉ��� ��� ���lË É L���Ê � � � �� ���lË��oË � ���"��� � � Ë�%�%Ê�%,Ë �,�� �2ÉMLlÊ�Ë �{Ë���� ����� � ����lÊ���L�Ë!� ���lË��� �LË��.Ë�� �.Ê � �(���� ���lÉ �6��Ë-����� �{Ë��.Ë N.7 ��� Ë��lÉ � �lÊ¡Ë � �lË�� � �lË���� �(���� � � ��� ���lÊ�� ��É,Ê���lÊ�É �2Ë ���lË��� �LË��.Ë�����Ë � ��� ��Ë�%%Ë�� � � É � ��� �lË&� �lË�� � L�Ë ���kËRË�� É� Ë�%��,Ê�% ���� �lË���� ����� É��� É �PÉ ��%Ë � �lË ��� ��� ������ �,Ê����MN) ��lË L�Ë���� ���oÉ��� ��� �����lÊ��­É,Ê ��� L�Ë ����lË���� ��� É� ��� É,Ë ����� ���.Ë�� ��� ��� �PÉ ��� � � ���lËË������"����� +�oË � ���"��� É�.Ë � ����lÊ � �(�2É� �PÉ,Ê ��� ���lË���� � É ����VËMN 2 � � �lÉ � ��É�.Ë ��Ë � �lÊ�� � É %,Ë � ��VË��CË�� L�Ë�� � � É ��É �RË�� �PÉ� � �lË���2É,Ê �lË���� ��� � ����� �,Ê�������É� L�Ë � ���,�oË�� L�� É� Ë�������� ���� ���� L�Ë��

Page 77: Evolutionary Design of Neural Networks Marko A. Grönroos Master

! �

�� � � ��Ë��.Ë����<����� �lË�� � ����-� É ��������Ë��� �����¡Ê�Ë ���lË�Ë&%��%Ê� � � ��� É� ��Ê�É�����,��É��Ë �� ��� É,Ë L�� ���oÉ��� � ��{Ê����� ��� É %%Ë � �lË �2É �oË � ��É,Ê�Ë������������������ �lÉ ����VËMN

Page 78: Evolutionary Design of Neural Networks Marko A. Grönroos Master

! �

Page 79: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� ��� ��������� �

� ��� ��� � � ��� �� �� �� ��� ���� � ����

���������������������! �"# �$&%('�)�*�'+ ��,"���-�$. ��/"���%102��$(354 �768679;:�<=<>��$(��?�$. �@A�B'�C�$. �$ED=%.�= �*�*���@!���B'�F(G�%(G�����/�H��$&'B@!��"I%.F2��J�%(G�'BFKF&%(-��/D�LNMO%2'BFN-�F&����CID#%.G��8�������B-/%('B��"� �$&D#"���-�$. P�H"/��%102��$(3!�B'�C�$. �$EDQ����F(*�$&'BCH���'�" �R���H��"/��' �S:RLUT�G/�V�B'�C�$. �$EDW-�F(��F�%.G��X0U���B� �13Y"��Z0[" �,%.-\%(%.?� �$&%�68��-/$. ��868�]%10U��$&3 �\'�@^-��B P%.��$4 �/6R6 ��98%.��%($. �'�"_%.G��Q"/��%102��$(3YF�L�T�G�'BF`*�$(�a b%.��F`F&��@!�Q�B'B@!'�%. P%.'���"�F���"V%(G��Q"���-�$. ��c �$(*dG�'e%.��*�%.-/$(� �"/����a �$&"�'B"�?��� �$. P@f�]%.��$&F�g

h T�G/�i%.$. P'B"�'�"�?7 ���?���$&'�%.G/@j'BFc?��B��C� P�,Jk��$l%.G��U"���%102��$(3nm,F(�`��' �o��$(��"Y%c�� �$&%c��J�%.G���"/��%102��$(3p*a �""/��%`CH��%.$( �'B"����_0['�%(GV��' �o��$(��"I%q ���?���$&'�%.G/@fF�mn%($. �'�"�'B"/?f�� P$. �@!��%(��$(FR��$7$. P��'B*� ��B�eD5��' ����$&��"I%-/"�'�%�%1D,�H��F

hSr "��eD���"/�q"/��%102��$(35��C �&��*�%s*� �"���\'BF&%8 �"/�XCH�=$(-�" P%s ^%.'�@f�h �,��@f��%($. �'�"�'B"/?t�� �$. P@f�]%.��$&F#*a �" u%fC��vF(�]%t4wJk��$Q���/ �@!�����v0[G/��%.G/��$!��$#"���%f xC/'+ �F^�P ���-��F&G���-����vC��=-�F&����mny\zx P"��y�{�� �$( �@f�]%.��$(FiJk��$[|[��$(����m���%(*�L}9

T�G��="���-�$. ��o�B'BC/$. �$ED!0U �Fi�P ���'B�� P%(����CID� #*���@!�� �$('�F(��"f0['�%.G �;$&��*dG�����%% ~Fp4E�Z�����Y9N$&��F&-���%(F�LKT�G��$&��F(-/��%.F�02��$&�p"��P%8���/ �*�%(��DvF. P@f�= �F�0[G� b%802��-����XG� Z����CH����"���/�H��*]%.���W4k%(G�'BF�0U �F[��$(��C� �C���D���-��%(�Q��' ����$&��"I%[�B�� �$("�'�"�?Q �"/�X�� �$(�eD�FE%.�����/'B"�?Q�� P$. �@!��%(��$(F�m� �"��5%(G��= �CH�����`�B'�@f'e%d P%('B��"�FK��J��/686 ��9�mC�-\%s0['e%.G�'�"v �*�*����/%. �C����q��'B@!'�%(F�L

� ��� ��� c�!�5� �q�X�q�p�`����p��U���B�Z0�'BFp C/$('B�]J[����F&*�$&'B�/%('B��"���Ji%.G/��C� �*d3Y��$&���� �?� P%.'���"� �"/��|8�;$&���� ���?���$('e%.G�@!F`-�F&����'B"x%.G�'�FFE%.-��/D�L

T�G��C� �F('�*v'B���� x��JRC� �*d3Y��$&���� �?I b%.'B��"�4�|s-/@f���BG� �$E%am*�8'�"Y%(��"�mU �"��W��'B�B��'+ �@!F��a�����/�s�/6867��Z���I��9�'BF�%.�8-�F(�N%.G��N����$('��P P%('����2��J\%.G��N%.$( �"�F&Jk��$lJk-/"�*�%('B��"=%.�8?���%� �"���F&%('B@f P%.�N �CH��-/% %.G/�U��'�$(��*]%.'���"%(��0[G�'B*dGt%.G/�#02��'�?�GI%.F`��JK%(G��Q"���%102��$&3VF(G���-��B�¡CH�Q*dG� �"�?�����L^T�G�'�F`�� �$E%.'+ P�¢����$('e�� b%.'����^G� �F7%(G��Jk��$&@ £�¤£d¥\¦ § mH0[G�'�*dG_'�"X02��$(�/FR@!�a �"�F[%.G/��F(�����H�q�PJc%.G��q��$&$(��$[Jk-�"�*]%.'���"_'�"$&���+ b%.'B��"v%(�� �"IDXF('�"�?����02��'�?�GI%aL

¨�'�$(F&%�mn #%($. �'�"�'B"/?!�� P%(%(��$("X'BF�Jk���%.�#%.G/�p'�"���-/%(F8��J¢%.G��q"��]%10U��$&3X �"��v%.G��qF('�?�"� ���F[ �$(�q��$(���\© �?� P%.���ª%(�«%(G�����-/%.��-\%_�B ZD���$�L¬T�G�'�F'�Fv%(G��¡Jk��$&0U �$(�,©1��$&���� �?I b%.'B��">��G� �F&��L®­sJw%.��$v%.G� P%amR%(G��

���

Page 80: Evolutionary Design of Neural Networks Marko A. Grönroos Master

�����'��o��$(��"�*��Pm���$���$&$(��$�m�Jk$(��@ %.G��=����F('B$&���X��-/%(��-/%.F����R'BF�*� ��B*�-��+ b%.���X �F�_��

�� ����������� ��������� �!#" $ 4k­�Le��9T�G�'�F[��$($&��$s'BFi%.G/��"_C� �*d3�©1��$&���� �?I b%.���X%.�#%.G��q'B"/��-/%s�+ aD���$s �"��%(G��=0U��'B?�GI%.F8 �$&�q*dG� �"�?����V-�F('�"�?%(G��=����$&'��P P%.'e���`��Jl%.G/�=%(G�$(��F(G����B�5Jk-�"�*]%.'B��"%'&)( �) *�8y � (,+ �Zm &.-0/21�/ 4�­pL43�9

+ �) 6587:9 ��� ��� � � + � & � � Jk��$�G�'B�/����"v-�"�'e%.F� ������� Jk��$���-/%(��-/%[-�"�'e%.F�; 4�­pL=<�90[G���$(� +�( 'BFi%(G��q��$($&��$�F('�?�"� ��  b%s #%. �$(?��]%[-�"�'e%s �"��Xy5'BFi%.G/�?>A@CB � EDGF �0@H@CI�L�JR��$('e�� b%.'����`��J�%(G��F&'B?�@!��'B�fJk-�"�*�%('B��"v'�F

7 9 � �K�L 7 � �K� � M � 7 � �K�C�N O �O &)( � $ 4k­�L~�Y9T�G�'�F7'BFR����"���Jk��$7�a �*dG¡�� b%(%.��$("t'�"_%.G��QF&��%�moJk��$` �"Y-�@^CH��$R��JK%.$. P'B"�'�"�?�*]D\*��B��F!4k%1D,��'B*� ��B�eDvF(��@!�� ��� %.� � �P�P�P� *�D,*�����FQ P$(��$&� .Y-�'�$(����Jk��$p%(G���FE%d �"��� �$(��C� �*d3Y��$(���� �?I P%('B��"n9�L_M1"RQHB�SUTHVW>A@CB � ED�m0[G�'�*dG�'�F= �%1D\�/'B*a P�;��$(�,*�����-�$(�Pml%(G��Q0U��'B?�GI%(Fp P$(�#-��H�� P%.������"���DV PJw%.��$7%.G��Q02��'B?�GY%E©1������%. �F`G� a���CH����"t*a ���*�-��B P%.����4 P"��t ����/���V%.��?���%(G���$.9[Jk��$R ��B��%.G/���� P%&%.��$("�F7'�"_%.G/�p%.$( �'B"/'B"�?!F(�]%!4�' L �PL�mH'B"_%(G����"���PJ¢%(G��`%.$. P'B"�'�"�?^*�D,*��B�Z9�LXZYE[2\�]�\�YE^`_badc0egfihkjglmhkc�noc�_g\plm^|[��F&'B�B'���"I%¢C� �*d3Y��$(���� �?I P%('B��"X4�|s'�����@!'B���B��$;�Z���P</�I�/6R6R�5�a���I��9�m���$;|[��$&����m�0U �F;-�F&���!'B"Q ����\�rq\����$E©'�@f��"Y%(F¢�PJ�%.G�'�Fl02��$&3HL�MO%�'�F� s@f�,��'�)�*a P%('B��"=��J�%(G��U��$('B?�'B"� ���C� �*d3Y��$(���# ��B?���$('�%(G�@XL�T�G��iC� PF('B*N'B�/�a '�F2%.�����B'�@f'�"� P%(�i%.G��7G� �$(@#Jk-��H'B"�s�-/��"�*��7��J�%.G/�7F('ut��7��J�%(G��7�� P$&%.'B ��n����$&'��P P%('���� £�¤£d¥ ��"�%.G��80U��'B?�GI%FE%.���oL�M1"W|[��$(����m;��"��eDx%(G��vF�D t��J[%.G/������$&'��P P%('����f'BF^-/F(����%(�t'B"���'�*a P%(�f%(G��wI �x@HT�S���� t�PJs%(G��02��'�?�GI%7*dG� �"/?���LsT�G��?F�y:@���Jc%.G/�p02��'B?�GY%8*dG� �"/?��^'BFs���]%.��$&@f'�"����X0['�%(GV f���\*� �� m�02��'�?�GI%&©OF(�H��*�'e)�*z ��I{B�S|@~}:B�> z @ %'( �

%'&��=���( � ���� ���� % �����( � ;.'�J�� ¤� ¥\¦ § �����N���� % �����( � ;.'�J � ¤� ¥\¦ § �����N� �� ;.��%(G���$E0['BF(�Pm 4k­�L}��9

0[G���$(� � ¤� ¥,¦ § ����� ����"���%.��F;%.G���F&-�@f@!���Q�/��$('e�P P%.'e���i�Z����$N ��B�\�� P%(%(��$&"�F;��JH%.G����� b%(%.��$("#F(�]%aL;6s��$(@f �����D02��'�?�GI%^-��H�� P%(��F^ P$(���/��"��fJk��$p�� �*dG��� P%&%.��$&"�F(���� �$( P%.����D�LXT�G�'�Fp���]%d �'��K��J[@� P3,'�"�?v%.G��!0U��'B?�GI% ��g�&-�F&%(@f��"Y%(F5Jk��$v ��B�8%.$. P'B"�'�"�?��� P%&%.��$("�FXF('�@^-���%. �"�����-�F(�eD '�F5*a ����B����QHB�SUTHV�>A@CB � EDt �"��ª'�%v'�FCH����'B�������5%.�!G����B�5%.G��=���a �$&"�'B"�?/L

%������( � ���� ���y\z�� % ��� {0� �( � ;.'eJ � ¤� ¥,¦ § �=� {0� � � � ¤� ¥\¦ § ���������y z � % ��� {0� �( � ;.'eJ � ¤� ¥,¦ § �=� {0� � � � ¤� ¥\¦ § ������� �� ;.��%(G���$E0['BF&��m 4k­�L �I9

Page 81: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� �0[G���$(� � � y { � M � y z L

­i% %.G��KCH��?�'�"�"�'�"�?�m� �����-��H�� P%.�c�P ���-���F % ( �c P$(�KF(�]%l%(�[F(��@!�;F(@f ��B�P�� P�B-��PmbF( aD � $ M L¢T�G/�N-/���� b%.��P ���-���Fq �$&�Q*���"�FE%.$( �'B"����x%(�*���"�FE%d �"I%q$. �"/?�� � %��k(�� ; %������ L!|['B���/@f'��B�B��$^4 �Z���P<�9RG� �F=F(-�?�?���FE%.���?���"���$( ��;�P ��B-���F %���� � �� � $ � �"�� %��d(�� M / {�� mlC�-/%pG� �Fp ��BF&�X"/��%.����%.G� P%qF(��%&%.'�"�? %����� %.�F&��@f�qF(@f ����B��$i�P ���-���mn��'B3�� M $ � m�02��-��B�F(@!�\�P%.G���"%.G/��*���"Y����$&?���"�*���LsM1"I%.-�'e%.'������eDv'�%[0U��-��B�F(����@%(G� P% %���� � 0U��-/�B�X K����*�%�%(G��`�� �$( �@!��%.��$(F���Jl%.G/�`�a �$&��DI©1FE%.�����/'B"�?QF&*dG���@!�=����F&*�$('�C����v'B"v�� �?��=�\L

¨���$�%(G��v����*�$(�a PF(�5J� �*�%(��$Qy { �"��W'B"�*�$(�� �F(�5J� �*]%.��$^y z |['B���/@f'��B�B��$pG� �FQF(-�?�?���FE%.���«?���"���$( ���P ���-���Fl��J�y { � $ �8 �"���y z M $�� L �8�U ��BF&�8F&-�?�?���F&%.���^%.G� b%�%.G/��F(�2�� �$( �@f�]%.��$(F�F&G���-�����CH�2$( P%.G/��$$&��C�-�FE%cJk��$���C/%d �'�"�'B"/?R���/%('B@f ��I��$c"/�a �$&��Dq���/%('B@f ��Y*���"I����$(?���"�*��[F&�������QJk��$�@!��FE%c��$&��C��B��@fF�L¢T�G/'BF$&��C�-�FE%."���F(F���J�%(G��7�� �$( �@!��%.��$(FN0i �F2%.G��7$&�a �F&��"�0[GID�%(G�'BF2@f�,�����H0U �FiF&���B��*�%(����Jk��$N%.$. P'B"�'�"�?q%(G���]�����e�\'�"�?#"���-/$. ���"��]%10U��$(3YF�L

T�G��p|8�;$&���v'B@!���B��@f��"Y%. P%.'���"�'�"�%.G��p�/6867�5-�F(��FR ���F(�Q02��'B?�GY%s����*a aD�4�F&���p�\��*�%.'���"v3\L=<\L���9�L����� ����� ���! !"��=�# !$p�T�G��X�� P%&%.��$(" F&��%!G� �"/���B'�"�?¡*��+ PF(F#��JR%(G��X�B'BC/$. �$ED *���"I%d �'�"�F#@f�]%.G��,��FQJk��$#� .Y-� ���'At� P%.'���"���JR%(G���� b%(%.��$("VF&��%(F�LR­ �� P%&%.��$&"VF(�]%7*� �"VCH��� .Y-� P�B'At����-�F('�"�?�%.G/��� .Y-� P�B'At� P%.'���"X�� �$. P@f�]%.��$&FR P* .Y-�'B$&���Jk$&��@�%.G/�s�� P%(%(��$("!F(�]%U'e%.F&����J m���$K-�F('�"�?=�� �$. P@f�]%.��$&F;Jk$(��@� P"���%.G/��$KF(�]%aLcTKD,��'B*� ��B�eD�%.G/�s�P ���'B�� P%('B��" �"/�X%(��F&%('B"�?#F&��%.F8 �$&�`� .Y-� ���'At����50['�%.Gv%.G/�q�� �$. �@!��%(��$&F[ �* .Y-�'�$(���vJk$(��@ %.G/�=%($. �'�"�'B"/?^F(�]%.F�L

% \ [�_2lmnojgc'& Y�(*) c0]�\,+{c�_ \�lm^­SG/'BF&%(��?�$( �@ '�F�@f ����UJk��$c�a �*dG#*���@f�H��"���"I%c����*�%.��$�-. ��Jn%(G��i%.$( �'B"�'�"�?R�� P%(%(��$("QF&��%�Lc­SG�'�F&%.��?�$. �@-- 'BF�Jk��$(@!����CID�*���-�"I%.'�"�?V%.G/��"Y-�@^CH��$Q��J[%.G/������*�%.��$Q���B��@f��"I%.F^'�"/-. %(G� P%^J� ����K'B"��a P*dG«F&�B��%(F0['e%.GV����@� �'�"XJk-/"�*�%('B��"10 �32 ; -- �8 4�45 -- 5:� � { �d(�� �367 ���� � �367 � { �k(�� �867 � 9:9 L<;s'BF&%(��?�$( �@ $(��F(����-/%.'���"=5 -- 5 M �P�P���P�0U �F`-�F&���t'B"%.G�'�F7F&%(-��/D�L=T�G���G�'BFE%.��?�$( �@ 'BFR%(G���"V%($. �"/F&Jk��$&@f���V'B"I%.�� �*�-�@�-��+ P%('�����G�'�F&%.��?�$. �@0['e%.G?> ( � (�A@ � -�( LpT�G��#*�-�@^-/�+ P%('�����G�'BFE%.��?�$( �@ *a �"t%.G/��"¡C��Q-/F(���¡%.�v�CB,-� ��B'ut����P ���-���F70['e%.GD �E2 ;F->��L �GIHKJ � -. � � � GML 2d� -. � �NGIHOJ � -. �C� �'P3Q RTSAUTVWYXZ 67 Z ��%(G��p��$('B?�'B"� ��H*���@f�H��"���"Y%[����*�%(��$s'BF[��BY-� ���'At����0['e%.G . 9( D � . ( ;[-> ��LcT�G�'�FU'BFN����"/�8Jk��$2 ��B��%(G��R�� b%(%.��$("�����*]%.��$2*���@!����"���"I%.F�L r %.G���$U�� P%&%.��$("�F2*a �"CH�=��BY-� ���'At����v-�F('�"�?Q%.G��=F. P@f�=��BY-� P�B'At� P%.'���"�����*�%(��$(F�L

���^*���-/�B�V'�@� �?�'B"��`%.G� P%7%.G/�^G�'BFE%.��?�$. �@ �CB,-� ��B'uta P%('B��"$(��@!�Z����F= �"ID_*��B-�FE%.��$&'B"�?�'B"�F&'B���� �"ID��"/������*]%.��$Q*���@!����"/��"I%am;C�-\%! ��BF&�V@� P3���FQF&@� P�B�K�� P$('+ b%.'B��"�Fp0['e%.G�'�" %.G��5*��B-�FE%.��$(FQ@!��$(�f�a �F&'B��D���]%.��*�%d PC��B�q �"��X�H��F(F&'BC��eD���"/*dG� �"�*���Fs*��B-/F&%.��$('�"�?�F�0['�%(G�'B"5��������"�����"Y%R*���@!�H��"���"I%[GID,����$(*�-�C���F�L

\ c')d[ [2\�c�^�Y](^)kc0]�\E+{c�_g\pl`^�� �"`_a P"��_FE%d �"��� �$(�V�/���,'+ P%('B��"cb� �$&�p*� ��B*�-��+ P%(���XJk��$8�� �*dGt�� P%&%.��$("_F&��%7����*]%.��$7*���@!����"/��"I%F&��%aL�dN ��B-���F; �$&�i��BY-� ���'At���� � ( � ¦ {fegh mIF(�7%(G� P%c%(G��i@!�a �"p0['B�B�,CH� � �"��^%(G��iF&%. �"��� P$(�#�����,'B P%.'���"M $ � L�T�G�'�F#�B'B"/�a �$^@f ����/'B"�?t���,��F#"��P%f����F(�v P"YD�'B"�G���$(��"Y%!*��B-�FE%.��$&'B"�?¡'�"�F('����v xF&'B"�?��B���� b%(%.��$("*���@f�H��"���"I%s �F�%.G��=G�'�F&%.��?�$. �@ ��BY-� ���'At� P%.'���"����,��F�L

Page 82: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� 3����� � ����� ��5� ���i��� $=����T�G�� 'B���B��$2 P"���`'�%. �"��q��"�*��\�/'B"�?p@f�]%.G��,��FN���^"���%2��$&���,'����8%102�P©1�/'B@!��"�F&'B��"� P��*��,��$(��'�"� P%(��FKJk��$%(G��U"���-�$(��"�F�m�F&�` 8�/$. a0['B"�?R ��B?���$('e%.G�@ @^-�F&%�C��2-�F(����L����U'�"Y%($(�,��-�*��2CH������0� RF('�@f�����N ��B?���$('�%(G�@F&-�'�%. �C��B�8Jk��$���$. a0['�"�?QJk�����\Jk��$&0U �$(�"���%102��$&3,F�g��LR�,���B'e%i%.G��=G�'�������"X-/"�'�%(Fs'�"I%.�Q�+ aD���$(Fs-�F&'B"�?! QF('�@f�����7$(-/�B��g

� L � /21 � H � M �N 65 � L � /21 � HU� � M >�� J^J / >�� / 0 � HC;�H � M �� L � /21 � HU� � >�� J^J / >�� / 0 � H ;�H � M � 4k­�L � 9

3,L8�l��F('e%.'���"5'B"��/-/%s �"��X��-/%(��-/%[-�"�'e%.Fs �*�*���$&��'B"�?Q%(�#%(G���'�$�'B"��/��q<\LsMO%(��$( P%.�`Jk$(��@ %.G/�=)�$(F&%[%(�#%(G��=�+ �FE%[G�'B�/����"v�+ aD���$�g4� I95¨n��$p�� �*dG�-�"�'e%q'B"�%(G����B aD���$�m�*� ��B*�-��+ P%(�Q%.G���� ���\%.'B@f ����^�H��F('e%.'���"¡'B"�%(G��!F(��"/F(��%.G� P%

%.G��X-�"�'e%Q0U��-/�B� CH�v����F('�%('B��"/���« P%#%.G�� a����$. �?��vDI©1�H��F('e%.'���"���J7F&��-�$&*��X-�"�'�%!��JR ����*���"�"/��*�%('B��"/F

4kCn9 r $&����$�%(G��=-�"�'�%(F�'B"5%.G/�q�B aD���$s �*�*���$&��'B"/?#%(�Q%.G���'B$�� ���/%.'�@� ����[DI©1�H��F('e%.'B��"�F�/LR�,*a ����= �"��X*���"I%(��$s �"�� ��B���+ aD���$(F[%.�Q)�%�%(G��=��$('�"Y%8 �$&�a

���8'�@f�/�B��@!��"I%(���^%.G/'BFN ��B?���$('e%.G�@ 'B"Q%.G��s­7686ª��'BC�$( �$&D�mI �"��f-�F(����'e%2'�"#��$(�,��-�*�'B"�?=%.G��s"��]%10U��$&3)�?�-�$(��F^Jk��$^%.G�'�F�02��$(3nL�­ @f g�&��$^�/$(��C�����@ 0['�%(G�%.G��X ���?���$('e%.G�@�*� �"WC��5��C�F(��$&����� 0[G���"«%(G��"��]%10U��$(3#'BF�m�Jk��$K��q/ �@!���B�Pm,*���"�"���*�%(����F&�q%(G� P%N�a �*dGfG�'B�/����"f"���-�$&��"!'BFK*���"/"���*]%.���f%.�=%.G��s"���-/$(��"0['e%.G %(G���F(-/*�*���F(F&'����X'B"/����q��P ��B-��PLVT�G��5G�'�������"�"���-�$&��"�FQ P$(��%(G���"W��$&����$&������"���"���-�$&��"��H��$�B ZD���$�mn P%�%.G��=*���"I%.��$8��Jl%.G/�q�B aD���$�m� �"��v%.G/�q*���"�"���*�%('B��"�F�%(G,-/F8�Z����$(�B ��v�a �*dG��%.G���$�L

Page 83: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� ��� ��������

� � � �� ������������������ � ��� ������� � � ��� ����� �

���=���������B�������V #�������B-/%('B��"� P$&D5 P�B?���$&'�%(G�@ ��'BC�$( �$&Df*a P�B�B���! LB#"#$ BR%.�#*a �$&$&Dv��-\%s%(G��=��q\�H��$('�@f��"I%.F��Jl%.G/'BF�F&%(-��/D�LN���='B@!���B��@f��"Y%(���5'e%[ �Fs !:�<q<A�B'BC/$. �$ED�L

���i����F&'B?�"/����%(G��U��'BC�$( �$&D=-�F&'B"�?R RG��� Z�,'���Dq��CE�&��*�%&©O��$('���"I%.���Q ����/$(�I �*dGom�0['�%(G�?��,�\�p?���"/��$. P�B'�%1D �Fi%(G��=��$('�@� P$&Df?��I �� L�T�G��q?���"/��%.'�*`*��,���`'BFi%1D,��'�*a �����D.�&-�F&%s QC�'e%[F&%($('B"/?X4���$�F&��@f�]%.G�'�"�?Q��BY-� P�B��D-�"/'�Jk��$&@�98'�"¡@f��FE%=?���"/��%.'�*! ��B?���$('�%(G�@!F�L�T�G/�fC�'e%=F&%($('B"/?X'�F=����*��\������CID¡F&��@f�#��$&�\*�����-/$(�! �"��%(G���"V�]�P ��B-� b%.���_-�F('�"�?� f)/%."���F(FRJk-�"/*�%.'���"�L[� �q%.�,��3X �"V P����$(�� �*dGV%.G� b%8%(G���?���"���%('B*p*��,����'�F7 �H��%.��"I%.'+ P�B��D_����$ED�*���@f�/�B��qx�� P%d _FE%.$&-�*�%(-�$(�PLVT�G������B��@!��"I%(F^��J�%.G� P%�FE%.$&-�*�%(-�$(�5@^-/F&%^G� Z���v �"'�@f������@!��"I%d b%.'B��"Q��Jo%(G��8C� �F('�*8?���"���%('B*s���H��$. b%.��$&F74k$(��*���@^C�'�"� P%('B��"! �"��f@^-/%. P%.'���"n9]L ��G���"�F(-�*dG���H��$( P%.��$(FQ �$&�v �������'B��� %.�t%.G/��%.���\©O�B�]�����2*���"I%. �'B"���$X4k%1D,��'�*a �����D� V?���"/��@f�a9]m;%.G/��D� P$(�v ����/�B'B���$&��*�-/$(F('e������D^%(�p P�B�\%(G��[�B�Z02��$E©O�B�]�����/?���"��]%.'�*sFE%.$&-�*�%(-�$(��F�m\ �"��! �"IDQ�� �$( �@!��%.��$(Fs4kF(-�*dG� �F;@^-/%. P%.'���"$( P%.��Fd9;*a �"fC��s@f�,��'e)����#CIDQ%.G��sF(�H��*�'�)�*8'B@!���B��@f��"I%d P%('B��"�F¢��J�%(G��8������$. P%(��$(FN P%N�a P*dG�F&%($(-�*]%.-�$( ����������� L ­R"���%(G���$�mi ¡$. P%(G���$f �?���"I%&©1��$('B��"I%.���om2Jk�a b%.-�$&�X'�FQ%.G� P%f ��e%.G���-�?�G�%.G��X?���"���%('B*X*��,���v*a �"CH��$&�a ��� �FX-�F(-� P�qCID � ����*��,��'B"�?WJk-�"�*]%.'���" �dm8%.G��x?���"/��%.'�*�FE%.$&-�*�%(-�$(��F�4�?���"���FV �"�� ?���"/��%.'�**���"I%d �'�"���$&Fd9U*a P"XCH�`F(��"I%R ^@!��F&F. �?��=%(G� P%�� �*�%('��P P%(��F �8%.G/��@® P"��5%.G��]D5C�-�'��B��%(G��=��G���"/��%1D,���=��J%(G���'�$2G���F&%2'B"���'e�,'B��-� P�K�&-�F&%UCYD#%(G���@!F(��������F�m\����F&F('�C���D#CIDf �*�%('��P P%('B"�?=��%(G���$2?���"���F�L�_ P"YD#%(��%d �����D��'�F&%('B"�*]%2�/G���"��P%1D\�/'B*8Jk�� P%.-/$(��F2*a �"fC��s����F('B?�"�����'�"� q@f�,��-��B �$;@f �"�"���$�m, �"��!%.G���"~�&-�F&% �1%(G�$(�Z0["'�" ��'�"#%(G��s?���"���@f�PmY �"��#%.G��s'B"��/'��,'B��-� ��&%~Fc��"I%.��?���"��]%.'�*s�/$(�,*����/-�$(��0['B���/%d P3��s*a �$&�s�PJo%.G/�s?�$(�Z0�%.G��$&�\*���F&F�L

���7%.�,��3! ��BF&�Q ^@f��$(� �1'B"��/'��,'B��-� ��e©O*���"I%(��$(��� �[�,'B�]0 �PJl%(G��7F&���B��*�%('B��"��/$(�,*���F&F['B"�%(G��7�B'�C�$. P$&D�LTKD,��'B*� ��B�eD5%.G��^F&������*�%('B��"_'BFsG� �"��������_Jk$&��@ � C/$(��������$'% F �^�H��'�"Y%R��Jc�,'B�]0=L7M1"V��-/$` �����$&�I �*dG_%(G��'�"���'��,'���-� ���F8 PF(F('�?�"V fF(������*]%.'B��"_�a P?���$&"���F&F7Jk��$8�� �*dGt��%(G���$8'B"���'e�,'B��-� P� m�0[G�'�*dGt �$(�q%.$( �"�F&Jk��$(@!���'�"Y%(�Q��$(���� �C�'��B'�%('B��FNJk��$UF(������*]%.'B"/?# ^�� �$&%('B*�-��+ �$2�� �'�$�L���'e%.G���-\%[ �-/%(�I ��� ��\%d P%('B��"��PJl%(G��`F(���B��*�%.'���"�� P$. �@!��%(��$(Ff4� �FpF&-�*dG 0U �Fq"���%p-�F(��� 'B"¡%.G/'BF`0U��$(3\9]ml%.G�'�Fq'�F=��BY-� ��;%.�v%.G/�f"���$(@f �� � C�$&��������$'% F ��,'B�]0j��J¢F(���B��*�%.'���"�L

T�G��N%.���\©O�B�]�����I*��+ �F&F¢G/'B��$( �$(*dGID=��J\%.G��N�B'�C�$. P$&D8'BF F(G��Z0["^'�"�¨¢'B?�-�$&�K�RLe��L¢T�G/�i �C�FE%.$( �*�%¢?���"/��%.'�*FE%.$(-/*�%.-/$(�s'BFK'B@!�����B��"Y%(���! �FK%.G��[*��+ �F&F)(+*-,/.10325476�0cmI �"/�f%.G/�sC� �F('�*s*���"I%d �'�"���$N �F8(+*�,30:9<;=,7*-2;LT�G��N����F(*���"��� �"I%(F;��J/%(G��)(+*-,/*^ P$(�K'B"I%.��"I%.���q%.�8C�� �E b%.��@!'B*;?���"���%('B*KF&%($(-�*]%.-�$&��F �dmI �"/��@!��F&%l-�F&��$'�@f������@!��"I%d b%.'B��"�FR P$(�^�rq/�H��*]%.����%.�5'�"�G���$('�%8%.G��>(+*-,70:9/;=,/*-2cL=T�G��Q%10U�v"Y-�@!��$('�*^?���"��^%1D,����F�m? ,�@BADC:E39F0<(G*-,7*pJk��$ s��I b%.'B"/?P©1�H��'B"I%l?���"���FK �"/� ? ,�@!HI,30<(+*�,7*^Jk��$�'�"Y%(��?���$E© �� P�B-����^?���"/��F�mY P$(���'e�,'B�����x'�"x%102�vJk��$(@!F�L!¨���$`��q/ �@!������m�%.G��>JK;L0/AMCNE�9O0<(+*-,/*¡'BF`'B@!������@!��"I%.���t-�F('�"�?X%(G��Q%.$( b©

� <

Page 84: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� ���'e%.'���"� ����=­ $&����$&��F&��"I%d P%('B��"X0['�%(GXC/'B"� �$ED�?���"���F�m�0[G�'B���R%.G��+ADC:E�9O0<(+*�,7*5-�F(��F�s��� P%.'�"�?P©1�H��'�"Y%$&����$&��F(��"I%d P%('B��"v��'�$(��*]%.�eD�m� PFi'B" c�����B-/%('B��"v�Y%.$. b%.��?�'B��F`4�F(���q:UG� ��/%(��$ <I9�L;T�G��`��G���"���%1D,�H�q�PJl%(G��'�"���'��,'���-� ���Fs*� �"¡*���"/F('BFE%`��JN �"ID_3,'�"��V��JN��C �&��*�%(F�m�'�����"I%.'e)����_CYDV �"� �@!��L`T�G��>( ?�� ,�� ;=2 E ,��� *-,30 'BF[%.G��p��"I�,'B$&��"�@!��"I%R0[G���$(��%(G���'�"���'e�\'���-� ���F���Jc%(G����H����-��B P%.'���"X�����������p'B"�L[T�G��p����%. �'B��F��Jl%.G/�q��'BC�$( �$&D!0['B���oCH�=��q\���+ P'B"����vJk-/$&%.G/��$['B"v #F(���� �$. b%.�=���,*�-�@!��"I%d b%.'B��"�L

1

n

n

n

n

ID, mrate

n

n

AnyFloatGene

BitIntGene

BooleanGene

BitFloatGene

AnyIntGene

FloatGene

IntGene

PopulationIndividualGenomeGentainer

Genstruct

Gene

Object

phenotype

substructures

Comparable

genotype

GAEnvironment

adaptation byunnaturalevolution

¨�'�?�-�$&�f�8L���g�� ������� ������������� ���!�#"$�%�����'&)(�� �*� �*"*&�+,(.-�/�����"*&��0�1�1+����2��� �%�3��(.�4-��5&)(.�6-)�����3��(.�4-879�5&��:� ���5�3;<����� �)���$��=�!->�'(�-)&)�!�5(.����-�"$�,?@���<A5/B(�-)&)� ��(.���DC�E1F'��-�G6�.(�-)�!�';�(.�5&���H>I�� ���!�'" ��->����(.-)(�-)JK?L�4�<A=/M"$��->�*� (�-��NC�E=FPOQCR���$ST�!�5�!-�"$��5�!��� �5(���-��5&)(��:(%����� �)���!�5� ->�5�UGV;�(.�5&W�2�)�%� (�-X��(�-)��O

Page 85: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� ��� �������� �

� ���������������� � � � � � ����� � � ��� ��� � ����� ��� ���� ����� �

���v���������B������� x:�<=< ��$&��?�$. P@ �B'�C�$. P$&D�*a ����B���������mB�>A@H@qJk��$^%(G��v�������B-/%('B��"� �$&D���"�?�'B"�����$('�"�?��Jq P$&%.'e)�*�'B ���"���-�$. ��s"��]%10U��$&3S �$&*dG�'�%(��*]%.-�$&��F�L � �V-/F(���S%(G��_��'BC�$( �$&D�%(� �H��$EJk��$(@ %.G/�V��q\�H��$(' ©@!��"I%.F[��Jl%.G/'BF[F&%(-��/D�LNMO%s-�F(��Fs%(G��q �?���"Y%E©1��$&'B��"Y%(���X?���"/��@f'�*` �$&*dG�'�%(��*�%(-�$(�q��Jl%.G��p:i �3Y$( !��'BC�$( �$&D����F(*�$('BCH���X'B"X­R�/����"���'�qv�RL�T�G��="���-/$. �� "��]%10U��$&35��"�*��\�/'B"�?#@!��%.G/�\��Fs �$&�='B@!���B��@f��"Y%(���v �F[?���©"��]%.'�*�F&%($(-�*]%.-�$&��F�L8��G���"¡ �*�%('��P P%.���_��-/$('B"/?f%.G/�^��"I%.��?���"���F('BF8��JK �"_'B"���'e�,'B��-� P� m�%.G/��F&%($(-�*]%.-�$&��F*���"�F&%($(-�*]%7%.G/� � C/$. �'�" �q �"��X%.G��p'B"��/-/%P��-/%.��-\%7F&%($(-�*]%.-�$&��F7�PJc%.G��p'B"��/'��,'B��-� �� LiT�G/�^C� �F&'B*q*��+ PF(FG�'���$( �$(*dGIDW��Js%.G��X�B'�C�$. P$&D�'BF#'B���B-�FE%.$. b%.����'�"«¨�'B?�-/$(�X:RLe��L Tl���\©O�B��������C� PF(��*��+ �F&F(��F� �$&�X��@f'e%(%.���Jk$&��@¬%.G/�q)�?�-�$(�Pmn �FR P$(�`%.G��q��G���"���%1D,��'�*p��C �&��*�%8*��B �F(F&��F�LU­R��F(��m�%(G��q��"�*��\��'�"�?!@f�]%.G��,�v��CE�&��*]%.F�/D,"� P@f'�*a �����D#*���"Y%. �'B"�",-/@f��$(��-�F��/$('B@!'�%('����s?���"���F[%(G� P%i �$(�7"/��%�F(G/��0["vG���$(�PLNT�G/� ?�� � (G*-,7* �"/��� *9<23,7;=,��!H�� (+*-,/*� P$(�s'B"I%.��$&J� �*��8*��+ �F&F(��FN%.G� b%202��$&�R$(�CBY-�'B$&����@!��FE%.��D^C���*a �-�F&�R��J��B'B@!'�%. b©%('B��"�FU'B"X�/6867�x4�F(���=­R���H��"��/'�q5­79]L�­ @!��$&�7����%. �'B�����5����F(*�$('B�\%.'B��"�0['B�B��C��`?�'�����"v'B"v QF(���� �$. b%.����,*�-/@f��"Y%. P%.'���"�L

� �

Page 86: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� �

"brain"

MillerEncoding

KitanoEncoding

NolfiEncoding

CangelosiEncoding

DirectEncoding

ANNEncoding

"brainplan"

Gentainer

ANNGene SNNSGene

LearningIO

"io""io"/"init"

LearningIOGene creates

Genome

contains

contains

contains

Gene

1

1

1

¨�'�?�-�$&�^:RLe��g:C -)-����.�!��� �<���������.�!���!� "$�%�����<&�(.�!������"*&�+�O���� � C �)� � -�G�(�� / ST���'G��!��"$��(����5(���-W��S �5&)�2-)� �*�3��(.�4-8O���&)�� � ���.� �!-�G��!G ��(.-)�U��G�� -�� �5�DG)+>- ��� (�"���I)-�� �5(�� �D"$��->�*� (�-)(.-�J�O��&)�N-���� �U��;�( ��&)(.- �����5�!->�5&)�U�=�U��� ��� J4� -)�'�%� � � �%� O

Page 87: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� ����� ����� � �

�������������� ������������������������ �!" ������$#&%('�'*)�+,�-/.�0�1�2"!"���32�2/��2"45�3��!�26 ��70�����8�"1�4�!���974����3�: ;��!" ;.���2<�=>�?A@"B(C�D�D"E�FHG8I�J�B&KMLON�DQP�N�D�R�S�LONUTVGG�W:X�Y[Z\B�G8I�@�D]J�J^B"KMLON:D`_AW8@"B]a�D�X�GbTcC�C�B�W8GdLeFHG8IfT�J�J3B(C�FgX�LeFgB�G�hi @&Xkj,hlTVW8J,Le@,FeX�

��m��������n#&%('�'�o*+,�_ApkB�YqW:LeFeB�GdX�@,rsTVYtI*B�@,FOLONvuwJ�FOG$P�N:D"B�@]rxX�GdEs?A@&XvC3LeFeC]D�5y/z�{g.����7|/�� �}*����2" �!~97�\���32�2(�����������" ;2"������n�� �d�����7�w���.���3}����^#&%('�'��:���8���v1���"9�+,�\}*.���1�!" ;.�����"9����32" ����b.�{l����1������

�������� �!��3��!"1����32/���s4������� ��� �����"9x!��kz�.���.���9������x��1� ;����!�.��� �!�������!"1�����d���3������ ;�(���l-V��4�.��"!V�6��6-�'��<���:%����`��4���"!"�����8!�.�{[�A.���4�1�!����`���� ;�����3����=�.(���f�8!���!��M|V�� �}*����2" �!~9*���/���32<��=~�������:%�%�

�� ;2���.�4n�d��n#&%('�'����*+,��^D,W8@"X�Y���D�Le�[B�@]�(J�K3B�@V?6X�LgL>D�@]G��cD"C�B�I�G�FeLeFeB�G�y/z�{e.����7|V�� �}*����2" �!~9x�����32�2(�� ;2���.�4n�d��n#&%('�'���0d+,-V����1������" ��<��!" ;.�� �����7�3.���4��;�,z: �!>9��3.��v!"��.��¡ ��x{e�3�3��¢g{g.��"�A����������!>�A.��"��2(

���3������ ;�(���l-V��4�.��"!c£��A-c¤M¥�'��*¥���¦�¦:�£���1������¡�A.���4�1�!" ����Q-V�32��(�������b¤`��.�1�4n���`��4�!(�.�{�A.���4�1�!����`���� ;�����3�w�����7�/4�4��� ;�3��§¨��!"�����U��!" ;�32(�d�V2"!�.���|V�� �}*����2" �!~9*���A ��"�� �����������|� ��#e�/�;2�. ��n©\�v!"!"4n©ª¥�¥k����1������«¢>2����"}*���(¬��2"!�.��n¬���� 1���¥�+,

�A.�����2(���cd�����7�^� `1� �45����#&%('�'�¦*+,�A ;.��;.��� ;�(���n����!���4���.���2`�����x!"���M���32" ����b.�{l��.��:1������V���"!" «­�� ��������1�����������!~��.��"�:2(�#e�V�;2�.�©\�v!"!"4n©ª¥�¥k�6�6�M �6 ® �;�� ;�����81��� �}� ���H¥�§¯���3�����32" ;2]¥k05.�����2&¢®�81� �45���( �v!"�U�H+,

���������*������#&%('�'��*+,��\}*.���1�!" ;.�����"9������*.��" �!"����2/{g.��6����1������n����!>�A.��"�����32" ����b�����7!"���� ��� ������=~�±°kJ�L�MB�@"E�FgC ²wB�@]�(J]N�B]a³B�G i D,G�D�LeFgC�TVY IvB�@]FeLONvuwJ�X�GdEUFOLOJVTAa*adY´FeC�X*LeFeB�G�J,�:�[����2��:��µl ��������������8���v1���"9%('�'��:�#e�V�;2�.�©¶{e!"4n©ª¥�¥<{O!"4n¬�� «{e0n 1��� «¢®�����"�;2��"1�����t���<¥k4�1�0d¥�·�0��]¥k�[����2��: 4�2< ���k+,

�������*���;.�2" ®���w�����������\���U���³#&%('�'��*+,�¤`�����`������1�����!" ;.��¨�����70� ;.��;.��� ;�(���¡����}*���;.�4������8!V ��7����1����������!>�A.��"��2(©��/���,z:4��;.�����!�.��"9x��.8�����®���3������ ;�(���¶-/��45.��"!V�A-/��¢>|`�6���s��|V�� �}*����2" �!>97.�{[������ «{e.��"�� ��:��:������ ;���*.��#e�V�;2�.�©¶�v!"!"4n©ª¥�¥k�������3�3.� ��"�������v!( �"��t�����( �!]¥������*���;.�¥��(������¢®4�1�0n �8!"�x+,

�������*���;.�2" ®���w����s��l���" ;2" ®�d�����b���£�.��«­±#&%('�'�¸*+,d�A�������: �}� ;2" ;.��b�����7�� �������!" ;.��� �� �x¹ �*����.�!>9�4���¹�{e.������1�����������!~��.��"�:2(d��D3Le�[B�@���ºsZ\B�uVadW�L®X*LeFeB�G FOG7�^D,W8@"X�Y�»r�J,L>D,uwJU¼��:½v'*)(���:%(�:

�`�(�6�8 ���2<��-�n#&%('�¾�o*+,�P�N�DV¿cYqFOGdE³²sX�L®C,Nvu�X���D�@,d£V���ÁÀ[.��"�5©�£�.��"!�.��������b�A.8.�45���(�������������"!(�µA¡#&%('�'��*+,���.<�A�����¨�w0� ;.��;.��� ;�(������9����,{e����2" �0��;�M��.8�����n.�{\����}*���;.�4������v!(�§ ��2�!����(¹t26!"���32" ;2(�

����2���ÂÃ�32"!����"�b-/�32����"}*��|V�� �}*����2" �!>9*�����4�!(.�{��A.���4�1�!������\���� ����3���" ����x���������� ;�����3��l#e�/�;2�.s ��n©�v!"!"4n©ª¥�¥k�6�6�Mt�32(t���^1nt�3�:1d¥��k{e2,¥��32(t����1nt�3�:1�¥k1�2����]¥����3���������"!,¥k����0d¥k4�1�0��� ;�(��!� ;.���2( ��!"���H+,

�������������"!(�µA������7-^��A�3����#&%('�'�½8+,[PdB��[X�@"EQX�G7_�pkB�Y´pkXvÄ,Y;D�Å B(EvD�Y�B&KVÆ^D�p�D,Y�B]aduUD,GLdK�B�@cTVW:L®B�GdB�u�B�WvJT�IvD�GL�»r�GLON:D]J,F�J��§ =��Ç�\���32�2V�����^0��" ;�:�*��l#e�V�;2�.s ��n©�v!"!"4n©ª¥�¥k�6�6�Mt�32(t���^1nt�3�:1d¥��k{e2,¥��32(t����1nt�3�:1�¥k1�2����]¥����3���������"!,¥k����0d¥k4�1�0��� ;�(��!� ;.���2( ��!"���H+,

�V1��������wn#&%('�'�o*+,d�È��������!" ;.���2��� �4�0���!~���3���¨����.��"4���.�1�2/����1������n����!~��.��"��2" ��(�M������4���.�0��;����3.���4��;�,z� �!~9*§¨��2"!����(¹t2c!"���32� ;2(�¤`�3.��"�*�M§¨��2�.���|V�� �}*����2" �!>9*��µd�� ��&{g�kz����� ��"�� ��� ��:

�P�

Page 88: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� �µ�������U���n������cd�����b����n��0� ;�����f#&%('�':%<+,�����M�(��2��(�����,¢>�3.��"��������!" ;.�� �;�(���"�� ����Q�������� �!��3��!"1�����

���3������ ;�(���l-V��4�.��"!M%(¾�':�d������.8.��¡.�{��A.���4�1�!��������� ;�����3���d�����"������ ;�,¢>§b�����;.��¨|V�� �}*����2" �!>9*µ����3�:�" ���2�2�.��n�� �n#&%('�'*)�+,�¤�������!" ;�������*.��" �!"����2V�����7�*����������!" �}*�^�����3.8�: ����f.�{l����1������n����!~��.��"�:2c{g.��

2�.����`05���������U���"�7������2�2" «­�(��!" ;.���4���.�0��;����2<�=>��?A@"B(C�D�D"E�FOG8I�J�B&K�LON:DxP�NvFH@"E^��B�@"E�FeC ²sB�@]�(J�N�B,a B�Gi D,G�D�LeFgC�TVY IvB�@]FeLONvuwJ�X�GdEfLON:D,FO@�T�avadYqFgC�X�LeFgB�G�J ��� �7² i T����:4�4nn%(¦�¸<�d%(¸�½��#e�V�;2�.�©{O!"4n©ª¥�¥<{e!"4n 1v����2��: ­�¥k4�1�0d¥��32]¥�¸�£V ¤`��¥�µ����3�:�" ���2�2�.��n 4�2(���+,

µ��" ;�3�:�U���n����n#&%('�':%<+,�§b1���!" �}����" ���!��^������4�!" �}*�`���������32�2" ;.���2"4��� ����32([P�N�D/TVG�GdX�YªJMB&K�»dL®X�LeFHJ,LeFgC,JU°�l#&%<+,�%]�d%�½�%�

µ�1����������(��`�������-^�§b � ����81����� ������±#&%('�':%<+,d|V2� ������U���"�*���&¢®0��2��3���*������!" ;�M�����3.��: ����U.�{¶����1����������!>�A.��"��2V!�.���}*.���}*�`­��� �!��,¢>2"!���!���0�����(}8 ;.�1��(d=>��?A@"B(C�D�D�E�FHG�I�J�B"KMLON:D��FO@]J,Ll_�W8@"B]a�D"X�GZ\B�G(K(D,@�D,GdC�DsB�G�TV@�LeF ��C3FeX�Y� \F K(D � _�ZnT� ����8°���n#e�V�;2�.�©�v!"!"4n©ª¥�¥k�6�6�Mt�32( 1�!��,z���2(t�3�:1d¥k1�2�����2,¥k���d¥k4���*�32]¥k4�1�0��� ;�(��!� ;.���2]¥k����1���.�¢>��}*.*��1�!" ;.��� �v!����H+,

¤��"1��1n��µ�n#&%('�'�½8+,d��D�W8@"X�Y5�^D�Le�[B�@]�s»r�GLON:D]J,F�J��nJ,FHG�IbZ�D,YOY´W8Y�X�@�_AG�C�B(E�FOG8IxX�GdEfLON:D i D,G�D�LeFgCTVY IvB�@]FeLONvu���\�n��s:!"���32" ;2<���®¹t���3.��;�M£�.��"�U���;�^�81�45���" ;��1�����������9*.��nd�/�;2�.�©{O!"4n©ª¥�¥<{e!"4nt����2&¢®��9*.��n {e�]¥k4�1�0d¥��n=���¥�-V��4�45.��"!�2]¥��\���M¥��\����'�½�¢~�:%,¢>�/ 4�2<��l

¤��"1��1n��µ���������s: �� �!"�;��9Ã#&%('�'�¸*+,��6���: ����U�;�(���"�� ����U!�.s!"���M�3������1������/����}*���;.�4������8!����¶4���.8�3�32�2<©\��3.���4������!" �}*��2"!"1��:9*���3������ ;�(���l����45.��"!/-/-�'�¸k¢~��½�������0�.�����!�.� ����^���`�®¹t=>�:{g.��"�U��!" ��81��M�:1�l���������� ��� ;2�����d���3.��;��£V.��"�U���;�^�81�45���" ;��1����������n9*.��n�#e�/�;2�.s ��n©�v!"!"4n©ª¥�¥k�6�6�Mt���6 ® ���H¥�� ���"1��1d¥k���"1��1d¥k�.�����½� ��!"���H+,

�����"4n����������:���U������������w¤�1���7#&%('�¾�'*+,�¡.(�A������2V!"�����*������!" ;�M2�98�8!"���32" ;2/.�{¶����1������n����!>�A.��"��2<=>���d������������^#e����ª+,�5?A@&B<C�D�D"E�FOG8I�J�B&KMLON:DQP�NvFO@&E��]GL>D�@]GdX*LeFeB�G�X�Y�Z\B�G(K(D,@"D�GdC�DsB�G i D,G�D�LeFgCTVY IvB�@]FeLONvuwJ,�:4�4nd¸�o��<��¸�o�':�§b.��"�v���b M��1:{O�U�����n

�V��0�0n���s�#&%('�½v'*+,�P�N�D���@gI*X�G�F;j(X�LeFgB�GÃB&KV¿�D]N�X�p<FeB�@�� ��;��9*��£����ÇÀ[.��"���V.���������������#&%('*)��*+,dTcEvX]a�L®X�LeFgB�G FHG GdX�LeW�@&X�Y¡X�GdEQX�@�LeF ��C3FeX�Y5J,r�J,L>D,uwJ,�������|/�� �}*����2" �!~97.�{¶§b ;���� ��v���

�\���32�2(��/�����V�"0�.��(��§ =,�v���3.�0�2(��-^��^���§³�=]��v.��������n�d�����7�w¤s��6���"!�.�#&%('�'��*+,�l��2"�Q���3�3.���45.�2" �!" ;.��b!"����.�1����

�3.���4���!" �!" ;.��b ����s��.��:1������/�3.������3��!" ;.��� ;2"!��������� �!��3��!"1�����©������`�6���!������7�6��������}� ;2" ;.��7!���2"�:2(���3������ ;�(���¡����45.��"!(���`��4���"!"�����v!�.�{��A.���4�1�!�������=>�:{g.��"�U��!" ;.��¨���� ;�����3����|V�� �}*����2" �!~9x.�{§ ��2�2������81�2���!"!�2(���V��������2"!(��§ � �:%(����¸:

M��1����U���n�d��¡#&%('�'�¸*+,�P�N:D �A@,F�I�FHG�JMB"K��A@"EvD,@(ºV»5D�Y K��!��@gI*X�G�F;j(X�LeFgB�G¯X�GdE�»5D,Y;D"C3LeFgB�G¯FOGx_ApkB�YqW:LeFeB�G£V���ÁÀ[.��"�5©�y/z�{e.����7|V�� �}*����2" �!~9x�����32�2(

M��1����U���n�d��¡#&%('�'��*+,dT�L#"�B�uUDMFOGbLON�D$�¡G�FOp�D,@]J3D(º�P�N:D�»5D"X�@&C,NMK3B�@% �X��¶J�B&KUZ\B�uVadY;D'&�FeLer��£V���À[.��"��©Ay/z8{g.����7|/�� �}*����2� �!>97�\���32�2(

` �!�����.����^n#&%('�'����*+,d�`�32" ����� ���������1������n����!~��.��"�71�2" ������*������!" ;�^�����*.��" �!"��� �6 �!"��������4����*����������!" ;.��2"9:2"!������Z\B�uVadY;D'&U»r�J,L>D,uwJ)(��:½vo:%]�v½8)�o:

` �!�����.����^5#&%('�'���0d+,��`�32" ����� ����s����1�����������!>�A.��"��261�2� ����w�*������!" ;�M�������" �!"����2c�6 �!"�Q������4��x�*����������!" ;.��2"9:2"!���������3������ ;�(���¡����45.��"!(�d�A���v!����c{e.��/§¨������ ������n������2"����!" ;.��³�d�����"������ ;�M§ �����;.���|/�� �}*����2� �!>9*��\ �!"!�2"0�1��"���¨������£V�A�Ç�A.��"4�.�����!" ;.��n�d��.���9*.����\ �!"!�2"0�1��"���n�d�d�w

/.���·"��0������ ����n���������7���§ ��9*����#&%('�'��*+,��\}*.���1�!" ;.�� �����7����}*���;.�4������v!`.�{l�3.��v!"��.��l�������� �!��3��!"1����32V ������ ��U��!�2(d�6B8Ä"B�LeFgC,JwX�GdEsTVW:L®B�GdB�u�B�W8J`»r�J,L>D,uwJf°+**º;R+�,(�n%(o:%]�d%(¾�¦:

Page 89: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� � /.��<�:��n#&%('�'��*+,�¤`������!" ;��4���.����������� �����©��È4�������: ���� {e.��6�*������!" ;�(������970����3�3�: ����U4�.�4�1�����!" ;.���2V.�{

�3.���4�1�!����/4���.���������2/!�.�2�.���}*�`4���.�0��;����2(d���3������ ;�(���l-/��45.��"!V������£c¢��6�v¢~'��k¢�%(¸:%�½����`��4���"!"�����v!.�{��A.���4�1�!��������� ;�����3�����8!����:{g.�����|V�� �}*����2" �!>9*�d�8!����:{g.��������A�wn#e�V�;2�.�©{O!"4n©ª¥�¥����� �0nt2�!����:{e.�����t�3�:1d¥k4�1�0d¥k����45.��"!�2]¥��32]¥k!"�]¥�'��*¥�%(¸:%�½8¥��c�v¢>�6-c¢~'��k¢�%<¸:%�½� 42]+,

/.��<�:��n#&%('�'�¦*+, i D,G�D3LeFeC�?A@"B�I�@"X�ususFHG8I8º �AG¨LON:D`?A@"B�I�@"X�ususFHG8I7B"KUZ\B�uVadW�L>D�@�J^Ä,rUŨD"X�G�J^B"K�MX�LeW�@"X�Yn»5D�Y�D"C(LeFeB�Gd������M§ =~�Ç�\���32�2(�������0��" ;�:�*����§b�w�5%('�'�¦:

����4��3���32<���^�������-�:µ���"05���^#&%('�¾�¾*+,��.(� ����1�����������!�26��.��"�5�=~���w �l��/��������2�.��³#e����ª+,�d��D�W8@"X�Y�]G(K3B�@]u�X�LeFgB�G7?A@&B<C�D]J�J,FHG�If»r�J,L>D,uwJ,��£����ÇÀ[.��"�5��£cÀ���V�����" ;�(����=>��2�!" �!"1�!��M.�{¶���v9:2" ;�32(d�A.��:{"�����;��£�.(}5n%('�¾*)w �����.�1��;�����(�d�6yw

�� ����������U�39*���(�d�^:������¤s:-/.��(���v05���"��#&%('*)�o*+,TVW�L®B�u�X*L®X�h nX�G8I�W:X(I8D]J�hlÆwD,p�D,Y�B]aduUD,GdLg��/��2"!������������£V.��"!"�:¢>��.�����������

§b�<��1����;.����n� ������xÂ���\ �!"!�2�#&%('�½v¸*+,d�È�;.��� ;�(���¡�(���;��1���1�2/.�{¶!"���� ;���(��26 ����U�������v!V ��������"}*.�1�2����!" �}8 �!~9*�¿cW8YOY;D�LeFHGÃB&K`ŨX�LON:D,u�X�LeFgC�X�Y�¿cFgB]aNvr�J]FgC,Jf#g�*+,��%�%(�<�d%(¸�¸:

§� ����;���(�d¤�����¡��¡.8�����d�����b��������*����#&%('�¾�'*+,�`�32" ����� ���������1������n����!~��.��"�:2/1�2� ������*������!" ;������*.��" �!"����2(=~����d��������5���w#e����ª+,��?A@"B(C�D�D"E�FOG8I�JsB"KMLON:DxP�NvFH@"E �]GL>D,@,GdX�LeFgB�GdX�Y[Z\B�G<K3D,@�D,GdC]DsB�Gi D,G�D�LeFgC�TVY IvB�@]FeLONvuwJ,�:4�4nd¸*)�'<��¸�¾�½�§ .��"�v���� M��1:{O�U�����n

§� ���2"��9*��§³������b����l��45���"!w#&%('�o�'*+,�?cD,@"C�D>a�Le@"B�G�J(º/TVG$�]GLe@&B<E�W:C(LeFeB�G¯L®B Z\B�uVadW:L®X�LeFeB�GdX�Y i D"B�uUD�Le@,r������M§ =~�Ç�\���32�2(�������0��" ;�:�*����§b�w

§� �!����������®�§³n#&%('�'�o*+,dTVG��]GdLe@&B(E�W:C3LeFgB�G¯L®B i D,G�D�LeFgC�TVY I*B�@]FeLONvuwJ,�§ =~�Ç�����32�2(§b.�.8�:9*����#&%('�'�½8+,��\���3�: ;��!" ;.��b�" ;2"�x�����b�������� �!��3��!"1�����2����;�3��!" ;.���{g.��6����1������n����!>�A.��"��2(d=>����µA

�w�������"����2�2"��97�������^:ÂÃ�3����2"�;���^#e����2<ª+,��5@"B�u »�L®X�LeF�J�LeFeC�J`L®B���D�W8@"X�Y5�^D�Le�[B�@]�(J3º�P�N�D"B�@,rfX�GdE?6X�LgL>D,@,G��cD"C�B�I�G�FeLeFeB�GbTAa*adY´FeC�X�LeFeB�G�J,��£��\�/y ����=������" ;�32VµA�84��" ����*���&¢®�����"������

£V.��«­��d����������w��¶���" ;2" �#&%('�'�¦*+,d¤���.(�6 ����f����1������n����!>�A.��"��2<���3������ ;�(��������45.��"!(��=~��2"!" �!"1�!��M.�{��2"9:����.��;.���9*�5�A£V-^��-/.�����

£V.��«­��d����������w��¶���" ;2" �#&%('�'�½8+,d¤`����.�!>9�45�32�{e.��/����1������n����!>�A.��"��2(d=>��§³��w��/�"0� �0 #e����ª+,��P�N:D"MX�G�EvÄ"B(B��UB&K/¿c@&X�FHG P�N:D"B�@,rUX�GdEw��D,W�@&X�Yd��D�Le�[B�@]�(J�������0��" ;�:�*����§ �^©�§ =~�Á�\���32�2<�:�w�A������{g.����0�.�.��5

�\���3��������!(�d���#&%('�'�½8+,���������� �^¢���2���!c.�{¶����1������n����!~��.��"�705���������U���"�x4���.�0��;����2������0����������U���"�8 ����f�"1��;�32(��¡�3������ ;�(���¶-/��45.��"!/¦:%<¥�'�½���µ����1���!�m�!6{����V=>�:{g.��"�U��!" �����|V�� �}*����2" �!�m�! M���"�;2"�"1�������)�o:%(¦�¾� M���"�;2"�"1������d¤`���"�U���89*¡#e�V�;2�.s ��n©\�v!"!"4n©ª¥�¥k�6�6�6 �45�� ����: 1����:t���<¥ � 4����3��������!]¥�+,

�\���3��������!(�d���#&%('�'�¾*+,�V1�!�.��U��!" ;�M�(���"��9x2"!�.�4�4� ����U1�2� ���������.�2�26}����� ;����!" ;.��n���D�W8@"X�Y��^D�Le�[B�@]�(Jx°*°�#e��.Q��4�4��(���]+�#e�V�;2�.s ��n©¶�8!"!"4n©ª¥�¥k�6�6�6 �4��� ����: 1����:t���<¥ � 4����3��������!]¥k0� �0��� ;.�¬�v!"���H+,

-c ;�3�:�� ����;���(��§³n#&%('�'�¸*+,� �: ����3��!V������4�!" �}*������!"��.��x{g.���{g��2"!����/0������4���.�4���v��!" ;.��b�;�(���"�� �����©�������"4���.�4b�����*.��" �!"����=~�b?A@"B(C�D�D�E�FHG�I�J�B"KMLON:D��"_�_�_ �]GL>D,@,GdX�LeFgB�GdX�Y�Z\B�G<K3D,@�D,GdC]DsB�G7�^D,W�@&X�Y��D�Le�[B�@��(J��#e�V�;2�.s ��n©\�v!"!"4n©ª¥�¥k ®%�%��6�6�M ����: 1����:t���<¥ � �" ;�3�:���H¥k4�1�0��� ;�(��!" �.���2< �8!"���H+,

-/.�2����80�����!"!(��µ��#&%('���¾*+,�������45�����3��4�!"��.��n©���4���.�4��0� ��� ;2"!" ;�M��.�������{g.��6 ��:{e.��"�U��!" ;.�� 2"!�.������*�������.��"�v���� ��<��!" ;.��b ��7!"���M0����� ��nd?�J]r*C,N:B�Y«B�I�FeC�X�Y5�cD�p(FgD�� *�¼���¸�¾�o<�v½v��¾:

-/.�2����80�����!"!(��µ��#&%('�o�¦*+,d?A@,FHG�C�F¬a�Y�D]J^B"KV��D,W�@&B<E�r�GdX�usFeC�J3º6?cD,@"C�D>a5Le@&B�G�JsX�GdEfLON:DxP�N:D"B�@]rxB&KV¿6@"X�FOGŨD"C,N:X�G�FHJ]uwJ,� ��2��� �����!�.����M��©d�84���"!����n

-c1�����������"!(���s��d¤s��V ��v!�.��n�d������-�: ����� �����2^#&%('�¾�o*+,d?cX�@&X�YHY;D,Y�ÆMF�J�Le@]F®Ä,W:L>D"E�?A@"B(C�D]J]J]FOG8Ivº_�&]adY�B�@"X�LeFgB�G�JMFOG LON:DMÅ�FgC�@"B�J,Le@,W�C3LeW8@�D�B&KUZ\B�I�G�FeLeFeB�Gd�8��.���1����f%�©\µ�.�1�������!" ;.���2(�5�����4�!����

Page 90: Evolutionary Design of Neural Networks Marko A. Grönroos Master

� ��n�(���"�� ����U ��8!����"���������4����32����8!���!" ;.���2/0897���"��.��c4���.�4���v��!" ;.��n��4�4n¸:%(¾<��¸�o�¦:d������§b=��Ç�\���32�2<�������0��" ;�:�*����§b�w

�:���"�;���� n#&%('�'��*+,��8!�.�4�4��3�7!"���� ��� ����x������.�!"�����c�������3�: ;�32c{e.��c.<}*���&­�!"!" �����d=~�b?A@"B(C�D�D"E�FHG8I�J�B&KMLON�DR��(LONx»r�uVa:B�J,FHW�u B�G¯LON:D%�]GL>D,@OK�X*C]D�¡#e�V�;2�.s ��n©l{e!"4n©ª¥�¥<{O!"4nt2���2<t�3.��f¥k4�1�0d¥k����1������H¥�+,

�����v�A�,{e���®���w ¢>�¡�#&%('*)�)�+,£/1������" ;2�������.�4�!" ��� ;���"1����f}*.����3.���4�1�!����&¢®��.8�������;��� �� �!"!����;2/�������}*.���1�!" ;.���2�2"!"����!����� ;�� �]GL>D,@"E�FHJ�C�FªadY´FHGdX�@]r�»drkJ�L>D,uwJc�/D]J3D"X�@&C,N °*°�

�8 ;���: ��v ®���w��w������b���§±��n1��(��2^#&%('�'�¾*+,�� �3.���4���" ;2�.��b.�{¶�U��!"�" «z7�����6�" �!" �����}*����2"1�2V�: ����3��!�����3.8�: �����{e.��c��}*.���}� ���������1�����������!~��.��"�:2(�=~�b?A@"B(C�D�D"E�FHG8I�J�B&KMLON�Dw° �+��� �"_�_�_ �]GL>D,@,GdX�LeFgB�GdX�YZ\B�G(K(D,@�D,GdC�DsB�G�_ApkB�YqW:LeFeB�GdX�@,r Z\B�uVadW:L®X�LeFgB�G � ��Zn_�Z�� ��� ����4�4n¸�'�¦<��¸�'*)�d=~���[�c

��£V£��¨#&%('�'��*+,d��£�£`����8!"1�!"!"�v���"!�£V��1�������£���!>�A.��"�b�8 ���1�����!�.��(�d|V2����c§¨���v1���®��������2" ;.���½��%����3������ ;�(���l-V��4�.��"!/o*¥�'��:��=~��2"!" �!"1�!��`{g.��c�¶���������;���l�������� ;2"!"�" �0�1�!��3���V ������l���&{e.��"�U�����3�s�89�2�!�����2#e=~����-`+,��|/�� �}*����2" �!~97.�{��8!"1�!"!"�v���"!(

�[�����" ;.������#&%('�'�¸*+,dTVG�_AuUD,@gIvD,GL�Å B<EvD,Y´FHG8IUŨD3LON�B(EVK�B�@VTV@,LeF ��C�FgX�Yd��D�W8@"X�Y5�^D�Le�[B�@]�(J,�\�n��s!"���32" ;2(�������M|V�� �}*����2" �!~9x.�{\��.���9*.�