6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

30
148 6

Upload: others

Post on 18-Mar-2020

2 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

148

�����������������������������6�����"��#�!����$��� �������� ������� ��"���

��������������������������� ����� ������������

6���������"�������

�����!����� ������� �!����������� ���� �� �����:��� ���@�:�����!���!�����

����!��4������!�,�����+�����!����� ��� �!�� �����+������� �������!� �!���������� ��&��

�����,� ��� � �������� ��������� ��!�!���!� !���!������ �� ����������!�����������������!/!�

����� ������� !�,�+�������!! ���� ������� �� ���� 8��!�+��� �� ���� ���/����������� ����

�+��!� �� ���� ������&� � ���� �������� �� �! �� �:�����!� �! !� �� �� ���!� �+� +�! ��+�

������ �� !����! !�������!� !� /-��!� ���� ������+���&� ��������� ���� ���!� ��

�����!� !��������+�- ������+���� ������ &����������!�������!! � ��� ���� !����� � !�

!��� ��!��������+����!�����+�� ! ����� &�������� ������!��������!!�����+ +�������� !�

/-� �!� ������!�!� - ��� ��� ��!�� ������ ��� �� �� ����� ���� ������� ���� &� � ����

���� ����-� �����/�!�������� ��+�����!� ������+�!�����!���������! !���������������! !�

!����� !� �������+� �� �!� ���� ���� �� ���� ���&� � �� ���� �� ������� - ��� � ���� �����!� !�

�������+����!���� �������!! � ��� ����������+�������- ������ ����������������� �!� !�

���� ���!!� ���!! � ��� &� � �� ���� �� �+��� ��� ��� � ����� � �� �� ������ ����&� � �� ������

���� ���+��������� ,�� �� ���� ���������� ������� ���� ���� ���-�����!�� �� ���� ��

������!�+�����!��+�-��� �� !�!��� ���+�������!�!���&�����������������!����������+������� ��

�������������! !� � ��!�!����������-��:�����&� �����8��� ����� ���� �� !��!!�!!�+����

������������������ !��/�!���+��+�� ����������!!������� ��K";7L&�

������ ������ ���� !������� �-� �����/�!��!� �!� ��������� ��!�������+������!���

���!! � ��� � �� �����!! ��+��� K";5L&� � ��� ������!����� �� ���� �� !��� �� ���� ,�� ����!������������

����`��� ������������,�� ������������!�� ���������!!������&�������������:�������!�������

�������!�,�����������,�� ����!�+���+�������-����� �6� ���%�� &&���&� � ���������� ��- ��������

�!! ������+����� ����!� �������������������8� ��+����� �!��:�����- ����������������+����

Page 2: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Chapter 6

149

!������:�����!&���������� �� !�����������+���+� �����!���!����������� �������� �

-� ��� ��� !� �� ������ �� �+4�!������ ���������!&� '���� ���� !� ��� ��� -� ���� � ����

���- �������

� �6�� )1Q&*� � � � � � ���);&"*�

-�����*� !�����-� ����,����&����������!!���+����� ������,����!�������!�����������!��

������! !�������+����!��� !������+����� ������� �&�����������-�/��+��!��!�-�����!�����

�,�� �����������!���!��� !� ��������������� � �������, �-�+��!�!��� � ���� ��!����

�������� ������!��!�+��������!����������� ��);&"*����������- ������� ����������+���!�

��� �� � < �� ���� ���������!� � ���� ���� �� K";;L&� � �� !� �������� !� �� + !��!! � � �-�

���� ������ ���!������������-�/!�������+�D'$������+������!! � �����!�+��!��� !� ����

���� ������ 8����'2�&�

6��������������&��/��

���� ��� � � ��� ������ ��-�/� !� +�! ��+� �� � � �� ���� +�� ! � ��/ �� �� � ��� �� ����

��� �� �+� ����� �!� !��������� ��!�����!� ����� �� ���� ��,�!� !�!����� ������ �� ����!! ,����

��������+�!��������!�)+�!*&������+�!�)����!! ��������!*�������� <�+� ����

� ��� ����������� �����+ ����� ++�������!���+���� ��������������&�������+�� ����� ����

������ ��!� �� ! ���� ���� ����!�+ �� �� �� �� ���� �������!� �� ���� ���� ,������ �+� ����

������ ��������� !���+�������������!!&� ������+�� ��� ������ !� �����������+����,����

�����+�� ��������- �����������������!�����-� ���!&�����������-�/!���,�������� � �����

����: ����������:�� �������� �!�+ ����������� ����!�����!&� �0���� $+ ��! ���

��������,����������+��- �����,�� O�� ���!� ���+ ������� �!�����&������������������+��

!� ���������+� �!� ���� -� ����+� !��� �� �!� ���!� �����+� ���� ��� !���� �� ! ����� ���� ��!!�+�

������� ���� ��� ,�� � ���� � �&� � ���� ��� !��� ������!� �� � ���� +�� ! � ��+����-� ��� !�

�����+ � �+����������� ,�� ����� &�� �������� ������������� ,�� ����� ��� ���+�!��

) * ��������!��+����� �1 0

( )0

if netf net

otherwise≥�

= ��

����

1 0( )

1if net

f netotherwise

≥�= �−� � � � � � � ���);&%*

Page 3: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Extremely Fast Machine Learning Algorithms��

150

H����!�+�- ����� !���� ,�� ����� ������+�� !���!�/-��!���������&�

) * ���� +�� ���)� ���*����� �

�)��*�6���� � � � � � � � � ���);&#*�

) * ������ !� ��)! �� +*����� �

1( )1 netf net

e β− ⋅=+ � � � � � � � ���);&7*

) ,* ����������� ��������)! �� +*����� �

2( ) tanh( ) 11 netf net net

e ββ − ⋅= = −+ � � � � � ���);&5*

���� �� !� �� ���� � ��/�!� ,����!� ���-��� .� �+� "�� -�����!� ���� ����� �� ������� ��

������ !� ���-��� $"� �+� "&� � ���� ���������� F� � ���� ! �� +��� ���� !� ����!� ����

!�����!!� �� ���� ���� � ���! � � ��� <���� �+� ���� ���� !� �������� ����!��+ ��

���� � �!� F� ��������!� "�� �+� �� �� � ���� ���� � �!� F� ��������!� .&� � ������ ����

��� �� � �� ��������!� ��� ��� 8� ��� �-������ �+� ����: ����� �� ��� ���� ��� �����:�

� ����+�� ! ���+����K%L&���

� ����������� �������!� �����������-�/!���,���������!�+� � ���� � ��������&� �����

���� ������ ���!�+ !��!!�+� ��� !����������������' ����� ++��������0��+��-��+����-�/�

)'�0�*&�

6������������$�""�����!���)��")��&��"����&��/�

'�0�� !� �� ���+��-��+� ������ ��-�/�� + ��� �� ����� ���� ����� � ��-!� � ��

+ ���� � ���� ���� ������ �� ������ ������ ������� � ++�� ������ )0 ����� ;&"*&� � �������� ����

��������+�!� ����� �����������+������������� !�� :�+�� �� !��������������������� ++��

�����&��H ������� ����!����� ++��+�!���������+ �� ,���-�����'�0��- �����!� ����!����+�

!��������-�/��������!�+���!�,���������� ����+�������!&��?-�,������ !��������+���

,��� �� ��� ������� ������+�����������������8� �����&� � � /�- !��� �� ��-�� ++��

+�!� ���� �� ��� !��� � ��� �� ��+���� �+� ��!���!&� � ���������� �� ���!����� ������ ��

+�!� ����� ��, +�� ���� +�! ������ ���������� !���+� ��� �!�+&� � ��� ������� �� !� ���������� !�

+����� �+��������� �� ������, �!��:���� !����������+�����,� �������+ ��! �� ����

�����: ������������������� ����+���������,�� +�� �����++ � ���+���!���K%L&�

Page 4: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Chapter 6

151

�� � *������6����������$�""�����!���)��")��&��"����&��/�

'�0�� ��� ����: ����� ��� �� ��!� ���� � �+� �������� ��� ���!! � ��� �

���� ��� &� �������!�����������: ��� ������ � � �!���'�0����!����!�+���-��!����!B�

� ,��!�������: ��� ��������� ����!��!��+�����: ��� � ���!����! !� ����� ���

������ �� ��� �� !�����!� K";(L&� � � ,��!��� ����: ��� � �����!� �� ���� �� � ��� �� ����

��-�/!� �� ����: ����� ��� +�� ! � ��+���� �� ��� ������ + ��! �� ��� �+� ��� ������

�����: ���- ��� ��� ���������� ! �� � ,���+�8������������+���� �+������� !����� ���

��� ������ ����������+� ��� �����������!� K%L&� � 0�� ���� �����: ��� � � � ��� ��� ��

!����?�����+����� �K";1L�!�-������'�0��- �������!��8�� ++��+�!��+�- ������!�����

� ������� ,�� ����� �����:�����������8�+ !� ����!��,�� !&�

D,���������!�� ������+���+�!��'�0����!�����+ !��!!�+����������!�������!&� ������-�

�� �'�0������ �������!��: !�B� )"*�- ����++ � ,��� ++��+�!���+�)%*�- �����0�+�!� �����

� ++�������&��'�0����-�/����� !�- �� N� � ++��+�!������������!���+����

1

( ) ( ),N

i iNi

f gβ=

=�x x�

� � 1�∈��� F �∈��� � � � ���);&;*�

-��������+���!������ ++��+������������ ���+�F � !�����-� �������� �������� ++��

+��������������+�&��0���++ � ,��+�!����� !�+�� �+��!��

� �6��)& &1�^�� *��& �∈����� �∈��� � � � ���);&(*�

Page 5: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Extremely Fast Machine Learning Algorithms��

152

-�����& � !�����-� ����,��������� ������ ���� ������������ ����� ++��+����+��� !�����

� ++��+����� ,�� ����� ����� ��������! �� +����� �)0 �����;&%*&��������0���-�/� !�

�! +���+���!��� � ��'�0��-� ������� �!���0�+�!� � �!�� ++�������&���������0�+����!� �!�

-����� +�)& *��+� ������������)� *���+� �!������� !�!�����+ �����!������ ������ ���

����+ !��������-��� �����+������&��0����0�+�!�- ������ ,�� ����� ������� !�+�� �+�

�!�K";(L�

,ii

i

g gb

� − �= � �

� �

x w� & �∈����� �∈��^� � � � � � ����);&1*�

�*������6������ ��"�)��������

�������/ ������ �)� *����� �����+� �!�,�� ��!���,�������������/��������� ��

'�0�� - ��� �++ � ,�� � ++�� +�!&� � ��� !� ��! ������ �� ������ ���� �� ���� ����� �+� '����!� ��

I��+ ��� +�!���� ���/� ������ � )'I� *� !� �!� ,�� ��� ��� !�8��� ��� ���� �� ���� ��� !&��

'I� � !�����!� ���� !�-� ��� ������� �,��������!� �������������� ��� ��+�����������

��8� ��+&� � ������-�/� ! <���� 'I� ���+!� ��������+�� �+��+� � :�+&� � '�8��� ��� ���� ��

���� ���!� ���� ��!� �!�+� � ���+��-��+� ��-�/!�- ��� ��0� +�!&� � ���!�� ���+����!�����

������ ����-�/�)���*��+� �!��:��! !&����������������0�� ++��+�!� ������+� �!�

,�� ��!�����������+�� �+&�������+�����, ���:��+�+�������0 �����)�����0*�+����� ��

-������� �� �++� �� �-�+����!�+�� ���� ,������� �� �� +���&� � ��! +�!� ������� ����

��!����������� ����-�/� )����*��I�- ���+� �� �� $���0� )I� $��0*��+�II� $��0�

)I����� <�+�I� $��0*������ ! � � ����+�!�����������-�/&�����!������ ���!���8� ���

Page 6: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Chapter 6

153

�� ��������������������!���+� �������!����������������!���������� ��!���+��������

!�-&���������+���+������������! ��� ������++ � ,������0�+�!�K";=L&�

������-�/�- ���� :�+����� ���������+���+�����!! ��+�� ++��+�!� !������+�����

-����� ���� ������ ���������!� ���� +����� �+� ��� �+ ���� ���!�� !8����� �+� ����+ �� ��

�������;&" lim 0N Nf f→∞ − =� � ��+!��������K";(L&�

E����� RA��� ��� N Ne f f≡ −� � +���!� ���� ��! +���� ����� ���� � ��� ���� �������

��-�/ Nf � - �� N� �� ++��+�!��-�������∈�%)a*� !���������������� &�������������,�+������

� ,�������+�+��!����� ���- !���� ��!���� ,�� ����� ��B�g������++ � ,��

+�!��� ���������� ���- !���� ��!���� ,�� ����� ��B�g��)�+�q��):*+:�r�.*������0�

+�!�� ��� ��� �� ��!� ������� ���� � �� �+� ��� ��+���� �������+� !�8����{ },Ng �

lim 0N Nf f→∞ − =� � ��+!�- �������� � ����� � 12

,n nn

n

e gg

β −= �

6�(��1��� ��4��������'��$����

���� ���� �� !���+��� ���+��-��+���������-�/!� !� ���� !�-��� ������8� ��+���+� ��

��!� ���� �� ��4�� �������/� � ��� �� ���� ��� !� ��� ��!�� +���+�!&� � ���+ � ������ ���� ����

���������!� �� ���+��-��+� ��-�/� ��+� �� ��� ���+�� �+� ���!� ������ �: !�!� +���+����

����+ ������������!������������!&���������+ �����!�+�����+!���,�������!�+���������

� ��� �,�� �!����� ������ ���!�������+��-��+���-�/!&��?-�,���� �� !���������������!��

����+!��������������!�-��+������,������������� ��&������ ����� ,������ ��!���!�

���������8� ��+������ �������� ���� �����������&� � ���� !�!��� ���� ���� ������ ����

�����+��:���������� ������ ��)���*� !� ��+���+����'�0��-� ��� !�!� ������ ����� ��� !�

��8� � �� ��!�� ���+ �� � �+� ��!�!�� ����� � ��&� � '�0�� )��, �� 8� � ++�� ���!*� - ���

��+���� ��!�� ���� -� ���!� �+� � ++�� ������ � �!�!� ��� �:������ ����� 8� + !� ���

�!��,�� !&� �D����+����+4�!�����!�����������!�+�� ����� �&� �'��������� ��- ������

�:����������!���+���+���!��+������� <�� ����������&������ ����-� ���!��+�� ++��

������� �!�!���'�0����������+�����!! ��+� �� ������� ,�� � ���� !� � ����� ++�� ������

���� � ����� + ������ ����&� � �-�� '�0�� ��� ��� �! +���+� �� � ���� !�!���� �+� ���� ������

Page 7: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Extremely Fast Machine Learning Algorithms��

154

-� ���!���'�0������������� ������+����� �+�������������� <�+� ,��!������� �������

� ++�� ���������������� ��!&� ����$ ��!�������� <�+� ,��!���+�� ������� ���!��

!8����!�!��� ������������� ����!�!����������� ����������� �+�,��� ���������� ����

K"(.L&�

0��8���� ������+ !� ���!�����!�): ��� *��-�����: �6�K: "��: %��`��: L��∈����+�� �6�K� "��� %��`��

� �L��∈����'�0��- ���s�� ++��+�!��+���� ,�� ����� ��-�.������������� �������+���+�

�!��

1 1( ) ( )

N N

i i j i i j i ji i

g g b oβ β= =

= ⋅ + =� �x w x� �

� � � ���);&=*�

-�����& � 6� K- "��- %��`��- L�� !� ����-� ���� ,����� ���� �� ���� ���� � ++�� +�� �+� ����

+�!���+�KF "��F %��`��F �L�� !�����-� ����,��������� ������ ����� ++�������+�������

���!���+���� !���������!��+��� ����� ++��+�&��'�0��- ���s�� ++��+�!��+���� ,�� �

���� ��-�.��������: ��������!��8�!�����!�- ���<�����������!�����1

0,Nj jj

o t=

− =��

&�&���������: !��F ��& ���+����!���������

1( ) ,

N

i i j i ji

g bβ=

⋅ + =� w x t�

� 4�6�"��%��`���� � � );&".*�

������,��8��8��� !�������-� ��������������!��%F�6���

-�����

1 1 1 1

1 1 1

1 1

( ) ( )( ,.., , ,.., , ,.. )

( ) ( )

N N

NN N

N NN N NxN

g b g bH b b

g b g b

� �⋅ + ⋅ +� �= � �� �⋅ + ⋅ +

w x w xw w x x

w x w x

� �

� �

� � �

�� � �

��

1T

TN Nxm

ββ

β

� �� �= � �� � � �

� �+�

1T

TN Nxm

T� �� �= � �� �

t

t�

� � � � );&""*��

%� !������+�� ++������������������ :�� �!���������� !��������� ++��+��������- �����!�����

�� ���!�1"��1%��`��1�&������������ ,�� ����� ��� !� � �����+ ������ ������-�������,�������

������8� ��+���������� ++��+�!�s�]��&��'������� ,�� ����� !� ���+��! �� +����+ ���

��! !��! ����! ����:��� �������&�

Page 8: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Chapter 6

155

E����� RA���I ,����!��+��+�'�0��- ���8�� ++��+�!��+���� ,�� ����� ��B�g��-� ���

!� � �����+ ������ ����� ���� ���,�������8���� ������+ !� ���!�����!�)1 ��� *�-�����1 ∈���+�

� � ∈� ���� ��� ��� & � �+� ��� ��+���� ��!�� ���� ��� ���,��!� �� �� �+� �� ��!���� ,����

����+ �� �� ��� �� ��!� ����� � ��� + !�� ��� �� ���� - ��� ����� � ��� ��� ���� � ++��

���������������� :�%���'�0�� !� ,��� �����+ 0.β − =H T��

E����� RA=�� I ,�� ��� !����� �! � ,�� ,����� t� T� .� �+� ��� ,�� � ���� � �B�g�� -� ��� !�

� ����� + ������ ����� � ��� ���,���� ������ �: !�� s� ]� �� !���� ����� ���8� ��� ������ + !� ���

!�����!�)1 ��� *�-�����1 �∈����+�� �∈����������& ��+������+������!��������� ���,��!�

�� �� �+� �� ��!���� ,���� ����+ �� �� ��� �� ��!� ����� � ��� + !�� ��� �� ���� - ���

����� � ���� .NxmNxN NxmH Tβ ε− <� � �

����+ �� �� ������� ;&%� �+� ;&#�� ���� ����-� ���!� �+� � ++�� ������ � �!�!� ��� ���

��+�����!! ��+� ��������� ,�� ����� � !� � �����+ ������ ����&�����!�����������!���+�

�� ��� �+4�!��+� ��� ���� �+� ���� � ++�� ������ ���������� :�%� ���� !� ������+�+�� �� ����

���� �� ����!!&� � H ��� � :�+� ���� -� ���!�& � �+� � ++�� ������ � �!�!� ���� ��� �� '�0�� !�

�8� ,�������� + �������!��!8�����!��� β̂ ������� ����!�!����%F�6��&�

1 1 1 1

minˆ( ,..., , ,..., ) ( ,..., , ,..., )N N N Nb b b bβ ββ

− = −H w w T H w w T� � � �

� � );&"%*�

-���� ⋅ !� �� ��� � ���� +��� !����&� � ��� ���� ������ �� � ++�� +�!� S� !� �8���� �� ����

��������+ !� ������ ��!�����!�8�� �������� :�%� !�!8������+� ,��� ���&� ����!��'�0�����

����: ��������!����� ��!�����!�- ���<�������&� �?-�,���� ��!����!�!�������������

� ++�� +�!� !� ����� ��!!� ���� ���� ������ �� + !� ��� ��� �� !�����!� ,N N� %� !� ��

!8��������� :��+��������������: !��& ������F �) �6�"��%��`��s*�!���������%F�6��&������+ ��

���������;&7������!�����!��������!��!8����!���������,��� ����!�!���� !�

†β̂ = H T � � � � � );&"#*�

-�����%u� !��������$ ��!�������� <�+� ,��!�������� :�%���+� �!��������� ��!���!�

�!������������ ��� ��������&�

Page 9: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Extremely Fast Machine Learning Algorithms��

156

%��� ���� RA��������� :�9����+��� �:� � !��������$ ��!�������� <�+� ,��!�������� :���

)+���+��!��u*����+��� �:� �� ��

�9��6����9�9�6�9��)�9*��6��9��)9�*��6�9��

%��� ���� RA���1.�∈��� !�!� +��������� ����������!��!8����!�!��� ������ ����!�!�����

�1�6�!� ��������!�∈����

0 ,≤x x � { : , }N∀ ∈ − ≤ − ∀ ∈x x Ax y Az y z R �

&�&����!��� �1.� !�!� +��������� ����������!��!8����!�!��� ������ ����!�!�����1�6�!�

�� ����!�����!�����!��������������������!��!8�����!��� !&�

E����� RA>�������������: !�������� :�9�!���������9!� !���� ����������!��!8����!�!��� �

����� ����!�!�����1�6�!&������� �� !����!!�����+�!��� � ��������9�6��u���������$ ��!��

������ <�+� ,��!�������� :��&�

� �������- �������� �!������������ !��+� �, �-����� !�������&�

)"* � ���� ��� �� ����B� ���� !��� ��� !��� †β̂ = H T !� �� �� ���� ���!�� !8����!�

!��� !������������ � ����!�!����%F�6������� ������� ����!�����!�� ��� �������

������������+������ !�!��� ���!��� B�

† minβ̂ β

β− = − = −H T HH T T H T

� � � );&"7*�

)%* '�����!�������-� ���!B�����!��� ���!��� †β̂ = H T ��!�����!�����!���������

�����������!��!8����!�!��� !���%F�6��B�

������������ †ˆ , { : , }NxNβ β β β β= ≤ ∀ ∈ − ≤ − ∀ ∈H T H T Hz T z R �

� ��������������);&"5*�

)#* ����� ����������!��!8����!�!��� ���%F�6��� !�� 8����-� ��� ! †ˆ .β = H T �

6�(����4'��������$ �

I ,�� �� ��� �� !�� {( , ) | , , 1, 2,..., },n mi i i i i Nℵ = ∈ ∈ =x t x R t R ��� ,�� � ���� �

�-�.���+���������� ++��+�!�S&�

���#�B���+�����!! �� ����-� ����& ��+�� �!����� �6�"��%��`��s&�

���#�B�>�������������� ++������������������ :�%&�

���#=B�>�������������������-� ����F��

F�6�%u��

Page 10: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Chapter 6

157

-�������6�K�"���%��`����L�&�

� ����+ �� �� ������� ;&%�� �� !� ���� ���� -�/!� ��� ��� � ����� + ������ �����

��� ,�� ����� ��-�.&������+ �����������;&#��������������+���������������� ++��

+�!�)S*� !�8��������������+ !� ������ ��!�����!�� &�&��SN8&��'�0��- ���8�� ++��+�!�

��������8�+ !� ���!�����!��:��������+� ����� ������� !����-�+������,�������S����������!!�

����8�K"(.L&�

� ������!��������- ���������!B�

"* ���� ��!���+������� !��:����������!�&�

%* ������!�������������� <�� ������������������+ �����!�+����� ��!�����!�� &�

#* �������+ � ������!! �����+ �����!�+� ���� ������ ���!����������!�,����� !!��!� � /��

������ ���� ����������� ��������+�,��� �� ������&��������+!���������!��� !�

!��� ������-��+�- �����!������ , ��� !!��!&�

7* ���� ���+ ��� ��!�+� ���� �� ���� ���!� - ��� ��� -�/� ��� + ������ ����� ��� ,�� �

���� !�� -�����!� ���� ���+� ��� �!�+� - ��� ���� + ������ ����� ��� ,�� �

���� !&�

�6�(�����!�����)�4'�

��� �� ������!�� � ,������!������,�� ��!���������,���������!�+� K=L&� ������ ��

!�8��� ����+�������� !�� ,�� � K";=L&� ��� !����� ���� !� �������+����!�D� ��'�8��� ���

�:���������� ������ ��)D'$���*��-� �����������+�����$��$�������/$��$���/�- ���

� :�+���,��� �����/�! <�&��D���������������� ++��+�!��+�����! <�������/!������!�+�

�!� ����� ���������!&� � D'$���� !� ��!���� ���� ����� !�8��� ��� ���� �� ���� ���!� �+�

��+���!�������������� <�� ����������&���!�����������������+�� �������������� ++��

���!�+�����������+��+����� �� ������� ����-� ���!��+�� ++��� �!�!&����K"("L����

�+ � �+�+ ������ ����,��� ����� ���� !��!�+���!��������������� ���� ����-� ���!��+�

� ++�� � �!�!&� � �� !� �������� !� /-� �!� �,��� ���� �:������ ���� ������ �� )�$���*&��

�,��� �������� ���!�����- +�����!�+��!���������!����� ������+������ � <�� &���$����

!����������� �,���+������� <�� �����������- ���������������������-�/!&���

���������� <�� ��������������������!���!��+�������!! � ��� ��������+���+!�

����������������!�M���������� ++�����!�� ����-� ���!���+�� �!�,����!&����K"(%L������

Page 11: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Extremely Fast Machine Learning Algorithms��

158

�����!����!�+��-���������!�������>+�+�I��� ������ ������!�+�����)�>I�$���*��+�

'���!������)'$���*����!������!�����������!&���>I�$�����!�+��-����� ��������!������ !�

����!�&��������-�/���!�+����� �������������!�������������� ++�����!��+�����

-� ���� ��!�+� ���� �� ������� �,�,�!� ���� ���� -� ���� �+� � �!� ,����!&� � '$���� )�'$����

K"(#L*��-� ��� !�������� �������!!� ��! ,�������>I�$������!�!����$��+�>�!!$2�� +�� �

)>2*���!�����������������������!&��>2��������� !��!�+���!���������� ����-� ���!��+�� �!�

,����!� ��� ����� ,����������� ++��+�!�!��������� �����!� ����+������� <�� ������ !�

!����&��������� !�����!!� !��������+�- �������+��!������ ++��+�!��+�+����� �+�����

�� ������������� ++��+�!����-� ������ ���+�>2���� � �� �!������ ��&�

�� ������ �� ���� ���!� ��,�� ���� ���!�+� �� ��!�� ���� ��-�/� !��������� ��

+ ����������� ��� !&� ���������������� <�+� ����� ������+����-��+�!����� �����+��

�+� ������������� ������ ���!&����������&�K"(7L���!����!�+��� ���+�����) $���*����

����������!! � ��� ����� ��� !��-� ���!����!�- ����� ��������-�/��+������� � ���!� ����

� ++��+�!�- ����-�����,�������������!!������&������!��� !� ������ ��� ��!�����!�>� $!8�����

)v%*� �+� ����� � �� � ���� �� � <�+� �� ����/� ���� ����,���&� �� ���� ��� ��&� K"(5L� ���!���+�

D�� ������ ���+�����)D $���*�� �-� ���� ++��+�!�������/�+�������� ��!�!��!���!��

�����!! ����� ���&������� ����+��� !�!������+�������,�$�$���>2&����>!����� ,��� ++��

+�!�'����� �����+��������)>'$���*� !����!�+� �K"(;L���!�+����!���- !����-��+�

!����� � ����+&� � ��� ����� !����� ���� � ++�� +�� - ��� �� ������ ����� ��!� ���� � ���!��

������� � - ��� ���� ������� ��! +���� !� !������+&� � ���� � ++�� +�!� !����� � !��!�

������ ������-��������� �!�+�� !/��!� ��� ��� ��� �������!� �!�� ���&����K"((L�����

��� ��&� ��!� ���!�+� �� �-� '����� ���� )�'$���*� �! !� �� �� ��-��+� !����� � !����� �+�

���/-��+��� � �� �!����&������-��+�!����� ����������!���� ++��+�!�������+����

�������+� ������ !����� �+� ������������ ++��+�!�- ��� ����� ���!����� ��� ��� � !�

!������+��+��++�+��� ������-�/&� ����� !����� �����!!� !� ���� ���+�-��� ���� !��� ��

�� ��� ���� ������+ �� ��������� �,�!� �!�� ���&�������/-��+��� � �� ������� ++��

+�!�!������+� ��������, �!�!�����������, �-�+����������+� ! � � ����� ++��+�!�

�������,�+�����������-�/&�

��K";(L��?���������&�+�,����+�����������������)�$���*�� �-� ���+�!������++�+�

�������������� ++���������-� ���/��� ������������-� ���!��������: !� ��� ++��+�!�

Page 12: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Chapter 6

159

������+&���$������8� ��!�����-���������������!�M��������������+���: ����������

��� ++��+�!&����K"(1L������J!��,�:��� � <�� ����� ������+�K"(=L� !� �������+�

���$������+�������!��� ������ ���� !��������+����!�>,�:��$����)>�$���*&��� �����������

�$�����>�$���������������!�����������-� ���!��������: !� ��� ++��+�!����������-�� ++��

+�� !��++�+&� � ��������� �,�� ��!�����,��������������������������-�/����� ���������

������������� <�� �������������+�����!��� � ��������$���&�

��� !� ��+� ����� !����� ����� ++��+�!� � �$������������� �� ,����� �� ���� � ����

��-�/��������+��� !������,�������� ����!��������-�/������: ��&� � ���+��� ���, +�

�� !� !!����+������ ��������������-�/����� ���������?�����+��� �K"1.L����!�+���

�����+� ����+� ��� �$���� )��$���*&� � ��� ����� ���� �� !����� !�,����� � ++�� +�!� )!��� 4�

+�!�� -����� 4� !� �� �!���*� ���� ��+���� �������+� �+� ���� ����� ���� � ++�� +��

���+ �� �� ���� !�����!�� ��! +���� ����� - ��� ��� �++�+� �� ���� �: !� �� ��-�/&� � ��$���� ���

��� �,����!�����,�������������+�������������������-�/����� �������������$���&���$

���� !� �� !��� � �� ��!�� �� ��$���� -��� /� 6� "&� � I��� � ��� ��&� K"1"L� ���!�+� �� ����+� ��

������ ������+����� �� ������������� ++��+�!� ������� <�+�'�0�&� ��� !��������� !�

�������+����!������� � <�+�����)��$���*���+�����++�� ++��+�!���������������

�������&�� ��� ������-�/������������ !� ��!!����������������������� ++��+�!�- ��������

�++�+� �+� ���� ���� �� ���� ���!&� �D����- !��� � ++��+�!� ���� �++�+� �+� �������� �-�

� ++�� ���������������� :&� � ��$���� ��+���!� ���� ������� ������: ��������+�� �����

���� ������ -� ���!� ����������&� � ��� !� ����� ��!���� ���� ����� !�8��� ��@ ��������@�

��- ������ ���!���+���+�����+������� <�� ����������&�

6�2��3�������+��������1��� ��4��������'��$����

���� ���� �� ��!�+� � ���� ��8� ��!� ���� ���� +���� �� ��� ���!��� ��� ���� ��� �� ��

��� �&� � ?-�,���� ���� ��� �� +���� ���� ��� ,�� �$��$�� �� ���/$��$���/� � �����

���� ��� !&� �������- ����� !�! ���� ����!�8��� ��� ���� ��,�� ��������������+�D'$����

��� ��� �!�+&� � D'$���� �!�!� ���� +��!� �� ������ ���� �� ���&� � �� !� ���� ���� ��+��!� ����

�++ � ,�� �+� ��0� +�!� � �� � � �+� �����-�/&� � ��� !� �� ,��!�� ��� ���� �� ���� ���� � ����

���- ��!�!�&�

Page 13: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Extremely Fast Machine Learning Algorithms��

160

"* ������� ���!��,�� !�����!�8��� �����)�$��$�������/���� :�+���,��� ��! <�*�

���!���+����������� ������ ���&�

%* D��������-������ ,�+��!��,�� !�����!����+������+&�

#* ��� �� �!��,�� !� ���� + !���+�+� �!� !� �!� ���� ���� �� ����+���� �� �����

���� ���������/���! �����!��,�� � !��������+&�

7* ���� ���� ������ ������!���� ��/-��+���������������������!��,�� !���

������ �+���� �&�

>! +���������!������/)%*�6�s��������������� ++��+�!&���+����� !��+ � ��

%u���);&"#*� !�� ,�����

† 1( )T T−=H H H H � � � � � );&";*�

�� !� !������+�������!��+� ,��!����%�������������������%u%�6��s&��'��!� �����);&";*� �);&"#*�

1ˆ ( )T Tβ −= H H H T � � � � � );&"(*�

������,���8��� � !������+� ���!��!8����!�!��� ���%F�6��&� �'�8��� ��� ��������� ���

���!��!8����!�!��� ���!���!� �D'$���&�

I ,�������/��� � ������ ��!�� 00 1{( , )}N

i i i=ℵ = x t �+��.�b�s�� �����! +��!����!��

���������������+!����! +�������������������� � < � 0 0β −H T -�����

0 00

1 1 1 1

0

1 1

( , , ) ( , , )

( , , ) ( , , )

N N

N NN N N xN

G b G b

G b G b

� �� �= � �� �

w x w xH

w x w x

� �

� � �

�� � �

��+�

00

1

0

T

TN N xm

� �� �= � �� �

tT

t�

� � );&"1*

����������;&%������!��� � !�� ,���� (0) 10 0 0

Tβ −= K H T -���� 0 0 0.T=K H H �'���!�������-��

���� � ,�� ������ ���/� �� +��� 0 1

01 1{( , )} ,N Ni i i N

+= +ℵ = x t -����� 8�� +���!� ���� ������ ��

�!��,�� !� ��� !����/Q���������������������!�� � < ��

0 0

1 1

β� � � �−� � � �

H TH T

� � � � );&"=*�

Page 14: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Chapter 6

161

-����

0 0

0 1 0 11

1 1 1 1

1

1 1

( , , ) ( , , )

( , , ) ( , , )

N NN N

N N N NN N N N

G b G b

G b G b

+ +

+ + +

� �� �= � �� �

w x w x

Hw x w x

� �

� � �

� � �� �+

0

0 11

1

1

TN

TN N N xm

+

+

� �� �

= � �� �

t

Tt� �

>! +�� ���������/!���+��� 0ℵ �+ 1,ℵ ����������-� ����F������!�

0 0(1) 11

1 1

T

β − � � � �= � � � �

H TK

H T� � � � � );&%.*

-����0 0

11 1

T� � � �

= � � � �

H HK

H H�

� ���0

0 11

T T � �� �= � �

HH H

H�

� ��� 0 1 1T= +K H H �

0��!�8��� ������� ���-����,�����:���!!�F)"*��!������� ���F).*���"��%"��+��"&�

0 00 0 1 1

1 1

TT T� � � �

= +� � � �

H TH T H T

H T� � � � � � � � );&%"*

��� �������� 10 0 0 0 1 1

T T−= +K K H T H T �

� �������� (0)0 1 1

Tβ= +K H T �

� �������� (0)1 1 1 1 1( )T Tβ= − +K H H H T �

� �������� (0) (0)1 1 1 1 1

T Tβ β= − +K H H H T �

∴�0 0(1) 1

11 1

T

β − � � � �= � � � �

H TK

H T� � � � � � � );&%%*

� �������� 1 (0) (0)1 1 1 1 1 1( )T Tβ β−= − +K K H H H T �

� �������� (0) 1 (0)1 1 1 1( )Tβ β−= + −K H T H �

��� ������ < �� ���� ���, �!� �������!�� �� �����! ,�� ���� ���� ��� ��+�� �� ���!�� !8����!�

!��� �������-� �����!����-!&��H���)/^"*������/���+����!���

1

0

01 ( ) 1

{( , )}k

jjk

jj

N

k i i i N

+

=

=+ = +

�ℵ =�

x t �

!����� ,�+��-�����/�b�.��+�84O��+�����������������!��,�� !� �����)/^"*������/��-����,��

Page 15: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Extremely Fast Machine Learning Algorithms��

162

�� � � � � 1 1 1T

k k k k+ + += +K K H H �� � � );&%#*�

( 1) ( ) 1 ( )1 1 1 1( )k k T k

k k k kβ β β+ −+ + + += + −K H T H � � �);&%7*�

-����

0 0

1 1

0 01

1 1 ( ) 1 ( ) 1

1

1 1

( , , ) ( , , )

( , , ) ( , , )

k kj jj j

k kj jj j

k

N NN N

k

N NN NN xN

G b G b

G b G b

= =

+ +

= =+

+ +

+

� �� �� �

� �=� �� �� �

w x w x

Hw x w x

� �

� ��

� � ��

�+

0

1

01

( ) 1

1

kjj

kjj

k

T

N

kT

NN xm

=

+

=+

+

+

� ��� �

� �=� �� ��� �

t

Tt�

������+������������� 11k

−+K !�+�� ,�+��! ��H+������������

1 11 1 1( )T

k k k k− −

+ + += +K K H H � � � � � � � );&%5*�

��������� 1 1 1 1 11 1 1 1( )T T

k k k k k k k k− − − − −

+ + + += − + ×K K H I H K H H K �

��� 11 1,k k

−+ +=P K ����

11 1 1 1 1( )T T

k k k k k k k k k−

+ + + + += − +P P P H I H P H H P � � � � � );&%;*�

( 1) ( ) ( )1 1 1 1( )k k T k

k k k kβ β β++ + + += + −P H T H � � � � � );&%(*�

D'$���������� ��������+���!� ������-���+������� ,�!�- �����!��� � � ��������������&� � ���

������!��������D'$�����+����������� �,��!�������� ������������-�����/)%.*�6�s&��

���+�������/����/)%.*�6�s��+���/)�.*�6�s�������������� � �� <�� �+����8��!���+���

�����!!���������� ++��+��������S�K";=L&�

6�2����3:4'��������$ �

'�����������������+��)�++ � ,������0*����������!�+ ����� ,�� ����� �����+�

���� ������ �� � ++�� +�!�S&� � ���� +���� ℵ6� X)1 �� � *W1 �∈���� � �∈����� � 6� "�� %�� `Y� ��� ,�!�

!�8��� ����&� � D'$���� �! !�!� �� �-� ���!�!� M� � �� <�� � ���!�� �+� !�8��� ��� ���� ��

���!�&� � �� ���� � �� <�� � ���!��� ���� ���� :�%.� !� � ���+� ��� ��� �!�� � ���� ���� �� ���!�&��

����+ �����������;&%����/)%.*�6�s� ������� �!��S���� ��+��������+ !� ��&�����!����!�!��

Page 16: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Chapter 6

163

���� ������ �� ��� �� +���� ��8� ��+� � ���� � �� <�� � ���!�� ��� ��� �8���� �� ��!�� ��S&��

0��- ������ � �� <�� ����!������� �����!��������!�� ���������$��$�������/$

��$���/���! !��!�+�! ��+&��D�������+���� !��!�+�� �� !�+ !���+�+��+����!�+�������&�

'���� "*� � � �� <�� � ��!�B� � � �� <�� ���� ���� �� �! �� �� ���/� �� ��� �� +���

00 1{( , )}N

i i i=ℵ = x t ��������� ,����� ��!���ℵ6�X)1 ��� *W1 �∈����� �∈����� 6"��%��`Y���.�b�s&�

�* �!! �� ��+�� ����-� ���!�& � �+�� �!���� )��� �++ � ,��� ++��+�!*��� ������& �

�+� ���������������)�����0�� ++��+�!*�� �6�"��%��`��s&�

�* >��������� � ���� ++������������������ :�%.&�

�* �!� ��������� � ���������-� ����F).*&�

+* '���/�6�.&�

'����%*�'�8��� ������� �����!�B� ��!���)/^"*������/����-��!��,�� ! 1.k +ℵ �

�* >������������� ���� ++������������������ :�%/^"��������)/^"*������/���+��� 1.k +ℵ �

�* '����/^"�

�* >�������������������-� ����F)/^"*&�

+* '���/�6�/�^�"&���������!����%&�

H��� ����+���� ��� ,�!��$��$���������-� ���� ������ ���������+��! �� '�����$

��� !��������

1 11

1 11

Tk k k k

k k Tk k k

+ ++

+ +

= −+

P h h PP Ph P h � � � � � );&%1*

( 1) ( ) ( )1 1 1 1( )k k T T k

k k k kβ β β++ + + += + −P h t h � � � );&%=*�

-���� 1 1 1 1 1[ ( , , )... ( , , )].k k kN NG b G b+ + +=h w x w x� � � � ����.� 6���� ����D'$���������!� ����������

���� �� ���&� � ���!�� ������ ���� ��� ��� �! +���+� �� !��� ��� ��!�� �� D'$���� -��� ���� ����

��� ���!��,�� !��������!��� ���! �������� �� ����� &�

D'$������� �,�!��-�!����!� ���+���� ����'���!�-�����!���� ��� ���������+���

�����!�8��� ������� ������ ���!&�������!�!�-!�������������� <�� ����������&���!�����

�!� ��� �� � ��� !� �����+�� �$��$�� !�8��� ��� �+�� ��/�!� ���� ���!�� -� ��� ������

���� ������!����!��� ����+�������/��+������� �����!� ����-���K";=L&�

Page 17: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Extremely Fast Machine Learning Algorithms��

164

6�5���������'��$�"��)���'��$����4��������

����/���������+!�� ��+���+� �"==.�������!�+� ��� ���� �����!���� ���� ����

����� !�+ !�,���+� �����+���&�����!���-������� ����� ������ ���!��� � <������ 8��!�

������ � <�� ��!��� !� �!���+� ���� �������! !� ����� �,����: ���������� ���� ���: � � ���

�+�����������K";5L&����/����� !������� �H��!����������������1��0�∈�a�

( , ) ( ) ( )K φ φ= ⋅x z x z�� � � � );&#.*

-�����n� !����� �� ����+� �� �� �������� !����� )&� � ���� ���- �� ������ �!� �� ���� ���� ������������

�)1��0*��������!!�������!��������� �� !���/��������!�����������!����&��>���������������� �

��!�����!������ ���

( , ) ( ) ( ) ( ) ( ) ( , )K Kφ φ φ φ= ⋅ = ⋅ =x z x z z x z x� � � );&#"*

�+�!�� !������� �8��� � �!��

2 2 22( , ) ( ) ( ) ( ) ( )K φ φ φ φ= ⋅ ≤x z x z x z �

��( ) ( ) ( ) ( ) ( , ) ( , )K Kφ φ φ φ= ⋅ ⋅ =x x z z x x z z

�� � � � );&#%*�

D�� ���� �������!! �� !�������� � ���� �� ���� �� ,�,�!� ���� �� ����

�����!���� �������+���B�

1�6�):"��`��:* n)1*�6�)n")1*��`��n)1**� � � � � );&##*�

�� !�!���� !��8� ,����������� ������ ����!�����+� �����-�!������0�6�Xn)1*�W�1�∈�aY�

K";7L&� � �!���+��� ��� �� �� � �� �� � �����+���� �� ������� ���� ������� ���� ���� ����

!����������-�!����������+���������!��������+ ����� �������!����� ��! ��!� ������

��!�� ��! !� ���� !� �+� ���� �!�� �� � �����+��� � ���� �������� !����&� � �� !� !� /-� �!�

/����� �� �/&� � ���� � �����+��� � �������� !����� ����!�+!� �� �� � �����+��� � ����

!����&�������� �����/��������� � !����� ����������!����!!�������/��������� ���!������!��

����/������!� ����!��� ��/-��+������������!/&�

H�� �� ����4B� ������J!� ������� !����!� ����� ��� �� ��!�� !������ ��� �! � ,��

!�� +�� ���/����� ���� ��):���*��������:���!!�+��!���+����+���� ���� ���+ ��! ���

Page 18: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Chapter 6

165

!����&� � ��� �����������!� �� ���� /����� ���� �!� � �����!�������� !�����+�� �+� �� ���� /����� !�

�! � ,��!�� +�� ���� &�&��

,( , ) 0i j i j

i jK x x c c ≥�

� � � � � );&#7*�

������� ���!��!���X:"��`��:Y���+��+�!��!���X�"��`���Y����4���!�������������: !�!������� �

n):*�-�!������� !� ��� �����+����!��������!! ����� ���+ ��! ��!���������

( , ) ( ) ( )K x y x yφ φ= ⋅ � � � � � );&#5*�

�".��������K"1%L>�

• ����/�����+�� �!���! � ��� ������!�������-����-�+����� �!��+����!����-!���

�� ���������� ��/-��+����������������+�� &�

• �!�� ���������� ���� /����� ��� !� ���� �� ���� ����� � ����� ���� ����� ,��

�! � !������� ���!� �������������!������+���������������� ������ ���� !���!�+�

��� � ���� /����� ���� � �+� ��� ���!� ��� ���� �+� ���- ����� �:�� � �� �!�� �� ����

��������!����&��������� ��+�������������������� �������������� ����� �!� �����

/��������� :�)��I�������� :*���+��,������������� �� + , +�������� ����!&�������!��

���,����:�� � ������!� ���,����������� ������������ � ����� ���+ ��! ��� ��������

!����������/��������� ������!��!���������� ���!������&�

• ����������������� !� ��8� ��+� !������!!�� �������� ��� �� ������������

�������!&�

6�6����������������'��$����

'������ 2��������� �� )'2�*� !� �� !�!���� ��� ��� � ����� ��� �� ���� � ���� ���� ��

���� �!� �����/����� +���+���������!�����K";7L&�� ��� !���!�+��!��� !� ���� ���� ��������

K"1#L� �+� 8��+��� �� ������� �� �� � <�� &� � �� '2�� !� ��! ������ �� � ���� ���!! � ��� �+�

���� ����'2�!���������� �+���������!�!����������� ���!!����!! � ��� &� ��������������

!����!� �-� ����-����!!�!�������� ������!��������&����!������!�!����������!�� ����

���� ����+���� ��!���� �����+ ��! ���!����������+���������!�����-����� �� !� � ������

!��������&� �����������!�,�����, �-!��+�����!�+ ��-��!��� � + �������� �������� �&��

Page 19: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Extremely Fast Machine Learning Algorithms��

166

���� , �-!� ���-� ���� ���� �����!� � /�� � �!$,�� ���� ���+�� ���� 2�� /$>���,�/ !� )2>*�

+ ��! ��+�!����������� !/�� � <�� ��� ����+�!�� �� ������������K";5L&�

'2�!� ���� �� � +� ���� �� ���� +�� ! � ��+���� ��� ��: � < �� ���� ���� � )�! �� ��

����������������*����-���������+�� �!�)��+ ������!*���+ ����������!!�!&����+�!��

����� +�� �����!�� !����!�����������!!������+�� ��������+��������������!!� �������������

!����&� � ���!�� !����!�� �! +���+� �� ��� ���� �!�� ����� ,�� �!�� ���� �����+� !������

,����!&� �'2�!��������!� �� ���� ���� � ������ +�+�� ! ���+�� �!� ������:��+�� ������

!���������� ���+ ��! ���!����!&��������������,�������'2�!� !� ���� ���� � ������!����

/����� ���� � ������� �� ����� ���+ ��! ��� !������ �+� � +� !������ ,����!� � �����

� ��� + ��! ��� !����&� �H������/�!� '2�!� �,������ ������� !� ���� ����� ����� ����� +� ��

������� �� ����+���� ������ ������ /-� �!� /����� �� �/�� -� ��� +�!� �� ��8� ��� ���

�������� � � ���� � ��� + ��! ��� !����� K%L&� � '������ �� ���� ���!!�!� - ��� �� ������ ���� �

� � <�!� �� ��+� � ���� �:�����+� ������ <�� � ����&� � ��� ��� �� ,����!� ���� !�������+�

- ����� ����!� ��� �� �� ���� ����������� ���� �:�����+� ����� ����� � ���� ��!�� !������ !�

��+�+� ��� ���� ��� � �� ���� �:������ � �� ���� !������ ,����!� �� ���� ������ �� ��� ��

,����!&��' ����� !���� � !� +���+���������+ ��! ����������������+������� <�� �

!���������+�K"17L&�

'2�!� ���� ���� �� !�!���!� ����� �!�� �� ������! !� !����� �� � ���� ���� !� � �� � ���

+ ��! ��� �������� !����� ��� �+� - ��� �� ���� �� ���� ���� ���� �� � <�� � ������ �����

�������!��� ���� ��� �!�+�� ,�+� ����!��� !� ���� ���� �������&� ��� ������� ����������

���!�� !�!���!� !� ����� -� ��� ���� �� ���� ���� �� � �!�!� !����!��+� ��� ���� ������ <�� �

��������������!���+����!���!��+���������!���� !�������������! !����!��� �� ��:��������

��� � ������� ���!&� ��� !� !�+���������!�$���$���/���)���*��+ � !&� �����������������

'2�� !� ����� +��� �� ������J!� �+ � !� � ���� /����!�� ���� ����!�+ �� �� � <�� �

������!������,�:��+��������,��� ������ ��&� ����������� <�� �������� ,�!�������

�� +���� ����� �-� �� ����� ����� ��� �+� ����� ���,��� ,��� �� �� ��� ����� �� ����

�������������� ����!���!��-� ����� � <�� ���������, +�!������������� �������� 8��!�

���!!������� +����������!��� � < �����!�����!���!&��D����������:��������� � <������

��: �������� ���������� �+ !�� ��� ��������������!������,����!������K";7L&�

Page 20: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Chapter 6

167

����+ �������'2��������� !�!�����!�>!��!�! � ,�$'������2�����>��!! � ��� �)>$

'2>*��T$'2>��+ !�� ��� ��!� ��� �)�����!!�'2�*��∈$!������,����������!! �)∈$'2�*���+�

T$'2�������,� ������ ������ ���������K"15L&� �D�����!���>$'2>� !��!�+� ������������!��+�&� �����

�+,���������! ��!������,��������!! � ��� !������ ������!����!! � � �������� ������� <������

� �������!! � ��!� �� ���+ ��! ���!����!��! ����!�������� ��!��&�����,�������������

��� ��!��!�� ����� ������!�����!���!�����!������!����+���������� � < ������������� ���

��8� �����!�+�� ����!� ��K(L&�

I ,���������� :���+����� �! 1 ,TT T

NA � �= x x� �1 �6�K: "��: %��&&��: L��� 6"��%��&&������+�

���� ����!�+ �� ���!!� ,����� ��6� K�"�� �%�� &&�� ��L��� � �∈� X"�� $"Y&� � ���� � �� !� �� � +� !������ ��

��������������������-":"�^�-%:%�^�`�^�-:�M���6�.��+��-���+ ������!�����������

-":"�^�-%:%�^�`�^�-:�M���b�"��+�-":"�^�-%:%�^�`�^�-:�M���]�$"&�����������+ ������+ !�����

�� ���� � �!�� ��+ �� ���������� ���� ���� � � � !2 2 21 2

1

.. n

b

w w w

− −

+ + +�+� ���� + !����� �� ����

!��+������ !2 2 21 2

1.

.. n

b

w w w

− +

+ + +���������������+ !��������-���������+ ������������ !

2 2 21 2

2 ... nw w w+ + +

� ����� � +� ���� -� ���!�&� 6� K-"�� `�� -L�� �+� � �!� �� ����� ��: � <�!� �� !�

+ !����&� � ��: � <�� � �2 2 21 2

2.. nw w w+ + +

!� !���� �!� � � <�� � �

2 2 21 2 .. 1 .

2 2Tnw w w+ + + = w w �'��������� ��������� !�

min 1, 2

T

bw w

w � � � � � � );&#;*�

��� �� �� '2�� �! !�!� �� � + �� ���� !� ������ ,����!� ��� &� �+� �&� � ���� +�� ! �

��+���� !�&�1� M���6�.���+�+�� ! � ���� � !� �):*� 6� ! �)&�1� $� �*&� � ����������� !���! ���

!�,�+� �����!��� �!������� ��+����,�� ����!&�

H� ��� ��� ��� �� ��!�� ���� �� ��: � <�� ���� ���� � ���-��� ��+ �� ����!� �+�

� � <��������������� �!��������� ����!�����&� ��������� !�- ������!������� �!�

- �������&��'� ��+���������������������� �� ������������-� ������������-� ����� ,��

Page 21: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Extremely Fast Machine Learning Algorithms��

168

�� ���!������+ �� ����8� �����!&� �H������ ��1 � ��O� � ��� ��������-���������+ ��

���������!� �� ���+� �� ���� ��� ��D� ) &�&�� ��� � -�����&�1 � M� �� ]� $"*�� �++� �� �! � ,��

8��� ���w ������������������ �8��� �����!�� !��������!��� ��&�1 �M���b�"&� � ���-������!�

&�1 �M���^�w �b�"&��' � �������!�����������! � ,��8��� ���w ���������������� �8��� ������� �!� �

�D� ����� ����!����-�����+ �����������!��+� ��������� ��O&� ������8��� � ���!������

� �� !�&�1 �M���$�w �]�$"&��0������������ �!���++�w �- ���,�����.&�

�-������4��� ,�� ���� � ! 1 .2

T TC ξ +e w w ���w� !� ���� !��������� ,������!1

,N

ii

ξ=�

�+��� !� !���� �+� ��� ���� �!��� ��� ���� � ��� �� ��� �&� � ���� ��! �� ������ ��� +� '2�� !� ��

!������ ��� �� ������� ���-��� ���� ������� <�� � ����� )"@%*&�&� �+� ���� ��� �� ����!&��

� � <�� �� 12

T TC ξ +e w w-&�� ��&� �+� w� ���!�!���: ����!������ ����-�����+ ��

����!�- ���� ������������� �!���!! ����� �� ��!���� ,����+ ������!&� ����� � ���

������� � !�

min 1, , 2

T TCC

ξξ

+e w ww �� � � � );&#(*

' ��� ���� �4��� ,�� ���� � !� 8��+��� ��� � +� ���� !��� � ������� 8��+��� �� ������� �&��

����������� ������!����-� �����!�

1

min 1, , 2

NT

ii

Cb

ξξ =

+ �w ww � � � � );&#1*

!��4������� � � � )-�n)1 *�M��*�^�w �M�"�b�.���� w �b�.��"�]� �]���

� �

'2����8� ��!�������� ���!���+����1�����+��&��1����8�8��! � ,��!�� +�� ������� :�� !�

��+���+�������_�����+���_���&�

1 1 1

1

...T TN

T

T TN N N

x x x xAA K

x x x x

� �� �= =� �� �

� � ��

� � � � � � � );&#=*

Page 22: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Chapter 6

169

���������) ��4*���������������� ! .Ti jx x ��������� :� !������+�� ����/��������� :&���� !� ��� �!�

����� ���� ���� ����� � ��+�+� ��� ��� �� !� �������+� � ���� ���� �� +�� ��+���!� �� ����

��� ��,����!&���������+���� !���� ������!���������������� �n)&*���������!�+������������

+���� � �� 1 � �� �� � ����� + ��! ��� !������ �+� ���� ���� ��� ��: ������ !������ ��

���������� � ����� !������!� �� ���!! � ��&� � ��� !���� �� !������ � !� �!! ����� '2������ ���� ���

��� ����8� ��!�n): *�n):4*�����������+�3&�����!�����:�� � ������ �� !�+���+�����+����+����

!� �����+� � ���� � ����� + ��! ��� !������ ���� ���� ������� ��� ��8� ������ !� �����

�!��� �����-���� �����+ ��! �������+������������������+����� �!� !�� ��&������/�����

�� �/� !��!�+������� ��+����+���!�- ������:�� � �������� ������+����� �!� ��� �����

+ ��! ���!����&����������'2����!�+�� �������!! � ��!���,���������- ���+,�����!B�

"* ������� ������ ���� !�����!�����!������������� �������!! � ��&�

%* ����������������!����+ ��! �� ��� !����/��+� ���! �����-��&�

�� /����� ���� � �)1 �� 14*� !� �� ���� � � ���� !����&� � ���� ��! �� �+,������ �� �! ��

/��������� ��)1 ��14*� !������ ������!��, +������� ��n):*�������&���!���+��������8� ��+�!������

��+���!� �����������!�����n)1 *�n)14*��������������+�+ ��������������� ��/����!��)1 ��14*����

� ,����� ��+����,����!� ��� ����!����&������ !�-���� �� !��!! ����������!!����:��������

� ���+ ��! �� ����� �� �������� !�����)&� � ���!�����! �� ���� ��!��/������)1 ��14*�� �� ���

�!��������'2�������������!� ���� � ���+ ��! ���!����&���� �!�! ���������� �� !�4�!����

+����+�������-������� �����������14��+����������������!������!��B��)1 ��14*�6�1 �&�14&����

/����� !������� �H�!��������B�

�)1 ��14*�6�n)1 *�n)14*� � � � � );&7.*�

���������!���!��+�����0�/����� !��!�+��

2( , ) exp( )K x y x yγ= − −� � � � � );&7"*

-�����γ !����! � ,����������������� ��������+ �!&�

������������ ����);&#1*��

1 1 1

1( , , , , ) ( ( ) ) 12

N N NT T

i i i i i i ii i i

L b C u t bξ µ ξ φ ξ µ ξ= = =

� �= + − − + − − � � �w u w w w x �

Page 23: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Extremely Fast Machine Learning Algorithms��

170

1 1 1 1

1 ( ) ( )2

N N N NT T

i i i i i i i i ii i i i

C u u t u t b uµ ξ φ= = = =

� � � �= + − − − − +� � � �� � � �

� � � �w w x w

��

-��������f��������������������� �� ��!���+�����H����+����������� !B�

max( , , , , )

,L b ξ µ

µw u

u�

!��4������ 0,L∂ =∂w

0,Lb

∂ =∂

0,i

∂ =∂

"�]� �]������b�.��f�b�.�

�����!��� �� 0L∂ =∂w

��� �!�

1

( )N

i i ii

u d φ=

=�w x� � � � � );&7%*

�����!��� �� 0Lb

∂ =∂

��� �!�

1

0N

i ii

u t=

=�� � � � � � );&7#*

�����!��� �� 0i

∂ =∂

��� �!�

>�M�� �M�f �6�.�� "�]� �]��� � � � );&77*�

�����������b�.��f�b�.���+�-����,��.�]�� �]�>&�

'��!� ��� �����!����!���!� ���)&�����w�����f*��

1

1( , , , , )2

NT T

ii

L b uξ µ=

= − +�w u w w w w �

1

12

NT

ii

u=

= − +�w w �

1 1 1

1 ( ) ( )2

N N NT

i i j i j i ji i j

u t t u uφ φ= = =

= −� �� x x �

����+����������� !�

1 1 1

max 1( ) ( ) ( )2

N N NT

i i j i j i ji i j

L u t t u uφ φ= = =

= −� ��u x xu � � � );&75*

!��4������1

0,N

i ii

u t=

=��.�]�� �]�>��"�]� �]���

Page 24: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Chapter 6

171

�� !� ��� ��� �,����+� �� ��� � <�� � ������� ��� ���� �� ���� ! �� �� �4��� ,��

���� &���������� :��������� !�������� � !�

� � <��1( )2

T TL = −T u u Qu e u � ����6�.��.�]���]�>�� � );&7;*�

-�������6�K"�`�"L���K�6������+���6�+ ��)�*&�

� ������);&7;*� !�!�,�+��! ���� ����+��������� !� ��������� ����&�!�� !� �!��

1

( )N

i i ii

t u φ=

=�w x �

�+�����+�� ! ����� � !��

1s i gn( ( ) ) s ign ( , )

NT

i i ii

b t u K bφ=

� �+ = +� �� ��w x x x

� � � );&7(*�

H�� !���� ����� ,i∀ ��� ������ ���!�� !������ ,����!� �+� ����� ����� � !���� �!� /�����

���������!� ������+���������+ �� &�

� �����+ � !���,���������- ����������!�!������B�

) * ���� �6�.������w �6�.&�����!�1�� !�������������!! � �+&�

) * ���.�j�� �j�>������� )&�1 �$��*�^�w �6�"��+�w �6�.&�����!�1 � !������+�+�!������,����&��

���!������� �!����� ���������+ ������!����������!!���-� �������� �!�����&�

) * ���� �6�>������� )&�1 �$��*�^�w �6�"��+�w �T�.&�����!�1 � !�����+�+�!������,����&�����!��

���� � �!� ���� �� ��! +�� ���� ��+ �� ����� �� ���� ��!���� ,�� ���!!�!� ��-� ��� ����

� �!�����&�����.�]�w �j�"������1 � !�������������!! � �+���+� ��w �b�"�� �� !�� !���!! � �+&�

0������� ��������� ��!��� �!�-�!�������� ������ �� ��� ����!����-���.��+�>�

�������!�+&��0�����!��� �!��

��&�1 �$���6�� �

∴���6�&�1 �M�� �6�T

j j j i ij svindex

u t t∈

−� x x� � � );&71*

��� !���!����������������������!����� �!��+�� +������,�����&�

1 Tj j j i i

i svmindex j svindexb u t t

svmindex ∈ ∈

� �� �= −� �� �

� �� � � � x x

� � � );&7=*

Page 25: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Extremely Fast Machine Learning Algorithms��

172

-����� �&� ���� !� ���� !����� + ��!��� !������,����!�� �+� �& � ���� !� ���� !����� + ��!���

!�����!�,����!����������!���������������!�K";5L&�

6�8��'����������#�����)���������������'�

�����������-�+ ���������������!�������� ���!!����!! � ��� ����'2��M�+ ���������+�

�+� + ���������+&� � �� + ���������+��!�,������ ����'2�!������!������+��+���� ��

���������!���� +������ ������!!��-�����!�����+ ��������������! +��!���������+���� ���! ����

�� � <�� �������� &� ������������ ���!�,������ ���!!�'2��������!� ���!������!�

,�� ����!� ����� ��� �� ���� ������ �� ���!!�!&� � �� !� �������� �!�����!� 4� )������ ��

���!!�!*� �-����!!� ����!�-����� ����#��� ���� � !�������!� ��� ��,����!��� �������!!�#� ����

����� ,����!&� ?����� ������ ���� 4� +�� ! � ���� !� ���� ���� ���� ��� �+� ��� !�, �� ��

������&���� !�����+��!���!�������� ��� ��&����� ����!� �������+����� �� !��!! ��+�

���� ������������+�� ! ������������ ��+�+������ ���!������ &� ����������� ������� ���!!�'2��

����+!�� � ����� !�,����� � ���� ���!! � ��!� ��,�� �� ��� �!������+� �� �� ������� �� � <�� �

������� !���+�+&���

�+ ���������+!� �����!�� - +���� �!�+�� �+� ����� ���� ���!! � �+� �� ������ ����!B� ��

��� !�� ���� )"$,$�*�� �� ��� !�� �� )"$,$"*�� �+� ��I'2�&� � �� �� ��� !�� ����� �� � ���� '2��

���!! � ��� !��!������+������������!!�+ !�� � �� ������+����� �!�����������!!���� !������

��!�&� ����� ����'2�� !� ��� �+�- ������� �����:�����!� � ���� �������!!�- ����! � ,�� �����!���+�����

������:�����!�- ������� ,�������!&��I ,��8���� ��+����):"���"*��`��):�����*��-�����: �∈���� �6�

"��`�����+�� �∈�X"��`��/Y� !��������!!���������������'2��!�,�!��������- ��������B�

1

min 1 ( ) ( ), , 2

Ni T i i i T

ji i ij

w w C ww b

ξξ =

+ � �

( ) ( ) 1 ,i T i ij jw x bφ ξ+ ≥ − � ���4�6� �

( ) ( ) 1 ,i T i ij jw x bφ ξ+ ≤ − + � ���4�r� �

0,ijξ ≥ �4�6�"��`���� � � � � � );&5.*�

������!�, ��);&5.*������������4�+�� ! ����� !���+��� !� ��������!!�- ������������!��,�������

����+�� ! ����� �

���!!���:�L���� max(( ) ( ) )

1,...,i T iw x b

i kφ +

= � � � );&5"*�

Page 26: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Chapter 6

173

���� ������ !�,�� ���� +���� ������� �� );&5.*� -�!�� ������ �� ,�� ����!� !� ���� !���� �!� ����

��������+���� �);&5.*&��?�����4�8$,�� �����8��+��� ��������� ��������!�����!�,�+&����

�� !�����+�������� !����+������������ <�� ��������+�������� ��� �����!�!����!�

� ������- ���4&����������������- ���"$,$"����� ��� ��&�

D�� ��� !�� ������+� �!�����!� 4-4D�.��� ���!! � ��!� -����� ����� �� !� ��� �+� �

+���� ���� �-� ���!!�!&� � �� ��� � +���� ���� ���� ���� �+� 3��� ���!!�!�� ���� ���- �� � ����

���!! � ��� ��������������!�,�+B�

min 1 ( ) ( ), , 2

ij T ij ij ij Ttij ij ij

tw w C w

w bξ

ξ+ � �

( ) ( ) 1 ,ij T ij ijt tw x bφ ξ+ ≥ − � �����6� �

( ) ( ) 1 ,ij T ij ijt tw x bφ ξ+ ≤ − + � �����6�4�

0ijtξ ≥ �� � � � � � � );&5%*�

���� ������!�,������+������);&5%*�-�!����������,�� ����!� !�����!�����!�����������

�� +���� � �-� ���!!�!&� � ��� ����� ���!!� ��!�8�4� +���� � �!�� 4-4D�.��� 8��+��� �� ������� ��

������!����� ����� !�,�+�-������������ �������!� ������8� � ,�� ����!� K"1;L&� � ����������

+ �����������+!� �� �+���� ��!� �� � ���� � ,�� +���&� � ����� K"1(L� !����!��+� ��� ��

���!���-����!!����!! � ��!�- �������������&��0� �+���K"11L�!����!��+�����:$H !����� ���B�

�����"$,$"����!! � �����!�!���,������ �!���������+����!!���+������ �����!���� !��������!!�- ���

�����!��,��!&�

����+ !�+,��������"$,$"��������� !���������!!����� + , +�������!! � ��!���������������

������� <�+�� ���� ,������ � ���!!� ���!! � ��� !�!����- ��� ��+� �� ,��� �&� � �������� ��� �� �

����+� �+� ������:$H !� ��� �� �����+� +� �� ��,�� ��+!� � ���� ������ <�� �

����&����!������! <����"$,$"����!! � ���������-�!������ ������- ��� ���+��������������!�-�

���,��������������������!�K"17L&�

��������!������I'2������ �����!�� !�!�����!������ !��������+���+���!� ��

���!���!�!�� �����+������ ��I�����)��I*&� ������+�� �����I� !���� �������!! � ��&� �0�� ����

������ ���!!�!�;�� ��� �+� ��� ���� ���+ �� � !��������� !� !�-� � 0 �&� ;&#&� � I ,�� �� ��!�� +�����

!���� �� ��� ���� ���+���+� ����� ����+�� ! � ���� ��� ���� ���!! � ���;@�� !� �,������+&��

����+�� !������: ��+��������������+��� �� ��+�!����������;����� �����+��� �� ��+�!���

Page 27: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Extremely Fast Machine Learning Algorithms��

174

��������&�������:��+�J!�+�� ! ����� � !������,������+&��0 ���������� ����������!���

�����+������� + ����!��������!!������������� ����+����K";5L&���� !�����+� !����� �+� ����

����������� � ����������+� �� !�+�!�� ��+� ������:��!��� &�

*������6�(����"���������������9�'��6�8�������������"������"���!���������$�

�� ���� ���!!� ���� �� ���� �������� �����+� ��� ! � � �����+� ����� �� I����� )���I*� !�

��+���+� � �� !� !��� &� � 2>� ����! !� �� ���I!� !�-!� ����� ���� ���� !� ��� �,�+� ��� ����

+�� ! � +�!� �+� ���� ! <�� �� ���� ������ ���� ������� ��� �� ����������� -� ��� ����

+ ��! �� ��������� ����!�����+�!��&����� + ����!�������� �+ ������������ ���I!� �� ���

+ ��! �����������!����!����� ��+��+������� <�� ����������&�

���I� !���������-�!���+��!���,����� ���� ��+�������!&� ������+���I���!���

� 8���+��!��������� �� !��������+��-� �����!�����!�� � �� �� �&�������+�� ����

��I���!�+�!�-� �����,��� �����.���%����!����, ������&��H��- ����!�����+�� �������I!�

��+�����+�� �������!!������� !�������!�+� ����!! � ��� ���!/!&���

%��� ���� RA=B�I ,���� !�����+� �+��� !���������� ���� !���6� X�B�a�g� X.��"YY�� ����

���!!����I)�*���+�� ! ���I!��4����!!�!�,������������� !�-� ��������� ��������+�

�! �� �� ���+� � ���� ��I�- ��� 4� ���,�!� ������+� ��� ���� ���!!�!�-����� ����� �� ���� /)/$"*@%�

������+�!� !�������+�- ���������������&������+�!�����������+� ����� �����- �������

Page 28: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Chapter 6

175

! �������+��������������-�+�!� �����!��+��������+�!���� ������� �����������4�

���,�!&����������+�� �������4�j�/� !������+������������+�) ^"*���+�� �����)4^"*��������&�

���,������������� ���������I�@�� ����:�∈�a��!���� ������������+���+��,�������

����� ���� ���� � ������+�&� �����,������� ����+�� ! � ���� � !� ����,������!!� ���+�

- ��� ���� �����+�&� ���������� ��/�� ������� ������I� !�/-��!� �����,����� �����&� �����

������������!�����+�������������� �������+�� !�������,����� ���������&������+�� ! �

+��+ !� �� !� �����!!�!����+�3������������+����!������3�+�&���!!�� �������������������

�� ����� !� �!� ���!!�� �� !�+�� !� ���� ����+�� � ���� )/$4^ *��� ��������, +�+� �j� 4&� �' � ������� ���� 3�

+�!�������!��+�!� ,�, �����!!�3�� &�&������ ������+�!�������-�+ ����!���� ��

���������������+����3&�

���I� !� �8� ,����� �� ����� �� � �� � !�� �� ���!!�!�-����� ����� +�� �� � ���!� ��

���!!���������� !�&������!��� �� !��,������+���� !������+�� ! �+�����������!�+!�������

� �!���+���!��������!�������� !�&���������+��������!������������-����!!�!��������������!!�

!��� � ���+���������� !����+��������I������+!�����!������� �!���+�������!��������!�������

�-� � !�&� � ���I� ���� ���!� -��� ��� �� ���!!� ���� !� � ���� � !�&� � 0�� �� ������� - ����������������������

4����!!�!��4D��+�� ! �+�!�- �������,������+� ��+�����+�� ,�����!-��&�

�����������!������������ !�� !����������!�����������!�!���&��' ������ !��!����� !�����������

����� ���� �� �!! ���� ����� ������� ���� !�!����� ���� +�� ! � ������ ����� ���� ���� ����

���,��!�!� !�����I&�����I���������������� <�!��������!!���+�� ! �����!����- �����������

��� � ��������!���� �����+�+�� �!��+������ � !�������������� �+ �������������!���

���������������- ���������� ����+ �������+�� ! �����!�K"17L&�

6�8������9�'��������$ �

��I'2������ ���������!�"$,$"�'2�!���������I�+�!��+���� �!���� ����!���!���

� +��������!!&������&��������-� ����,��������������!�� �� �����+�3����!!�!���������3�+��- ���

����!��+�[&���������� ����3�+�� !�+�� �+��! ( ) ,min { , },c x i jδ θ== −w x -������-�.� !�����

���!!� �!!� ���+� �� ��� �� �:������ 1&� ���: � < �� �������� � �� ���� +�!� � �� ���I�- ���

� � <������+�� ���������� <�� �����&� � ���������������I���!� �����������+�-�!��

+�!�������: �������� ����!! � ��!�,�����/����� +���+���������!����&� �'���������I� !�

Page 29: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Extremely Fast Machine Learning Algorithms��

176

��� �+������� ������� �3�+����������!��!�������� ��� �!� ������+���� ���� 3&� �����

���I����� � !����� ����!����� ������� ����� !���������-� ��� !������+����������+��

�+��!! ��+�����!��� � �����!!&�

��I'2�� ������!� ���� + , +���� ���!!�!� - ��� ������ ���� &� � ��� !� !���� �� + !���+� ����

�! �����!!���������"$,$"�+�� ! ������!�������������:�����!��������! �����!!����������-���

��������+�� ! �!������&�������� ������������!!��+��� ������ !�������I� !���� �����&��D��

�!! �������� !� �� !��������������!�����8�������!!�!�������������������� � !�&� � ��� �������I�

+�� ! !�������+��� ��� �!����������+ !�� ��� ������!!������!�-��+����� � ��&�

��I'2�� !� !���� �� �� �: !� �� ���� ���!!� '2�� ���� ���!� � ���� ��� �� �+�

�,����� �� ��&����� � �������'2����� �� !��!��,�+���!�����!������ ������- ���������� ��

!���! <��8������+ �������-�����-���! ����6���e�����e�x�%�������� ���!������������!�+������

+����! � � ����+�� - ��� !��� ����� �� ��� �!���� �&� � 0�� "$,$�� ���� ���!!� '2��

��� ������ ����������� ������ ��!��� !��!�+��������������4����!! � ��!�������������� ��

� ��� !��"$,$�� 6� �/�e&� ��!!�� �� ����� �������!!�!���,�� ���� !�������������:�����!�� ��� ��

����� "$,$"� '2�� ��� ��8� ��!� %�@/� ��� �� �:�����!&� � ���!�� ��� �� 4-4D�.��� "$,$"� '2�!�

-��+���8� ���

1 21 1

( 1) 2 22v

k k NT c ck Nk

δδ δ δ− −

− −− � �= ≈� �

� � � � � );&5#*�

0�� �� ��� ���� ��!���-�����e� 6� %�� ���� ������� � ��� ��8� ��+� �� ��� � ���� �� ���� "$,$"�

'2�!� !� +���+�����4�� �+� !���� �- ��� ������� ��� ���� ! ����"$,$��'2�&� ��! ��"$,$"�

'2�!�- �������� �� ����� ���� !����!���������+������� ��� ��&��������������/�����

�,����� !� !� �� �+� + ��� � �� �,����� � � ���� �+� �� !� ���� ������ �� � 8��� !������

,����!��,�����+�,��������,����� �����!���������������I���/�����������!��!���K"17L&����

!�,�� ��!� �� � ���� �)1 �� 1*� !� ���������+� � ������ �+� ���� �!�+� � !�,����� �����!� �� +�� ! �

���� &�

� �

Page 30: 6 ˇ˜shodhganga.inflibnet.ac.in/bitstream/10603/37536/13/13_chapter 6.pdf · 148 6

Chapter 6

177

6�=��#����������

����+ ����������� ������ ���!�������D'$�����+�'2����!�+�����������!���!��+������

+ !��!!�+� � �� !� �������&� � ����� ���� ��!�+� � �-� ��������!� � ���!! � ��� � M� ������

��-�/!��+�!��� !� �������� �������&���������������������� !� �������!������ ���!� !������

����� ���� �:�������� ��!�� � ����� � ��� �� �� � ��!� �� !����&� �H� ��� +�! � �� ���� ���!! � ����

��������-�/����������!���+���������+� ����� ,���&��?������-����� ���!�������+�D'$

������������!���+����'�0��-� ����!����+�����!! ��+����������!&��?������������������

� ��!� ��!���� ���� �,�� ��� ���� ���!� � /�� � &� � ����� ���� ��!� ����� �� ��, +�� �������

������ <�� ����������&��D������������+��'2�� !��,����!�����������!������ ���!� �

������� �����!�&��0������ ���!!����!! � ��� ������� ��� !���I'2��-� �����!�!�-��+�

������ <�� ����������� �������������!���,�� �!�������!&�