friedman-popescu's rulefit methodstatweb.stanford.edu/~jhf/ftp/rulefit.pdf · crim zn indus...

37
! " " # # " $ " " # " %# #& ’ # # & # " " # ’ ( " ’ # " $ )’ # " " # ’ ’ * " # %#+ " ’ "’ # # &# # # # " # & # " # # &# &## #’ # , # * - ! * # # . %# # /& " " ’ ’ # /& $ " # &# # ’ %# / # " &# # " " $ " # 01 " # 01 %# / " ’ ! ’ # 0/1 234 &# " &# # # 5 # $ " " # 6 # ! # 2014 " ’ 24 7# 01 " ’ &# # $ " # 8 5 ’ ’ # 9 " ) )" 8 : )" 6’ )" :8 ;<= 2$#">"4 9 " ) )" 6’ )" :8 ;<= 2>"4 3

Upload: doandat

Post on 10-Aug-2018

212 views

Category:

Documents


0 download

TRANSCRIPT

���������� ������ �� ��� ���������

������ �� �������� ����� �� ��������

������� �� ����

��������

����� ���������� �� �����!����� ������ �� ����������� � ����� ����������� �"������ ����� ������� "��� �#� ��� ��# ���� �������� �" ���$������ �" ���� ������ �"������ ��������� ���������� �#� ����� �" ��������� ����� �������� %#��� ���� ����������� �#�&� �� ������� ���������� �����' �������� �� �#� ���� ���#���� ��&���� �#����������� ������ ���� �� �������������� ������ �" ��� ������ "���� ��# ���� �� ��' ������������ � �� ��� ��(����� �� ��������� ������������ �������� ������� �" ������������ ��������' ���� �#� ������ ���� �" $���� ����� ������ ������ )������'� �#� ������ �" ���������" �#� ���������� ����� ������� �� �� ������� ������'� �����' �� ��*����� ������� �" �#������ ����� �� � ��������� ���������� ������� %��#��+��� �� ��������� "�� ���������'������"'��� �#��� ������� �#� �� �������� �� ����������� &��# ��#�� �������� �#� �������#�� ������ �" �#��� ������������ � &��� � �#� ���������� �" �#� ��#�� ������� &��# &#��#�#�' �������� ��#��� �������������� �� ���� �� ������,� ���# ��� �� �����������*�����

��� ����� � ������ - ����������� �����!������ ������� ���������� ������ �����������*����� ������ ���������� ��#��� �������� �� �������

� ���� ����

���������� ������� �� ������ ��������� �� �� ������� ��#��� ������� �� ������ �����.������� %#� ������� �� �� ������� �#� ��/��&� ���� �" � �������� � �" �'���� ����� ����'������ �#� /��&� $���� ����� �" ��#�� ��������� � � ���� ��� � � �� ��� �������� &��# �#� �'�����%#� ���������� �/�� �#� "��� �� � � ���� &#��� �#� "������� � ��� ��� ��� �" $���� ������" �#� 0�����1 ������� � �� ���� �� "�� �#� 0������1 ������ �� %#� ��� �� �� ������� ������� ������� �/ �" �����' �� ��!��� �' �#� ���������� 0���/1

��� � � ������� � ���� 234

&#��� ���� ��� ���������� ���� �� ���� "�� ���������� ���� �� &#�� �#� ���� ���� �� �� �� �#��5������ ���� �� ���� �#� $���� ������������ �" �� ������� ��� �� "�� �#� �� �� �� ����������6���� �#�� ��!������� �#� ������ ������ 20�����14 "������� �� ����� �'

� ���� � ��� �� ���

������� � ����� 2�4

7��# ���������� ������� ��� �� ����� 0�������1 ����� �" ���������' ������ ���� ���� �����&#��� �#� $���� ����� �" �� ������� #�� ���� ����������� 8� ����5������ � ��� �� � ������ ������� �' ���'��� ������� ��������� �� �#��� ���

�9�������� �" )�������� �� )��"��� ���� 8��������� :������ )��"��� 6��������'� )��"���� :8 ;<=��2$#">���"�������4

�9�������� �" )��������� )��"��� 6��������'� )��"���� :8 ;<=�� 2�����>�������"�������4

3

� ������� ������

������ ��������� #�� ������� � ����� ���� �#� ���� ��&��"�� ������� ���#��� 2��������� 3;;? @ ���3� ������ �� )�#���� 3;;?� ������� ���34� %#��� ��������� ����� �/���#� "���

� ��� � � ���

���

����� 2=4

&#��� � �� �#� ��,� �" �#� �������� �� ��# �������� ������ 20��� ������14 ���� �� ��*����� "������� �" �#� ����� ������� � ������� "��� �#� ������� ��� �������� ������������ ��� �� �/�� �� �� ����� ���������� �" �#� ����������� �" ��# �" �#� �������� ��������&��# ����� ����� �#� ������������� �������� �����"'��� �#� �������� ����� ������������������� ���#��� ��*�� �� �#���� �" �������� ��� ������� 2"������� ����4� #�& �#�' ��������� "��� �#� ��� �� �#� ������������ "�� �������� �#� ����� ���������� ������������� �%#� �����# �/�� #��� �� ���� �� �#� ��������� ������ ������� �������� 2A)�4

���#������' ��������� �� ������� �� ������� ���=� ���� ��� �" ��� ������� ���������#� �������� �" �#� ����� ���������� �� ������� �' �������,�� ����� ���������� �� �#�������� �� ���� ����� �

������ � ��� �������

��

���

�� � � ���

���

������

� � ���

���

� � �� 2<4

%#� !��� ���� �� 2<4 ������� �#� ���������� ���/ 234 �� �#� ������� ������ �� �#� ������2�������,����4 ���� �����,�� ���� ����� "�� �#� ���B������ �" �#� ��� �������� %#� ��(������" �#�� �����' �� �������� �' �#� ���� �" � � �� A� �� &��� /��&� �#� "�� �#�� 20����14 �����'������ ����� �" � ������� ���� ������ �#���/�� � &��� � �������� ���������� ���� �#� ������� �� ���� � �"��� &��# ��' ����� ��� �� ,��� 2��� %���#���� 3;;?� 9���#�� � � 3;;�4� A�� ������ �/�� �� �� �#� &#��# ������,�� � ������� �" "����� ���������� ���/ 234 ���� �� ����������� ��� ���� �� �������� �� �' "��� 2�����C"���4 �����C��������� ��� ������#�� "�� �������2<4 "�� �� ����� �" � � �� ����� �����' �" ���� "�������� ���� ���� �� ��������� �� ��������� ������� ���<�%#� ��� ������� �������� ���� �� 2=4 2<4 �� �#������,� �#� �������� �� ������'

�������� ����� �#� ����������� ������� ���#��+�� ��������� �� ������� �� ������� ���=���# ��� �� �/�� �� �� ������ "������� �" �#� ��������� ������� �#������,�� �' ��� �"�������� � � � �� �� � � ��� %#� ���

���� � �� ��� 2�4

&#��� �� ���������� �����!� ��� �" $���� ������� ����� ����5��� �����!� "������� ����"��� �#� ��������,�� ���� �� ��� �������� �#����� "�� ���# ��������,�� "������� �������� ��������� ����&� ���� "������� ���� �#� ��������� ������� �" �#� �������� �� �������� ����� �#� ���.

��������� ��������� �� ������� �� ������� ���= �� �#�&� �� 8������#� 3�

��������� �

�������� ���������

� ����� � ��������� ����� ��

� ��� � � � �� � D� �� � �����

�������

����� �������� � ��� ���

� ���� � �� ���� ����� � ������� � � � ����� E� �������� � ��������

A� ���� =� ����� ���������� ��*����� �������� �" ��,� � � � ������' ��&� &��#������������� "��� �#� ������� ������� ��� ����� � ���� ����� � 8� ��������� �� ������� ��������� ���=� ������ ����� �" � �������� �������� ���������� 2���� ����������4 ���� �#��������� ������� �������� �' ������� �#�� �� ���� ������� ���������� )����� ����� ��������� ���������� �' "���� �" ����8� ��# ���� �� �#� 0�����'1 "�������

������� � ����� � � �����

���

����

������� ����� ��"������� ���������� �#� ���������' ������� �������� ������� ����������

� ���������� �' �#� ���� �" �#� 0�#���/��1 ������� � � � � �� 8� ��� �5������ ������� � � ������ ��# ��� ������ ���� �� �� �������� &��#��� ��"������ �� �#��� ���������' ��������&#���� �#� ��#�� �5����� � � � �5���,�� �#��� ��(������ A���������� ����� � � � � � ��'�#� ������ �� &#��# ���������' �#���� ��� ������� �*��� �#� ��������� �" ��# ���������� ����� �#� ��+������)����� ������ �������� ���#��� ��������� ������ ���� �" 8������#� 3� 8 0�����1 ��.

������ 2������ 3;;?4 �� ������� �' ����� �+����C����� ����� ���� ��� � �� � ����� �� �������� � �� �� � � ��� �� �+��������' �#������ �� 2���� =4 �� �� �������� ����� 2��������� ��� 3;;;4� ���� "������ 2������ ���34 ��������� �������� �������� ���������� �' �.��������' ������,��� �#� ������#� 20�� ���1� ���� =4 ���� �� ����� "�� �#� �������� �������2���� �������� �����4� A� ���# ���� �#� ���B������ �� 2=4 �� ��� �� � � ��� �� � ������ ���#� ����������� �� ������ ����� �" �#��� �" �#� �������� �������� 8������ 2������ ��)�#���� 3;;?4 ���� �5�������� ����� ���� ��� � ������ � ��� "�� � ���� ��� �� �� �+������� ��������� � � � �� � � � �� 8������#� 3� ����������� �� �/�� �� �� �#� ���� �" �#� !�� �����'"������� �� ���� F8 % 2������� ���34 ���� �����' �" ���� ������� ���� ��� "�� ������' ���� �� ��"��� ���� ���� � � ��� �� � � ���� ����������� �� ����� �' �� ����������� �� ������� ���= �5���������� &��# �����' �" $���� 2�� �4 ����� "�� ���������

��������� �" ���� �������� ������ "����&�� �' 2<4 �� ������� �#� ����� ���������� ���������%#��� �������� ������� �������� �#� ���� ��� ���,��� ����� �" � 2� ����4 ���"����� ���� ���#�� �����5�� ������ &��� ���� �� �� "���' ����������� �� �#� ���� �#���� "�� � �������� �� &����� 2� � ���4 �� ���& ���� �����' �#� �#� ���� ����� ��,� � 2� �

��4 � � �������

���� 2� � ���4�8��#���# �� ��������� ���� �" �#��� ���������� �� �� ���� &��# ��#�� ��� �������� �#�'

#�� ����� �5��������' ���� ������ &��# �������� ����� 2������� � � 3;G=� H����� 3;;=4�

� � �� ����� ��������

%#� ��� ������� ���������� #��� �� ������ ������ �� � �� �#� ��� �" �� �������� ����� "������� ������ � � � � � �� � � �� �����!�� ������ �" �#��� ������ � � � � %#�� ��#��� ������ �/�� �#� "��� �" ���$������ ����

����� ���

��

��� � �� 2?4

&#��� ���� �� � �������� �" �#� ����# �" ��� �������� ��# ���# ��� ������ ������ �&������ ����� ��� ��� A� �� ���,��� &#�� �� �" �#� ����� ������� ����,� ����� �#� ��������������' &��#�� �#��� ���������� ������� �� � ���� � ��� ������� �#� ����� ������������� �#� ������� �� �/�� �� �� ���������� ��������

� � � �� �� � ��

��!��� �' ��&�� �� ����� ������ � � � � � � �� ��� ��������� ������� ������� ��.�������� ����� 2����4 �#� ������� �� �5�������' ���������� )��# ����� 2?4 �� �� �������

=

)( 14 uxI ≤14xu

)( 14 uxI >

{ }),,( 32 cbaxI ∈ { }),,( 32 cbaxI ∉ )( 7 zxI = )( 7 zxI ≠32x

{ }cba ,,

7x

1 2

4

)( 14 txI ≤ )( 14 txI >14x

t

3

5 6

7 8

{ }z

0

������ 3- 8 �������� ����� %#� ���� ������������� �� ��# ���� �� ����� �' �#� ������� �" �#��������� "�������� �������� &��# �� �" �#� ����� �� �#� ��# "��� �#� ���� �� �#� �����

� ��������,�� "�������� �" � 2�4 &#��� �#� �������� �� �� �#� +�������� �#� ��!�� �#����������� ������� �� ���I��� �#� "�� �#� ��� �� &#��# �#� ������ �" ����� � � 2��� �� ���������4 ������� ��

"���� �" 2?4 �� �� "�� �#� ������ ��� � � � � � �#� ������������� "���� �� �� ������� "��� �#��������� A� �#�� ��� �#� ���� 2?4 �� �� �5������� �� �#� ������� "���

����� ��

��� ���

��� � ��� 2J4

%#� �������� ����� ������� � "�� &#��# � � �� � �� ��� �� �� �#��� �#� 0��!��1 �#� ���������� ��� �������� �" ������������� �� �� �������� �#� �#� �������� �� ��������� �" 0������1����� ��# ��!��� �' ���� ������ �" �������� 8� � �5����� �#� ����

����� �

��

���� � �� � ����������� ����� �������� ������ �����#��C��� �����������#����#����� ����� � �����

�� ��!��� �' �#��� �������� �� ���,��� ���� �������� �#� ���� �" "��+������� ��� �����#� ������

��� � �� ��������

��� &' �� ������ �� ������� ���� �������� �� �� ��� �#� ��� ������ �� �� ������� ��8������#� 3 �/� �#� "��� �" ���� 2?4 �� �#�� ��' �� ����� �#� ������,���� ������� �� ����= "�� �#� ���������� ������ ������� �� ��� )��# 2�����������4 ������,���� �� �������'��"������ "�� ���� �#� "�& ��������� ������� ��#���# "�� ����5���� ������#�� ���#��� �������� %#� �����# ���� #��� �� �� ���& �������� ���� � ��!���� ���������� �" ������� �/� ������ �" �5������ "�� ������#�� "�� ��������� �������� ���� ���������� %#� ���

<

�������� ����� �� ���� � �#� �#� ��� ������ �� �� �� 8������#� 3� ��# ���� 2�������� ���������4 �" ��# ��������� ���� ���� �������� ���� �" �#� "��� 2J4�%#�� �� ���������� �� ���� 3 &#��# �#�&� �'���� �������� ���� &��# !�� ������� ����� �#�

����� ������ "��� ����� �������� ���� ������#� �� ���$������� &��# 8������#� 3� 8��������&��# ��# �������� ���� �� ��� �" �#� ����� ������� � � ��� ������� �#� ����,� ������������� �������� ���� �" �#� ������ 20����� �����14 �� ��� �������� &��# �#� ����� ���������� �#� ����� ���������� ��������� ������ �����!�� ������ �" �#��� ����� ��������#� ����� ������ ��� �#� ���� �����'�� �� ���� 3 ����� � �� < �� �������� &��# �������������� ��� &��# ����� ������ � �� � �����������'� ���� 3 �� �������� &��# ��������� ������������ ��� &��# ������ ����� �� �� ��� �� ���� � �� �������� &��# ��������� ������ �&��# �#� ������ ���� ������# ���� �" �#� ���� ���������� 0�����1 ���� �� ��� �" ��� �&� 0���#���1 ����� ����������

"���� �� 2J4 ������������ �� �#� ����� ������������� �� �� ���������� ����� �" �#� ������ %#���"����� �� �#�&� �� ���� 3 "�� ��# ���# ����� %#� ���� ������������� �� �' ���� �� �#� ������ ����� �' �#� ������� �" �#� "����� �������� &��# �� �" �#� ����� �� �#� ��# "��� �#� ������ �#� ����� I��� �#� �#��� �� �� ���� ������������� �� �#� ���� ����� 8� �5������ �� ���� 3�#� ����� ������������� �� ����� 3� <� ?� �� J �� �����������'-

����� � ����� � ������� � ����� � �� � ����� � �� �� ������� � ��� � ��� � �� � ����� � �� �� ������� � ����� � �� � ��� � ���

��� � �� �����

%#� ���������� �" �� ���# ����� ������� "��� �� �" �#� ����� �������� �������� �' 8������#� 3���������� �#� ���� �������� ��������� � %#� ���� ������ �" ����� ��

� ���

���

���� � �� 2G4

&#��� �� �� �#� ������ �" ������� ����� "�� �#� ��# ����� %#� ���������� ����� ��

� ��� � �� ���

���

������� 2;4

&��#

������ � ��� �������

��

���

�� � � ���

���

�������

� � ���

���

� � �� 23�4

��� ������#�� "�� ������� 23�4 "�� �� ����� �" � � �� �� ���������� "�� �#������ ���� "���� �� ��������� �� ������� �� ������� ���<�%#� �������� �� 23�4 "�� � � � �� ��� �+������� ����� ��*����� ������ ����"��������

������ �� ��# �" �#� ���������� ����� ������ A�������� �#� ���� �" ���� �' ������ �� � �����2�� � �4 �� ��������� ��� ������������� ���B����� � � ���� �������� �#� ��� ���� ���#� !��� ���� �" 23�4� ��� ������� ��� ������������ �� �#� ������ �����' ����� %#���"���� �#����B������ �" ����� &��# ����� ����� �� �����,�� ���� �#� �#��� &��# ������ ������ %#� �����" ���� �� �#������,�� �' ��� ������ ��������

�� �

����� ��� 2334

&#��� �� �� ��� ������� �� �#� ������� ��

�� ��

��

���

������� 23�4

8 ������ ������� �� �� ���� �� ���������� �+�� ������ ��(������ "�� �5���� �' ����������# ���� �' ������,�� ������� ������ �������� �� 23�4� %#� ������' ������ #��� �� �� ����#� ������� ��������� ����� �� 23�4� %#�� ����� �������� �����' �� ���B������ �" �����&��# ���' ���� ������� �� � �� �� �#��� &��# ���' ���� ������� �� �� %#� ������ �*����� �� ������ �#� ������ �" �#� �������� ����� 2;4 ����� ����� &��# ���# ���� �������� ���#� ���������� �" �#��� &��# ���# ���� �������� �� ��# ��!��� �' ��������������' ���������� �" ������� ������������

��� ���� ����

8� ���� �� ���� 3 �#� ��,� �" ��# ����� � �#������,�� �' �#� ������ �" ��� ������� ���������� &��# �#� ���� �������'� ���������� �#� �5���� ������ �" "����� ������� �� �#� �����2J4 ������� "��� �#� ����� %#� �������' �" ��# ��������� ���� �� ���������� �' �#� �����&����� ����� ����� �������' ���& ���� ������5 ����� �� �� �������� �� ����� �" �#� �������" ������� 2"�����4 �#� ��!�� �#��� ��� �5����� �#� ������� ����� &��# ���' �&� ������������ 20������14 ������� ����� ������� �� ��� "���� �� 2J4� &#���� � � ������� ���� ������ �� ��������� ������� ����� ��������� �� �� �� � "������ %#��� ����������� ���� ��,� �������'�������� �5���� ������5��'� �� ���������' �#� ����� ������5��'� �" �#� ����� �#� ���������#� ���������:���������� ���� ��,�� �� �#����' ����� ���� ������5��'� ��� ��(������ �#� �'�� �" �����

"�������� 2�4 �#� �� ���� ����' ����5����� �' �#� ��������� A� ����� �� ������ �����������*���� ��������� ������� �#� �������� ���� ������� ����� &��# �� ���� "������ %#�� �������#� ������� ������ #��# ����� ���������� �*���� ��+���� ����� ����� �#� �#��� �#� �� ����.����' ��(������ �' ��� �*���� ��K�� ��& ����� ������������ �� �#� ��#�� #��� "�� �������,� � 2G4� ��������� ��������� �" ���� "������ �" #��# ����� ���������� ����� &��� ���������'������� "�&�� �" ��&�� ����� �#� �� ���� ��� �� ������ ��� �� ��& ����� ���������� �*�����%#���"��� ����� ����� �� �� ������� ���������� "�� ������ �" �#�� �'��� %#� ���� ���� ��,� ���#�� �������� �' �#� ����� �" �#� 2��/��&�4 ����� "��������%#� ������' ���� #��� �� �� ������� � �������� �" ����� �" ��'��� ��,�� "��� &#��# ��

�5���� �#� ����� �' ������� �#� ������ �" ������� ����� �� �" ��# ���� �� ����� ������

�� � � � �!��

���� ! �� ������' ��&� "��� � �5�������� ������������ &��# ���������'

���!� � �����!����� ��� � ���� ��� 23=4

�� �!� �� �#� ������ ������� ���� �#� �� �+�� �� !� %#� +�����' �� � � ���������� �#������ ������ �" ������� ����� "�� ����� �� �#� ��������� ��� �� � � �#� ������ �������� &����� �������� �" ����� ��# ��������� ���' ��� �" �#� ����� ������� �� �#����' ������ ����*���� ���'� ���� ����� ������� ����� �" ��'��� ��,� ��� �����' &��# �� � ��� ��� ��'&��# �� � �� �� ���� &��# �� �� �� ��������� ���� ����� ����� �" �������� #��# ����������������� �" �������� %#� !����� ��������� 23�4 �� �#�� ������ �� ������ �#��� ����� ����������� "�� ����������� %#� ��� �" � �5�������� ������������ 23=4 �������� �#� �������' �"����� 2�" ����� ��,�4 �� ������� ���� ����� ��������� ����� ������ �" "����� �&��� �� �#���#�����#��� 2����' ����4 �������'� %#� ������ ������ �� ���� �����' ����������� �������� ������� �" �#� ������5��' �" ��� ������%#� ����� ���� ��,� �� �� 0���1C������� �" �#� ��������� �#� �������� �#� ������������

�" �#� ������5��' �" �#� ����� ��������� ���������� �#� ��������� 8 �#���� "�� ��� ���� �� ������ �� ����� ���������� ���������� �#� ����� �" �#� ����� � ����� �� ��� �� �5�������� &��#������ ����� ����� � ������� �" "����� ���������� �����' ���� �� � ����������� ����� �������C��������� 8���� �5������� �" �#� ���� ����� �#���� "�� ���������� �� 23�4 �� ��������������� ����!�������

?

��� ���� � �����

%#� ���������� ��������� ���� ������� �#� �����!����� �" ���� "������� ���� � � �#� �#��.����,�� �#� ���� �� ���� �" ���������� � ������� �� �������� ���� � &#�� �#� ���� ���� ���� 8� ��������� �� ������� �� ������� ���= @ ���< �#��� ���������� �� �� �����������&��# �����' �" ��*����� ���� �������� )����!� �#����� �� #�� ��������� �*��� �� ������.���� ������ �������� "��� ��� �� �� ��������� �� ��*����� ��������� ��� �5����� �" �#���������� "��� �#� ����� � ���� 2�4 "����& 2#����/������4 ����� ������������

�� � ��� ������ "�� 23<4

�#�� �+����C����� �������� � � � �� � � �� 23�4

�� ���� ������������� ��#�� ������������� �" ������� ������� ������ �� �� ��������' �� �#� �������� �"

��������� �#� ����� 3;?� ����

���� � � �

�� � � ���� � � � � � � ##�� � � � � � #��� � � � � � � #

23?4

�������� �������� ���������� &#��� ����!���� ���' ������ �����' �� ��������� �#������,�� �'23<4 2��� ������� �� ������� ���<4� A� �� ���������� ���&��� �+����C����� ���� 23�4 ��������� �������� ���� ���� � � � � � � � �� %#� ���� �" �#� 0���������1 ����� # ��*����������#� �������� �#� �� ������ � �������� ����� ���$��� �� ������� ����� "��� �#� ��#�� �����������$��� �� �+����C����� ����� A�� ���� �� �/�� �� �� �#� ��# +������ �" �#� �� ��������������� �� �� � � ���� ���� � &#��� �#� ���� �" � �������� �#� ������ �" ���������� 2���/ ��&�4�" �#� ���������L ������ ����� ������� ���� ����������� ��� �� �" �#� �������� ������������������ ���������� �� �#� "����&��� �+����C����� ���� 23�4 �� ����� &#���� "�� �#� ��� ���5����� ����� ���� 23?4 &��# � � ��� &� �����'�� �� ���� ����� �������� ������������ ����' �����!����� � ���� �� �����' �" ���� ������� #�� ���� �������� 2��� ������

%���#���� �� ������� ���34� ���� &� ��� �#� �+����C����� ��� ����

���� � � � �� ������������ � ���� 23J4

���������� �� ������� �� ������� �� ������� ���= @ ���<� A� &� �#�&� �� ������� ����.���� ���"������ �� ��#�� �������' ���� ���� �������� ��� &��# �������� ���������� �������������� ������� �����

� ��� ����

8� �������� �������' �" �' ������� ���#�� �� �����' � �#������,�� �' ��� ���������� ���/234� 8� ����� �� )������ � �������� ���� ��������� �� ���� �#� ���� ����������� ���#����������� �� ������� ���= ������� �#� ���"������ �" ������ �������� ���� �������� ���#����� ��������� �������� %#��� �������� ������� ����� "������� ��������� �� �����' �" A)������� 8������#� 3 �� ��������� �#� ���� ��������� &��# ������ $���� ����� "�� � �� �� "����&���' 2<4 �� ������� �#� ����� ���������� ��������� ���� &� ������ �#� ���"������ �" �������� ��������� ��������� �� )������ = �� ���� ���"������ ���� ���� ��������� ������� �#����%#� ��������� ��������� �" 3�� �� ����� ��# &��# � � ����� ����������� �� $ � ��

����� �������� ��# �� ��� &� �������� "��� �#� �����

��� � � ����� � %���� 23G4

&��# � ���� ����� ��*����� ����� "������� "�� ��# �� ���� %#��� 3�� ����� "�������� &����#�������� ��# ������' �������� �� � �� ������� &��� �����' �" ��*����� ������ �� ������" �#��� ���������� �� �#� ����� ������� �� 9����� ���������� �#�� ����� "������� ��������

J

�� ��������� �� ������� ���3 �� ��� �� ������� �� ������� ���=� %#� ����� �������&��� ������' �������� �������� �� ������ ����� ������������ � � ���� ��� %#������������ ����� % &� ��� ������' �������� "��� ������ % � ���� "��� &��# "� �& ��� ���� �� ������� ���C��C��� �����C��C����� ����� A� ������� �� ����������� �� "������' �����!����� &� �������� �' �#���#������ �#� �������� ����� "�� ��# �� ��� � �#������������� ������

���� � �'($��� ��)*'$������� ����� � 23;4

%#� ��������� ������ �������� ��������� "�� ��# �� ��� �� +���� ��*����� �� "���' ������5����� &� ������� ��������� �" "��� ���#���� %#� !��� 0F8 %1 2������� ���34 ��

������ ���� �������� ���#��� %#� ������ 0A)�1 �� �#� ���� ���"������ ���� ������������������ �� ������� �� ������� ���= � ������ ���� �#��� 3�� �� ����� A� ���� 8������#�3 �� ������� �#� ����� &��# � � ��� �� � � ����� "����&�� �' 2<4 �� ������� �#� ��������������� ��������� A� ���# ���� �#� ��������� ��������� �" ��� ��5C������� ���� ������%#� �#��� ���#�� 0 ������1 #��� ���� �5���' �#� ��� ���� �������� �������� �' A)� ��"������� ���������� ��� �#�� �5����� �#� ��� ����� �������� &��# ��# �" �#� ����� � ����������� )������ =�3� %#� ��������� ���������� �" � � ���� ����� 2G4 �� �#�� ���� �� "��� �#� �#����������� ����� 2;4 23�4� %#� ��� ���#�� ������ ��� ���� �#� ��� ��������� �5���� �#����' �#� !��� ��� ����� �� ���� �� �5���� � � ���� ����� "�� �#� !�� ������ 8��#���# ���������� �" ����� �� ���� �� !� �#� ����� �� 23�4� �'�����' ���' ���� "������ 2� ���4 #����� ,��� �������� ���B����� ����� �� �� �#�� ��+����� "�� ���������� �� 2;4�%#� ����� ��"� ���� �" ���� � �#�&� �#� ������������� 2��5 �����4 �" �#� ����� ������� �����

) � ������ �

� ���� � ����� ������ �

� �����)*'$ � �� ��� ��

� � �� ��� 2��4

���� �#� 3�� ���������� �� ���� "�� ��# �" �#� "��� ���#���� ���� � �� ��� �� �#� ���� �����

"������� "�� �#� �# �� ���� �� � ���� �� �#� ������������� ������� "�� �#� + �# ���#��2+ � �� �4� ��� ���� �#� �#��� 3�� ����� "�������� ��������� &��� ���� �" ��B����' "�� �����#��� �� �#� �� ����� ������ �������� ����#��' ������ ���"������� 6���� ����� ������ ���' ��� ����� �� ����� ����������� &��# �#� ��� ���� F8 % ��������� ��� ����&#� ��"������� �#� ��� ���� A)� �� �#��� �'�����' "���' ������5 ����� "��������� %#� ����� ���#� �����" ���� � �#�&� �#� ������������� ������������� �" �#� ����� ��� ������� ����� ��!��� �'

� � � ) ����)�������� 2�34

%#�� +�����' "�������� ��������� ���������� �' ����� �#� ����� �" �#� ���� ���#�� "����# �� ��� �� ������� �#� ��B����' �" ��# ���������� �������� %#� ���� ���#�� +� ����� �) ��� �� "�� ��# �� ��� �������� �#� ���� � �� � �� �� �#� ��#��� ����� ����� ������������ �� �#��� ����� ����� 2��4 �� �#� �� ���� ���� ��� ���� �#� ������ ���� �� �������� '����� �#� ���� ���"������� �� ����� �� ��� �� ����' �� �" �#� 3�� �� ����� %#��� �� "�& 2� �4 "�� &#��# ��� �" �#� ��#�� ���#��� &� ���������' ������� �" ������ �#��� �� ��'"�� &#��# �#� �������� #�����%#� ��&�� ����� �" ���� � �#�&� �#� ������������� ������� "�� �#� �����!����� 23;4� ����

��/ �" ���"������ �� ������� �� ����� �" ����� ���

) � � �� � ��� �� �'($�� ������� 2��4

8��� �#��� 3�� �����!����� �������� ������� ��'��� ������� �" ��B����' "�� �� ���#��� &��#����� ���� ������ �' ����#�' "���� �" �#���� ���# ���� ���� ���#��� �5#���� ����#��' ������������� �����!����� ���"������ �� �#� ���� ���� ���������� %#�� �� ��������' ��(����� �� �#�������������� ��������� ����� ���� 2�34 2��4 �#�&� �� �#� ��&�� ���#� ���� &#��� ���������� �� ��� ����� &� �#� ���� �� �� ���� ����' �� ���� �� ���� ������ ��� &� ����������'������ �#� ���#�� �" �#� ���� ���� ��������� &��# ��� ������

G

Mart ISLE RuleFit RuleFit 200

0.3

0.4

0.5

0.6

Absolu

te e

rror

Regression

8����� ������� �����

Mart ISLE RuleFit RuleFit 200

1.0

01.0

51.1

01.1

51.2

01.2

51.3

0

Com

paritive e

rror

Regression

:�������� ������� �����

Mart ISLE RuleFit RuleFit 200

0.0

60.0

80.1

00.1

20.1

40.1

60.1

8

Err

or

rate

Classification

����� ���

Mart ISLE RuleFit RuleFit 200

1.0

01.0

51.1

01.1

51.2

01.2

5

Com

paritive e

rror

Classification

:�������� ����� ���

������ �- A������' ���������� ���&��� ���� �������� ���#��� 2F��� A)�4 �� ���� ������������� 2 ������� ������ ���4�

;

%#� ������� ��������� �� ���� � ������� �#� �#� ���� ���� �����# �� �������� ���������������� �� )������ = �������� �����' �������� �� �#� ���� �� �������� ������ ��#������ ���� �������� ���#��� ��������� ������ �� ����� "������ &��� ������� �� �#������������ #��� 2F8 %� A)�4 �� ������� �� ������� ���=� �� ���� �� �5#���� ����&#���&�� �����' ���� �#��� 3�� ���������� �� �����!����� �� ����� %#��� ���� ���� ������������� �� �� ����������� �� �����' &��# �#� ���� ���� ���� ����������

����� ����� � �����

7��# �������� ������� �#��� �� �� ��+�������� �#� �#� ���� "�������� �������� �� 2=4 2<4 ������ �������� "��� �#� ��� �������� ��� ������ 2�4� ��#�� ���� "�������� �� �� ������������#�� �������� "��� ���#�� �������� "���' ����� 8������#� 3� �� �' ���� ��#�� �������� �������� �����' �#� ��*����� "������ �#���� �� �#���� �� ���������� ��# ��#�� �� �#���# �� ����� �" ������' ����5������ ����� "�������� 2�4 "�� &#��# �#� ��#��� #�� ��B����'���� �#� ������� �" ������������� ��# ���# "���' �#���� ��� ������� ����' ���������������� "���������8���� �#� ���� ��B���� "�������� "�� ���� 2�� ����4 ���� ��������� �� ����5���� ��

����� "��������

� ���� � �� ���

��

� � 2�=4

"�� &#��# ��������� ������ �" �#� ���B������ � #�� ��������' ���� ������� ������ )��#������ �� ��+���� ���� ������ �" ����� "�� ������ ����5������� ��������' �" �#� ������������ �� ��� ���� ��K�� �#� �����C��C����� ���� �� ����� �� �' ��� �� �������� �� ������' ��.����� ������ &��# ���� �����# ���� ����� 8���� ������ &��# ��' ����#�' �+���' ����������������� �� ���� ��B���� �� ����������%#��� ������������� ������� �#� ���# �����' �� ��������������' ���#� �� �������� �'

��������� �#� ������� ������� �� ��� � �������� ���� "�������� �� 2;4 23�4 �� �����������#� ���� ��������� A� �#� �������� �" ���������� ����� ����� ������ �������� &� ��� �#� 07��.����,��1 ��������

�� � � ��#� �����#� � � �� 2�<4

&#��� #� �� #� �� �����������' �#� , �� ��� ,� +������� �" �#� �� ������������ ��� �����"�� ��# ������ � � %#� ���� �#���� "�� , ��(���� ���� ����� ���������� ���������� �#� "�������" ���# ��������� 9�������� �� �#� ����� �" �#� �� ���� ����� 2, �����4 �� �������'��B������7��# �#��� ��������� �#� ���������� ����� 2;4 �������

� ��� � �� ���

���

������� ���

��

�� �� � 2��4

&��#

������� � ��� ��� � � ��� ������� �����

��

��

���

��� � � ���

���

������� ���

��

� ��� �

� � �

���

���

� � ����

��

� � �

� � 2�?4

A� ����� �� ���� ��# ����� ���� 2�<4 �#� ��� ������ ��(����� � �'���� ����� ��� ������,���������

�� �� ��� � �� ����*� �� ��

3�

linear rules both

0.22

0.24

0.26

0.28

0.30

0.32

0.34

Abso

lute

erro

r

������ =- 8����� ������� ����� "�� ����� ������ ����� ���' ������ �� �������� ����� ������� ��� �������

�� ���� �� 2�?4� �� �#�� �#� ������������� �������� ���B������ ��� ��� 2�� ��������� ��4 ������"����� �� ��"������ �#� ������� �� � 2�<4� ���� ��*� �� �� �� �#� ������ ���������" �� � ���� �#� ������� �� �� ��� �� �#� ����� ������ �������� 2334 �" ����� &��# ���"��� ������� ������������ �� � -��� ����&��� �� �#� ��������� ����� �" �#� ���� �����' �� 2�?4 ��' �" �#� ���� ���B����� ��������

�� � &��� � �#��� �� �" �#� ���� ��(������ ����� ������� &��� �"��� #�� ,��� ������ �� �#������ ��� ���� �� �#� !�� ���������� ����� 2��4�

�� �� �������

%� ��������� �#� �������� ����!� �" ��������� �#� ������� ������� 2�<4 � ��� �" �#� ��������&� �������� �������� �� �������� "��� �#� �����

��

��� � �� �

��

��

)����

�� ����

�� � %�

��

���

2�J4

&��# � � ����� ����������� �� $ � ��� ����� �������� �" &#��# ?� #�� �� ��(����� �� �#��������� �� %#��� �� ������ �������� ���������� �� �#� !��� !�� ����� ������� �� ��������������� �" �+�� �������# �� =� ��#���� 8�� ����� ������� &��� ������' �������� "��� ���"��� ������������� �� � -��� ��� �� �#� ����������� ����� %� &� �������� "��� ������������������ %� � ���� "��� &��# " �#���� �� ������� �&�C��C��� �����C��C����� ����������� = �#�&� �#� ������������ 2��5 �����4 �" �#� ����� ������� ����� 2��4 ���� 3�� ��

���� ������' �������� �������� �� �#� ���� ������������� "�� �#��� ���������� %#� !���0�����1 �������� �� �����L ���' �#� $ � ��� ����� ������� 2�<4 �������� �#� ��������� %#������� �������� 0�����1 �������� �" � � ���� ����� �������� � ��������� �� )������ =� %#��#��� �������� 0���#1 �� �#� ����� �" �#� !��� �&�L �� �������� �#� 3�� ����� ������� �� �#����� ������ 8� ���� �� ���� =� �#� �����' ����� ����� �5#����� ��������' ���� ���"������L ��

33

#� ������� �������� �#� #��#�' �������� ���������� �� �#� !��� !�� ����� ������� 2�J4� %#��������� ���� ���' �� ����� �������� ����&#� �������� ���"������ �' ����� ������ ��� ������5���� �#� ����������' &#��� ������' ����5������ �#� ����� ���������� �' �����&������������ %#� �������� ���� �� ���# ����� ������� �� ����� #��� �������� �#� #��#��������'� %#� ��������� �*��� �" �#� ���� �����' �� 2�?4 ����� �� ���� #��# ��(����� �� �#� ��������� "�� ����5������ �#� �������� ������������ � &��� � �� �#� ��������� ����� �����2�<4 "�� �������� �#� ����� ��������� �� 2�J4�%#�� �5���� &� ����������� �� ��������' ��������� �#� �������� ������ �" ���������

����� ���� "�������� � ��� �" ���� ���� ���������� A� ��' ���������� �#� ������������������������ �� ���� ������� ��� �5����� �#� ����� "�������� �������� �' �#� �����"������� �������� ���� �� )������ < ���� �� �� ���' #��#�' �������� 2��� ������� ���34�� �#� ���"������ �" �#� ���� ���� ��������� ��������� ����� "�������� 2��� �#�&�4 &��������' �������� �� �#� ���� �� ����� ���� � �#�&� �� ���� �� 8��� �� ��' �����������#� ������� ������� ����,� ��������' ���� ������ �" �������� ����� �� �#� �����&���������� ����5������� ���� �� ��������' "�& ����� �� � ���� �" ��������� � ������������� ������������� A�������� ����� "�������� �� �#� ���� �������� �#� ������� ������������� ��������� &#��� �#��� �� ��������� ������ �" ������� ������� �������� ��# ����,�����' �������� ������ �� &#��# �#� ����� #� � ����5���� ����� ����������� ��&����� ������ �������� ��"������ �� ����� ���� "��������� � �� )������ <� �#��� ��������� ������ ����������"������ ��� �&��� �� �#� ��������� �*��� �" �#� ���� �����' �� 2�?4� A� �� �#� �5�������������� ����& �#� �������� �������� �#� ����� "�������� 2�<4 "�� �� �" �#� ����� ������� ���� �" �#� �����

! � �� ����� ����"�������

���� �" �#� "��� 2J4 ��������� ����' ������������ "�������� �" �#� ����� ������� �� ��� �#� ����� "�������� 2�<4� 8��#���# ���� ������ �" ���# "�������� ��������� �� �#������� ��������� �#� !����� ��������� 2�?4 �������' ���� �#� ��� �$����' 2� G�M �� ;�M4 �"

�#� ������������� ���B����� �������� ������� � ��� ��� � �� ,���� 8� ����� ����� �#�� ����������������' �� &��� /��&� ����� �" �#� ���� �����' �� 2�?4� %#� �������� ���������� 2�����2J4 �� ����� 2�<44 &��� #�� ��'��� ���B����� ����� ��������� �� �#��� �������� �������������������8 �������' ���� ������ �" �������� �� ��������� �� �" �' ��������� �� ����� �����

���# � 2��4 �� �#� ������� ���� �" �#� ���B����� �" �#� ������������� �������,�� ������������� ����� �#�� �������

�� � � �� � �

����� ��� 2�G4

&#��� �� �� �#� ���� ������� 23�4� ��� �#� ����� ���������� 2�<4 �#� ������������� +�����' ��

� � ��� � � ��*� �� �� 2�;4

&#��� ��*� �� �� �� �#� ������ �������� �" �� � ���� �#� ��� %#��� ���������� 2����� �������4 &��# �#� ������ ����� "�� 2�G4 2�;4 �� �#� ���� ��(������ "�� ���������� ���� �� �#����������� �+����� 2��4� %#��� �� �#�� �� �������� �� �5����� "�� ��������������%#� ��������� ������� 2�G4 2�;4 �� ����� �� �#� �#�' ��(��� �#� ����� ��(����� �"

��# ��������� ���� �#� ������������ �" �� $���� ����� ������ ������ 8 ������������� ����

������ �" ��(����� � ��� ����� � �� �#� ���� �� "�� ����� 2J4

����� � � �� � � � ������ �� �� 2=�4

�� "�� �#� ����� ����� 2�<4

� �� � � ��� � � � �� �� � � 2=34

&#��� � �� �#� ��� �" �� � ���� �#� ������� ��� %#��� +�������� ������ �#� 2�������4�#��� �� �#� ���������� � ��� &#�� �#� ������������� ��������� 2����� �� �� �4 �� ������� "���

3�

�#� ���������� �+����� 2��4 �� �#� ��������� �� �� �$����� ���������'� %#� �� �� � �������"�� ������ �� �� � ��� �� � "�� ����� ����������� I��� �#� �#� ����� 2����C���C�+���4 �"2=�4 2=34 ���� �� � ����� �+���� �� �#� ������������� ����� ������� 2�G4 2�;4���� ����� ���B����� ���� � �� �� �#� ��������� 2=�4 �" �#� ������������� ���� "�� ���.

������� � � ������� �� ��� ���� ����� ��� �� � �#� ������ � &��� � ��� ����� ������� 23�4�8 ���� �� ��� �� 0!��1 � ����� � �" ����� � �� ���� 2=�4 ���� �#� �������' ���� ���!�� ���� �#� &#��� ���� 2�� ����4 &��� #�� #��#�� ��������� �� ������� &#��� �� ���� !���:��������'� #��# ������� ����� �#� �����' !�� &��� �� ��������������' ���� �������� � ������� &#��� �#�' �� � !��� ����� � �� %#�� �'�����' �� �����+����� �" �#� "�� �#� �������� �������� ���� ����� �' ��� ���������� �� ����� �������� � �+������� ����� ������ �� �#����#�� ��� �#���� �� ������� �#� ��� ��(����� � ��(����� �� 2�G4 2=�4�%#� +�������� 2=�4 2=34 ������ ��� �� ������ �#� ������� ��(����� �" �#� ���������� ������.

���� 2����� �� �����4 "�� ��������� ����������� � ��� � �� %#��� $����� ���� ��(������ �� �#���� �5����� "�� ������������ �#� �������� ����������� %#��� +�������� �� ��� �� ���������� �������� ���������� � �" �#� ����� ������ ����

����� ��

�� ��

���

������ � ��� ��

�� ��

���

� ��� � 2=�4

&#��� �� � �� �#� ��������' �" �� ��� �5����� ��� ���#� �� ���������� �� �#��� ���������� �#����� #����' ��(����� ��������' ���� ��������� �����

� � ��� �� ���� � �� 2==4

&#��� �#� �#���#��� � ���#� �� #��# +������ �" �#� ����������� �� ������� ���� �#� �� ����)������' ��� ���#� ��!�� � �� �� �#� ��� �" ��&��� ��������� �����

� � ��� �� ���� � �� 2=<4

&��# � ����� ��& +������� A� �����!������ � ���� ��� ��� ���#� �� ���������� �� �#��� ������#� ���� #����' ��(����� �#� ����������� "�� ��# �" �#� �&� ���������� ������� A� �#�� ���� � ��� � �� � �� �� � � ��� � �� � ��� &���� �� ����������8� &��# �' ����� ������ �#� ��������� ������� ��!��� ���� �� �������� �� �������

�#� ��(����� �" ��# ��������� ��������� 2���� �� �����4 "��� ��������� "�� �#� �" �#� ��#���������� �� �#� ��������� %� �#� �5���� �#� �#� ���B����� �������� �� ������� �#�' &�����(��� �#� ������������� ��(����� �� �#� ����� "������� 2�4� %#��� ��(����� ������� �' ���' ��� ��(��� �#� ���"������ �" ��������� ���������� �� �#� ����� �" ��#���� ��� �5����� ��������� �� &#��# �#� ����� "������� 2�4 #� �� ���������� � �� �' �� ���"�� �" �� ��#��#�' ��������� &��# � �������� ���������� �� �#� ����� �� ������� "��� �#� ���������%#� ��(����� ������� ���� #��� �� ���� �� �#� $���� ������������� �" �� ������� �" �#����������

# " � $������� ��"������

A� ���������� ������� ����������� �������� �#� �� �"��� �" �������� �� �#� ������� ����������� �������� �" �#� ���������� ����� ������� ���� ��� � � �� ��� �� �#� ���������� ������ ��� �#������� 2��4 ���������� #���� �#� ���� ������� ����� ������� �� �#��� �#� ���"��������'��!�� �#� ���� ��(������ ���������� 2����� �� �����4 ������� �� �#� ������ A���� ��������#� "��+�����' ���� �� �������� ���������� �� $����� �� �� ���� ������� �#� �#��� �#����� �� ���� ���' �� ���� ��(������ �����������%#�� ������� �� �� ������� �' ������ �" ��������� .���� �" ����� ������ �� � ��#

��������� ���������� ����� � �

.���� � ����� ��

�����

��������� 2=�4

3=

���� ����� �� �#� ��������� 2=34 �" �#� ����� ��������� 2�<4 ��������� ��� �� �#� ������ �������� �#� ���������� �" �#��� ����� 2J4 �#� ������ �� 2�� ��4 ��# ������� �' �#� ���������� �" ����� ������� �� �#� ��!�� �#� ����� A� �#�� ����� �#� ����� ������� �#� ��!�� ���� �+���' �#�� ��� ���������� �� ����� &��# ���� ������� �� ��� ������� �5���������(����� �' ������ �" ������� �� �������� ����� ������ ��������� ��������%#� ������������ �" �.������� 2=�4 �� �� �5����� �� ������� �#� ������� ��(����� �" �#�

���������� ����� ������� �����' � �������� ����������� �� 8� &��# ����� �#��� +�������� ���� ������ ���� �������� ���������� �" �#� ����� ������ ���� ����� 2=�4� �� ���� �#� &#������� ����� 2�G4 2�;4� �� ���� �" �#� ������������� ���� ������� �� 2=�4� A����������� ���������� �� �#� �� �5����� ����&�

% �������� �&����

8 "������� � ��� �� ��� �� �5#���� � ���������� ���&��� �&� �" ��� ������� � �� �� �" �#���*������ �� �#� ���� �" � ��� "�� ��*����� ����� �" � ������� �� �#� ���� �" ��� ��� �������������� �#�� �� �� �5������� �

��

�/�� ���

/� /��

��� �

�� �' � ������� �5�������� "�� ��������� ������� ��������� !���� ��*�������� A" �#��� ���� ���������� ���&��� �#��� ������� �#� "������� � ��� �� �� �5������� � �#� ��� �" �&�"��������� ��� �#� ���� ��� ������ �� � �� �#� ��#�� �#� �� ����������� �" ��

� ��� � � ��� � � �������� 2=?4

���� �� �� ��� �����������' ��������� �� ������� �5���� � �� ��� A" ����� ������ � �������� &��# �� �" �#� ��#�� ������� �#�� �#� "������� �� �� �5������� �

� ��� � �� � � � ��� � 2=J4

&#��� �#� !��� ���� �� �#� ���#� �� "������� ���' �" � �� �#� ������ �� ����������� �" � �A� �#�� ��� � ��� �� ��� �� �� 0�������1 �� � �8 "������� � ��� �� ��� �� #�� � ���������� ���&��� �#��� 2�������4 ������� � � ��� ��

�� �"

��

�/�� ���

/� /�� /��

��� ��

��� &��# � ������� �5�������� ��������� !���� ��*������� "�� ��������� �������� A" �#����� �� ���# �#���C������ ���������� � ��� �� �� �5������� � ��� �" �#��� "��������� ��#����������� �" ��� �" �#� �#��� �������

� ��� � � ��� � � ������� � �������� 2=G4

���� �� � ���� �� ��� ��# �����������' ��������� �� �" �#� ������� �5���� � � ��� �� ���8������� �5��������� "�� �#� ������ �" ���� #��#�� ����� ���������� �*���� �� �� �������'��!����N��&��� &#��# ������� �� �������� �� ����������� &��# ��#�� �������� �#� ���������� �"

�#� ��#�� ������� &��# &#��# �#�' �������� � &��� � �#� ����� �� �������# �" �#� �������������������� �*���� �� ������� ���"�� ��"������� ���� �#� ���������� ������� � ����������� �'�#� ����� "������� � ���� 2�4� %� �#� �5���� �#� �#� ���������� ����� � ��� 2��4 2�?4 �������'���������� �#� ����� ��� �� ��"�� �#��� ���������� �' ����'��� ��� ���������� �*�����8� ����� �� )������ =�=� �� ����� "�� �#� ���������� ����� � ��� 2��4 �� ������ � ����������

���� �����!�� ������ �" ��� ������� �� �� �������' �#� �� ������ ����� 2J4 $�����' ����������� �" �#� ������� �� �#� ������� %#�� �� #�&���� ��� ������ ��������� "�� �#� �������� �"

3<

���# � ���������� �*��� �� � ���� 9�*����� ����� $�����' ��������� �#��� ������� �� ��������� ����������' ������ �� �������' ���� �������� ������ ���������� �*���� ���&��� �#�� ���(����� �� �#� ������ ������ %#�� �#� ���� �������� �" ����� ��������� �������� ����������� ��� ������� �#� �5������� �" ��������� ����������� ���&��� �#� ���������� ��������#� ��!�� �#��� A� ����� �� ������� ���� ���������� �*���� �� �� �������' �� ��',� �#����������� �" �#� "��� ���������� �+������ ��� $��� ��������� ����������� ���� &� ��� �#����������� �" ����� ���������� "�������� 2������� ���34 �� ����' ���������� �*���� �� �#����������� ������

%�� '������ ��"����� � �����

���� �' ������ �� �" �#� ��������� ������� ����5�� �' � � ��� �� ���� $�� �#� ����� �����������" "������� � ��� �� �� �� ��!��� �

������ � ��� �� ��������� 2=;4

&#��� �� �� ���������� ��� �" $���� ����� "�� �#� ������� �� �#� ������� �� �#� �5���������� �� ���� �#� ������ 2$����4 ������������ �" �� ������� ��� ��� ����������� �� ��� ����� � �������� �� �#� ������ ������ ���� ����� ���������� "�������� &��� ���� �� ����������3 �� ���#����' �5���� �#� ���������� �" ���������� ������ �� ��& ��������' ������� �"�#� �������� ��������� "�� �#� ������ �*���� �" �#� ��#�� �������� %#�' �� �� ��������"��� �� �'

������� ��

��

���

� ��������� 2<�4

&#��� �������� �� �#� �� ����� �" ���� ���� &� ��� �#� ���������� �" �� ���� ����� �����.����� "�������� �� ������� �� ����' ���������� �*����� A� �#�� ������� �� ����� ����������"�������� � &��� � �#� ���������� ����� � ��� 2��4 �� ���������� �� �� �������� �� #�� ������� �" ,����A" �&� ������� � �� �� �� ��� ������� �#�� "��� 2=?4 �#� ����� ���������� �" � ��� ��

�� � �� � ��� �� �� ���������� ���� �#� ��� �" �#� ���������� ����� ����������� �� ��#������ �������'

� ��� � ��� � � �� � � ������� 2<34

����#������� �" ����� ������ � ���� ��� ������� &��# �' ��#�� ������ �#�� "��� 2=J4 ���#�

� ��� � � �� � � �� ��� �� 2<�4

���� �� ��� � �� �#� ����� ���������� �" � ��� �� �� ������� �5���� � �A" ������� � � ��� �� �� �� ��� ��������� �� $���� �#���C������ ����������� �#�� "���

2=G4 �#� ����� ���������� �" � ��� �� �#��� �#��� ������� �� �� �5������� �� ����� �" �#����������� ��&�� ����� ����� ������������ �

� ���� � ��� ��� � � ��� � ��� � � ��� � ��� � ������� ���� � �� �� ������� ������� 2<=4

8������� ��������#��� �� �� ������� "�� �#� ������ �" #��#�� ����� ������������ %#������������� 2<34 2<�4 2<=4 �" ����� ���������� "�������� �� ���� �� ��������� ��������� �� ����"�� ���������� �*���� �" ������ �'����%� ���� "�� �#� �������� �" � ���������� ���&��� �&� �����!�� ������� 2� � ��4 �#� ��������

0� � �

��

���

� �� ���� � ����� �� ��� �� ����������

���

���

�� � ���� � ���� 2<<4

�� �� ���� ���� �� 2<34 �� �#� �������� �������� 2<�4� A� ������� �#� "������ �" �������" �� ��� � ��� ��� ������� �' �� �� � � ������� ���� �#� �� ������������� A� &��� #�� ����

3�

�" ,��� �" �#� ���������� ����� � ��� 2��4 2�?4 �5#����� �� ���������� ���&��� � �� �� �� ��������������' ����� ���� "�� �������� ���������� �*��� ���&��� �#��� )������'� ��������"�� ������� &#��#�� �����!�� ������ � �������� &��# � ��#�� ������ &���� �� "��� 2<�4

0� �

��

���

�� ����� �� ��� �� ��� ���� ���

���

���

� ����� � 2<�4

%#�� +�����' &��� ��*�� "��� ,��� �� �#� �5���� �#� � �������� &��# ��� �� ���� ��#�� ���������' �5������ �#� ����� �" �0 ��� ��� �� ������"' �#��� ������� �#� ��������� �� �����������*����� ��� ��# ������ � �� ������!��� �#� ��������� �0 ��� �� 2<<4 �� �� ���� �� ������"' �#�������� �#� ������� &��# � � I��� �#� ���' �#��� ������� �#� �� ������ ������' ��������� 2�G4 2�;4 2=�4 ���� �� ���������� "�� ���������� �*����� %#�� �� �"��� ���� ������ �" �� $��������� ��������A" �������� ������ � �� ���� �� ������� &��# &��# ���� �#� ��� ��#�� ������ �����

2<<4� �� �� �" �������� �� ������� �#� ����� �" �#��� ������������ %#� ��� &#��#�� � ���������������' &��# ��# �" �#�� �� &#��#�� ������� �" �#��� ������� $�����' ��������� �� #��#������� ������������ �� �� �� �� �� �&� ������� �#� �� ������!�� � ���������� &��# � �%#�� ����� ��������� ������ �&�C������ ����������� ���&��� 2� � ��4 �� 2� � ��4 ���'� �� �#��������� �������� �" �#���C������ ���������� ��������� 2� � ��� ��4� 8 �������� "�� ��������#��� ���������� �� "��� 2<=4

0� �� �

��

���

� �� ����� � ���� ����� �� ���� � ����� �� ���� � ����� ��������� ���� 2<?4

� �� ��� � � �������� � ����������

���

���

�� � ����� � ���� ���� �

%#�� +�����' ����� "�� �#� �������� �" $���� �#���C������ ���������� ���&��� � � ��� �� �� �'

�������� �#� "������ �" ������ �" �� ���� � ��� ��� ��� �5������ �' �#� ��&�� ����� �����������*���� ���� �#��� �������� 8������� ��������� ������� "�� ���� #��#�� ����� ����������� ���� �������� �" ���������' ����������� �#� ��� �� �" ���5������ ������� �#� ��������� 2<<4 �� 2<?4 ���� "�� �#�

������� �" �#� ������������� ���������� �*���� �� �#� ���������� ����� � ��� ��� �� ��� ���.������' ��(��� �#� ��������� �" �#��� �*���� �� �#� ������ ������� �" � ���� A� �� ��������"�� � ���������� �*��� �� �� #��#�' �����!��� 2��� )������ G�=4 ��� ��� ���' ��(������ &#��������� �� �#� ��#�� �*���� �� �#� ������ A" "�� �������������� �������� ��� &���� ��/� �� ��.����� �#��� � &��� � �#� ���� ��(������ ������������ �#��� ��������� 2<<4 2<?4 �� ����������A" �� �� �������� �� ������ �#�� �� � �� ���������� ���' �� �#� #��#�' ��(������ �������������#�� �#� ��������� �� �� ����!�� ���������'� ������� �#� ����������� �� 2<<4 �� 2<?4&��# �#� �� 2<�4 &��� ���� �#� ��������� ��������� �� ���� ������' ��(��� �#� ��������� �" �#�������������� ���������� �*���� �� �#� ������ ����� � ����

%�� (" ��� � ����������

%#� ������' �������� �� �#� �������� ������� �� ������ �� �#� ���������� ����� � ��� 2��4 2�?4�8� ���#� �� &��� ������� ���������� �*���� ������� �� �#� ������ ��&����� �������� �� �� ������.���� �*���� ������� �� �#� ����� "������� � ���� 2�4 ������������ �#� ���� ������'��� ������������������#��� ���� �#� ��������� ������� �� A� �� �������� �#� ���� #��#�' ������ ������.���� ����� �� ������ ��������� ���������� �*���� �#� �� ��� ������� �� �#� ����� � �����%#��� �������� ����������� �� ����� &#�� �#��� �� #��# ������ �" ����������' ���� ����2�� ��4 �" �#� ��������� ������� �� �#� ������� �� ������ ���� �5����� �" �#� ����� "������� �5#����� �������� ������� ���������� 2=J4 �� ���.

��� � � �#�� ���������� �� � �� �� �+��������' ����5����� �' ������������� ������������������� �� �#� ����� ��������� �#� ������ ����� �� �' ������������ ���������� �*����

3?

��������� ��#�� ������� #��#�' ��������� &��# ��� %#�� �� �� ��� �������� �� ����' ����������#���&��� ��& �� #��#�� ����� ����������� ���� ������� �" ������� �#� �� #��#�' ���������&��# ��# ��#��� A" ������������ ���� �� �� �� ����� �� �#� �������� �" ������ ���������� �*�����#�� ���# �������� ����������� �#���� ��� �� ������������ &' �� ��������� �������� ����������� �� �� �������� �#��� ����' ���� �#� ���������� �����

� ��� 2��4 2�?4� A���������� ����� �#� ����� �#����# ����� 2J4 ��������� ���� �#� ��� ���������������� )��# ����� �� ������� "��� ����� �#� #�� ������ �� ��*����� ������� � ����� �����#� ��# "��� �#� ���� ���� �� �#� ����� �#� ��!�� �#� ���������� ����� 2��� ���� 34� %#����� �� ��������� �#� ����' �" �������� ���������� �*���� �' ������ � ��������� "�� "�&��������� ���� ��# ���# ��#�%���� �� ����� �� ���.��&� �����' "�#��� &#��� �#� ������ �#���� "�� ��������� � ��#

���� �� �#� ��� �#� '����� �#� �5��� �������� ����������� �� ���� ����������� � �������" �#� ������ %#� ����������� 1 �' ���������' ��������� �#� ���� �� ������ � �� ��������"�� �� �������� �� �#� ���

+� � ��� ����� ��

1

�� �#���� "�� ��������� �#� ���� �� +�������� )������� ����������� �� �� ���������� �' ����."'��� �#�� ��������� ������' �� � �� ���� � ��� ��� "�� ������� ������ �� �#� ��� �������)����!���'�

+� � ��� ����� ��

2 � 1

�� ���� �� ����� �#� ���� &#��� 2 � � �" �#� ������ � ���� ��� ���� � ��������� ������� �' ������� ���� �� �#� ��# "��� �#� ���� �� �#� ���� ����� ������ �� 2 � 2 22 � �4�" �� ����� %#�� ����� ���"������ �� "�&�� ������� ��!���� ������ ���� ���# ��#�� ���#����' ��!���� �#� ����� ������� "��� �#� ����� A� ��������� ���� ������ � �� �#����"�� ��������� ����� ��#�� ������� �#� �� #��#�' ��������� &��# �� &��� �� ���������� "������������ ��� ���������� �� �#�� ������� &��# �� �� �#� ��� ����� I��� �#� �#�� ������'���� ��� ���������' ��������� �#��� ������� �#� �� #��#�' ��������� &��# � "��� ���������#� ������ ���������� ����� � ��� 2��4 2�?4� %#�' �� ��� ���������� "��� ��������� ������� �#� ��� ���� �#� �� ��� ������ ����� �� � � � ������� ����� �� "��� ����� ����"�� ��������� �� ��*����� ������ %#�� ������' ���' ���������� #��#�' ��������� ������� "�����!���� �#� ��� ���� 2��� ��*����� �����4 �� �#����' ���������� �������� ���������� �*���� ���#� ���������� ����� ����� �' ����������'�%#� ���� �#���� "�� �#� ��������� ������� 2 �#���� �� ���� �����# �� �*�������' ���.

������ �������� ������������ ��� ��� �� ���� � �� ��#���� ������� ����������� "��� ���������#� ���������� ������ A� �#���� �� ��� �� �#� ������ ���� �#� ���� ��� ������ �������������"������ � �������� �' ��"� ��� ���� ��� �� "��� �����C���������

%�� ) �� ������� ���

A� ����� �� ��� �#� ��������� ��������� �� )������ G�3 "�� �������� �#� �������# �" ������ /�����" ���������� �*���� ��� ���� #�� � ��� �" �#��� ���� �� �#� ������ �" ���# �*����� �����" �������� ���������� �*��� �� ����� "��� �#� ����� � ����� �#� ����� ���� ������� �"�#� ������������� �������� &��� ��� ���������' �� ,���� )������ (��������� �� ��������������� ����������� �� �#� �������� ����� � ���� A� �������� �#��� �� �'��� �" �������������� �#� ��������� ������� ��#�� �#� ����������' �#� �" ������� �� ��� ������ ������������������� �� �#� ����� 2���/�� ���<4 "�� &#��# �#� ������' ��������� �� )������ G�� �� �����*����������� &� ������� ����� �" �#� �������� �������� 2�"��� �� %���#���� 3;;=4 �#� ��

�� ���� �� ������ ��"������ 2����4 ������������ "�� �' �" �#� ���������� ���� ��������� ����������� )������ G�3� %#� ��� �� �� ��������' ������� �#��� ��������� �� ������ �" ���!��� ������ �������� "��� �#� ������� ��� �� �#�� ��� �#� ������������ �" ���� �������� ����� ��������� � ��"������ "�� �#� ������������� ���� �������� ���� ������� "��� �#� ������� ������

3J

��� ����������� ��# ���!��� �� ��� �� ����� �' ���� ������ &#���

��� � ������ � ������ � ����������� 2<J4

���� � �'���� ���������� ����� ���������� �" �#� �������� ��� �� � � �� �� �� ����� �� �#�������� "������� �� �#� ����� ��������� � ���������� �*����� ��� �����!����� � ���� ����#� ������������� �������� ����� ��

��� � � �� � � 2<G4

&#��� �� �� ��������� ����� ������ �������� &��#

����� � �� � ���������� �� � ������������ 2<;4

�� ����� �� ������� ����� 23J4� %#� 0�������1 ����� ����� �� �� �������� "��� �#� �������������� �� ��� ���� ����� �' ����������� �#� ����� ���� �� 2��4 2�?4 �� ��# ������� ���' ��������������� ������� %#�� �� �� ���� ��������#�� �' ����������� �#� ����� �������� �' 8������#�3 �� �� #�� �� � �� � � ������� ������ ��#�� ���#��+��� "�� ��������� ������� ������ �������� �� ���� 2��� ����� �� %���#���� 3;;�4��' ������������� ��# �� ��� �������� "��� 2<J4 �� 2<G4 #� ����� ����� ��������� ��

���������� �*����� A� #� �#� ��� ��������� ������ $���� ������������ � �#� ������� ���������� A� ��� #� �#� ��� 2������4 ������������ �" �#� �������� ����� �������� ����� �#� ����#'���#���� � ���� � ��������� ��# ���!��� �� ��� ���� ������ 2<J4 2<G4 "��� ���������� ����� �� ��� �� ������� �'

���'��� �#� �������� ��������� 2�������� ��������� ����4 ���� �� ����� �#� ���������� ������ ��� �� �#� ������� ������� �� ���� ����� � %#� ������ ���������� ���� ��������� �" ��������������� "��� � ��� �� �������� �� �� ���� %#� ���������� �" �#��� �������� ����� ���� �����!����' �������� �� ���� �� �#�� �� ���� � ��"������ ������������ "�� �#� ������������������ ������� "��� � ���� ����� �#� ���� #'���#���� �" �� ���������� �*���� �� �#� ����� � �����A����������� �� �������� �� �#� �� �5����� ����&�

%�� *��� ����

%#� ������ ������' �" ����� ����� ���������� "�������� �� ������ �� ��',� �����������*���� �� �� ������ �� �' "������� � ���� ��� $��� �� �#��� �" �#� "��� 2��4 2�?4� 8�� �#� ����+����� �� ������� ����� ���������� "�������� 2<�4 �� �#� ���� �" � ��� � ������ ���������������� �� %#��� �#�� �����# �� �� ���� &��# 0���/C��51 ���������� ������ ������� �'�' ���#�� �������� &' �� ������� ����� 2<J4 2<;4� %#� ������' "�� ����������� ������������������� �������� �� )������ G�� �� ���' �� ���� &��# ���� ���� ���#��� #�&����� A�#��������������� ����������� �� #��� �� �/� �#� ������' ���� ��������� �� �#� �������� �" ����������������� �*���� �� �#� ����� � �����

+ �� ��������

A� �#�� ������� &� ������� ���������� �" �#� �������������� ����� ��������� �� )������� ? CG �� ������ �� ����� %#� !��� �� ���!����' �������� �� �#� ������� �� �� ������� ��/��&� ����#� %#� ��#�� �&� �� ���� �� ���� �"��� ���� � ���� ���� "�� �������� �������������#���� �����&��� ������� �� ������� ���= �#� ���� �������� ��������� �������� ������ 8������#� 3 &��� � � ���� �� � � ������ ��� � �

���� &#��� � �� �#� ������� �����

��,�� %#� ����� ���� ��,� 23=4 &� �/�� �� �� �� � � ������� ������ ���� &��� ������� "������������ �" === ����� ��������� ����5�����' ���� ����� ���� �� 2�?4 �� ������� �#� ��������������� 2��4� %#��� 0��"���1 ������� ����� &��� ���� "�� �� �5����� ��������� #���L �� ���������� �#� ��������� ������� ����� �� �������� �' ��������� ������ �" ���� �" �#��� ������

3G

+�� ��������� ����

%#�� �� ��� �������� �" � � ���� ����������� &��# $ � ��� ��������� �������� %� ����&#�����������' ������ ���� �� �#� ��������� ������� &��� �������� &��# ��� �������� ������� �3���� �� &��# �#� �������� 3 ������' �������� "��� ���"��� ������������� ��#�������� ���� &� �/�� �� ��

�� � � ����� � %� 2��4

&#��� �#� ����� "������� ��

� ���� � ���

��

������ ��� � ���� ��� ������ ��� � ���� � � ��4 � ��� ��� �� � ��� 2�34

�� %� � ���� "�� &��# �#� ���� �" " &� �#���� �� ������� �&�C��C��� �����C��C����� �����I��� �#� �#�� ����� ������� �� ���' ���#� �" �#� ��������� �������L �#� ��#�� ;� �� ��������� ������� #���� �� �*��� �� �#� ��������� %#� ���B������ �������'��� ��# �" �#� ������� 2�34 &��� �#���� �� � �� ���� ��# �" �#� !��� ���#� ������� ����5�����' �+�� �������(����� 2�G4 2�;4 2=�4� %#� ����� "������� �� ���� "��� 2�34 �� ������� ������ �#���C���������������� �*��� ���� ���� ��� ���� ����&#� ��*����� �&�C������ ���������� ���&��� ���� ��� #��#�' �������� ������� ���������� �� �� �� ����� ������������ �" �������� ������ � �� ���8���'��� ������ �� �#��� �� �������� ����� 2��4 ��������� =�3 ����� 2����� O �����4

&��# ���,��� ���B������� %#� ����� ������� �����

) ����� � � � ��� �

���� � ��)*'$��� � 2��4

&� ) � ���� � �������� &��# ����� ������������' �������� ���� ������������ %#� ���.���������� ����� "�� ����� ��������� ��� �*���� ���' 2�� � � 4 23=4 &� ����� 6���� ���'����� ���� "�������� 2�<4 �� 2��4 2�?4 �������� ) � ����� %#��� ��������� ������� ������������� �� �#� ����� �������� ���������� �����' �' � ��� ���� �����' ����� ������ �����&��� ���������� �*���� �������� ���#�� � ��� ������������ ��&���� �#��� ���������������� ������� �#� ����������� ����� ����� �' �#� ������� ����� ��������� %� �� 2��4� %#�������������� ������ 2��4 �� ��������� �#� ���� ����� "������� � ���� �����" �� �����������'��3G� ��<=� �� ���G� %#��� ��������� ����������� �������� ��������� �����' �' �GM ���� �����' ������� ������ �" ������ &��# ���� ��#�� �#� ���!����' �������� �� ��� �����' ������� 2��4 �� ��������� �������' �� �#� ����� 2��4� &#��� ��������� �����������'&��# 2��4� �� ��/��&��

+���� � �� ��"������

����� �

)������� �5����- ��5 ���� �������� ����� C �� �����������

A��� :��*� ���� ���

��� ���� ���� ���� � � � ������ ���� ���� �� � ���� ! �� � ���� ! �� � ������ ����� �����- ��� ���� �����- ���� ���� ���� ���� � � � ������ ����� ���� �� � ���� ! �� � ����

%��� 3 �����'� �#� ��5 ������' ���� �������� ����� 2�G4 2�;4 ��������� "��� �#� ����������� 2��4 2�?4 �� ����� �" �#��� �������� ���������� :����� 3 ����� �#� ����������

3;

6 8 3 7 1 4 5 2 66

Variable

Rel

ativ

e im

port

ance

020

4060

8010

0

Variable importance − all

1 2 3 4 5 6 7 8 21

Variable

Rel

ativ

e im

port

ance

020

4060

8010

0

Variable importance − x = 0.5

1 2 3 4 5 6 7 8 66

Variable

Rel

ativ

e im

port

ance

020

4060

8010

0

Variable importance − low

1 2 3 4 5 6 7 8 66

Variable

Rel

ativ

e im

port

ance

020

4060

8010

0

Variable importance − high

������ <- A���� ������ ������� ���������� "�� �#� �������� �� � ������ ���� �� 2�������"�4� �#� 3�M ��&��� 2��&�� ��"�4 �� 3�M #��#��� 2��&�� ���#�4 ������������ �� "�� �#� ������

���������� ����� �� � ������ 2����� ���#�4�

���������� ����� �� �#� �#� #��#��� ������� �������� ���� �" 3��� :����� � �#�&� �#�������������� ���B������ 2����4� ��� ����� 2J4 �#� ���B����� 2�4 ���� ���������� �#� �#����� ��������� ���� �" �#� ���� �� ����!�� 20!���14� ��� ����� ����� 2�<4 �#� ���B����� �� ���

������������� ����� ������� ��� %#� �#��� ������ ����� �#� ������� 23�4� &#��� ����������"�� �#� ���������� ����� �����'�� �� ������ <�:������� %��� 3 &��# �#� 2#��� /��&�4 ����� "������� 2�34 ��� ���� �#� �#��� ��5 ����

�������� ����� 2��� �" =�3 ����4 ������� �������� +�������� ����������� �" ��� ������������ �#� 3�� ��������� �������� I��� �" �#��� ����� ������� �' �" �#� ����� ������� ������� �%#� !��� �� !"�# ����� ������� ����� ����� "������� ����� &#�� � �� �� �#� ������ �" ��� �����" ������ %#� ������ ���� �������� ����� ����� ����� &#�� ��� ��� �� �� ������������'����,� #��# ������ %#� �#��� �� "����# ����� ��(��� �#� ����� ����������� �� � �� ��� %#���5�# ���� �������� ������ ����� ����� &#�� �� �� ���� �� �� �� �����

+���� " � $������� ��"������

%#� ����� ��"� "��� �" ���� < �#�&� �#� ������� ��������� �" �#� ��� ���� �������� �������������� ������� 2=�4� � ������ ���� �� ����������� 2�G4 2�;4� �� ���������� ����� �" ����.���� ���������� �' ������������ �#� ����� 2�34 ������� �� ��# �" �#� !��� ���#� ��������� C �� &��# ����#�' �+�� 2�����4 �������# �� #� �� ���������� �� � C ����� ���� �#���#�#� ������ �������� �" �#� ����������� ����� % �� #��� ��� #�" �" �#� �" �#� ����� "����������� ���� �#� ���� �" �#� ;� ����� ������� #� �������� ������� ��������� ������ �#� �M�" �#� "�� �#� ���#� ������� ��������

��

1 2 3 4 5 6 7 8 9 10

Variable

Inte

ract

ion

stre

ngth

0.00

0.05

0.10

0.15

0.20

0.25

0.30

Simulated data − Interactions

������ �- %��� ���������� �������# �� �5���� �" �5������ ���� ���� �" �#� !��� ��� ������������ "�� �#� �������� ��� %#� ��&�� ��� ��� ��������� �#� ���� ������ ����������

%#� ����� ���#� "��� �� ���� < �#�&� �#� ������� ��������� �" �#� !��� ���#� ���������������� ���� �#� �&� ���� ������� ����� ������� "�� ������ ���������� ����� �� � ��������2=�4 2=34 2=�4� ���� ��� ���� ��'��� ��������� "�� ��# �" �#� ������� ��������� ������� &��#�#� 2�������4 ������� ��� �� ��� ����� ����&#� ���� ��(������� %#� ��&�� ��"� �� ���#�"���� �����������' �#�& �#� ������������� ������� ������ ���������� "�� �#� 3�M ��&��� 2=�42=<4 2=�4 �� 3�M #��#��� 2=�4 2==4 2=�4 ��������� ����� ������ ���� ��� ���� �#� ���������� ��� �� �� ��������' ��(����� �#� #��#��� ��������� ������ &#���� �� C �� �� ������(������ "�� �#� ��&��� ������������

+���� �������� �&����

������ � �����'� �#� �������#� �" �#� ���������� �*���� ��������� ��# �" �#� !��� ��� ����������������� %#� #���#� �" �#� '����& ��� �#�&� �#� ���� �"

�0 � 0 � �0��� 2�=4

&#��� 0 �� ����� �' 2<�4 "�� ��# ���������� ������ � ���� �� �#� ������� ��� �� �0��� ��

�#� ��� 2����4 ���� �" �#� ��� �������� ������ ���� ��� ���� �" �#� �������� �������� ���������� �� )������ G�=� %#��� �#� #���#� �" ��# '����& �� ��(���� �#� ���� �" 0 �� �5���� �"��� �5������ ���� ����� �#� ���� #'���#���� �" �� ���������� �*����� %#� ��� ��� �#�&� �� ����

� �� �#� ����� �" �#� ������ ��������� "��� �" �#� ���������� ���� �������������� �� �#� ���

�� ������' ���� �#� �����!���� �" ��# ������������� ����������� %#� ��� ��� �� ����������� �#� '����& ���� �� �#� �#� ������ �" '����& �� �������� �#� �#� ������������� ����

�" 0 �� ���� �#� �� �+�� �� ��� ������ �������� ���� ��� ���� ��� ���� �0��� �

%#� ������� �#�&� �� ���� � ������� �#� ������� ��� ��� �� �� �� ��# #����' ���������� ����������� &��# ��#�� �������� P������ �� �� �� ��� ����������' ������� &��# ��#��������� ��� �� ����&#� ������ �5����� %#��� �� �� �������� �" �' ���������� �*���� ���������������� � C ����

�3

2 3 4 5 6 7 8 9 10

Variable

Inte

ract

ion

stre

ngth

0.0

0.1

0.2

0.3

0.4

Simulated data − interactions with x1

3 4 5 6 7 8 9 10

Variable

Inte

ract

ion

stre

ngth

0.00

0.05

0.10

0.15

0.20

Three variable interactions with x1 & x2

������ ?- %&�C������ ���������� �������#� �" ������� ���������� &��# �� 2�����4� ���#���C������ ���������� �������#� �" ������� ���������� &��# �� �� �� 2��&��4 �� �5���� �"

�#��� �5������ ���� ���� "�� �#� �������� ��� %#� ��&�� ��� ��� ��������� �#�������������� ���� ������ ����������

8"��� ������"'��� �#��� ������� �#� ������� &��# ��#���� �� �� �" �������� �� ��������� �#��������� ��#�� ������� &��# &#��# ��# ��� ��������� %#� ����� "��� �" ���� ? �����'� �#������ �" � �0������ 2'����& ���4 &#���

�0 � � 0 � � �0��� � � 2�<4

���� 0 � �� ����� �' 2<<4 "�� �#� ���������� ������� 2� � ��4 �� �0��� � �� �#� �������������

�5������ ���� ���� ������ ���� ��� ����������� �" �#� �������� �������� 2)������ G�=4�%#� ��� ��� ������� ���� �#� '����& ���� ��(��� �#� ������������� ���� ������ ���������

"��� � ����� ��� ���� �#� �� �� ��������' ���������� &��# �� �� �� �� �#��� �� �� ������ ��������

�" �� ���������� &��# ������� ��#�� �#� �� �� ���)���� �� �� ���� �� ������� &��# ���� �#� ��� ��#�� ������� ��� �� ������� �� ���������

�#� ������ �" �#� ������������� ������������ %#� ��&�� "��� �" ���� ? �#�&� � �0�� ����� 2'����&���4 &��#

�0 �� � 0 �� � �0��� �� 2��4

����� �#� ���� ��� �$����� ���� �" 2<?4� ���� &��# �"����� ����� 2��� ���4� %#�� ���� �������#� �� �� �� $�����' ������� &��# ��� ��� &��# �� ��#�� �������� ����'��� �#���C���������������� ���� �#��� �#��� ������� ��� �� ��#�� �#���C������ ����������� ��������� �� �����

��

1 2 3 5 6 7 8 9 10

Variable

Inte

ract

ion

stre

ngth

0.0

0.1

0.2

0.3

0.4

Simulated data − Interactions with x4

1 2 3 4 6 7 8 9 10

Variable

Inte

ract

ion

stre

ngth

0.0

0.1

0.2

0.3

0.4

Simulated data − Interactions with x5

������ J- %&�C������ ���������� �������#� �" ������� ���������� &��# �� 2�����4� �� ��2��&��4 �� �5���� �" �5������ ���� ���� "�� �#� �������� ��� %#� ��&�� ��� ��� ���������

�#� ���� ������ ����������

%#� ����� "��� �" ���� J �#�&� � �0���� ��� 2�<4 2'����&4 ���� &��# �#� ������������� "�����

2���4 "�� �#� !��� ��� ��������� �������� ���� ��� ���� �#� �� ����� �� ���' ������� &��# ���%#� ��&�� "��� �#�&� �#� ������������� ���������� ���� "�� ��� &#��# �� ���� �� ���' �������&��# ��� %#�� �� �� �� ������� ���' &��# ��# ��#�� �� �#��� �� �� �������� �#� �#�' �������&��# �' ��#�� ��������%#� ���������� �� �� ��&� "��� �#�� ��'��� �" ����������� �� �#� �#��� �� ������� ������

�������� "�� �#���C������ ���������� �*��� ���&��� ��� ��� �� ��� �� �&�C���������������� ���&��� ��� �� ��� %#��� �� �� �������� "�� �' ��#�� ���������� �*����� I����#� �#� ����� ������� � �� ��� �#� &��� $����� "��� 2=�4 �� �� ��������� �� ���� �� ���������+������ �� �#� ��'��� �" ���������� �*���� �� �#�� ���� ��� #�� ���� �����������%#� �������� ����� "������� 2�34 ��������� �#��� �� &� �#���� �� ��������� �#� ����.

������ �#� ���� ��������� ���� �� ������� ������ �'��� �" ������������ 8� ���# �� �������� ���������������� �*���� ���� ���� �" �#� ������� �� ���� � �� ���� ��#���� %���� "����������������� �� ������� ������ #�� ���# �#�� ������������� ������' �#� ������ ��������� ���.���� ���� �� �� �������� �� &��� �����' �" ���������� �*���� �" ��'��� �'��� �� �������#��� �#� ��� �� �� ������� �#��� 2�" �'4 �#� �� ��B������' ���������

+���� '������ ��"�������

������ G �����'� ����� ���������� 2<�4 ����� �� �������� ������� � ��������� �' �#� ��'����" ����������� ����� ��� �����' �������� �� ����� ���������� "�������� �� �������� ��#�� ������� ���� �" ,���� %#� ����� ������������ �� 2��� ��4 �� 2��� ��4 �� ���' ������

�=

Variable 1

0.0

0.2

0.4

0.60.8

Variable 2

0.0

0.2

0.4

0.60.8

partial dependence

0.0

0.5

1.0

1.5

Partial dependence

Variable 4

0.0

0.2

0.4

0.6

0.8

Variable 5

0.0

0.2

0.4

0.6

0.8

partial dependence

0.0

0.5

1.0

1.5

2.0

Partial dependence

0.0 0.2 0.4 0.6 0.8

0.0

0.2

0.4

0.6

0.8

Variable 6

Par

tial d

epen

denc

e

0.0 0.2 0.4 0.6 0.8

0.0

0.2

0.4

0.6

0.8

1.0

Variable 7

Part

ial d

ependence

������ G- ����� �" ����� ���������� "�������� �� �������� ������ ������� �� ������ ����"�� �#� �������� �5�����

�� �#� �#�&� "�� 2��� ��4 �� �#� ����� ��"� "���� �� �#� "�� �� �� ���' ������ �� �#� �#�&��� �#� ��&�� ���#� "��� "�� � ��� &��# �������� ������ :������� �#��� &��# �#� ��������� "������� 2�34� ��� ���� �#� �#�' ������� "���' ������������� �������� ����������� �"�#� ���������� �" �#� �������� �� �#� ��������� ��������

+�� ,���� �� ��� ����

%#�� �� &��� /��&� ������ �� ��� �"��� ���� �� ������ �#� ���"������ �" ���������� ���#����A� �������� �" � � ��� ����#���#���� �� �#� ������ ����������� ��� ��� ��# ����#���#���3< �����' ��������� &��� ��������� 2������� �� ����!��� 3;JG4� %#� ��� �� �� ��������#� ����� #���� ���� 2��������4 �� �#� ���������� ����#���#���� � "������� �" �#� $ � ����#�� 2���������4 �������� ���� &� ���������� �#� ����� �" �#� ���������� �" �#� ��������2������� �� ����� �" Q3���4 �� �#��� ���������� ����� �#� ����� ��������� �� )������� ? C G�8���'��� ������ �� �#��� �� �������� ����� 2��4 ��������� �3� ����� 2����� O �����4

&��# ���,��� ���B������� %#� ����� ������� ���������� ����� 2��4 &� ) � ���� � ��������

�<

�' ��C"��� �����C��������� %#� ������������� ����� "�� � ������� ����� ���������� �� ����*���� ���' 2�� � � 4 23=4 &� ����� �� �#� "�� ����� ��������� ���' ����� ����� 2�<4 &�) � ����� %#��� �#� ����� "������� ����� �� �� #��#�' �������� &��# ���� �������� "������������ �*�����

+���� � �� ��"������

%��� � �#�&� �#� ���� ������' ���� �������� ����� 2�G4 2�;4 ��������� "��� �#� ������ �����2��4 2�?4� �� �#� ��� "���� � %��� 3� %#� ���� �������� ���� �' ��������� ����� ��

�#� ����� "������� �" ��565 2������� �" ��&�� ����� ���������4� A�� ���B����� �� �� ���������������� �#� ����#���#���� &��# ����� ����� �" ��565 ���� �� #�� ��&�� ����� #�����%#� ����� ��������� 67� 2"������ �" #����� ����� ��"��� 3;<�4 #� ������ �*��� �� �������������

����� �

������ #������ ��- ���� ���� �������� ������

A��� :��* )��� ���

��� ����� �����- ��565�� ������ �����- 67��� ���� ������ 8�� � ���� ! 95�65�: � ���� ! ��565 � ������ ���� ���� �� � ���� ! �:; � ������ ����� ���� �� � ���� ! 8�� � ���� ! 56; � ������� ����� ���� 8�� � ���� ! 95�65�: � ������ ���� ����� �� � ���� ! 95�65�: � ������ ���� ���� �� � ���� ! �:; � ������ ���� ����� �� � ���� ! 95�65�: � ����

%#� ���B����� � �" �#� ���� �������� ���� �� ����#�' !�� ����� ����� �� ������� ���� �#��#� �" �#� ��#��� �� �������� ����#���#���� &��# �5���������' #��# #������ ������ %#�������#���#���� �� �#������,�� �' ����� ���' ����� �� ������ �����'���� ������� 28��4� #��#�����C���#�� ���� 295�65�:4 �� ���' ���� ��565 � %#�� ���� ��������� ���' !�� �" �#���? ����#���#����- �&� �" �#� ��5 ����#���#���� �� ��/ �'� �� �� �#��� �� ����� ����� %#���#�� ����� �� %��� � ������� �#� ����#���#���� &��# ����� #����� 2������ �" ����� ��4�� ��&�� ��������� 2������������ �" ������ �5��� �:;4 � � &��� � ����� #����� �� ��&��95�65�: ���� �� #�� #��#�� ����� #����� I���#���#���� ��� ���' ����� �� �����'������������ �������� &��# ������ #����� �� #��#�� �5 ���� 256;4� � &��� � �������� &��##��# 95�65�:� ���� �� #�� ��&�� ����� #�����

+���� " � $������� ��"������

%#� ����� ��"� "��� �" ���� ; �#�&� �#� ����� ������� ���������� �" �#� 3= ��������� �������2�G4 2�;4 2=�4 ������ ���� �� �3� ����� �� �#� ������ A� ������� �� �#��� ������� ����������� %��� � �#��� �� ���� ��������� �#� ����� ��� 2<���4 #� ���� ��(����� �� #������������ %#� ����� ���#� "��� �#�&� �#� ������������� ���������� "�� ���������� ����� #������� �� �#� ������ ����#���#��� ���������� �#� ��&� �" F��#����� 2=�4 2=34 2=�4� ���� ���� 56; �� ��������' ���� ��(������ "�� �#�� ���������� �#� �� ������ &#���� ��565 ������������' ���� ��(������� %#� ��&�� ��"� �� ���#� "���� �����������' �#�& �#� �������������������� ������ ���������� "�� �#� 3�M ��&��� 2=�4 2=<4 2=�4 �� 3�M #��#��� 2=�4 2==4 2=�4��������� #������ ������ ��� �#� ��&��� ����������� �#� ������ ��565 ��������� ����� �����#� �&��� � �������� �#� �' ��#�� ������� ��� �#� #��#��� ��������� ����� �� �� �#����� �������� ������ �� 95�65�: �� ����' � �������� � ��565 � ��������� �:;����� �� �� ����#�' �+���' ������� ����'&#����

��

CR

IM ZNIN

DU

SC

HAS

NO

XR

MAG

ED

ISR

AD TAX

PTR

ATIO B

LSTA

T0

20

40

60

80

100

All

CR

IM ZNIN

DU

SC

HAS

NO

XR

MAG

ED

ISR

AD TAX

PTR

ATIO B

LSTA

T

0

20

40

60

80

100

ManchesterC

RIM ZN

IND

US

CH

ASN

OX

RM

AGE

DIS

RAD TA

XPT

RAT

IO BLS

TAT

0

20

40

60

80

100

Low

CR

IM ZNIN

DU

SC

HAS

NO

XR

MAG

ED

ISR

AD TAX

PTR

ATIO B

LSTA

T

0

20

40

60

80

100

High

������ ;- A���� ������ ������� ���������� "�� �#� ������ #������ �� � ������ ���� ��2����� ��"�4� �#� 3�M ��&��� 2��&�� ��"�4 �� 3�M #��#��� 2��&�� ���#�4 ������������ �� "��

���������� �#� ������ ����#���#��� �" F��#����� 2����� ���#�4�

+���� �������� �&����

������ 3� �#�&� �#� ����� �" � �0 ���� 2�=4 2'����&4� ���� &��# �#� ������������� ���� ��������������� 2���4� "�� �#� ������ #������ ��������� �������� %#��� �� ������ �������� "�� �����.������ ��������� �:;� �� � 8��� 95�65�:� �� ��565 � ���� &� ���������� "���#�� �#������ �" �#��� ��������� �� �� ��565 �%#� ����� "��� �" ���� 33 �����'� �#� ����� �" � �0������ ���� 2�<4 2'����&4 ���� &��#

�#� ������������� ���� ������ ��������� 2���4� ��� ���� ������ �������� "�� � �����������*��� ���&��� �� �� �:; �� ���&��� �� �� 95�65�:� %#� ��&�� "��� �#�&� �#�������������� ���� "�� ��565 ��������� ��������� ���������� �*���� ��������� ��565 ���:;� �� ��565 �� 8��� )���� �� �� ��565 �� ��# ���� �� ������� &��# ���� �#���� ��#�� ������� ��� �� ��� 2��4 �� ���������� �#� �������� �" �#���C������ ������������ A��#�� ��� #�&����� �#� ��'��� ������� �� �������� "�� �' �#���C������ ����������� ����������� �� ��565 � %#�� ������' �� �� ��������� �� ���������' ������� �������� �����������*���� �" �'�

�?

CRIM ZN

INDUS

CHAS NO

X RM AGE DIS RAD

TAX

PTRA

TIO B

LSTA

T

Variable

Interac

tion str

ength

0.00

0.05

0.10

0.15

Boston housing − interactions

������ 3�- %��� ���������� �������# �� �5���� �" �5������ ���� ���� �" �#� ����� ������� "���#� ������ #������ ��� %#� ��&�� ��� ��� ��������� �#� ���� ������ ����������

CRIM ZN

INDU

S

CHAS

NOX

AGE

DIS

RAD

TAX

PTRA

TIO B

LSTA

T

Variable

Inte

ract

ion

stre

ngth

0.00

0.05

0.10

0.15

0.20

Boston housing − interactions with RM

CRIM ZN

INDU

S

CHAS

NOX

RM AGE

DIS

RAD

TAX

PTRA

TIO B

Variable

Inte

ract

ion

stre

ngth

0.00

0.05

0.10

0.15

0.20

Boston housing − interactions with LSTAT

������ 33- %&�C������ ���������� �������#� �" ������� ���������� &��# �� 2�����4� ����565 2��&��4 �� �5���� �" �5������ ���� ���� "�� �#� ������ #������ ��� %#� ��&�� ���

��� ��������� �#� ���� ������ ����������

�J

RM

5

6

7

8

NOX

0.4

0.5

0.6

0.7

0.8

partial dependence

5

10

15

Partial dependence

RM

5

6

7

8

PTRATIO

14

16

18

20

partial dependence

5

10

15

20

Partial dependence

NOX

0.40.5

0.6

0.7

0.8

LSTAT

10

20

30

partial dependence

5

10

15

Partial dependence

DIS

24681012

LSTA

T

10

20

30

partial dependence

5

10

15

20

Partial dependence

������ 3�- ����� �" ����� ���������� "�������� �� �������� ������ ���� "�� �#� ������#������ ���

+���� '������ ��"�������

������ 3� �����'� ����� ���������� "�������� 2<�4 �� �#� "��� ������ ���� �������� ����� ����������� �� �&�C������ ������������ ���� �#��� ����� ��� �� ����' �#� ������� ������" �#� ������������� ���������� �*�����

+�� �� �� -�� � ���� ����

%#�� �� ��� &��� /��&� ������ �� ���� A� �������� �" �������#�� ��"������� �� =��?3���������� ������� "��� �#� 6) :����� ����� 2N�#�� 3;;?4� %#� ��� �� �� ��� �#����� �� ��������� ����� "�� ���������� &#��#�� � ����������R� ������ �� ������ �#� Q���������� �#� ����� �" 3< ��#�� �������#�� ������� � ������ �� %��� =� )���� ������� �� ����2������ <4 �� ����,� �������� ������� ����� &#���� �#� ��#�� ����� �/� �� ��*����� ��������" ���������� ��������� ������ %#��� �� ��� ������� ����� �� �#��� ���

�G

����� �

8���� ������ ������ �������

��� �'�� ����������� P����� 67� �� �������� =�<�� &��/ ���� ��- G� ���=75 !�� &���#� �������� �8- �������� �������� �8-�-� ��������C��� ��� ����� �6��565 ����� ����� ��- J� :<<-9 ��������� ��- 3<� ����09 "���' ��������#�� ��- ?� �6<� ��� ��- ��� ��; ������ ��- ��� <6976�� ����� ��� ��������� <69�:�� ����� ���� ��������� 0:-�� #���� ��� &��/ ��������� <�5�> ����� ������' ��- <3�� �������� � ������� � Q������ ��- �

8� �������� ���� �� ��� ���������� �" 3?�G3 ��*����� ���������� �� ��� �������� �� ����.��� �������,���� �����'� %#��� �� ���� #�� ���� �"��� ���� �� �#� ��������� �� �������#� ���������� ���"������ �" ������ ����' �����!����� ���#���� ���� &� ��������� �#� ����#� �������������� ����� ��������� �� )������� J �� G �� ���������� ������ �" �#� ����������������� ���&��� �#� 3< �������#�� ������� �� #��# ������ 2� Q�����4� %#� !"�# �������� %��� 3 �� �������� �� �#� "����# �� �� �� &� ��� ���� �� �#� ��'����8���'��� ������ �� �#� ������� �� ��� �������� ����� 2��4 ��������� �3< ����� 2�����

O �����4 &��# ���,��� ���B������� %#� ����� ��� �� �#� ���� �� ��� &� ������ %#� �����.�������� ����� ��� "�� � ������� ����� ���������� �� ��� �*���� ���' 2�� � � 4 23=4 &� ������%#��� ���&��� ����������� �������� ���� ����������� �� ���������� �����' � ������� �'����� ���� ��&����� ����� ��� �� �������' � ���� ���� ��������� ������ �" ����� 2�4 ��������������' 2��4 �#� �� ���������� ����� 2��4 "�� �����������

+���� " � $������� ��"������

%#� ����� ��"� "��� �" ���� 3= �����'� �#� ������� ���������� �" �#� ���������� ���������������� ������' ���� �#� ������ ����� ���� 2�G4 2�;4 2=�4� ���#�' ���#� �" �#� ����� ��������� ���� �� ����������' ���������� �� �#� ���������� ������ %#� ����� ���#� "��� �#�&� �#�������������� ���������� "�� ���������� ������' �#���� ��������� 2=�4 2=34 2=�4� %#� ��&����"� �� ���#� "���� �����������' �#�& �#� ������������� ������� ������ ���������� "�� �#�3�M ��&��� 2=�4 2=<4 2=�4 �� 3�M #��#��� 2=�4 2==4 2=�4 ��������� ���� �" ������ ������ �#�Q������ 8��#���# �#��� �� ���� ����� ��*�������� �� �" �#��� ������ ��������� ����������������� +���� ������ ��������� �#� #��� �#� ���������� ������� #�� ����' �#� ��� ���������(����� "�� �� ������������

+���� �������� �&����

������ 3< �#�&� �#� ����� �" � �0 ���� 2�=4 2'����&4� ���� &��# �#� ������������� ���� ��������������� 2���4� "�� �#� ���� ������ �������� F��� �" �#�� ���� �� �� �������� �� ������.����� &��# ��#�� �������� ��#���# �#� �������#� �" �#��� �*���� � ������� �' 2�=4 �� �������� ���� &� ���������� "���#�� �#� ����� �" �#��� ��������� �#� �&� ������� �6��565�� 67��

�;

AGE

WKC

LSFN

LWG

TED

UED

UNUM

MAR

STAT

OCC

UPRE

LSHP

RACE SE

XCA

PGAI

NCA

PLO

SSHO

URS

CNTR

Y

0

20

40

60

80

100

All

AGE

WKC

LSFN

LWG

TED

UED

UNUM

MAR

STAT

OCC

UPRE

LSHP

RACE SE

XCA

PGAI

NCA

PLO

SSHO

URS

CNTR

Y

0

20

40

60

80

100

Observation 65AG

EW

KCLS

FNLW

GT

EDU

EDUN

UMM

ARST

ATO

CCUP

RELS

HPRA

CE SEX

CAPG

AIN

CAPL

OSS

HOUR

SCN

TRY

0

20

40

60

80

100

Low

AGE

WKC

LSFN

LWG

TED

UED

UNUM

MAR

STAT

OCC

UPRE

LSHP

RACE SE

XCA

PGAI

NCA

PLO

SSHO

URS

CNTR

Y

0

20

40

60

80

100

High

������ 3=- A���� ������ ������� ���������� "�� �#� ���� ������ �� � ������ ���� ��2����� ��"�4� �#� 3�M ��&��� 2��&�� ��"�4 �� 3�M #��#��� 2��&�� ���#�4 ������������ �� "�� �#�

������ ���������� � ������' �������� ���������� 2����� ���#�4�

������ 3� �����'� �#� ����� �" � �0���������� �������� 2�<4 2'����&4 ���� &��# �#�������������� ���� ������ ��������� 2���4� ��� ���� �������� "�� � ���������� �*��� ���&����6��565 �� :<<-9 �� ���&��� �6��565 �� <69�:��� ������ 3? �#�&� �#�������� ���� "�� ����������� &��# 67�� ���� ��� ���� "���' ������ �������� "�� � �����������*��� ���&��� 67� �� :<<-9 �� ���&��� 67� �� ��;� ���� &��# &�/�� �������� "��� ���������� ���&��� 67� �� ����09 � )���� ���# �6��565 �� 67� �� ��# ������ ������� &��# ���� �#� ��� ��#�� ������� ��� �� ��� 2��4 �� ���������� �#� �������� �"�#���C������ ������������ 8� &��# �#� ������ #������ �� #�&����� �#� ��'��� ������� ���������� "�� �#���C������ ����������� ��������� ���#�� �" �#��� �������� ��� �� ������� ���#�� ����� �� ���������� �#� ����� �" �#� ����������� ��������� ��#�� ���������� ������� ��������� �� ���� 3<�

+���� '������ *�"�������

������ 3J �����'� �#� $���� ����� ���������� �� �6��565 �� :<<-9 � %#� ���� 0F1�������� ������� ��������� ������ ��# ��������� ������������ �� �������� �� #�� �#���� 2,���4 ������� ���� �� � �� ������ �#� ������� �*��� �" ��*����� ����� ����� ������%#�� �� �#� ������ �" � ���������� ���&��� �#��� ������� �� :<<-9 ����� ������������������������ ����������� �� ��*����� ����� �" �6��565 � &���� �� �#� ���� ���� ��� �������' ������ ������������� "�� �#� !�� �6��565 ����� ��������� �� ������ ������� �� �#�#����#���� %#� ������������ "�� ������' ������ ��� ������' ��������� �#��� &��# �� �������

=�

AGE

WKC

LS

FNLW

GT EDU

EDUN

UM

MARS

TAT

OCCU

P

RELS

HP

RACE SE

X

CAPG

AIN

CAPL

OSS

HOUR

S

CNTR

Y

Variable

Intera

ction

stren

gth

0.00

0.02

0.04

0.06

0.08

0.10

Adult census − interactions

������ 3<- %��� ���������� �������# �� �5���� �" �5������ ���� ���� �" �#� ����� ������� "���#� ���� ������ ��� %#� ��&�� ��� ��� ��������� �#� ���� ������ ����������

&��# ���� ��������� ����� ��� ����������� �� �#� �� "�� �#�� ���� %#� ������������ "��������� ������ �� "���' ��*����� "��� �#� ��#��� ��������� �#� �#� ���������� �*��� ���&����#��� �&� ������� �������� �� ���� 3� ����' ��(���� ��*����� ���� �" #��# ������ "�� ������������ &��# �#� ������ ������� �� �#� #����#���������� 3G �#�&� �#� ����� ���������� �" �#� ������ ����� $�����' �� 67� �� ��;�

%#� ����� ���������� �� 67� �� ���� �� �� +���� ��*����� "�� ���� �� "����� ��(������ �#����������� �*��� ���&��� �#��� ������� �������� �� ���� 3?� %#� ������������ �" 67� �� �����" #��# ������ "�� ���# ������� �������' �������� &��# ��������� 67� ���#��� �5��������� �� C �� '��� ���� �� �#�� �������� "�� #��#�� ���� %#� �����' ��*������ ���&����#��� �&� ������������� ������ �� �#� ������� ���&��� ��� =� �� <� &#��� �#� ���� �" #��#������ �������� �� �����' ������� &��# 67� "�� ����� ��� �� ��� ������� � �� "�� "������A� "�� �#��� �� ���� �������� �#� �#� ���� ������� �� �#�� �� ���� "�� &����� ������� �#������ �#� ��� �" �#��� �" �#� ����� ���������� �" ���� �" #��# ������ �� 67� �� ����'�������� "�� ���# ��5���

�. ������� /��0

���������� ���#��� ���� �� ����� #�� ���� #�����' �� �#� ��#��� ������� ��������� 2���F���#��� 3;;J4� H����� 3;;= �������� ����� �" :<�� 20:<�� ����14 &#��� �#� !�� ������������� �" ��� �" ������ 8 ������ ���� �������� ���� �� ������� �� �#�� ��������� �� ����" ������ ��� "�� ��# ����� ����� ��# ���# ���� �� �����+�����' ������ �' �������� �#����������� 2�������� "��������4 �#� ������� ��� �������� ���������� �����'� �����'� �#������� ����� ������� �� ��# ������� ���� ���� �� �#�� ������ �� �������� ����� �" �#����������� �����'� %� ����� ���������� � ����� � �#� ������ ���� #��#��� �� �#�� ���� "��

=3

AGE

WKCL

S

FNLW

GT EDU

EDUN

UM

OCCU

P

RELS

HP

RACE SE

X

CAPG

AIN

CAPL

OSS

HOUR

S

CNTR

Y

Variable

Intera

ction

stren

gth

0.00

0.05

0.10

0.15

Adult census − interactions with MARSTAT

������ 3�- %&�C������ ���������� �������#� �" ������� ���������� &��# �6��565 ���5���� �" �5������ ���� ���� "�� �#� ���� ������ ��� %#� ��&�� ��� ��� ��������� �#� ����

������ ����������

WKC

LS

FNLW

GT EDU

EDUN

UM

MARS

TAT

OCCU

P

RELS

HP

RACE SE

X

CAPG

AIN

CAPL

OSS

HOUR

S

CNTR

Y

Variable

Intera

ction

stren

gth

0.00

0.05

0.10

0.15

0.20

0.25

Adult census − interactions with AGE

������ 3?- %&�C������ ���������� �������#� �" ������� ���������� &��# 67� �� �5���� �"�5������ ���� ���� "�� �#� ���� ������ ��� %#� ��&�� ��� ��� ��������� �#� ���� ������

����������

=�

&#��# ����� � � �� ����� 8��#���# �#��� �� "�������� ��*�������� �#�� �����# �� ����������� �#� &��/ ��������� #��� �� �#� �������� ���� ��������� ������#� �� �����'�� � �����'���#���� "�� ��������� �#� ������8 ��*����� ���� ��������� ������ ���� �� �����!����� �����5� �� ����� �� �������� �#�

��������� �#� A�������� ���� ���������� 2A�4 ������#�� 2 ��S� �� 9S,����/� 3;;<4� %#�������� ��+������ �������� ������#� ������� ���$������� ��� �" ����� �' ������� ��� ���� � ����� 8"��� ��# ���� �� �������� �#� ������#� ������� "��� �#� ������� �� ��� �#� 0��������1�5����� 2�����!�� �C����4 ������� �' �#� ����� %#� ������� �� �#�� ������� �� �#� ��������������� ������������ 8� &��# :<�� ����� �#� �������� ���� ��� �� ������� �� �#� ������ ����#��#��� �� �#� ���� �#� ������ ����� � �� ���� "�� ��� ����������� 8���� A� ������#�� ���# �:I� 2:��/ �� I������ 3;G;4� A��� 2:�#�� 3;;�4 �� � � � 2F�������� 3;;�4 ��*��&��# ������� �� �#� ������� ���#��+��� �#� ��������� �#� ������� �������8��#���# ���� ����� ������ �������� "���������' ��*����� ������ �#� �#� ���#���

��������� ����� ���# &��# ������� �� �#� ���#������' �����'�� �� ������ �#� !�� ������ ���#� � ��� ��� �" �#�� ������ ������ ������ 2��4 �� ��� ��� �� ����� 2J4 �� ����� ����� 2�<4&��# ������,�� &���#�� 2���B������4� &#���� �#� ���� ���#��� ������� ���$������� ���� �"����� ����� ���' ��� �� �#� ��� "�� ��# �����������:����!����� ��������� �#� ������� ������ 0&�/1 ������� �#� �� ������ �" ���$�������

����� �� �� "���� �� ������#��� �������������� �" �#� � ���� �� �������� �� ������2N�������� 3;;?4� ��# &�/ ������ �� �������� �' ����� ���#���� 2���� !���� ����� �"��������� ��5�� &#��� ��# ��5 �� �������� ����� ����� ��� �" �������� ����� ����������� ����� �����# �����4� %#� ������������� &�/ ������� �#���� "�� �#� !�� ����� ����+����� �� ����"' ������ 0�����#����1 �� 0���"�����'1 ����������� 9����� �� ��������� �� ���� N�������� 3;;? �� N�������� ����� 8� &��# ������� ����#���� ������������� �������� ������ 2&�/4 ������� �� � ������� ������ %#� �$�� ��*������� �� �#� ���#���� �����'���� ������� �#� ������� ����� �� �#� "�� �#� ����#���� ������������� ���"���� ������������� &#���� �#� ���B������ �" ������ ������ �� !� �#����# �������,�� ����������2�?4�9������� "�� �������� ��������� ����' ����� "������� ����� ���������� 2 ��,���/�� N�����.

����� �� ����� ���=4 ���� ���������� �� !� �#� ���B������ �" ����� �#� �� ������� ������� ������ %#� ������ ����� �" ����� ����������R� ������� ����� ��*�� "��� �#��� �� ������2J4 �� �#� �#�' ���& �#� �������� �" ���$������� � &��� � ���$�������L �#��� ����� �� �����0����� �����1� 8���#�� �$�� ��*������ �� �#� �������� ���#������'� A� ����� ����������� ����" ��������� ��������� �� ��!��� "�� ����"'��� �#� ����� ����� �� �#� ����� �������� ��������������� ������' ���'��� �#��� ��������� �� �������� ������� �����5�� 9�� �� �#� �����.���� ����� �" �#� ���������� �������� &��# �#� �������� ������� �����#� ����� ������������ ��������� ������ ��������� ��������' "�& ����� ������ 8��� �������,����� �� ��������� ��������C����� ��������� ������� ��������� �#�� �����#�:����� �� �#� �����# ��������� #��� �� �#� �" ����� �� A���� ����� %#�' �����������

����' �����!����� ������ ����� 2���������,��4 ����� �������� ���������� &#��� �#� ����������&��� �/�� �� �� �#� ������� ����� ������� ���� &��# �����' �������� �� ����!�� :<������� ���� �� �#��� �������� ����� 3;;�� �&�� ���3� �� ���� �� �&�� 2���34 ����' ���������� �*���� �� 0���/C

��51 ������ ����� �#� "�������� 8I�P8 ������������� �" � ��� �� ������� ������� ���/�����< ��������� �#� ���������� �" ����� ������� ������ �� �#� �����5� �" ����������� ���� �������� ���������� �#� �� �������� �� ������� �#�� ���������� ��� �����# �� ��.��������� ���� �� ����� ���������� "�������� 2)������ G�34 ���� ��� ������� �#� "��������8I�P8 �������������� ���/�� ���< �������� �#� ���������� ���� �#� ��������� ��������� ��������� ��������� ���������� �� ����� ���������� �������� ���� �� �������� �������%#�� �������� ��� �����# �" ����������� �������� ����������� ��������� �� )������ G��� ������� ���� ������������� � ������� �� )������ G�= �� ������� �������� ���������� �*�����

==

adm

−cl

er

craf

t

exec

−m

an

farm

−fis

h

hand

ler

mac

h−op

r

serv

ice

priv

−se

rv

prof

−sp

ec

prot

−se

rv

sale

s

tech

−su

p

tran

s−m

ov M

OCCUP

Par

tial d

epen

denc

e

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

MARSTAT = divorced

adm

−cl

er

craf

t

exec

−m

an

farm

−fis

h

serv

ice

prof

−sp

ec

prot

−se

rv

sale

s

tran

s−m

ov M

OCCUP

Par

tial d

epen

denc

e

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

MARSTAT = military−spouse

adm

−cl

er

mili

tary

craf

t

exec

−m

an

farm

−fis

h

hand

ler

mac

h−op

r

serv

ice

priv

−se

rv

prof

−sp

ec

prot

−se

rv

sale

s

tech

−su

p

tran

s−m

ov M

OCCUP

Par

tial d

epen

denc

e

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

MARSTAT = civilian−spouse

adm

−cl

er

craf

t

exec

−m

an

farm

−fis

h

hand

ler

mac

h−op

r

serv

ice

priv

−se

rv

prof

−sp

ec

prot

−se

rv

sale

s

tech

−su

p

tran

s−m

ov M

OCCUP

Par

tial d

epen

denc

e

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

MARSTAT = absent−spouse

adm

−cl

er

mili

tary

craf

t

exec

−m

an

farm

−fis

h

hand

ler

mac

h−op

r

serv

ice

priv

−se

rv

prof

−sp

ec

prot

−se

rv

sale

s

tech

−su

p

tran

s−m

ov M

OCCUP

Par

tial d

epen

denc

e

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

MARSTAT = never−married

adm

−cl

er

craf

t

exec

−m

an

farm

−fis

h

hand

ler

mac

h−op

r

serv

ice

priv

−se

rv

prof

−sp

ec

prot

−se

rv

sale

s

tech

−su

p

tran

s−m

ov M

OCCUP

Par

tial d

epen

denc

e

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

MARSTAT = separated

adm

−cl

er

craf

t

exec

−m

an

farm

−fis

h

hand

ler

mac

h−op

r

serv

ice

priv

−se

rv

prof

−sp

ec

prot

−se

rv

sale

s

tech

−su

p

tran

s−m

ov M

OCCUP

Par

tial d

epen

denc

e

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

MARSTAT = widowed

������ 3J- ����� ����� ���������� �� �6��565 �� :<<-9 "�� �#� ���� ������ ������ �� ���������� �*���� �� :<<-9 ����� ���������� ������������� ����������� �� ��*�����

����� �" �6��565 &���� �� �#� ����

=<

20 40 60 80

0.00.1

0.20.3

0.40.5

AGE

Partial

depen

dence

SEX = female

20 40 60 80

0.00.1

0.20.3

0.40.5

AGE

Partial

depen

dence

SEX = male

������ 3G- ����� ����� ���������� �� ��; �� 67� "�� �#� ���� ������ ��� ��� ������������ �*���� �#� ����� ���������� �� 67� ����������� �� ��*����� ����� �" ��;

&���� �� �#� ����

�� ��0�/���������

7� ����"���' �/��&����� #���"�� ����������� &��# �����' �"��� �� ����#� %'���� %#�&��/ �" ������ ������� &� ������' ��������� �' �#� 9�������� �" �����' ����� �������9�.8:��.J?)����3� �� �#� I����� )������ ��������� ����� ���� 9F).;J.?<<=3� %#�&��/ �" ����� ������� &� ������' ��������� �' �#� I����� )������ ��������� ��������� 9F).;J.?<<=3�

���������

T3U ������� � 23;;?4� ������ ����������� ����� ����� �!- 3�=.3<��

T�U ������� � 2���34� ���� �������� ����� ����� � - �.=��

T=U ������� �� �������� �� ��� ���#��� �� �� )����� :� 23;G=4� ������� �� � ���������

����� 7��&���#�

T<U :��/� �� �� I������� � 23;G;4� %#� :I� ��������� ������#�� ����� ����� �- �?3.�G<�

T�U :�#��� 7� 23;;�4� ��� �B����� ���� ���������� ����� �����! "��������� �� �� ����� �

# �� ��� ��������� /� %#��� :8 233�.3�=4� F���� N�"����

T?U 9���#�� 9�� ��#������� A�� N��/'�#���� � �� ������ 9� 23;;�4� 7����� �#���/��L �'����.��V 2&��# ����������4� $ ���� % �� %�� #- ��3.==J�

TJU �"���� �� �� %���#����� � 23;;=4� & � ����� �� � �� ��� � ��� :#��� �� ���� ������

=�

TGU ������� W� �� )�#����� � �� 23;;?4� �5��������� &��# ��& �������� ������#�� �����

�����! "��������� �� �� ���� �� � # �� ��� ��������� F���� N�*��� )� ���.

������ 3<G.3�?�

T;U �������� �� �� 2���34� ����' "������� ����5������- ������� �������� ��#���� &�� ��

% �� ��� �+- 33G;.3�=��

T3�U �������� �� �� �� ���� �� 23;;;4� �� ������ �� �������� ���������� % ���� '������ �(

)��� �� �� % �� ���� %��#���� ������

T33U �������� �� ��� �� �������� �� �� 2���=4� A�������� )����� ������ ��������� % ����

'������ �( )��� �� �� % �� ���� %��#���� ������

T3�U �������� �� ��� �� �������� �� �� 2���<4� ������ �������� �������,���� "�� ����� ������������ �����!������ % ���� '������ �( )��� �� �� % �� ���� %��#���� �������

T3=U ������� 9� �� ����!���� 9� :� 23;JG4� ������� ������ �� �#� ����� "�� ���� ��� $���� ��

*������ � *������� � ����� %- �J?.�;��

T3<U ������ %� �� %���#����� � 23;;�4� +�������� &��� ��� ������� :#��� �� ���� ������

T3�U ������ %�� %���#����� � �� �������� ���� 2���34� *���� � �� % �� ��� ������ )�������.

P�����

T3?U �� %� N� �� N��������� �� F� 23;;?4� �������� ���$������ �����!��� �" ������' ������5��'�"��������� �� �� ,- � # �� ��� �������� � " �� ������ ��� P����� 8����� GG�.GG��

T3JU ���/��� � 2���<4� ���/ ��5 ���������� �� �#� ������� �" �5���������- �5������� �#�"�������� 8I�P8� % ���� '������ �( )��� �� �� % �� ���� %��#���� ������

T3GU ������ �� 23;?<4� ����� ��������� �" ������� �������� &�� �� � � % �� �-J=.3�3

T3;U ����� %� �� �&��� 8� �� 2���34� H���C���������� "�� ������,���� �� ������������� �"���/ ��5 "��������� % ���� '������ �( )��� �� �� % �� ���� %��#���� ������

T��U N��������� �� F� 23;;?4� 8� �����������.�������� ����#���� ��������� ���#�� "�� ������ �����.������� &�� �� % �� ���� �=3;.�=<;�

T�3U N��������� �� F� 2����4 �� �#� ������#��� ������������� �" ����#���� �������������� #***

���� ��� � " �� &����� � ����� # �������� ��1 2- <J=.<;��

T��U N�#��� � 23;;?4� )����� �� �#� �����' �" ����.�'�� �����!���- ��������.���� #'.����� "��������� �� �� %���� # �� ��� �������� � �������� )�������� � )

����! ���.��J�

T�=U ��S�� I� �� 9S,����/�� )� 23;;<4� #��� ��� ����� "��������! ��������� � &����� ����

����� ���&����

T�<U F���#���� %� 23;;J4� ����� ����� F� �&C�����

T��U F��������� )� 23;;�4� A������ ��������� �� � � �� .�� +��� �� ����� �� ��- �<�.�G?�

T�?U �&��� 8� �� 2���34� %#� ��������� ������������ �� +������� ���� "��������� % �� ��

%��� ��- 3.3J�

T�JU H������ � 23;;=4� �/ 0! "������ ��� ����� ������ F���� N�"���� )� F����

T�GU ������ :� 23;;�4� 1������ �� � *2���� �� �� 3���4)������� 5�� ��� '��� ��

5�� ��� &�� )�������� �� ��9 �#����� )��"��� 6��������'�

=?

T�;U ������ )� �� A����� A� 2����4� N99C:6� ;;- /��&����� ��������' �� �#������ �����.,����R� ����� �� ���� %#+�)) *2���� ��� �- G�C;��

T=�U ��,���/� A�� N���������� :� �� ����� F� �2���=4� ���� ���������� $���� �� ����� ���

� +������ % �� ��� 3�- <J�.�33�

T=3U %���#����� � 23;;?4� ��������� �#���/�� �� ��������� �� �#� ���� $ ���� % �� %�� 6

%- �?J.�GG�

=J