distributed performance testing using statistical modeling

7
Distributed Performance Testing using Statistical Modeling Alan F. Karr National Institute for Statistical Sciences (NISS) PO Box 14006 Research Triangle Park, NC 27709–4006 [email protected] Adam A. Porter University of Maryland College Park, MD 27042 [email protected] ABSTRACT Categories and Subject Descriptors General Terms Keywords 1. PROJECT DESCRIPTION Permission to make digital or hard copies of all or part of this work for personal or classroom use is granted without fee provided that copies are not made or distributed for profit or commercial advantage and that copies bear this notice and the full citation on the first page. To copy otherwise, to republish, to post on servers or to redistribute to lists, requires prior specific permission and/or a fee. A-MOST’05, May15–16, 2005, St. Louis, Missouri, USA Copyright 2005 ACM 1-59593-115-5/00/0004 ... 5.00.

Upload: adam-a

Post on 03-Feb-2017

214 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Distributed performance testing using statistical modeling

Distributed Performance Testing using Statistical Modeling

Alan F. KarrNational Institute for Statistical Sciences (NISS)

PO Box 14006Research Triangle Park, NC 27709–4006

[email protected]

Adam A. PorterUniversity of Maryland

College Park, MD 27042

[email protected]

ABSTRACT����������� ���������� ���������� ��������� ����� �!�!�#"$� %�� ���������� �����&� �'�(�)�* ���+�� �)��%�� � * ��� ��� ���,%��-%��.�/���"0�- �1�-�����2�-���-�3��������4657�98 ������:�-��� �����; �- <=��%��������.��%����+�:�#�,� �)�#�����#�� �.�#"/�/���">�# �1�-�����$�-���-�3�������?�-%��6�#"* ��@A�����-�/��2�)�-�/�-:�� �- �����B�-� * �-�,� �9 ���!�-� �-C,��� *,D %�����$�1�#�'���)������4�E� * �F� �����!��GH����� ��@A����� ; �I�J�&@A�I"0� %�� * �3��%�����"0%��$� �( �����-�+�

�/�'�">�- �1�#�����K�-�J�#�3�������L�-�L�9�!� * ��� D �J�#��� * �'M��/�' �)�!���,�:�#� * ������8-��#� * �'M�����%�� ��� �N�� �-�������O4P %�6��M��/�� ������������%�8-8 ���+� �6� �J��.� �����6�-���� �A�#�'�Q�J�-�6�!�� �3�&C-��%��

� ���#�Q�Q%��:�("0%�� %� � ; �- <( ���1�#������� �R�/� * �-��� 4FST�!� ���� ��">�# �* ������%�������� �!�O�#"�� ���O�����!�3�:�#� ��� ���N�#"�� %����%�� �����1��GH�#�� ���-� ** ������ ���/����� �!�����)�-���$"0�-2">%�� %� � ; �# </4

Categories and Subject DescriptorsU�4 V�4 W=X Y[Z�\^]:_�`�ab�cBdfe/g>dEb�b,a#g>dfeJhji.kI���� �����7lnm�o'p0q�r-p:s!t#u/v:o2s!o t-wx y p o x

General Termsz.M��/�� ���!�����:�#� ��� �[C-kI�&�-��%� ���!�����&C{|���"0�- �1�#����� C }��:�#� ���+� ���&�-��kI� *,D���)����8

KeywordsU~�)�+�� ����%�� � * ��� ��� ���,%�� %��L�,%��-���3�7�N�-����%�:�-�����

1. PROJECT DESCRIPTIONc~��b,ae/g>dfe�]�ab�d|�|�R`Jdf���-�f`��>�0b�dfeJb�� �F},�-"�� ; � � * ��@A���)�-�/�� ��#� * %����� �~���/��� * �N8# �&�#� * �&�#�?�#"�� ���!���!�&�-��%� �)��8�CH�!� * �����)��8�C�#� * �-���-�3��������8(� ���I�+���+� ���!�Q� ��������%���� * �-� * %���� 4n�?�������&�#�)�3�� �������?�)�,@A���+� �)8 �#� ��� ���|� ���/���"0�- �!� * �)� D ��� %����'ln�,�~�����1�-���A8# � %���#"$��M��/���� ��Cf� ��� �����3=� ; �T��� �!��%�� ����8����)���">�- �!��Cf%�������8I�)����%��; �- <,���A� * �R� �������J�&@A�(8-�����':�#� � * 4 P ���(�/���������I�-"���� D ��� %������%��-���3�7�!�#����%�:�#���������K�K�|����� �J����� � 8-:�#�!���&�#�!�/�~�#�J�#������� * ���!�J���=�)��@A���.�-" * �'�:�-���|�����������K��� �&�-�!�B�J�&@A�=��M,� �������)@ ��<,��� ; � D� * 8 ���#� * %��� ���+�� ����� � * �-����������� ��� ���O���#"0� ; �# � 4������R�����-�� D��� �!����8-�I�-"=��� D ��� %����F�'GH�-�� ��CB��� ; ��@ ��&CB�# � ; ����� D <���� ; ���-� *����@A�� � 4I����������������% * �R�+��������� ���-��� * ��� �+�Q�-� * ���'��� * %��)�-�?�-� *

Permission to make digital or hard copies of all or part of this work forpersonal or classroom use is granted without fee provided that copies arenot made or distributed for profit or commercial advantage and that copiesbear this notice and the full citation on the first page. To copy otherwise, torepublish, to post on servers or to redistribute to lists, requires prior specificpermission and/or a fee.A-MOST’05, May15–16, 2005, St. Louis, Missouri, USACopyright 2005 ACM 1-59593-115-5/00/0004 ... � 5.00.

��V �L�!�)�����&� * ����8� ����%��3� � ; ������� ����� ���+� D ���-�����=�#� * �)����%�� ; �# < D���A� *�* ��GH�' �B"0 �-���#��� %J�#�.������%�� �~�#� * ; �- <,���A� * ��C[�- ; �����R� ���* ��@A����� �/��Q�+���+� ���!���#� * ��M�����%�� ��� �����,@,�� �-���!����� � * �3GH���"0 � ��J��� * � * �-������4ST����M��/�����B� �������������-�� ���-�!����8 �B� � ; �# �����(��� ����� * ��:�-�����F���

� ���!"0%�� %� ���#�Q���-"�� ; �# �I�����)���� �&�#���)��8 �3����%����7����� � * � �O� ���!"0� � D��� ; �)��8��� ��� * ��i� �N Nb���`�d|��\�ZJaR¡|��b,a&¢ ��£6b��Ag�¤6�F�A¡|��]�Z/�(g0¥A`�]&g0Z/d����f�1���� @A����� �A� * �-� *¦* ��@A�� ���O%�����1��� �!��%������^���#� * � �T�-�!�#�� ����� * � D@A�����-���!�����B��� �+� �=�#�� � ���=�3�&C[���-"0� ; � �!�)�~�)���� �&�#���)��8 �3� * ������8-��� *�/�K��%��+� � �!���&�#�����K">�#B���#�� ����%����B %�� D � ���!�B��� ��� ��M,� �L�-� * �-������� D�&�� �)�-�R �&��%��3 ���!����� ��4L§~������:�-� D ��%� �/� ��� CJ� ��� D ������� D ��� � D �-���|���-"�� D; � �=��� ��%�� ��� ���2�-"0� ���R�J�&@A�K%��J�-���������:�#�������/���"0�- �1�-����� 4¨ ��YHb�©/b,abR� ZJ��]�`Jd|�¦]&gª��b�¢�]�Z�¢:��`�a#«Jb,]!£|ab��&�&¡fab�� �2§~��� ���-����-�!�/��� �3� �)�-�O�#� * �1�# <A��� * �� ��8 %��)�� �)�-�R�# �~���� ����<,����8���% * 8 ��� �">�#|� ��� * ��@A����� ���!�����E�-� * �#�J�#���������|�#"����#"0� ; �# ���)� D ��� %���� 4|5^�=� *,D* �3� ��� �[CA��%��+� � �!�� �|�# � * ���1�-� * ����82� �J��.���-"�� ; � �2�/��"0 ���,%������ �3��-� * :�#��� * �3�=%�� * �#� � * � �K� *�* ">%������ ��� ���-���3�7��C#��M=��%�8 �6�#� * �J�#� �:�������%� �3�7�=�/� ; ��46�L�.�B ����%����&C * ��@A����� �/�� �.��%��+�6�#���������.� ������� ����� D��%����������B�-" * ��@A���)�-���!����� * �����)�����-���=�-� * ��%���� * � ; ���� � �������!����O��@A�'2�����-�� ��������8!�#�!� %��,� �$�#"|� ���!� 4¬ �F Ng>��]�a#g0­.¡f]�b��®`Jd|��b,©/Z/�>¡f]&g�Z/dE¢�ZJa#g0b�dH]�b����fb,©/b��0ZJ£6�Fb�dH]£|aZ[� b��&��b�� �2�f� * ���H¯ �$8 ��� ���-�H5+������� ��� ����CA�Q%��3� � D � ����$� �'����� ��� D� %� ���N�#� * ���-�!�/� ������� D ���-��� *¦* ��@ ����� ���!���,�Q� ���'�����)��%����1�#"0� ������,@A� ��@A� * ��@A����� �/�' � * ���+�� �)��%�� � * �-�� �-����8 ��� 8-:�#�����)���-�J�����&�� �)�-����C� ���!�O���-������CB�-� * ��%��������������- 8 �-���)���#� ��� ����4°�j�����������1�� %��O">�#�/�-� �I� �/���O���-%� ���=�#� * ��� �!�!�� ���)�#�[�� �#�7����� ��4 �1�������L�-���� �A�#�'� � * %������1���������R� ���!�O���±�)�'��� �)��8 * ��@ ����� �/�� � ; �# <n�������#:�-�������ªC; �3� ���!�������1�-� * �� �������)��� �� D^* ��@A����� �/�'N�����- * �����#� ��� �[4����!� ���� �-�!�9� ���!�9� ��� %�8-���3�����-�F�)���� �&�#�������-"�� ; � ���:��%� �R:�#� ���=�#� *� ������%� �!�+���+� ��� D ; � * �!��� ���+��:�#���,� ��C.�-����%��!��� ��� ���9�#� * ����� ��:�-� D� ��� ����46�B���,� �����6�)�9� %� ���)���� �&�#�����?� ��������� * � � * ��� ���'�&C * �)�#8 ���-��� C�-� * ��M9"ª�#%��3�7�Q�'���-��8-������%��)�:<,�3��4.�����2� �#�!�L���3� %��#� ��� �1������%� �������@A�-��%�� ��� � D �# ������� � * �� ��������������C ; ���' �Q�1�-���I���1�-���.������ ���!���,� ��# �K �-%�� ���������I� *�* � * � �Q� ���~�J�-�����+���+� ���O4�����������#����������:�� ����8!�� ��� * �2�� ���������L�1�-���1�:�J�#�)������8 ���L� � * � D

@A�����-�/�� ��4 P ���$�#"[� ���$����8 8-���+�����6� ����o�²'m/³�r&´-µ0u,¶ x ·-x ¸ o's°v:r#u&¹|¶ y wp�t ¸ µjr-u x m�tAv:o'4�}��-"�� ; �# �~� ���#�� %������-�1�1�-���!�J� * ; �# �K�#� * P }���)���">�- �!���-� * ��%����/�-�� �?@A���� * �3GH�� ���,�6"0�&�#� %� �L���'� ���-� * ; �# < D���A� * �� �-�����������-�T���@ �!%���� �N� ��� %�� �-� * �=�-"2���-�!������� D �-� *�º �# %�� D � �)�!�1���-����8 %�:�� ��� �±� ��� ���-����4¦»��-���M��-�!����� C�}��K¼®},�� @A��½ 4 ¾=�J�#��¿ ½ ���-����8 %�:�� ��� �1� ��� �)�-����C P :�#�����~À��J�#�$V�� �B�)���3� ���#���)��� D� ��� ���J�:�-�!��� �' ��C?� ���I�LÁ�z�ÂK�|� P Á P~ÃBÄ �Å���!�������!�����:�� �)�-��J�#�f�@A��.Æ-¾-¾B���-���J8-%�:�� �)�-�=� ��� ���-����C �-� * �$ �������,�|¼E���,%�M~<A�� ������J�#�����&�# �3��Æ-¾ ¾-¾�4�SÇ���)���1���#���#����� ��� �)�-���Q�# �1��� * ���/��� * �����+l� ���'�R�-"�� ������� ���+��:�#���,�K� ���Q�-���-� ���'~ln� �����~����@A���� �����)�����K���&� * �� �=�K8- ���#���1�-���9�+���+� ������� ���J8 %�:�#� ��� ����C,�&�-�:�!�-" ; �����'�����-�?�3� �� ; �O�/���"0�- �1�-�������:�J�#:�#��� �� ���+� ������4

Page 2: Distributed performance testing using statistical modeling

S�������8# � ; ����8L��� ����8 %�:�#� ��� �=���J�#�����f�# �6��� %������ * ; �3� ������ ����< D����89���#"0� ; �# � * ��@A���)�-���!�����6 �����-%� ������C��3���/����� �!���?����"0�&�-���������~� ����-� * ���9�-���f�/���"0�- �1�#�����9�-���-�3�������B��� D ��� %����-4 P ���K ���-��� �R���L��� D* ��@�� * %J�-� * ��@A�����-�/�� �.�)�-�:<=�-���������|� �K�-����� ����È�o ¸ o'p+r ¶�o'uHo�r y,x È�t-p�´-wÉ t-p�o'Ê�Ë�Ì�Ê~t#u/´Fv:r#s~mJµª³)o'p�mJ³�t ¸ q�r-p:s x �-� ; �����:�T� �����39���-"�� ; �# �; �����f %��E4�z?@A��� ; �3� �R�-���������B� �� �����-%� ������C/�3�B�����!�������:�-< ���$� ������-��8�� ��8-���L%�����"0%��E"0��� * �J�-�:</4���������� * ����%����L���2� �J�#� * ��@A�����-� D�' �L��%��+�$�#"0� ���N �����&�-���=���-"�� ; �# � ; ��� �����/�'�">�- �1�#���������N�1�-������ ����8 %�:�#� ��� ���B���2%���<���� ; �E4kI�# ���@A��&C * ���+�� ����%�� � *�* ��@A����� ���!�����/� �&�-�!�[��M��-���' �J�#� �.� ��������� ��� * �B�/���&�#%������3�K�/����� �!���~�J�# * � ���1�-�����:�-���F�!�+���+� ��� D ; � * ��/�' ���/����� ��@A� 4=�L�K�� ����%����&C�´�o x µ)¶-uTt-u/´Rr:m ¸ µ>sQµ�Ít ¸ µjr-u�´Ao v�µ x µªr-u xt#p o~s!tA´Ao É µ ¸ È�r y,¸ mJp o�v�µ x oLÎ#u/r É ³)o ´�¶�o=r7q ¸ È�o'µ>p~v r-u x o�Ï y o'u/v:o x µ>u¹�o�³�´�o�´ x ·#x:¸ o's x 4���������=�� ��� * �~�#� * � ������B ����%��3� ����81�:�J�#�)������8 ���~�� �&�#� ���-�R��� D@,�3 � ���!�����2��� ; �����'�R�/�'�">�- �1�#�����=�#�J�#��������� * �-������� D ���-%���� * ����-�.�1�� �'����� D � ��� D �J��� * �/�����&@����#&4fST�?���-�,� ��� * � �J��|� ���:�����)��%�����#� * � ���-�)������� * � * � �=�� � * 8-�L� ������8 �-�1��GH����� ��@A����� ; ���)�/� �&@A�L��%�� D�+�:�#��� ���#�f� ���!� CJ�'GH�-��&C/�#� * �����-%� �����L� �� � %�8-���-%��L� �������-"�� ; �# ���� * %��+�����4�E�T� *�* �����!� �������O�� �-�������!� ; �R�# � * ��@A�����-������8F� ��� �����-� *

� ���'�����)��%����Q"0�-1UK���+�� ����%�� � * C�Á�� ��� ���,%��-%����~%J�#�����^�±�B����%�:�-������ªU�Á$�K�K�'4�57���J��� �)��%��)�# ; �=�# �~"0����%�������8Q� �IU�Á$�K�Ð�� �������������� ���#�R��� � * %����O�/���">�# �1�-�����T�-���-�3���������# �-%�� *�D � ��� D ; �- � * �-� *� � %�� *�D � ��� D �������'</C|����@ ��:�-8-�)��8O�J��� * � * �����-%� ����� * %� ����8O�����&�#�jC�#G D �/�&�-<���� %� ��4|�f�L��%����/�#��f� ���)�f��GH�-�� ; ��� � * ��@���������8B�-� *Jº �- � * ������8 ������8Q�/�'�">�- �1�#�����K�-�J�#�3�������$���9� �������# ���+��$È,µ�¶È�³ · ´-µ x w¸ p:µjÑ y,¸ o�´Tt-uJ´F³ µ)¶È ¸ªÉ o'µ�¶È ¸ "0 �-�Ò� ���!�/�� ���/���'� �)@ ���#"2��� * ��@,� * %��-����#�� �������J�#��� ������V ��µ0u/v�p o's!o'u ¸ t ³Lt-uJ´TtA´At:m ¸ µ>Ó-o'C��:�J�#��8-�)��8F� �����3�/���J�&@,�)�#��@A���� ���!�L���-��� * �-�����# ������� ����%���� ��C�� ���!�2���-���+��:�-����� ��#� * ����� %� ���2�&@ �#�����#�������3�7�H���#� * �jÔ �?p�r Ñ y�x ¸ � � * �3GH�� ���������.���9��� *%�����~ ����� %� ������CH��%��:���-�B�� �����������#K���/��� * ��CH�!���!�#��I�&@-�-���)�-���)� D�3�^��C���:�#����������� ; �# <���� � * �B�-� * ����� ; �- <1��:�#Õ!� 4�E���-����� �!���)�����1� �������~�+� �������'GH����� ��@A���3��C ; � * ���/��� * �-�N�!� *,D

���)�2� ���������I��� ��@A�K� ���~">�-���)� ; ����81� ���:�����)���-�[�'���-��������8-����iÖKaZ[� b��&���F`Jdf`�eJb���b�d[] �6S(�~� � * ��@A����� ������8�� ���2� ��� �/����"�:�-� D�� %���� %� �Q����������� �#���� �O���-� * %���� * �)�+�� ����%�� � * �-�J�#�3�������9�-�(�� � D* %���� ���-�N%�����2�� �-8-:�-�!��4?�������$�)��"0:�#�+�� %���� %� �K��������% * �����!���:�J� D�������!�|">�- * �������&���)��8B����� * � * �)���+�:�-��������C���M�����%�� ����8~�-� * �!�&�-��%� D����8��&�-�:�I�����+�:�-����� ¯ �L�/�'�">�- �1�#�����-CJ�#�&��%��3 ����8 * �#�:�9"� � �°� �����OC�#� * �+� �# �)��8F�-� * �-�J�#�3�����)��8R� ��� * ��:��4R5����#�)�������,@A� ��@A���������#� D����8������ <,�����1��� * ��@,� * %��-�J�+���+� ���!���-� * �!� * �3"0������8 * ��@ ����� ���!���,�� ���-����C6��%��:�T�-�=���-����8 %�:�� ��� �T�1�#�J�-8-���!�����=�#� * ��%�8 D ��:�#�'<,����8�+���+� ���!��4 Ng>��]�a#g0­.¡E]�b��¦� Z/��£6Z/�&g0]&g0ZJdf`J�6`Jdf`��0×E�&g>�9]�b��#�|d|g0ØE¡fb�� ��}�����������-�:�±%�������� �@,� * ���9� ���3���O���1�#���$�-�!�-%����9�-"2� ���!� �-�:�#� * ��:��C��:� * �3� ��� ���-�B�-�J�#�3��������� ���#�!���!�����&�-������� * � �(�#�n��� * �)@,� * %��-�$%������1�#�'������� ; ���������#� ; �- </4.S(�$�# �$� ���' ��">�# � * ��@A�����-������8���� ; * � D���-�!�����#�J�-�3�������L� ���'�����)��%������ ���#� * ����� �!�/�-���~� ���K�-�J�#�3�������L���,� ����1�#���)�'=�+� �������#� * %������+�:�#� � D �#" D � ��� D ���=�+�:�#� ���+� ���&�-�6� ���:�����)��%����� � * ���+�� ����%�� ��� �����+� �����.�-�!�-��8L�Q%��3� �������?%����� �|�-� * � �����=� �2">%�������-�:��%�����&¯ �~ ����%��3� �B�)��� �N�-�F�-����%�:�� �Q��� ��%�� �)�-�F� �!� �����# �)8-���J�-��� � ���)���O4 Ng>��]�a#g0­.¡E]�b����f`�]�`���`�df`�e�b��Fb�dH] �Q57���3� �)�-���3��C[� %�=�-���� �A�#�'����-� * ���+�� ����%�� � * �/���"0�- �1�-�������!�&�#��%� ���!�����R�:�#��<����-�' � �����8# � * �-"6���-�!��%�� ����8� �����-%� ������4������ * �#�:��� �= �'� %� ��� * � ������� D��:�#�|���-�)�����'� �)�-�����3� ���~�-� * �-�J�#�3����� * � ���� �-4L�������K�#���� � �-�:� ; ���)����&@A�K�� �-�������!�������-������8�� �Q@ �������� 8 ���,%����/����#".�J��� �������J�-��� ��4�E� * ���-� ; �3� �9� ��������������%�����C ; ���# �� � * ��@A�����-������82� �����)��"0:�#�+�� %�� D� %� �K�#� * �-�J�#�3��������� ���:�����)�,%��������9� �J��$���#��� ���3�1�!�&�-��%� ���!�����&C��%�� * �#�:�Q�1�#�J�-8-���!�����2�#� * �#�J�-�3�������L�# �9�-����� * ���+�� ����%�� � * 4Y[� b�df`�a#g0Z®gª��£.��b��Fb�dH]�`�]&g0Z/dÙ`Jd|��b���£.g�a-g0� `J�9b�©�`J�0¡f`�]&g�Z/d���E�Q�����)�1��M����)�# �~� �������~� * �&�#� ; �K�# � * ��@A�����-������8����/�����3�J�B%�� �-8-�

���������# ��� �7l��-���������&�#� ���-���N� ���#� * ���/��� * � �¦�/���">�# �1�-�����O�!�&� D��%� ���!������� �F�-�:������@ �N���-�!� * ��@A����� �/�'��-Q%�����Q8 � �-�ª4TST�N�# ��-��������@ �#��%J�#� ����8���� ;n; �����/� %�2�-���� � �-�:�N��%����/�-�� �?� �������~�-������� D�&�� �)�-���2� ���/����� ��2%�� * �� �+�:�-� * � ���~�)���!�3� �2�-".�-%�B�-���� � �-�:�E4

2. PRELIMINARY INVESTIGATIONS

2.1 The Skoll DCQA Environment�B�B��M����)�-����� * �&�# ������&C ; ��� �Q��M����)�# ����8F´-µ x ¸ p:µjÑ y,¸ o ´�v r-u ¸ µ>uJwy r y,x Ï y t ³ µ ¸ª· t x:x y p�t#u/v:oL�� ��������������4�U=Á$�K�®�� ������������� ; �- <��,�* ��@,� * ����8N����8 �(�)��@A�����K�Ú�:�#��<���Cf��%��:�T�#�= %������)��8O�N ��8- ��������� �� ���+�~��%��3� � CH����� ����%��3� �������=��%����:�-��<,��CH��%��:�F�-�B %������)��81����%���������-"H� ���2 ��8- ��������� ��� ���+����%��3� �B�-�1���J�#�� ����%��)�#��+���+� ���Ú���-���J8-%�:� D� ��� �[4?���������L��%����:�-��<,��� �L� ����������� �������)8-����� �3�1�-� * ��� ��� ���,%�� %����3�* ���+�� ����%�� � * � �lÇ�#� * ��M�����%�� � * ����l������ �� � 8-������� %��6���-�!��%�� �)��8 �����-%� ��������� ���� ����%�� � * �)�# 8-���3�����(��� *�D %����' �Q�#� *�* ���+�� ����%�� � ** ��@A����� ���!������� �&�#�!��4?�����B ����%��3� �$�-"E� �������K��@ �#�)%��#� ��� ���2�# �~ � D� %� ��� * � �1���� @A�� �~�#�B��������:�-�f��� ��������� ��� �����3� ����C ; ���� �=� ���'�R�# �">%���� * � � 8-��� ���'L� �!8-%�� * ����%������&��%������B�3� ��:�� ��� ���L�-".� ����U=Á$�K��� ��������������4�f����%����/�-��N� �����I��GH�#�� ; �����@ � * ��@A�����-�/� * Ì�Î r ³>³ C~���� � D

� �-�^���/�!U=Á$�K�Û���,@,�3 � ���!���,� * ������ ���/� * ���ÜAÜ Ü?Ý�ÞAßfÝjà#á�â6Ý7ã-â à�äå�æ,ç è ã,Þ#é�ß-ä�ß&ê çAë ë 4ìÁ�%�� ����� �3��},<A� ���Q��������% * �����)�-��8 %��-8 ���(">�#�!� * ���)����8¦�+���+� ���í��� ���J8-%�:�#� ���-�����-� * � �����3O��� ���+��:�#���,� ��C��-� D8 �# �3� ���!�K">�#=���'��� * %����)��8O�#� * ���!�-� ���3����M�����%�� ����81�:�-��<,��C.�#� *���)�#��������8�� ���'�����-�)�-8-�K� ���#�f�-���-�3�������f��%����:�#��<L ����%��3� �|�-� * � * �-��� �� ���~U=Á$�K�®�� ���������L�)�N �&�-�H� ���!� 4

���������- ���� �+� � ���!�-"$}�<A�-�)�.�����3� �K">�# �1�-�6�!� * ���.�-"$��U=Á$�K��� ����������¯ �~�+���+� ���°���-����8 %�:�� ��� �R���J�#��� C ; �����:�O�&�-��� %� ��� * ��GH�' D�����=���-�,�� �-�����#:�#�!��� �� ��C|���-����� * � ��� �)�-����C6�#� * � �����39�-����� ; �#������������ ����8-��4F}��������!������:�-�'� �)�������-���-������� �������J�� �)�-���9�-"2�-��� ��� ����1�-< �Q���������R�>">�-9�����+�:�#�����-Cf">���#� %� �!îï�1�������-�=�/�Q��%����/�#�� � *� ��� �/��:�� ����8R�+���+� ����ð��'C ; � * ��������µ>u ¸ o'p'w7r:m ¸ µjr-unv r-u x ¸ p�t#µ>u ¸ªx� �J��2���)�!�3�$� ���K������� ����8��-".�-���K�-��� ��� �O���-��� * � ��� ���K������� ����8 �2�-"�-� ���� ��41�ñÓ#t ³ µj´Rv r-u&¹f¶ y p�t ¸ µjr#u¦���=� ���Q� �J��=@,�)�-�)�#� ���=���N���,� �' D� ��� ��� �Q��� ���+��:�#���,� ��46}�<A�-�)��%������f� ���)�.��� ����8 %�:�#� ��� �9���J�#�����!� * ���� �9�����������)�-��8 ��� ���-�E�K�Ç�� ��������������CJ� * �#����� �������~�� ������������� * � D�J�#�!���&�-���3��CA�#� * �-� * �)���-���-�3��������8~�-� * ����� �� �� ��� ����8L ����%��3� �|"0 � �@-�# ��� %��|�7���/���|�#"J">%������ ��� ���-���-� * �/���"0�- �1�#�����? ��8- ���������-��� ���+� ��4

}��������B� ���~���-���J8-%�:�� �)�-�N�����-�����$�-"|U�Á$�K�Ð�� �������������$�&�#�I�/���%��3� �O�)�# 8-� C~}�<A�-���B���-���-�Ðò:u ¸ o�³>³ µ)¶�o'u ¸ Ì ¸ o:o'p:µ>u�¶Tó�¶�o'u ¸ �ª5�}��K�� �J���%����������)�#��������8F� ���:�����)�,%������ �F���-�,�� �-�$U=Á$�K�Å�� ���������������� * ����� * ����8 ; �����:�1@ �#�)� * ���-���J8-%�:�� �)�-��� ���-�������&�� �~� �����-�:����� D���-�!�)��8�}�<A�-���|�����������~ �&��%����+�&4$SÇ�������!�����������K���~�@-�-���)�-����� C/� ���5�}�� * ����� * ��� ; �����:�N��%����:�#��<�� �Q�#�����)8-�I�3�$���!���-����� * �' �)��8Q�1�#�,�"ª�#��� �- ��C���������% * ����8I�+�&� ¸ È�o x:·#x ¸ o'sôv:r#u&¹|¶ y p+t ¸ µjr-u�s!r&´Ao�³ C ; ���)�:��:�J�#:�#��� �� �������K� ���=��%����:�#��<,�B� �J��~���-������8A�#�)�3�F�/���-������8 ��� * C?��V �¸ È�oNp�o x:y ³ ¸ªx r+q9m�p o'Ó&µjr y,x�x y Ñ ¸ t x Î x C ; �����'���&�#��� %� � ; ���#�Q�:�#��<,��J�&@A�1�#�3 �&� * �(�/����� * �-���1�-� * ; ���'� ����=� ���� ����%��3� � ; �� �1��%�� D�������+"0%��ªCE�jÔA��¶ ³�r Ñ:t-³,m�p�r&v:o x x ¶Ar&t ³ x C���%��:�N�#��� ���+� ����89�/� ��%��)�#���� � D�J8-%�:�� �)�-�����!�# ��� ���-��:�# ���3��%���� * � �������-�� ���+� �)��8F ��������� �3��:�J�-��8 � * ">���#� %� ���?�!�# �����&�&@����3��� �J�#��%����:�J�#��8 � * "0�&�#� %� ����C��#� *�ª¿���v�³ µ�o'u ¸ v:È�t-p+tAv ¸ o'p:µ x ¸ µjv x t-u/´Qm�p o>q&o'p�o'u/v:o x i�"0�-=��M��#�!����� CH� �������������� � * ���-����8 %�:�� ��� �1�Q%��+���/�L���-�!�J�#� �����)� ; �3� �!� ��� P }Q %�� D������8�� �O� ���K�����������~�1�#�'���)���K�-B���-���J8-%�:�� �)�-���L�Q%��+�$ %�� ; �3� �%����' D ����@ ��� ln:�� ����$� ���-�I��%��/�� %����' D ����@ ��� lõ�� �-� ���'� �)�-�O�!� * ����4�L"�� ��?�B@-�-��� * ��� ����8 %�:�#� ��� ���)�6�:���-�����EC#� ����5+}����J�#�'<-�-8-���|� ���

���#� �����/� � * ����8T�K�ñ��%����:�#��<T���,� ���1ö&rAÑOv r-u�¹|¶ y p�t ¸ µªr-u�C ; ���)�:����-�������+� �f�#"�� ���6��� * ���#�� �3"ª�#��� ��C-��� ���J8 %�:�#� ��� �����#:�#�!��� �� ��C��%���� *�����+�� %���� ��� ����CJ�-� * �K� D ���/�����3���K��� * �1�>"0�-L��M��-�!���)�-C * ��@A����� �/�' D��%���������� * ��8# ��������� �F�-K�/�'�">�- �1�#������� ���+� �:�L�-���������)�� � * ; �3� ������-"�� ; �# �I�� �#�7�����&4Fz?�-�:�O�+�-����� ���J8 %�:�#� ��� �����9� �����T�����,�=� ���}�< � ���B���)�������&C ; ���)�:����M�����%�� ���!� �����+� �Ç��� ����8 %�:�#� ��� �Ç�#� * � D

V

Page 3: Distributed performance testing using statistical modeling

� %� ���9� ���! ����%��3� �Q� �R� ���N5+}��94|�����N5�}��°���-�����&�# ��"0 �-�÷� ��� ����%��3� �L�-� * � * �-���$� ���~�� ����������i���"f��� �!�K��� ����8 %�:�#� ��� ���2">�-���E� �; �- <��� �-�/�� �3��C * ��@ ����� �/�� ���1���R���3� ���� ; �#���K� �I���)���/� �����~� ������-%� �����#"|� ���~�� � �������!���-&C��-�3� �� ���#� ��@A���3��C�� �� ��"0����%��L� �N�-� ����%�����M����)�# � * ���#�� �L�-"|� ������� ���J8-%�:�#� ���-�O���J�#��� 4��f�!��� ���� �-�[� ���5+}��=C�}�<A�-���/U=Á$�K�Ç�� ��������� * ������8 ���� ���&�#� * ��@A����� �1��%��+� � �!����� *t ´At'm ¸ t ¸ µªr-u x ¸ p�t ¸ oj¶-µ�o x � ���#�L�!� ����� �#B� ����8 ��� ���-�|�� ���������B�+�:�#� � C�#�J�#�������$�3�&CA�-� * %������ ��������">�# �1�#� ��� ��� �~�!� * �3"��9"0%�� %� ����%����:�-��<�#������8 ���!���,� �2��� ; �&���$� �J��2���!�� �@A�K�� ���������2�/���">�# �1�-����� 4},�������=U=Á$�K���� �������������~�&�-�R�/�=���-�!������MHCH},<A� ���f%����� �L�-"0� ���

����� * ��������� �(����� �� �� �'�1�-� * ����@A�':�-8 �I�� ���������! ����%��3� ��4Ç},<A� ���� ���� ��"0�- �2��%����/�-�� �6�~@-�# �����^���#"H����%�8-8A�#�����2�-���-�3�����)�6� ��� ����C���%��'��#�f���)�#���������&�#� ���-�9�� �����-���-�3����������Á��|�~�6X3��hj4.5^�K�� ��@����-%�� ; �- <�X3�&¾�C��ø#hjC�">�-L��M��#�!����� C ; �B%���� * Á��|��� � * ���#8 ��� ����� ��� ��� ���2�#� * ����� D� ����8 �B� ���#� ; �� �=� ���=����<A���3�O���-%������~�-"?���/����������� ���+�~">�-����%� ����4L57��!�# �I �������,� ; �- < ; � * ��@A���)�-�/� * �+�:�� ���+� �)���-�B� ���-���1� � * ������8-��#� * �#�J�#�������K"0�- �1�#�E��M��/�� ���!����� ��4

2.2 A Sample DCQA Process for Performance-Oriented Regression Testing�L�B���#"0� ; �# ���+���+� ���!�2�'���-��8-� C * ��@A����� �/�� �L�-"�� ���R %��I ��8- ��� D

�����-��� ���+� �.� � * ��� ���'�6%�������� ��� * � * ">%������ ��� ���-����� * �2��GH����� ��4?kI%��'����������#��� ����� ��� �����-�9�/����� * �3 ���'� � * � �R%�������� ��� * � * ��� * ���'GH����� ��-�R�/���">�# �1�-����� 4��f� * ��� �����L�/���">�# �1�-�������� � �������!��C * ��@A�����-� D�' ���#"0� ���( %��(�/�����'���1�# <,����8� ��8- ���������-�T� ���+� ��4O�L� * ������ ���/� *���O}������ ���-�F�-C���� ; ��@A��&C���� D ��� %����K�K�Ð�'GH�-�� �$�&�#�����#� * �&�#� ; ��� ������- �!�-%��[�+���+� ���®��� ����8 %�:�#� ��� �=���J�#������C#�����/�������#����� ; ���� �.� ���!��#� * �����-%� ���2���-���+��:�#�)��� ��C��#� * �-"�� ���!����8-�!�'���-��8-�$"0 �&��%�������������C����@A�� ���3�O�����!�3�B� ���=��%��Q�/��2�#"?��� ���J8 %�:�#� ��� ���B� ���#�B�&�-���/�=��M D�#�!����� * 4�»��#K��M��-�!����� C/� %���&� �)����K��M��/�� ��������� ; �3� �(�#������������8},<A� ����� �K� ���L�BÁ�z�ÂK�|� P �!� *�* ��� ; �# �$">�-%�� * � �J�#��� ���3�!�K���1�-����,%��Q�/��.�#" * ��">�-%��������-���J8-%�:�� �)�-�����# �2�/�����'���1�# <A� * � %�� �������3������ ���R���- �F�LÁ�z�ÂK�|� P * ��@A����� ���!������� �&�#�OC ; ���(� �,%��!8-����#���'M��� ���!���3�O�����!��� � * @,��� ; �#"�� ������~�!� *�* ��� ; �# � ¯ �9�~%��-���3�7�R�#"},�� @,�����(���~�A}��'4?{. � �������!�Q���-�Q �&� * �)�3�±�������±���±� ������� * ��"ª�#%��3���� ����8 %�:�#� ��� ���6� ���� ��"0�- �$�-"�� ���Q�����&�-�/� * ��� ����� ��� ��%���� �����+���+� ���!����-��� * � �R�LÁ�z�ÂK�|� P �# ���J��� * � * ������� * %����' ��4�E�¦� *�* �����I� ���������� � �������!��C ; �F%���� * � ���T},<A� ���K����@,�3 � � D

�!���,�~� � * ��@A����� �(�-� * ���!�������!�����=����� ; ������ � * U�Á$�K�Ú�� � D���������&�-����� * s!t-µ0u�o>ùBo v ¸ªx�x v�p o o'u�µ>u�¶���},���=ðK�����1�-�9���=�-�ª46X Ô#h6"0�-���!�- � * �'�:�-����� *O* ������%�������� �/�'4

2.2.1 Main Effects Screening ProcesskO�#���N��GH����� ������ ����������89������� ���:�����)��%��$"0�-�:�#��� * �3� * ��� ����� ����8�/�'�">�- �1�#����� * ��8-:� * �#� ���-���#�� � ���~���)�# 8 �9���-���J8-%�:�� �)�-�R���J�#����#�O�( ����%��3�I�#"=�+���+� ���í�:�J�#��8-����4 P %�N�-���� � �-�:�� �����)���I� ��������#���Q�#"2��M��/�� ���!�����:�-� * ������8-���9�&�-����� * x v�p o o'u�µ0u,¶(´�o x µ)¶-u x X3�Æ&h�C; �����'��� �9����8 ���3�N�����-��� �!���&�#�.�-� * �&�#�O ��@A�&�#�f���!�/�-��:�#�,�9³�r É wr#p�´�o'pQo>ùBo v ¸ªx C/��%��'�I�-�2��� * �)@,� * %��-�[� ��� �)�-���L�-� * ���-�3 �2�-2�� ����������#"2� ��� �)�-����� �J��9�+�� � ��8-�3�T�GH�����9�/���">�# �1�-����� 41ST�!�&�#����� ��������!�-�+�2�����J%������ �)�-�[� ��� ���-�O������� ����8-��ú^�1�-���O��GH����� ��4 û����������8 �1����@A���ªC,�1�#�)�!�'GH����� �����' ����������8����,@A� ��@A����� ���$"0� ����� ; D����8��+� ������i=�+��2��� �!��%�� �9��">�# �1�-�|��M��/�� ���!�����:�#� * �����)8-�����-��� *

�-�±� ���N�+���+� ���O¯ ����� ���J8 %�:�#� ��� �±�!� * ���j�K��V �9�'M�����%�� �1� �J��!��M D�/�' �)�!���,�:�#� * ������8 �O�-�� �-���L����� * � * ��� �!��%�� ����89 ����� %� �����2���N� ���},<A� ���JU�Á$�K��8- � * ���Q %���������8=�#� * �!�&�#��%� ����8��/�����:���1�# <,�6� ����/�����3�J�����-����8 %�:�� ��� ��� * �)�'�:�#� � * �,�I� ���Q�'M��/�' �)�!���,�:�#� * ������8-�* ��@,����� * ���O�+� ���T� �|�jÔA�$��� ���������&CH�#�J�#���������-� *O* �����������N� ��� * ��:��C�����# * ���� �T� * ���,� �3"��¦� ���O�1�-������GH����� �����ª¿A�!���+� �)�1�� �R�@A��:�-����/�'�">�- �1�#����� ; ��������@A���� �������-"�� ; � �R�'���-��8 �������(��@ �#��%J�#� ����8�#���|��� �������J�� ��� ���2�#"?� �����1�-���O��GH����� ��� * ��"ª�#%��3� ����8!�#B:�#� * �-� D��������8Q�#�)���-� ���'��-��� ��� ���:�'���#� * ��Æ-�6���-��� �)�,%�� %����3�� ���&�-������:�� �B� ����1�#���Ç��GH����� ��� ��� �)�-���N�,�¦ ���+�:�#�� ����8�� ������ ����������4ï�����)�N�)�-�+�

�+� ���N�)� * � �����/���&�-%����K� ���K�1�#�)�N��GH����� �$���-�O�:�J�#��8 ���@A�'$� �)�!�-C* ���/��� * �)��8Q�-�O��� ; "ª�#�+�L� �����+���+� ���°�:�J�-��8 ����4�����L�#����%��!��� ���-�!�/������� * � �����?��@A� D �+� ������ �������������?� �J�#�����������

�1�-���¦��GH����� �1� ��� ��� ����� �O� ���O�-�����!� �J��N�#GH�����1�/�'�">�- �1�#������!� �+�&Cf��@-�-��%J�� �)��8��-������� �Q�����J�#� ���-�����-"$� �������!� ��� ��� �T������� ����8 ��C; �����:� ; �2�&�#����� ����ú^���� ����������8=��%��3� � C û=�&�-�� �&�-���-�J�-���3�!���+� ���1�#� ��/���"0�- �1�-�����$�#�� � ���.� ��������� �� ����� ���J8-%�:�#� ���-�����J�#��� 4.5�"�� �����.�#� D��%��!��� ��� �I���$�� %��-C�� ���+� ����8Q� �������� ����������8Q��%��3� �������-%�� * �� �@,� * ��Q%��'�N� ���9� �-�!�9�)��">�# �1�#� ��� ���-�L� ���+� ����81� ���9����� �� �9���-���J8-%�:� D� ��� �F���J�#��� CE��%��K�#�=�!"0:�#��� ��� ���-"�� ���9� ���!���-� * ��GH�#��������������3����2�Q%��:�����1�-������2� �J�-��� ��������� �3 �K���-����8 %�:�� ��� �R���J�#��� 4

2.2.2 Feasibility StudyST�=��@-�-��%��#� � * � �����K��� ; �� ���������K���O�-�����3������8��3�B� �N�1�)�# 8-� D���&�#�)���+���+� ���Ò�&�#�)��� * �LÁ�z�ÂK�|� P X3�&Ô#hj4O�����!�+� % * ��">����%���� * � �� ���1">�-���)� ; ����8��#�����)���&�� ��� �n�������J� �)��4±UK%��1� �F �����������:�J�#��8 ����1� * �R� ��� �����!����� �-8-�(��%���%�����8��+��:�� ��8-��CL� ��� * ��@A����� �/�� �N�-"�LÁ�z�ÂK�f� P Â�Á�57� P ; �' ����� ������ ��� * ; �3� �Q�!���-��%� ����8L� ; �~�/�' D">�# �1�-�����6�� �3� �� �)��i��+�&�/� ���6���� �����'�~">�#|�&�#�'�� �&��%����+�|�#� * ��V-�H� � D�:�-� �!����� �-8-�?� �� � %�8-����%��6�ª��@A���,� � º �������-� * �/�/��� ; �����K� ���?�BÁ�z� D�|� P Â�Á�5+� P ���)���������-� * ���� @A�'&4I»��-=� �����=@A�� ����� �(�-"2�LÁ�z� D�|� P Â�Á�5+� P CE� ��� * ��@A�����-�/�� ��� * ����� �3�J� * ��¿������J�#��( %�� D � ���!�� ��� ��� ���!� ������">���3�I�#GH����� � * �)�#� �������¦�-� * � �� � %�8 ����%��&4Ç����%���C� ���' �=�# �9V,ü�ýBþ��&ø,ÿ:Ô W-¿ * �3GH�� �����2���-���J8-%�:�� �)�-����4

�f�B��@ �#��%J�#� �$�-%�?�#���� � �-�:�EC ; ��8-������:�� � * �/���"0�- �1�#����� * �#�:�">�#=�-������ø�C Ô W#¿I@-�-��� * ��� ���J8 %�:�#� ��� ����C ; �����'� ; �9 ��"0��K� ���-�L� ���ú^"0%����/��%��3� ��û��-� * � ���L�/���">�# �1�-����� * �#�:�=�-��� ���1ú^"0%���� * ��:�9�����&4 ûST��� �����®��M��-�!����� * � ���T�'GH�������-"1���-�:��� ��� �)�-���#� * �7% * 8-� *; ���'� ����2� ���'�N��� * ���!�/�#��:�-���2��GH����� �L� �I�/���">�# �1�-����� 4 Ä �-��� *� ��� ���)� * �#�:� ; � * �'� �� �!����� * � ���#�Q� ; �F� ��� �)�-��� ; �� �I���)���# �3����!�/�-��:�#�,�&C��#���-� ����$� �� ��� ; �' �=�# 8 %��-���������!�/�-��:�#���&C��-� * � ��� ���1�#�)������8��-��� ��� ��� ; �� �����#�L�)�!�/�#��:�-���&4ST��� ��������@-�-��%��#� � * ; ����� ����?� ���� ���!�-� ���3����M�����%�� � * ���� ����� D

����8 * �����)8-���K���-� ����� �3�R� * ����� ����� * � ���9� �-�!�=���!�/�-��:�#���~�-��� ��� ���* �������@A�' � * ����� ���1">%��)� * �#�:�������&4¦�f� * �F� ������C ; �O�&�-����%��)�#� � *�-� * ��M�����%�� � * � �� ��� * �3GH�� ���������� ����������8 * ������8-����4±��������� * � D����8 ������M��-�!����� * �#�)�$��¿I� ��� ��� ���~%�������8N�)���� �&�#���)��8 �3�F�)�# 8 �'� %�����������B�jÔAV,C�ø-¿�CA�-L�V-W��-������ @-�#� ��� ���:�'4.ST�� ��"0��?� �K� ���$���� ����������8* �����)8-���B�-����������-C������ ý �-� * ����� ü ���AC� �����/����� ��@A���3��4�S(� * ��� �' D�!����� * � ���#�$�#���[���' ����������8 * �����)8-�������-� ����� �3��� * ����� �3�J� * � ���L� ; ����!�/�-��:�#�,�2�-��� ��� ����4������ ü �����#�)���!� * ����� ����� * � ���~� �� �����/�-���������3����!�/�-��:�#�,�2�-��� ��� ����4���������N ����%���� �!��%�8 8-���+��� �J��R�+��=���� ����������8 * ������8 �����&�-�[C����

��� �!�9�&�#������C * ��� �����K���!�/�-��:�#���~�-��� ��� ���K�#�K�!���1�-���f"0:�#��� ��� �F�-"� ���L���-�+�$�-"E��M��J�#%��+� ��@A�2� ���+� ����8��[��V-�?� ���L���1�-�������� ���B��GH�����&C�� ����)�# 8-��~� ���K %��I�������=����� * � * � �!� * ����� �3"0�N�3�&�/�-� * �jÔA� * ��@A����� �/�' ������-%�� * �/�!���-%�� ���-%�� ; ����� * �&�#���)��8 ; �3� �(�-��� ��� ���=� ���#�9�#���/�&�� �(���&@A�R�-�¦���!�/�-��:�-���&C���%��� ���)�#� ��@A���3�¦���1�-���2��GH�����&C$�-��� ���'��1�����-��� %��-���3�(�/�!�������)��8R���# �1�-�6@ � �)�#� ��� �[i���������!�#� * ������ ý�/�-� �N�J�&@A����M��#�!�������$�-"f� ������4�~�'M��&C ; �K��@-�-��%J�� � * ; ����� ����L�/�����'���1�# <,����89�-���[� ���K���-�Q��� D�J�� ��� ���Q�-"~� ���N�!�-�+�����!�/�-��:�#���Q�-��� ��� �����&�-�±�/�I%���� * � ����� D� ���1�#� ���/�'�">�- �1�#�����1��%��)�:<,�3�(�#�� � ���=� ���Q����� �� �!��� ����8 %�:�#� ��� ����J�#��� 4����������+� ���1�� �����# �!8-�����':�#� � * ������M��-�!��������8N�-���?��� � D�������#� ��� ���!�-"L� ���I�!�-�+�����!�/�-��:�#���!� ��� �)�-����C ; �������N:�-� * �-�!�)� D����81� ���=������� ����8-�K�-"?� ���9%������!�/�-��:�-���L� ��� ��� ����4 Ä �-��� * �-��� �����* ��:� ; � * ��� �� �!����� * � �J�#�Q� ��� * ���+�� ����%�� ���-���Q�#"~�/�'�">�- �1�#�����">�#R�/�-� ��� �����J@ �F�!�-�+�O���!�/�-��:�#���R�-� * �+%��+�I� ����� ; �±�!� �+����!�/�-��:�#�,�1�-��� ��� ���N���' ����������8���%��3� ��������� �����3�n��:�#�'<�� ���R�@A�' D�-���H�/���"0�- �1�-����� * �#�:�,4?������� * ��:����%�8 8-���+� ��� �J���� ���L���� ����������8��%��3� ���$��� �!��%�� � * �#�2�+� ����¿Q�#"|� ���B�1�-������GH����� �$���� ����������8��� � D�������?�&�#���/�$%���� * � �K���+� ���1�#� �$�@A��:�#�����/���"0�- �1�-�����2��� D ���-%����$����M,�� ���!���3�N��� ; � ���!� º ��GH�#��&C|�> %���������8�¿!�/�����:���1� <,�2�:�#<A���L¿A¾

Ô

Page 4: Distributed performance testing using statistical modeling

X20

03.1

2.09

X20

03.1

2.10

X20

03.1

2.11

X20

03.1

2.12

X20

03.1

2.13

X20

03.1

2.14

X20

03.1

2.15

X20

03.1

2.16

X20

03.1

2.17

X20

03.1

2.18

X20

03.1

2.19

X20

03.1

2.20

X20

03.1

2.21

80

100

120

140

160

Screening 2 Options (4 cfgs) Over a Time Period

late

ncy

�Lg�e/¡fab ��� ÖBb,a\�ZJa-��`Jd|�-bRb���]�gª��`�]�b���`�� aZ/�&��]&gª�FbH�

������� � * ��Cf %������)��8OÔ V��:�-<A���9Æ��!���,%�� ����C[ %���������8��&ø,C Ô-W-¿R�:�-< ���� ; � * �����:�'4»|�����-���3��C ; �~��@ �#�)%��#� � * � ���B�� �)�1����8-�A�-�H�#"E� ���B�1�#�)�!�'GH����� �

���' ����������8 ; �����'�����=� ���,%����'<,�3� * ��� �������/���"0�- �1�-����� * ��8#:� * � D� ���-���K������@A�-�)@,����8��+���+� ���!��4~�f�N�/�'��� ��K%�� * �' �+�:�-� * � �����K������%�� C; �O�!�&�#��%� � * �)�#� ��������� ��� ����� � � D VR���� ����������8(��%��3� � C��-�����I�* ����C�%�������81Á��K}N���J�#�������#� �2�-"6�LÁ�z�ÂK�|� P Â�Á�5+� P 4»|��8-%� �2� * �����)�'� �[� ��� * �#�:� * ���+�� ����%�� ��� ���H">�#f� ���6� �-� D V����� ����� D

����8K��%��3� ���6�� �-<A��� * � ; ����� * �#� �~�ª����8 ����?���� �����'�Q�!�&�#��%� ���6� �; �- ����'41S(��������� �J���� ��� * ���+�� �)��%�� ��� ��� ; �� �!�+�:�#������� ���Q�� �+�� ; � * ������C-�' �����f%��=��� �!� ; ���#�|"0�-?Ô * �����.�-� * � �����=�����#�.%���� ���¿���� * ���F�+�V º ��¿ º ¾ Ô �'4L������� ; �� �=�� � %�8 ���2�J�#�'<�%�� * ��2��� ���� � �"0�-B����@A��:�#�f�!�# � * ������C���%��$� �����I�!�@A� * %��O�-8A�#���R� �N� �����)�-�+�* ����4RUK��@A���)�-�/��9 �����- * �Q�#� * �� � �������Ò ���/�#�� �Q��� * ���&�#� �!� �J���� � ���)���!� ; �� �=���#� ����� * �-���V º ��¿ º ¾-Ô�CH��%��2���#�L�/��">�# �K� �����[4�L���#� ��������,� �' ���+� ����8R�J� * ����8 ; �-�Q� ���#�Q� ���1�)���!�3� � * � ���+� ����8

* � �������F�BÁ�z�ÂK�|� P Â�Á�5+� P * ��@A���)�-�/�� ���!�&�#��%� � * �N�/���"0�- D�1�#����� * � ���-"L�-���3��� � %�� * Æ�� � ���&V º ��¿ º ¾ Ô,4�57�T��� ����:�-�+�&C�-%������ ����������8��� ��������������� ; � * �K�Q%��'�9�!�- � * :�-�1�� �)� * � ���#"���&�# �3��Æ#¾���4|»�%��� ����.�#�J�-�3�������|�����+���+� ��� * ��@A���)�-�/�� �|��� * ���&�#� � *� ���#�$� �����3$%����+���+� ���1�#� ���B� ���+� ����8�"ª�#���)� * � ����@ �#�)%��#� �K��� ����8 %�:� D� ���-��� ; ���� ��� ��� * ��8#:� * �#� ��� � ; �-�L�Q%��'���!�- �K�� � ��� %������ * 4

3. SOME TECHNICAL CHALLENGESU~�������3� �R� %���)���3� ���#�~��%���������������CL��%��:� ; �- <� ���1�-�����1� �(�/�* � ��� 4 57���J��� �)��%��)�#&C ; �(�Q%��+�O���!�� �@A�F� %�R�!� * ���)����8n�#� D�� �A�#�'�������#� * ��M�����%�� ��� �!����"�:�-�+�� %��'� %� � C * ��@A�����-�!��� ; �-���������&� D� ���-����C��-� * �/����� �'��J�#� * �)�B��:�#��� ���&�-�/������%����$�&�-%���� * ���!���)�#��">�# ������ �� �-8 �������3�7�I�-� * �-� ����L%����-������ @-�-�����K"ª�-�'� �- ��4�®ZE�Eb��0g>dfeI]��fb �"!°�&¡f­|]�`J�&«R��£|`�� b � ST��"0�- �1�#�)�3�= ���� ���������� ��� �����-���/����� ���#"$� ���1�K�ï��%����:�#��<,���#� * %�� * �� �3������8I���-"�� ; �# �� ���#� ; �������/��@-�# ��� * %�� * ��6��� ���� � �,�-"�� ����U=Á$�K���� ����������4?���������������% * �������-�?� �������� �����������#� * ���#"0� ; �# �L��� ���J8-%�:�#� ���-�!�J�#:�#� D�'� �� ��C|��%��=�#�)���N� ���Q��� ���+��:�#���,� �=�#�!� ��8N� �����O4�Á�%�� ����� �3��C ; �%����K�Fú^�/�� û9 ���� ���������:�� �)�-�I��� ; �����:�I�#�)�H�-��� ��� ���2�# �K�#����%��!� *� �R����� ��:�#���&4OST�1����� ��� * � �R��M������- �1���)�':�# �:�����&�-���!� * �������-� *��%��3� ������� D ���-�!�/� �����,���!� * ����� ; ���� � ; �R<,��� ; tOmJp:µjr-p:µQ� �J��8# � %����L�-"?� ��� �)�-��� * �-�E¯ �~����� ��:�#���&4�S(� ; �����.�#�)���1��M����)�# ��� ���'� D���)�,%����$">�#B���&� ������8 ; ����� ���'2� ��� ���-���2���,� �':�-���&4�®ZE�Eb��0g>dfe®¡|dfZJ­.��b,a©�`�­.�0b�� � kO�-���(�'���#:�-�'� �� ���+� �)���Q�-"~},<A� ���

�����������~�1�#�'���������L�# �=���-�B�J�#��L�#".� ��� * ��:����:�-�����!����� � * � ��� ������� @A�'&4 à �&�#��� ����:�-��8-�~"0 �-�°�� ��@-�-���Q� �Q���!�/� �������������3�7�1�#"|�!�&� D��%� ���!�����&46z6M��#�!���������1���1��������% * �K�� �����������-L���/��� * C��!���!�-���C������:�#��n@A�� ����� ���I�#� * ; ���#�N�-� ���'I�� � 8-:�#�!�I� �R %���������8���� ���~� �-�!�B� ���!� 4�}��:�#� ���+� ���&�-�[�!� * ���)����8Q���$����������� �#��N���N�# * ��$� � ���� ���������2� ���K��GH����� �2�-".%���� ������ @-�-��������4YE� `��>g>dfe � },� �!�9%����-������ @-�-�������K�1���R�!� * ���)� * �#�����&�-������8�"ª�#� D� �- �~� �F�/���">�# �1�-����� C ; �����'�F�#�)��� ; �=��� ��������� ���-�(�-" * ��:�N�#�/� %��� �����O4?}����K� ��� * ������%�������� �R�-"$#=`J�>g0­fa#`�]&g0Z/d��/����� ; 4Y[£|`�� b�¢+¤6�>�0g>dfe1b&%E£6b,a#gª��b�d[]�`J�J�fb��&g0eJd|� � }����-��� D ���)������8 * ������8 ����J�&@A�9�/������%���� * ��%����������+">%��)�3��">�#=�-���-�3�������K�-"��)�# 8 � D �����-���!��� � D��%�� ����!� * �����IX3�&VhjC ; ���� �1� ��������8 � * �)�!��������� ���-���3�7���#"B������%�����J�#�����9�����O����8-���3�J�&�#����������%�� 4O������������� %�� * �/�1�-���������&�-���)���#�; ���)��� �����)8-� D^* ���!��������� �J�#�����-���J8-%�:�� �)�-�����J�-������C���%�� ; ���)�� � D��%��3 ��� * �-���:�#� ��� �R���N�- * �'L� � * �&�#� ; �3� �O���-���+��:�#�)��� ��4Y[b�Ø[¡fb�d[]&g�`J��`�d|�Û`��f`�£|]�g0©/bÇb&%E£6b,a#gª��b�d[]�`J�Q�Eb��&g�e/d|� � »��#���������# ��� ����%��:���#�F� ��� ��� * ������%������ * �/����� ; C�� * �#��� ��@A����M������ D:�#� ���-�F�#"�� ���=��� ���J8 %�:�#� ��� �������-�����1�&�N�/�=�J��� �)��%��)�# �3����GH��� D� ��@A� 4 P ���6�+��:�#� ��8#��C#%���� * �����B5�}�}L�)�=�#� ����f������� ����8 ��C-���f�� ������� *���&��%����,� �)�#�)�3��C��/��8 ����������8 ; �3� ���Q�����-��� D ���)������8 * ������8 �O� �!������%� ����@A��:�#8 � C��-� * "0� ����� ; �)��8T%�� ; �3� �±�-� ���' * �����)8-���Q�:� 8 ��� � * �� ��8-�)�-���L���I� ���K��� ����8 %�:�#� ��� �O�����-���Rú ; ���� ��� �����-��� ���-�O����4 û'�Z�a#aZ�_!g>dfen��]�ab�dfeJ]&� � },�������Q�K���:�-��<,�K� ���-������8-��� * � �� � D�!�-� �1�1�#�'���)������C6@A�-�)%���� ���� � * ���T��� * %����' ��C��3�Q�)� * �3Õ!��%��3��� ��� � * �����!� ���I�&@ �#�)�)�#���������^�n�#"K �����-%� ������4�kI�- ���@A��&C���� �!�O@A�-� D%���� ���'K�1��� ; ������� ���1�#���,�:�#���F���-�!����� ���� � �.�#"���� ; � �����3~ � D��� %� ����� ; �����/�/�2%���� * ��">�#���M��-�!�����L�����!�3� ����8 ; �����:�1@A�� ����� �1�-"E��+���+� ���Ú�&�-�1%�� * �� 8-���K��� �!� �����3� ����� %� ������4?57�!��%��'�!�&�#������C��3����$���!�/� �����������~� ���� � D ���-�!��%�� �B�K����%����:�-��<!���:��� * %�������4������� � D">�# � C ; �1�J�&@A��� � * ��@A�����-�T���'��� * %����)��8O� ���:�����)��%����=� ���#�Q� * �-����J�#��� * �-�R�Q@-�# �����7���#"|"ª�#��� �- �L��������% * ����8Q �����-%� ���=�&@-�-���)�-���)���3�7��4 Ig0��]�a#g0­.¡f]�b�� �f`�]�`Ù��`JdE`�eJb���b�dH] ��Á�%�� ����� �3��C2�-���L�/���">�# D�1�-����� * �#�:��� �~ ��� %� ��� * � ����������:�#�[��� ��������� ��� �R���3� ����"0�-B�-���-� D��������4�S(�Q">�# �����������&�-�)�#���������^�T�� � �������!�=�#� * �# ��� ���' ��">�# ����� D@A���+� ��8 �#� ����8O�!�# � * ���+�� ����%�� � * �#���� �A�-�:�������ª���������3 � * �����/���' D� � D �/���'!�-��8-�- �3� ���!�:����� ; �����:����� ���� � �2�#� *�* ��:�R�+� �-:�-8-�R�# �* ���+�� ����%�� � * � �Q��� * %����� �2�1�-�:����������4

4. PLANNED APPLICATION SCENARIOSST�!���)�-�T� � * ��@A�!�-%�9 �����&� �'������"0����%�������8F�-�T� �� ���!����� D�J� ��� ��4������1��%� �/� ���1�-"L�&�#�'���������J� �)������� �O ���)�)�#���3���:����� ���������� ����8-��C.�-9:�-��8 ���=�#"2������� ����8 ��Cf">�-����-���J8-%�:�� �)�-�T� ��� ��� ����� ��-�:������@ �R�F���#�� ����%��������-"0� ; � �R����8-�)������ ����8�8 � �-�ª4����1������8 �����@A����� ��������8 � �-���!��������% * � i��+��=�/���">�# �1�-����� D �- ������� � * ��8# ��� D����� �Ð� ���+�R����������� ���-��l * ��� �� �!�����)��8 ; ����� ���'��� ���������O�:�J�#��8 ��J�#�.�&�-%���� * �#�Q%�������� ��� * � * �/���">�# �1�-����� * ��8-:� * �#� ��� �[�/��V �f�/�' D">�# �1�-�����1� ��� ���!���&�� �)�-���-� * @ � ���#�������3�7�( � * %��'� �)�-��l * ��� �' �!� D������8B�-��� ��� �9������� ����8-�|� �J�#�|�1�#M����!�)�����/���"0�- �1�#�������-6�!�������!������/���"0�- �1�-�����2@ � �)�-�������3�7�H�,�#� * �jÔA�f �&��%��� ���!����� �.� �#� ���+"ª�#��� ��� ��l* �'� �� �!��������8��F:�#��8 �I�-"��-��� ��� �¦������� ����8 �1�@A�� ; �����'�¦����@A��:�#��/���"0�- �1�-�������� �3� �� �)���&�#�O�/�K�����Q%����:�#�����-%����3�N� �#� ���+�J� * 4

4.1 Scenario 1: Performance-oriented Regres-sion Testing�B� ; ���!����� ��� ��� * �&�# ������&C ; ����� * ��@A���)�-�/�� �|�:�J�#��8 �����-"0� ; � �� ���'�1����� * � ��������%� �~� ���#�2�/���"0�- �1�-�����K���2���#� * ��8#:� * � * 4?�����

�������1�-"2� ���!��� ����8 %�:�#� ��� �������-���1�� ������% * ���9�/�����:���1�# <,����8O�-������-���J8-%�:�� �)�-����4|S(��� ���3� ��:�#� ��@A�����=�'M�� ��� * ����8L�-%�f�&�# ������ ; �# <� �I���-� * �������������-"���:�#��� ���&�-�?��� ������ ���K� �J�#�K���N"ª�=�J�&@A���/�������8 ���- � * 4ST� ; �����2�-����� ; �Q%��3� �)�����!�J�# * ; � �N�#� * P }����)�#��">�# �!��C?���-�

�+%��+�f�-��� 4EST� ; �������!� * ���-�-� * �-�����-%����[">�-f%���� �����' @ �#�����6�1�-�:������� D���/�����3��� * �3GH�� ���������|� ���#�.�-%�.��%�� �����6�-���� � �-�:���&�#�����-�.���-� * ��� 4

¿

Page 5: Distributed performance testing using statistical modeling

5^�I��:�-��� �����K� �������K%���� ������ @ �#�����K�:�J�:�-��� �� ���+� ����� ; �-%�� * �/�~">�-� D� �# ����%��'�(�-�=�� �����������-����/��� * ��C.�!���!�-��O���)��� C6�-� ����9�-���������&� D� ���-���L�-� * ����� ; �# <1��:�Õ!� 4S(� ; �����L�!� * �3"0�T� ���I�#���� �A�-�:��� ��%����I���J�#��� D �J��������8 * ������8-�

� ���'�����)��%����!�#� * �)�#� ���� * �-��� ��@A� * ������8 ���1�#� ; ���)�2� ���-����� ; "0�-">�-�+� ���">��� * �J�#�'</46�����)���)�����!�/�-��:�-��� ; ��������� * ��@,� * %J�#�/�K����%�� D�:�#��<,�|�# �6���-�!��%��:�#� ��� ���-���3�K��M��/�������)@ �L�ªU~� ; �����A� * ����8L�LÁ�z�ÂK�|� P"� � ��Á���}HC�">%����3�=��%���� * ����82�3�&C-��� �!����������8L�-� * ��M�����%�� �)��8L�-���A� ���+� ����-�1�:�-<A�Bø D W=��� %� ��� �N���7�������&�#� * ��@ ����� �/��&¯ � ; �# <,�+�:�#� ��� �[4 �9�-; ����� * ��@A���)�-�/�� ���J�&@A������@A�� �9� ���!�9� �� �����/� � * �&��%��� ���!����� ��>"0�-?��M��-�!����� C ; �������L�+���+� ���� �����&�#��� * �#� �����?�-���� � �-�:������8~�-� *�1�#���1��%�8-�$��M����2�# ���/���)��8 * �-��� 4 ��E�Q">�# �Q%��)�� �K� �����#���� � �-�:�O���O�!�- � * ���:�#�)�ªC������(*) þÅ���-���J8-%�:�� �)�-�¦�����-���F� ; �����:���)������8�C?���,@A� ��@A���Q���-� D�+��:�-����� ��C,+�+-+:�(/. þ����J�#�����-".�-������ @-�-�������$">�-L�����+�:�#�������9�ª�'M��#�!����� i P }��(*0 þ�8 ������ ���$���J�#���$�-"/%����-������ @-�-���)���L�ª�'M��#�!����� iE�J�#�������)������/��� * �-L���A� * CJ�!���!�#����(/1 þ��/���"0�- �1�#�����K�!���-��%� �-4?�B����%��!�2� �J��2�)�# 8 �'B@-�-��%�����# ���/�'��� ��&C���� 1 ��� %�� * �/�!�+� º %���������89� ���!��'4

�L���E�#" ) C . C 0 �# ������8-� D^* ���!�������)�-�J�#�j4�������J�#�����!�+�:�#� ���+� ���&�-���!� * ���6���K">�# 1,2 þÛ�!���-��%� � * �/���"0�- D

�1�#�����B">�-B�����+�:�#�����43�i1�2 þ65f� )72 ÿ .$2 ÿ98 2 �EÂ/: 2 ÿ �+�&�

; ���� �(*)72<;=) þ���� ���J8-%�:�#� ���-�I">�#~�����+�:�#�����43(/. 2 ;>. þ � ������ @ �#�������O"0�-F�����+�:�-�����?3�C��� �&�� � * �#���<,��� ; �I��� ���+�:�#���( 8 2@;A0 þô%���� ������ @-�-��������">�-������+�:�#�����B3 C��� �&�#� � * �#�1�:�-� * �-�Å@ � ���#�����( : 2 þ��!���-��%� ���!�����$��� �-&4

�������~���K�!���-�����#:�-�!�'�� �)��p+t-u/´ r-s o>ùBo�v ¸ªx �!� * ���ª4L�����98 � �-�|���� �R���+� �)�1�� � 5EC ; �����:�T ���)�#� ���9�/���"0�- �1�-������� �R���-���J8-%�:�� �)�-�EC�-������ @-�-�������O�#� * %���� ������ @ �#��������4ï}��:�#� ���+� ���&�-�~� ���'����� ���-8-��"0�-��%��'���!� * ���)�����2�@-�-���)�-����� C���%�� ; ���)�/ �&��%��� �~� * �-���:�� ��� �1� � * �&�-�; �3� �I� ��� * ���!�������)�-�J�#�)�3�^�I�#� * ���)���9�#" ) C . �#� * 0 4�L�L�-�I���,������/�-�)���L�#� * �� ���-".�#"6��� ���������&C ; � ; �����

�-4L},�:��� ; ��� �O�����J�-��� D �J�����)��8 * �����)8-���>">�#~��M��#�!����� C��!¼f�� �)������/�� ��%��/�&�1��� ) 4ñ������� ; �����9�/�F�:�J�-��������8 ����8¦�/���&�-%�����!� �+���!��� ��� * ��">�#1�� � * %�������8F���J�#��� D �J��������8 * ������8 ���1�-� D��%��!�B� �J�#� ) ���L�Q�� � * %����2�����-���-4

V�4�C~������81� ���������-��� D �����)����8 * ������8 �ECH���+� �)�1�� �9� ���=�!� * �����+�&�%�������8 Ä ���������)�#�F� ���:�����)�,%����~"0�-�:�-� * �-����GH���'� ���!� * ������4���������+� ���T�� � * %������Q�#�����+� ���1�#� �-AD5f4R5^�9���Q�:�J�#���)����8 ����8�/���&�#%����B�-"f� ���B����8 � * ���!�������)�-�J�#�)�3�^�1�-" ) C . �-� * 0 �-� *� ���B ���)�#� ��@A�=�J�#%����3�7���#" * ��:��4

P � ����2�:�J�-��������8 ���L��������% * � iYHb���b��-]&g0Z/d�ZJ\L£6b,a#\�ZJa-��`�d|� b���b,`J�&¡fab�� �FE � ; �1�#���B�!���-��%� ����C

�-� * ; ���)�:�O�-������CJ�# ������� * � * ���O�Q���#�� ����%��)�~������� ����8HG#=`J�>g0­fa#`�]&g0Z/d<I ; �����'�Ð���R� ��� ; ���Ð�-"�� ���:�-��������8n����"0�- �1�#� ���-��-�/�-%��=� ���!%����-������ @-�-���)��� .J2 4R},%����/�-���Q� �J�� 1 �)�= %�� D������8�� ���!�R�-� * �-���R���-�!�/� �����,���-"��&�#�'�K8 2 ���1�J�#�������)������/��� *�º ���A� * 4�},%����/�-����� �J��Q�� �)�#�� �O %������)��8I� ����ú� �&�-����-"�� ; �# ��û ; �Q %��F�1�����������-"��/�����:���1� <I���-"�� ; �# � C|�-� *

�����- * � ���~ %������)��89� ���!�B�-".�&�#�'�[4?��������� ���B���&�-��� * �/�' D">�- �1�#�������!���-��%� �

1 þ à %���������89� ���!�K�#". �&�-�[���-"�� ; � �à %���������8=� ���!�K�-"6�/�����'���1�# <!���#"0� ; �# � ��V ��1�&�Q ���!�@A�L� ���B����� * ">�#L�-��%����-������ @-�-�����$8� ���� ��������� D�)��8=���/��� *Jº ���A� * 4����������!�&�#��%� �L�'���-��8-����� ��� * �3 ����� ��� ���-"�/���">�# �1�-����� C���%��$� ���#�2�&�#�O�/�K��M�� * 46�������/�-�)���L���$� �J�#����&�-������89��� %�� *!* ���� ���-���2� ��� * ���/��� * �������$�#"[� ���2�!� * ����� �%����-������ @-�-��������4��Z[�fb���©�`J�>g0�f`�]&g�Z/d �4E � ; * � ; �$�-���������6��� ;�; �������-%�6�!��� ��� *; �- <,�9G�},�:�-� * � * � ���:��������%�����C���%��'�O�-�L�� � ��� D @-�-��� * �#� ���-�EC�1�&�! ���,%��3 �K� �����Q%��'� * ��:��4

���!�- ���:�J�#���)����8 ����8K@A�� ����� �,l���%��.����������� ���Q�/���&�-%������-"/��������-� * ��� �!������M��3�7�1�#" ) ln����� �Q�1�-< �L� ���K����� �3 �K�-���� � �-�:�O� * �-� D� ��@A� C/�����)����� ����8!� ��� ) 2 ���-��� * �-�O ����%��3� �~�#"?�� ��@,��� %��L� ���+� ��4L5^� D��%����L��������% * �-i( E � ; � � * �!� ���9�����)����� ��� �E4$�~5+}�}I�J�#� ; �- <A� * �-����� ; � �%����������-��� D ���)������8 * ������8-���.� �B8-%�� * ���!�- � * ���:�-����� * �����,%���� D� ���#�����&� �'�[4?���������2�1���9�/��� ������� �!������MHCA�J��� �3�Q�/�����-%��������� ����8�� ���B�!� * ����">�-2��@A����!��� ; * ��:�9�/�-���,���1�&�Q�/�B� ����)����Õ!���������&4��ï�)����� * �#%���� ����8R�#�3� �� �J�� �)@ �N���=� �O� ������<F�-"* ��@,� * ����8R�O���)8��ª�����-��� D �����)����8R�-��-� ���''� * ������8 ������� �R� ���V-¾N���#�� ��CE��M�����%�� �Q� ��� C[���~� ���Q�!� * ���ªCf�:�����-��� ; �����:�F� ���M�����%�� �L���'M��&CL+-+-+�4?z6���/�����)�-���3�1�3"E� ���L"0%���� * �����)8-�1�)���)��">�&� D���)����� C.� �����=��������� �� ���+� ����8R�/���&�-%������3������� �9� ��� * ��:�O�������* ��� �� �!����� ; �����:���J�#�� �9�-"$� ����">%��)� * ������8-���# ���-��� %��-���3�* � ��� 4( }�� �!� )72 �# �F��� ; :�#� * �-�OCL�/���&�-%����F� ����� * ���/��� * � ��� ��@,��� %�� * �#�:�,4?�������B��� �!�������&�� ���$� �����#�J�-�3��������4( ú^ST���� * û$��� ���J8-%�:�#� ���-���|� ���#��� %J�#���������� � �������Ð� �� � %�8 � D� %��&4O}���� %�� *�* ������8-�����-����� ; ��� ���J8-%�:�#� ���-���=� �J�#�=� �� ���+"0���� ���+��:�-����� �L��%�� ; � %�� * ����@A��2�/��%���� * ���I ���-���3�7�LG

4.2 Scenario 2: Optimization and VariabilityControl57��� �����K�������J� �)� ; �!���,@,�����)�-� * ��@A�����-�/�� � ; ���I�# �!��%���� * ����8

� ��������+���+� ���� �!� � �1�-"[�-���L�-��!�# �2��� �!�/�-������� ��4|S(�B�#����%��!�� �J��6� ����%�� * �' ��������8~��� �!�/�-������� �.�Q%��+�.�/�$��%��+� � �!����� * � �K��%�� D�/�-��.� ���� �&��%��� ���!����� �f�-"�� �����@A�':�-�����-�������)���#� ��� �[4?�������+���+� ���* ��@A����� �/�� �2����� * �������O��� * ����� * ����8Q��� ; � � * �Q� ������457�9� �����6���������# ����C,���-�!�/� ������� * ��@A���)�-�/�� � ; ���)���� �@,� * �$�Q%��3� � D

�����L�/�����:���1� <,�B�ª������%�� * ��@A�� � ; �3� � * �3GH�� ����� ; �- <,���A� * �:�J� D�-�'� �� ���+� �)���:� ; �����:� ; ���)���/�1 %����-�9�J���Q�#"L�OU=Á$�K�Û�� ����������4������ ����%��3� �B�#".� �������K %���� ; ���)�f�/� ��%��)�#� �=���)�# 8-�9�/�'�">�- �1�#�����* ��:�-���-��� 4C~���' � ; �����.����������� ; ���)�:���-"?� ���9�/�����:���1� <,�2 �������Q���)�=� �������-���������&�#� ���-�= ���,%��3 ���!����� �[�-� * ��� * ���&�#� � ; �����:��� ��� �)�-���E�# �6��M�� *���1� �����3L�-���������&�#� ���-���-� * ; �����'�I�# �K"� ��� 4ST� ; ���)�6���,@A���+� ��8A�� �Q� ���:��������%����B"0�-=�/�-� �F� ��� ���!�)���)��8N�!���-�

�/���"0�- �1�-�����1�-� * "0�-���� ���� � ��������8R@-�# �)�-�����)�3�^��4������!8 � �-���)��� ��J� * � ���6���-���J8-%�:�� �)�-�9� ���#�E� ��� �)�!�������f�/���"0�- �1�-�����6">�-.�28-��@A�������� .JM �-"�� ������ @-�-��������4=5�"�5 ; �� ��<���� ; �EC/� ����� ; � %�� * �&��%��3 ���� ��@,����81�#�I� ��� ���!�)���#� ��� �O�� � ���)���OC�� ; ��"0�- �!�$�-" ; �����'�I�# � i!1©/b�a`�eJb�� `���b9£6b,a\^Z�a �F`Jd|� b � 5�",�/���">�# �1�-�������&@A��:�#8 � * �@A�'@-�-��%����$�#"f� ���~%���� ������ @ �#�������$���$�-"|�� �����������-�H���,� �' ���+�&C,� �����1� ���� ��� ���!�)���#� ��� �O�� � ���)���Å�)�

)ON � . M �6þÇ�# 8��1�#MP Q 5f� ) ÿ . M ÿ8 �SR|�T8A�VU&8,ÿ �jÔA�; ���' ��RO���L���-�!� * �������3�7��ln�)�N�J��� �)��%��)�#&C�� ���K�/�-�+� �� ���- * ���+�� � D��%�� ��� �I�#"<89"� � �Å� ��� Ä �&�A�����)�-���-���-�3��������4

Æ

Page 6: Distributed performance testing using statistical modeling

������ �9�# �����,%��!�� �-%��2��� �!��%��:�� �)�-�J�#�f�:�J�-��������8 ���B���� � C���� D���)% * ����8�� ���=��%��!�� ���&�-�[����� ��8-:�� �)�-�EC * ��Õ���%��3� �����L�)�R���-����%��)�� �)��8RECJ�#� * � ���K���-�!������M��3�7���-" ) �#� * . 4W�ZJa#��]��-`J��b1£6b�a\�ZJa-��`Jdf� b � 5^" ; �- �+���&�-���L�/���">�# �1�-�����2�#@ ���#���f@-�-��%����$�#"|� ���~%����-������ @-�-�������$���2� ���~�� �3� �� ���-�EC�� �����1� ���K�-� D� ���!���&�� �)�-�O�� �-�������Å���

)ON � . M �?þÇ�# 8?�1�#MP �!�)�X 5f� ) ÿ . M ÿ8A��+ �ª¿A�

4.3 Scenario 3: Multi-Objective ConstraintSatisfaction5^��� �������������J� �)� * ��@ ����� �/�� ���-"f�=��� �!�/� ������� D �J�-��� * �-���������&� D

� ���-� ; �#����� �I��%����:<,���R��� * ���-���J8-%�:�� �)�-����� �J��K"ª�#���?� �N� �#� ���+"0��R�������-"L�/���"0�- �1�#�����1 �&��%��3 ���!����� �=�-&C?�#�3� �� �J�� �)@ ���3��C.�J� * ����'�~�#"6��� ��">�- �!����8���� ���J8-%�:�#� ���-����4�S(� ; �����.�-����%��!�K� �J�#�L�&�#�'���� �!�/� ������� * ��@ ����� �/��L��%��������������$�3� �2���-���J8-%�:�� �)�-�R�!� * ���ª4������">����%��6���� �����6� ����� ���J8-%�:�#� ���-��� ; ��� ���J� * �/���"0�- �1�-����� C

; �����'�¦�)�! ������@-�-���!�3"^C$">�-1�'M��#�!����� C�� ���O���#"0� ; �# �R��%��+�!�!���'��/�'�">�- �1�#�����O ���,%��3 ���!����� ����%��:���#�1���/��� * �#��!���!�-��T"0���-� D�� ���,�&4?¼[����Y N �/�2� ���~���'�$�-"��ª��� ���J8-%�:�#� ���-�EC�� ������ @ �#����������-�3 �; �3� ���J� * �/���">�# �1�-����� 46� ; �K�/� ����������� * ���J����� ���-���$� à ���&�-����� �J������8 ���' 1 ���L�/����� ��2�/���"0�- �1�#����� 4 ��� � i!1©/b,a`�eJb=� `���b�£6b�a\�ZJa-��`Jdf� b � 5^"��/���">�# �1�-�����?�@ ��:�-8-� * �#@ ��@-�-��%����2�-"|� ����%����-������ @-�-�������$���B�#".�� �������)���-�[���,� �' ���+�&C�� �����

Y N þ[ZL� ) ÿ . ��i Q 5f� ) ÿ . ÿ98 �SR|�T8A�VU&8O\^]`_Iÿ ��Æ-�

; ���� �<]N���f���-�!�6�/���">�# �1�-�����?� �� �������-� * �#� * R=��� �!� * �������3�7��l�������#�� ����%��)�&C#� ���6�/� �+� �� ���- * ���+�� ����%�� �)�-�=�-"a8�"0 �-�Ð� ��� Ä ���������)�-��#�J�#����������4������ ���# �R� ���O� �-�!�R���-�!��%��:�#� ��� �¦�'���-��������8-���N���� ���-�!"0�-

},�������# ����V,4W�ZJa#��]��-`J��b1£6b�a\�ZJa-��`Jdf� b � 5^" ; �- �+���&�-���L�/���">�# �1�-�����2�#@ ���#���f@-�-��%����2�#"|� ���K%����-������ @-�-���)���L���$� �����' ��� �' �)�-�EC�� �����

Y N þAb.� ) ÿ . ��iA�!���X 5f� ) ÿ . ÿ8A�7\^]�cd+ �jø ������!�-���� � �-�:� ; �������/��� �I���+� ���1�#� �Q� ���Q�����eY N C|�#� * ��8 %� �

�-%�� ; �J��L�)� * �)@,����8Q��� �2�+�� %���� %� � 4?�������� �������)���-�[�+� �����L� � i�-4LÁ�� ���+�� %����9���+� ���1�� �-gfY N �#"`Y N 4������!�J�#�)@ � ; ����� � * �

� ����������� �I��%����+� �3� %�� � D5("0�-h5(���n��Æ �~�#��jøA�'41z6@A��� ; ��� �� ������C��'���#:�-�'� �� ��������81%���������:�-����� �����L�)�KfY N �)�B�Q�:�J�#�)������8 � 4kI�- ����� �������+� �)���#� � * �-���� �A�#�'�����|%�����ú7�/����� �' ûB���+� ���1�� �- �fY N 4

V�4�C~��� D5��-� * fY N � �F%�� * �� �+�:�-� * �ª��� ���J8 %�:�#� ��� �[C��-������ @ D�-���������GH����� ��� ���/���">�# �1�-����� 4�»��-$�'M��#�!����� C� %��I�=���)�-� D���3�J�� ; �3� �T�!�����/�� �������F�)�ifY N �� �&�� � * �-�9�I���)���#��F � D���/� ����� 4

5. RELATED WORKP %�!�� �-�/� ��� * ; �# <¦���� ���)�#� � * � �T�#� *¦* :� ; �!� �¦��M��)�+� ����8 �����&�# �:���)������@ ��:�-��� �&�-�N��������% * ����8±�-�����3���)��8�UK�AzÛ� �����#"0� D; �# �R����8 �������� ����8�C�">��� * �J�#�'< D �J�#��� * � ��� ���!���&�� �)�-�¦� ���:�����)�,%�����C�#� * �)� 8 � D ���&�#�)��� ���+� �/� * ���,@,�� �-���!����� ��4!1£|£.��×fg>dEeÇ NZ/cñ]�Zn��ZJ\^]:_9`�abTb�dfe/g>dEb�b,a#g>dfeE���B�~">�#9�-� ; ����-�N� ���)�ªC����9� ���K�J�#��%���� * ���� ����������8 * ������8-����">�#2���-"�� ; � ���/�� D"0�- �1�#�����±�-�����������!�����&4 ������%������-" * ������8 ���#"1��M��/�� ���!����� ��ªU~�Az��B� �����#�� ; ��� �����(���-"�� ; �# �1����8-�������� ����8I�J�#���!� �+� �3���/����������!�3� � * � ��µ>u ¸ o'p�tAv ¸ µªr-u ¸ o x ¸ µ>u,¶-C��)�# 8 �����1� �9��� �!��%�� �B�-� * ���-�!� D� ���!���=8-������:�� �!�!�������1�-�.� ���+�9��%��3� ����� ���#�=���@A����#�)����� �������J� D� ���-���!�-"~���/�����3�J� * �� �-8-:�#� ������%�� ��4n}�� �!�N��M��-�!���)�����-"B� �����

; �# <���������% * ��U��#�)�-�Eo ¸ t-³kj�X ÆhjC Ä %��Lo ¸ t ³kj�X V&hjC UK%�������� �Ko ¸ t ³kj�X ø#hjC�-� *gl %����±o ¸ t ³EX W#hj4�ðK�����1�-�Io ¸ t ³kj|X���ø#h?%���� * ���#@ �� ����8N�#�:������-�B�!��� ���J8-%�:�#� ���-�R���J�-���9� �#�!��������8�� ���:�����)�,%��K� �!��%����/�-��2� ����:�J�#:�#��� �� ���&�� �)�-���-"|">�-����%� � D ��� * %�������8Q� ��� ���-�O������� ����8-��4ÖKaZJeJa`/� ZJ£f]&gª�(g0¥ `�]&g0ZJd�� P G D ���)���?�-�J�#�3�������E�J�-�E�/�����=�#��������� *� �n�� � 8#:�-�ì�#�J�-�3�������O� �¦���!�� �#@ �����-�!�������� D 8 ������:�#� � * ��� * � 4»��#B�'M��#�!����� C�� ���=�?�$¼f�~}FX ½ hf��%��!�� ���&�-�E�-��8-����:�!������:�#��N%�������-�����!���� ���&�#�/� ��� �)�!���&�� ��� ������8-�)���B� � * ����� * �L� ���~@-�-��%������-"f� � D� ���!���&�#� ��� �R���#:�#�!��� �� �L�,�N8 ������:�� �)��8 * �3GH�� �����B�� �-8-:�-�ñ@A�' D����� ���B� �J��K� �9 %��R� �R@-�# ��� %��~���# * ; �# � º P }I���)�#��"0�- �!��4B������ %�� ��%��L"� � �ñ� �������= %����L�# �9%���� * � �1�����������~�J�:�-�!��� ��B@-�-��%����� �J��!�� �@,� * �1� �����/���+�!�/���"0�- �1�#����� 4¦kO�� �����1�� ���&�-�2�!� * ���)��# �K�-�����!%���� * � �Q���+� �)�1�� �K� ��� ���!�)���#� ��� �N�J�#:�#�!��� �� �$���-��� * � �� ����%�� * �� �3������8B�# �:���3� ����� %� � C-� ��� %�8 �=���!���3 ���&�#� * �#�:�2���.���-�f">� *����� �Q� ���K�!� * �����$� �Q ���J���K�3�&4P � D �������?�-���-�3��������C ; ���� ��"0��� * ���-�:<K���-�,�� �-�A���|%���� * � � * �����-� D

���&�-���3�1� * �-�����~��}��!�&�#��%� ����4.�B����M��#�!�����$�-"H�-���������L�-���-�3�����)������ ����Á�� ���� � �3S�� �K�!� *�* �)� ; �# �QX�� ½ hjC ; �����'�N%�������"0��� * ���-�:<1��� � D�� � ��� �����#��!�����#�J�-�3��������8=� ���L� �'����� ����� %� �B�-� * �!� * ��������8=�3�$�#��$">��� * �J�#�'<����-���� � �,����� �E4.�B��� %��#� �- �|�-� * ���������- �|� �����9�!�-���3� �-� ���9�+���+� ���ô�-� * �GH�����~���� @A��B ����� %� �����#�)�����&�� ��� �E4 à �&�#� D � ���!����:��� * %�������8=�J�#��� * � �!">��� * �J�#�'<Q�)���-���$���-���#�������/�����N�#�����)��� * � �à �&�-� D � ���!�1Á P~Ã~Ä �Û�!� *�* ��� ; �# �RX À#h�� ���-%�� � �1�#� ���&�#�����(� * �+%��+�� ���B:�#� �K�#"| ���!�-� �B� �/��:�� ��� �O���,@A���&�� �)�-�I��:�-�����J� ����� ���!� ���-��-���������&�#� ���-�E4E ���� � * �#�J�#�������������-�Q���)�������#���/����� ���#"~�#G D �)�����O�-� * � � D ��������-���-�3��������4Û»��-O�'M��#�!����� C$� ���F��� ��� ����%�� %��N���-�!�����)�#� ��� ���+��:�� D��8#�nX ¿-h����-���+�:�-��� �3���!� ���3� �# �=�-� * �)�!�� �@A�����#���������&�� �)�-����� * �%�������8���� * ���-��� ���!���&�#� ���-�I� ���:�����)��%�����4���������R� ��� ���!���&�� �)�-���N�# �F�-��������� * ���n"0� %�����J�-������C2�)������% *,D

����8��+�&�=�+�:�� �)���#�J�-�3��������C?�)� ; �����'�T����">�- �1�� ��� �T"0 �-� ��:�#��������8 %��������$%���� * � �Q���+� �)�1�� �K�#� * �� � * �)�'�$� ��� �)�!���&�� ��� �I���)�-�����E��V �* �����-�!���~�-��� ���!���&�#� ��� �[C���� ; �����'�N�!� ���3� �# �B�#����������� * �K��:�-��� D">�# �1�#� ��� ���K��~ %�� D � �)�!�B� �N� * �#���B�� � 8#:�-� �/���J�&@,���-&�.�jÔ �L�#G D�������$� * �-���:�#� ��� �[C ��� ; �����:���-��� ���!���&�#� ��� �9���)�#���6�# ���-��� %��-���3�9�)� D�� �@A� * %�������8=�#��� %J�#����M�����%�� ��� �[�,�-� * �ª¿��| �����-�!�����)�#� ��� �[C ; ���� �� ���~� ��� ���!���&�� �)�-�O���)�#���L�# �K ��8-�����':�#� � * 4m�`�aeJb�¢ �&� `J��b�­6b�df�-�.�F`�a#«Eg0dfe®]�b���]�­?b��|� �±z�kBCK¼E�-�ÇX3��¿#h2������ ���+� �/� * ���� ���hCB����@A�� ���3�^���-"7CL�:�-�F� �J�#�K�� �@,� * ���=�-�F���,@,� D � ���!�����$">�#K��M��/�� ���!�����:�-�[��@-�-��%J�� ��� �R�-"?����� ; �- <A� * �+���+� ���!��4z�kBCK¼f�#�®�� �@�� * ���N� ���-�)�O� ���#�N �����&�# �:���' �O�&�-�Ð%������ �±��� � D�J8-%� ��� ���1� � �/� ���-8-���-"B� �����3Q��M��/�� ���!����� ��C����(�!� * ��������8�� ���%�� * �� �3������8 P }/C.�J� * ; � � C��-� * ��� �!�Q%������&�� �)�-�T������<,��4T�������� � �/�-��� 8-������� �������1�-���/� * X3� �'h�� �gn�V Æ-¾N���������)���-�6��� * ����� �J�#��&�#���/�N�#����������� * @��)�I� ����5^��� �� �����&4I������z�kBCK¼E�-�T� ��� �����&�-�8 ������:�� �O���� �������������Q� �J��!%������ ���o�~��� ; �- <�}����Q%����� �-R���K}���qp�éAé å<r äAä#Ü ÜAÜ?ÝtsAß�sfÝ7ã â à,ävu�ß�uxw�áJävu�ß ä ���+�����:�#M��#� * �����1�-��� ������� � %���� ���K�'M��/�' �)�!���,�&4

������}�<A�-���|����"0:�#�+�� %���� %� ���� �@,� * ���~����%��/�� �������#"�z�kBCK¼E�-�� �J��K���K���-�K�����!�3� � * ���I �����-%� �������-"���������8 ����� ���+� �/� * CH��%��~��� D�+� �&� * ���-������@A��:�#8 �=� ���=�)�# 8 �Q�-�!�-%���� �B�#"?��� *,D %�����B��� �!��%�� �� �����-%� �����N���n� ����}�< � ���~8# � * 4ÙkI�# ���@A��&CL� ��� Ä §�kO¼��!� * �������� �� �� ��� �' ���&�-��8 ������:�� ����}����� ����� ��� �9����� ��8-:�� �K� %�$�/�����:� D�1�# <,� ; �3� �O��M��/�� ���!����� �����Rz�kBCK¼E�-�[4

}�< � ��� �&�#�=�������-���������-�,@A����� ��� �J�#� ������ � * �#�J�-�3�������|���~�:�#��%��)�� D����8����)�#��"0�- � D ���/�����3�J�~�-� * �������">�# � D ��� * ���/��� * �������)��">�# �1�#� ��� ��������#:�#� �����T%�������8R� ���I}�< � ����"�:�-�!� ; �- </4(5^���J��� �)��%��)�#&C�}�<A�-���* �����B���-�L������%�L� ���K�@A�� ���&� * �#"6�+���+� ���Å�!� ����� �# ����8����������9�/� D�J�&@,���- * �����K���-�K�:�J�#��8-���#�~ %�� D � ���!� 4$�~� ; ���)�#��"0�- � D ���/�����3�J�����"0�- �1�#� ���-�Ç� ���:�#����� * ���-�Ç�/�O">� * �J�#�'<±���,� ��� ���R�!� * ���)�!� �� ��� ���!�)���9�~��}��!���-��%� ����4

6. ACKNOWLEDGMENTS

ø

Page 7: Distributed performance testing using statistical modeling

�������B�1�� �� �)�-�f���L�J�#��� * � � ; �- <N��%����/�-�� � * ���1� ���4CK} �~� D� ���-�J�-�E},�����������~»�� %�� * �#� ��� ��%�� * �����}�»F8-:�#�,� �LÁ$Á à D ¾ Ô,�V-W Æ-À,CÁ$Á à D ¾AV#¾AÆ V#øAÆ�C,Á$Á à D ¾-¾ À-W��Æ#W�C�Á$Á�» D ¾ V-¾ Æ,� ��WK�-� * Á$Á�» D ¾-¿-¿ ½ W-ø-¿�4�#� ; ���)�6�#�~">%�� * �)��8!"0 � � Ä�Ä �ï�f���:����� ��� 8-�)����C|¼[���'<,����� * kO�# D� ���[C à ����� ����� �[C��-� * }������!������4

7. REFERENCESX��'h=¼?4 Ä �����1�#�ECLy�4J»� ��� * �1�-�[C à 4 P ���������[C��#� * ÁB4J},� �-��� 4z ³�t x x µ ¹�v t ¸ µªr-uTt#u/´h{Loj¶-p o x x µjr-u}|�p�o:o x 4�S�� * � ; �#�� �ECkI� ��� �� �'��C/Á��=CE��À W-¿�4X V&h l 4 Ä %��B�-� * S�4�ð�� %���8�4�Á�� �������J�� �- �)�-�[� ���+�

� ���:��������%�����i?�|�-����� D �J�-��� * �-%�� � �1�#� ���-�EC�� ���+�L8 ������:�#� ��� ��-� * ��� * �=���@A��:�-8-� 4�57�g~�p�r&v�j6r+q ¸ È�oKò:u ¸ ³kj z r-u&q�j|r#uÌ/r7q ¸ªÉ t-p oo|/o x:¸ µ0u,¶�óLuJt ³ ·#x µ xd� {Lo'Ó&µ�o É CE�&À À-W�4X Ôh9Á����1�#�[ð~�)���1�#� CJ�2 @,�)� * l �������J��C���� �3"?kI���!� �[C�� * �#�{|�-�� �'&CJUK�-%�8 �)�#�~},�'���!� * �&C��-� * �B���3 % *�* �J��§~� <,�J�#��� 4kO�-���R��GH����� �2���� �������)��8�i�� * ���+�� �)��%�� � * ��� ��� ���,%��-%����%J�#�)�3�^�I�#����%�:�#�����=�� ���������L"0�-L�!� ���3� �- ����8��/�'�">�- �1�#�����* ��8-:� * �#� ��� �R���N��@A� ��@,����8����#"0� ; �# �9�+���+� ���!��4�57�ò:u ¸ o'p:u/t ¸ µjr-u/t-³ z r-u&q�o'p o'u/v:oQr#uFÌJr+q ¸ªÉ t-p�o$��u,¶-µ>u/o:o'p:µ>u�¶-CH},�&4¼E�-%�����CHk P CJkO���RV#¾ ¾ Æ,4J57z�z?z º �LÁ$k�4

X ¿#h Ä 4JÁ������ * �� ��C�y�4JUK�@,� * ���-�EC��-� * k�4J}��-G[�,4/Á��-��� �)�,%�� %��Á�� �!�������� ��� �Ei����B� ; �B���� � �-�:�N� �!�L8 8- �������)@ ���#� *� * �-��� �)@ �=Á�� * �=�E:�#���+"0�- �1�#� ���-�E4J5^�g~�p�r&v:o o�´-µ>u,¶ x r+q ¸ È�oò:u ¸ o'p:u/t ¸ µjr-u/t-³~Lt#p�t ³>³)o�³Et-uJ´"�Kµ x ¸ p'µjÑ y,¸ o�´"~�p�r&v:o x x µ>u,¶Ì · s~m�r x µ y s�CJ�L��&4JV-¾-¾ Ô�4

X Æ&h9}H4 à 4�UK�-�)�-�ªC/�=4�y �-���ECL��4 l �# %��J�-���3� ���ªC�y�4/k�4�¼E�&�� � �[CÁB4Hk�4�¼E�#���&C/§�4JÁB4�{.�#��� � �[C/�#� * Ä 4/k�4 E �- � ; �3� � 4kI� * ��� D ���-��� * � ���+� ����8����I��:�#��� ����� 4�57�g~�p�r&v�j6r+q ¸ È�o�ò:u ¸ ³kjz r-u�q�j.r-u�Ì/r+q ¸ªÉ t-p�o$��u,¶-µ>u/o o'p'µ>u�¶-ÊJ�>ò z ÌH���&CJ���-8-���V-W Æ��,V-À-¿�C.�&À-À À�4

X øh�5'4J}H4�UK%�������� � C�S�4 l 4�z?�� �)���:�EC Ä 4JU�4J},�&�-���)�-</C/ÁB4J¼?4kO�-����� ; ��C[�-� * �94�57�-����������4��B�����3������8 * ������8 �O�#"��M��/�� ���!����� ��� �Q���#"0� ; �# �=� ���+� ����8�4�5^�g~�p�r&v�j6r+q ¸ È�oKò:u ¸ ³kjz r-u�q�j.r-u�Ì/r+q ¸ªÉ t-p�o$��u,¶-µ>u/o o'p'µ>u�¶-ÊJ�>ò z ÌH��� �&�9�&C��J�-8-���V-¾ Æ��,V,�Æ�C.�&À-À ½ 4

X ½ h l �-�!���Nð��-� �@��-� * î~�)�-�-�!����8!¼[�E�#� * §K�#� à ���I���&4 �#�j4J�Á�� �!���# ����� �I�-"?z6�!���3 ���&�-�E�-� * kI� * ��� D^* �)@ ���P ��� ���!���&�� �)�-�E4�57�=~$p+r&v'o o�´-µ>u�¶ x r+qBó z,� Ì,òv�<~<�|óF�v r-u&q�o'p o'u/v:o�r-uo~�p�r ¶-p+t-sQs�µ>u,¶h�ft-u,¶ y t&¶�o���o x µ)¶-u�t-u/´ò:s~mJ³)o's1o'u ¸ t ¸ µjr-u�C�y %����=V-¾-¾ Ô,4

X Wh�UQ4 l %����I�#� * k�4 à ���)���3��4��B�N�)�,@A���+� �)8 �#� ��� �R�#"|� ����-���������&�-�����)�3�^�O�-" * ������8 �I�-"6��M��/�� ���!����� ��� �����#"0� ; �# �� ���+� ����8�4~�p�r&v�j��a� ¸ È�óLu�u y t-³�LóKÌ,ó��2r&´A´At#p�´���ò��<�<�Ì/r7q ¸ªÉ t-p o���u,¶-µ0uHo o'p'µ0u,¶*�Ir-p�Î x È�r'mJC/���-8-���LÀ�����ÀAÆ�C[V-¾-¾AV,4X Àh9ÁB4/¼[%ECay�4J�94�},�:�#��<A�@,��� C�§�4J�|�#��CJ�-� * }H4 E 4J}��-�E4»���� * �J�#�'<NÁ��-�,�� �-� à �&�-� D �����!�=}��:��� * %�������8�i?»�:�-�!� ; �- </CkI� * ���)����8�CH�#� * �L��8 �- �3� ���!��4{2o�t ³3w�||µ0s1oKÌ ·#x:¸ o's x�,r y p:u/t ³ C/V-Ô��+� º V-�'i W Æ����V-ø,C�y %��3�OV-¾ ¾ V,4

X3��¾#h9�94JkI���!�-�EC��94�{|�-�� ��&CJÁB4�ð~���)�1�#� C��94a�K�#8A�#:�&���#�EC/U�4JÁB4}��:���!� * �&C��-� * Ä 4L�~�#�:�:��+�-�E4/}�<A�-���ji?UK���+�� ����%�� � *Á�� ��� ���,%��-%��B�~%J�#�)�3�^�I�L����%�:�#����� 4�57�=~$p+r&v:o:o�´-µ0u,¶ x r+q ¸ È�o�x� ¸ ÈNò����<����ó z,� ò:u ¸ o'p:u/t ¸ µjr#u/t ³ z r-u&q&o'p�o'u/v:oQr-uÌ/r7q ¸ªÉ t-p o���u,¶-µ0uHo o'p'µ0u,¶-C/z * ���,��%� 8 �[CJ},���-� �)�#� * CJkO���V-¾-¾-¿�4/5+z?z�z º �LÁ$k�4

X3�-��h à � �/���� à �)�����f�#� * Á��� ���L�B�3"0 � * �-� * yA���O¼[���� ���-%E4��}��-��@A��2">�#L� ���4�~��� ; �# <N�E���+� �/� * kO�#�����)��81{6 �-�������O4Ì�òv� z Ë �=��z r-s~m y�¸ o'p z r-s�s y u�µªv:t ¸ µjr-u x {Lo'Ó&µ�o É CÔ Ô���V �'i Ô ¾���¿-¿�C[�B��&4/V#¾ ¾-Ô�4

X3�&Vhey�4/}��-�:<,��C,S�4�y�4�ST���)�:�EC��~4�y�4/kI�3� �:�������ªC/�#� * E 4�{.4S������[4�UK������8 �R�#� * �-�J�#�3�������L�-"6���-�!��%�� ��$��M��/�� ���!����� ��4Ì ¸ t ¸ µ x ¸ µjv t ³fÌ/v�µjo'u/v:o'CJ¿�i ¿ ¾ À���¿AÔ Æ,C.��À W À,4

X3�&Ôh=UQ4/ÁB4J}��:���!� * �&C Ä 4L�~�#�:�:��+�-�EC/�94�§~� <,�J�#��� C��94�ST�-��8�C�-� * ÁB4/§~�����ª4/�|� P i��Ð{.�#��� �� � D P ������� � * P ���7����� à �&��%����+�Ä � <A�'L"0�-LUK���+�� ����%�� � * à �&�-� D � ���!���-� * z6�Q�/� *�* � *},���+� ���!��4Jò����<���Kµ x ¸ p'µjÑ y,¸ o�´�Ì ·-x ¸ o's x Ë�uJ³ µ>u/o'C�Ô���V �'CJ»����[4V-¾ ¾ V,4

X3��¿#h Ä 4�S����3� �=�-� * y�4�¼?4����B�-�ª4/�L�I5^�,� ��8-:�#� � * z.M��/�' �)�!���,�:�#�z?�,@,�3 � ���!���,��">�-LUK���+�� ����%�� � * }����+� ���!�2�-� * �~�'� ; �# <,��457�g~�p�r&v:o o�´-µ>u�¶ x r7q ¸ È�o$��µ q ¸ ÈIÌ · s~m�r x µ y s r#u±Ëfm�o'p�t ¸ µ>u�¶Ì ·#x:¸ o's x ��o x µ)¶-u�t-uJ´�ò:sBm/³)o's1o'u ¸ t ¸ µjr-u�C����-8 ���KV-Æ Æ��,V ½ ¾�CÄ � �+� �-�ECHkO�=C�U~��� 4JV-¾ ¾ V,4LC�}�z��~5^î��L���������)�#� ��� �[4

X3�Æ&h�ÁB4J»�4Ly�4�S(%O�#� * k�4 E �#�1� * ��4���²'m�o'p:µ>s1o'u ¸ªx�� ~2³�t-u�u�µ>u�¶-ÊóLu/t ³ ·#x µ x Ê�t#u/´d~Lt-p+t-s1o ¸ o'p4��o x µ)¶-u�Ë|m ¸ µ>sQµ)Í&t ¸ µªr-u�4�SÇ��������CV-¾ ¾-¾�4

X3�&øh�ÁB4�ð~�)���1�#� C/k�4 Ä 4/Á�� �����EC��-� * �94�{|�-�� ��&4JÁ��@A�� ����8�#�:�����2"0�-B��Õ!���������$">�-%��3�B�'���#:�#��� �� ���&�#� ���-���L�)�I��� �!���)�'M��� ���J8 %�:�#� ��� �I���J�-��� 4J5^�g~�p�r&v:o o ´#µ>u,¶ x r+q ¸ È�o~ó z,�Ì�òv��ÌEË<�$|�ò:u ¸ o'p'uJt ¸ µjr-uJt ³fÌ · sBm�r x µ y s�r#uFÌJr+q ¸ªÉ t-p�o|Ho x ¸ µ>u,¶�t-u/´QóLu/t ³ ·#x µ x �>ò:Ì�Ì,|�ó7�C/V-¾-¾-¿�4X3� ½ h à 4L�/�J�-��8�CJÁB4/¼[%EC��~4/�L� * �����&�#����&C��-� * y�4J},�:�#��<A�@,��� 4Á�� ���� � � ; � � i���kI� *�* ��� ; �# �9�L �:���3� ���'� %� �~"0�-B»���� * �J�#�'<Á�� ���� � �H�-"6}��-"�� ; �# ��{|���"0�- �1�#����� 4�57�B~�p�r&v:o o ´#µ>u,¶ x r7q ¸ È�oò:u ¸ o'p:u/t ¸ µjr#u/t ³ z r-u&q&o'p�o'u/v:o�r#ug�Kµ x ¸ p'µªÑ y�¸ o�´!Ì ·#x ¸ o's x �x���v�ACy %��3�OV-¾ ¾ V,4

½