dlaczego wyniki badan laboratoryjnych nie sa porownywalne
DESCRIPTION
TRANSCRIPT
Badania z użytkownikami – jakie są standardyWnioski z CUE-8 - Rolf Molich i inni
Plan prezentacji*
1. Kilka informacji o badaniach z użytkownikami2. Założenia badania CUE8 (ang. Comparative Usability
Evaluation)3. Wyniki badania4. Znaczenie badania dla klientów
Niniejsza prezentacja jest oparta na artykule: „Rent a Car in just 0, 60, 240 or 1 217 Seconds? Comaprative Usability Measurement, CUE 8” R. Molich i in., Journal of Usability Study, Nov. 2010, Issue 1, vol. 6, s. 8-24
Kilka informacji o badaniach z użytkownikami
Badania z użytkownikami
• Tradycyjne badania to moderowane sesje jeden-na-jeden
• Są na dzień dzisiejszy najbardziej rozpowszechnioną metodą badania
• Efektem są wyniki jakościowe oraz ilościowe
• Istnieje coraz szerszy nacisk na wyniki ilościowe – miary jakości (szczególnie na poziomach managerskich)
• Wszelkie stosowane miary opierają się o definicję użyteczności zawartą w ISO-9241-11 (1998)
• Nie ma jednej, wspólnej metodologii badania – istnieją zalecenia i wskazówki oraz opis ogólnego przebiegu, ale brak jest dokładnych wskazówek co do szczegółowego przebiegu
Założenia badania CUE8
Założenia badania
• 15 zespołów z USA i Europy prowadziło jednocześnie badanie tego samego serwisu
• Badanie było realizowane w maju 2009
• Wszyscy mieli ten sam scenariusz i instrukcje
• Zespoły miały zmierzyć: sukces, satysfakcje i efektywność (czas)
• Pozostałe miary były dobrowolne i zależne od doświadczenia oraz zgodne z własną metodologią
• Wyniki zostały przesłane w formie anonimowej, jako raporty
http://www.budget.com
Uczestnicy badania
• Aalborg University (DK): Janne Jul Jensen, Anders Bruun, Jan Stage, Mikael B. Skov
• Bentley College (US): Tamara Rose
• Bureau of Labor Statistics (US): Jean Fox
• DialogDesign (DK): Rolf Molich
• FamilySearch.org (US): Tyson Stokes
• Fidelity Investments, team 1 (US): Donna P. Tedesco, Marisa Siegel
• Fidelity Investments, team 2 (US): Tom Tullis
• Google, Inc. (US): Tomer Sharon, Daniel "Danny" Wildman
• Kingston University (UK): Jarinee Chattratichart, Martin Colbert
• Mount Royal University (CAN): Brian Traynor
• Nielsen Norman Group (US): Janelle Estes
• Oracle Corporation/Measuring Usability LLC (US): Jeff Sauro
• University of Cork (IRL): Jurek Kirakowski, Raegan Murphy, Mike Brown, Noirin Curran, Nigel Claridge, Eve Griffin, Mary Joyce, Anthony Yiu
• UserPlus (BE): Lonneke Spinhof
• Wichita State University (US): Veronica D. Hinkle, Amanda Smith, Barbara Chaparro, Doug Fox, David Libby, Shivashankar Naidu, Justin Owens
Scenariusz badania
Firma zajmująca się wynajmowaniem samochodów – Budget.com – planuje dużą przebudowę serwisu.
Podpisana została umowa z zewnętrzną agencją na wykonanie nowego serwisu. Budget.com chce mieć pewność, że użyteczność nowego serwisu jest co najmniej na tym samym poziomie co starego. Zostałeś zatrudniony, aby przeprowadzić badania i przygotować zestaw miar, wskaźników dla obecnej strony, które posłużą następnie do porównania z nową stroną.
Miary przez Ciebie przygotowane powinny być tak zrobione, aby dawały względną pewność, że nowa strona jest co najmniej tak dobra jak stara. Porównanie tych miar nie jest częścią CUE8 zostanie przeprowadzona w późniejszym terminie przez Ciebie lub inną agencję.*
Budget.com wymaga od Ciebie zmierzenia czasu realizacji i satysfakcji dla 5 zadań, ale są oni również otwarci na wszelkie dodatkowe pomiary, które Twoim zdaniem są istotne.
*Projektanci badania nie byli w ścisłym kontakcie z Budget.com, stąd nie wiedzieli czy w ogóle taki etap nastąpi.
Zadania do wykonania
1. Wypożycz samochód: Wypożycz samochód średniej wielkości na lotnisku Logan w Bostonie od czwartku 11 czerwca 2009 od 9.00 do poniedziałku 15 czerwca 2009 do 15.00. W przypadku pytania o imię i nazwisko podaj John Smith i e-mail: [email protected]. Nie finalizuj rezerwacji.
2. Cena wypożyczenia: dowiedz się ile kosztuje wypożyczenie economy car od piątku 19 czerwca 2009 od 15.00 do niedzieli 21 czerwca 2009 do 19.00?
3. Godziny otwarcia: zobacz w jakich godzinach jest otwarte biuro Budget w Great Falls, Montana w wtorki?
4. Ubezpieczenie zniszczenia: Nieznana osoba mocno porysowała Twój wypożyczony samochód. Mechanik ocenił naprawę na około 2000 USD. Twoja umowa wypożyczenia zawiera Loss Damage Waiver (LDW). Czy musisz zapłacić koszty naprawy? Jeżeli tak, to jaką część?
5. Lokalizacja wynajmu: znajdź adresy biur Budget , które są najbliżej hotelu Hilton, 921 Sixth Avenue, Portland Oregon, US 97204?
Koncepcje badawcze
Średnio: 40 osób
Mediana: 18 osób
Max: 313 osób (!!!)
Min: 9 osób
------------------------
Bez zespołu L:
Średnio: 21 osób
Mediana: 15 osób
Liczba badanych
(Liczba osób w badaniu)
Średnio: 14(M) ; 76(N)
Mediana: 12(M) ; 29(N)
Max: 22 (M) ; 313 (N)
Min: 9 (M) ; 14 (N)
---------------------------
Rozkład badań:• 2 – mieszane• 4 – niemoderowane• 9 – moderowanych
Badania moderowane (M) vs niemoderowane (N)
Sposób pomiaru czasu i włączanie niepowodzeń do obliczeń
Weryfikacja danych i pomiar satysfakcji
Czas na badanie:
Średnio: 50,4 h
Mediana: 39 h
Max: 128 h
Min: 21 h
---------------------------
Liczba badaczy:
Średnio: 2Mediana: 1Max: 8Min: 1
Czas poświęcony na realizację badania
Założenia:
1) Wynagrodzenie dla badanych:
B. moderowane = 100 zł
B. niemoderowane = 10 zł
2) Koszt pracownika: 100 zł/h
Konsekwencje
Założenia:
1) Wynagrodzenie dla badanych:
B. moderowane = 100 zł
B. niemoderowane = 10 zł
2) Koszt pracownika: 100 zł/h
Konsekwencje
Wyniki badania
Sposób pomiaru:
• mediana, • średnia arytmetyczna, • średnia geometryczna.
Czy można wynająć samochód w 60 sekund?
Czas pozostałych zadań
Źródła różnic
• Czynniki zewnętrzne np. niska prędkość łącza internetowego
• Badani, którzy nie działali zgodnie z instrukcjami
• Badani, którzy notorycznie omawiali zadania w trakcie ich realizacji (mimo ostrzeżeń moderatora)
• Sposób mierzenia czasu
• Sposób oczyszczenia danych
• Brak doświadczenia niektórych zespołów badawczych (niektórzy pierwszy raz badali stronę WWW tą metodą)
• Badani, których pierwszym językiem nie jest angielski
Jakie to ma znaczenie dla klientówWnioski własne
Badanie użyteczności jest badaniem jakościowym
• Badanie odpowiada głównie na pytanie: „dlaczego?”
• Wyniki statystyczne: • powinny być traktowane z dużą ostrożnością,
• są tylko poglądowe – nie należy się na nich skupiać, • nie są najważniejszym elementem badania.
• Porównywanie wyników statystycznych z różnych firm dla badania tego samego serwisu (np. rok do roku) nie ma sensu.
• Bardzo dokładanie należy określić ramy dokonywanych pomiarów np.:• Start pomiaru jest : w momencie rozpoczęcia czytania zadania, po
przeczytaniu zadania, po załadowaniu się strony WWW• Koniec pomiaru jest: w momencie udzielenia odpowiedzi, wskazania
odpowiedzi na ekranie, kliknięcia wybranego elementu.
Zapytania badawcze – doprecyzowanie pytania
•Pytania ogólne mają sens jedynie w momencie chęci poznania zagadnienia i rozeznania w rynku.
•Brak szczegółów powoduje:
• różne formy i sposoby badania – każda agencja ma swoje podejście,
• często najtańsi są najmniej doświadczeni – brak uwzględnienia wielu elementów w wycenie,
• brak porównywalności ofert – zarówno merytoryczny, jak i finansowy.
• Brak możliwości opracowania najlepszego – najbardziej ergonomicznego procesu badawczego.
Zalecenia dla firmWnioski własne
Zalecenia dla firm
•Możliwie jak najdokładniej określić zapytanie badawcze (można najpierw przeprowadzić rozmowę telefoniczną i poznać szczegóły, a następnie rozesłać zapytanie)
• Wyniki statystyczne traktować jako poglądowe, a nie ostateczne
• W przypadku współpracy z kilkoma firmami dokładnie określić przebieg wcześniejszych badań i ich pomiar, aby wyniki były porównywalne
• Traktować badanie użyteczności głównie, jako badanie jakościowe odpowiadające na pytanie „dlaczego”
Dziękuję za uwagę Piotr JardanowskiSenior Project ManagerResearch Department