(nie)wiarygodne obserwacje praktyków ux – o głupich błędach w interpretacji wyników

KRZYSZTOF PIWOWAR · DESIGN MANAGER · @XYSIU

(Nie)wiarygodne obserwacje praktyków UX

czyli o głupich błędach w interpretacji wyników

Ekspert

Rezultaty

Jednak czasem…

W czym problem?

Troszkę teorii… ale tylko odrobinę. Obiecuję!

Prawdopodobieństwo Szansa na wydarzenie się czegoś

w ustalonych warunkach (kontekście). Nie istnieje coś takiego jak 100% pewność. Statystyka zawsze porusza się w obszarze

zarządzania ryzykiem.

Made with by PGS Software ·

Dyskretne Skończone wartości, które da się policzyć

np. liczba jabłek.

Ciągłe Dane o nieskończonej

liczbie możliwych wartości np. czas.

Rodzaje danych

Made with by PGS Software · 11

Średnia (populacji) Wartość wyniku, jaką spodziewamy się uzyskać najczęściej.

Poziom istotności Najmniejsze p-stwo, że uzyskany

wynik jest dalej prawidłowy (będziemy brali go pod uwagę).

Przedział ufności Jak bardzo pewni jesteśmy, że dana wartość mieści się w przedziale, który ustaliliśmy.

0,0 (0%)

1,0 (100%)

Rozkład Gaussa

Dane dyskretneoraz historia pewnego przypadku

w interpretacji wyników

Nazywasz się Krzysztof Kajak i pracujesz w firmie “Daleko od Brzegu”.

Chcesz kupić nowe wiosła. Podesłany przez znajomą link na Facebooku, kieruje cię na stronę wiosluj.pl.

Zamów zestaw drewnianych wioseł i poinformuj moderatora, gdy wykonasz zadanie.

HISTORIA PEWNEGO BADANIA 13

10 8 2

Wyniki badania

Uczestników Pojawili się na badaniu i przeszli przez cały scenariusz badawczy.

Sukces Zakończyły się zamówieniem wioseł. Oznaczamy jako “1”.

Porażka Zakończyły się brakiem zamówienia wioseł. Oznaczamy jako “0”.

80%zrealizowało zadanie → Ile zrealizuje w przyszłości?

80% zrealizowało zadanie → 80% zrealizuje w przyszłości

Co mówi matma?

Krok 1 - średnia i jej normalizacja

0,0 (0%)

1,0 (100%)

Krok 1 - średnia i jej normalizacja (metodą Walda)

SRno ≈ 0,72SRar = 0,80

Krok 1 SRno ≈ 0,72

Krok 2 - błąd standardowy średniej

0,0 (0%)

1,0 (100%)

Krok 2 - błąd standardowy (średniej)

SEM ≈ 0,12

Krok 2 SEM ≈ 0,12

Krok 3 - margines błędu

0,0 (0%)

1,0 (100%)

51%wiarygodność kasynowa

80%wiarygodność badawcza

90%wiarygodność przemysłowa

95%wiarygodność publikacyjna

99%wiarygodność farmaceutyczna

ME ≈ 0,24

Krok 2 SEM ≈ 0,12

Krok 3 ME ≈ 0,24

95% przedział ufności / wiarygodność

0,0 (0%)

1,0 (100%)

Krok 4 - przedział ufności

dLO ≈ 0,48 dUP ≈ 0,96

ME ≈ 0,24

SRno ≈ 0,72

80% zrealizowało zadanie → 80% zrealizuje w przyszłości

80% zrealizowało zadanie → 48-96% zrealizuje w przyszłości

measuringu.com/wald

Dane ciągłeoraz kolejna historia pewnego przypadku

w komunikacji wyników

Nazywasz się Anna Netflik i właśnie obejrzałaś nowy trailer serialu Stranger Things.

Na skali 1-10 oceń, jak bardzo ci się spodobał.

10 2, 4, 3, 7, 8, 9, 6, 7, 8, 5

Wyniki badania

Uczestników Obejrzeli trailer i ocenili go za pomocą dołączonej skali.

5,9ocena trailera teraz → Jaka ocena trailera w przyszłości?

5,9 średnia ocen teraz → 5,9 średnia ocen w przyszłości

Co mówi matma?

Krok 1 - obliczenie średniej

Krok 2 - a) odchylenie standardowe bonus

b) błąd standardowy

95% przedział ufności / wiarygodność

0,0 (0%)

1,0 (100%)

SR = 5,9

Krok 2 - obliczenie odchylenia standardowego

SD ≈ 2,33

Krok 2 - błąd standardowy

SE ≈ 0,74

ME ≈ 1,44

Krok 4 - przedział ufności

dLO ≈ 4,46 dUP ≈ 7,35

5,9 średnia ocen teraz → 5,9 średnia ocen w przyszłości

5,9 śr. ocen teraz → 4,46 - 7,35 śr. ocen w przyszłości

measuringu.com/ci-calc

Porównywanieróżnych typów wyników

Badasz pięć wersji tego samego narzędzia. Każda wersja testowana jest przez różną ilość różnych osób.

Na zakończenie badania prosisz każdą z osób, aby oceniła przydatność testowanej wersji.

Chcesz porównać wyniki i stwierdzić, które rozwiązania są dobre i podbiją świat.

A B C D E

Wyniki badania

Co mówi matma?

A B C D E

Wyniki badania

A B C D E

Nie nachodzą na siebie - istnieje znacząca różnica

Wyniki badania

A B C D E

Wyniki badaniaCzęściowo nachodzą na siebie - wykorzystaj test t Studenta

A B C D E

Częściowo nachodzą na siebie - wykorzystaj test t Studenta

Wyniki badania

A B C D E

Całkowicie nachodzą na siebie - brak znaczącej różnicy

Wyniki badania

A, B, C, D, E

A, C, B, D, E

A, D, B, C, E

A, D, C, B, E

A, B, C, E, D

A, C, B, E, D

Na badanie zostało zrekrutowanych 30 osób. Grupa 15 osób wykonała zadania dla wersji A i wypełniła arkusz oceny. Następnie wykonała te same zadania dla wersji B i ponownie wypełniła arkusz oceny. Kolejne 15 osób wykonało zadania i wypełniło oceny najpierw dla B a potem dla A. Łącznie masz 30 ocen dla A i 30 ocen dla B.Która wersja jest lepsza?

Wyniki badania

Uczestników Wykonali scenariusz zadań i wypełnili arkusz ocen.

Co mówi matma?

Dyskretne

Czy grupy są niezależne?

tak nie

• Chi-squre• Adj. Wald Diff.

in proportions

• N-1 Two Proportion Test

• Fisher Exact Test

tak nie

• Adj. Wald CI for Diff. in Matched Proportions

• McNemar Exact Test

tak nie

Trzy lub więcej grup?

Ciągłe

tak nie

• ANOVA• Multiple Two-Sample t

• Two-Sample t

tak nie

• ANOVA• Multiple paiered t

• Paired t

Na podstawie Quantifying The User Experience, Jeff Sauro, James R. Lewis

Dyskretne

tak nie

in proportions

tak nie

• Two-Sample t

tak nie

• Paired t

Ciągłe

Dyskretne

tak nie

in proportions

tak nie

• Two-Sample t

tak nie

• Paired t

Ciągłe

Dyskretne

tak nie

in proportions

tak nie

• Two-Sample t

tak nie

• Paired t

Ciągłe

SRRO ≈ -54,47

Krok 2 - obliczenie odchylenia standardowego

SD ≈ 14,33

Krok 3 - obliczanie t

t ≈ 20,817

Five trillion to one! Punter scoops second lottery win

with the same numbers

źródło artykułu

Made with by PGS Software · Definicja dla o(d)pornych

p - prawdopodobieństwo testowe ilustruje, jaka jest szansa, że zaobserwowana różnica jest dziełem przypadku (nie reguły).

Krok 4 - obliczanie p

p ≈ 0,000000001

usablestats.com/calcs/tdist

Na 99.99% wersja B ma znacząco różne wyniki oceny od A. Dlatego wersja z wyższymi ocenami (B) jest lepsza.

graphpad.com/quickcalcs

Zapamiętajwnioski dla zabieganych (lub zmęczonych)

Bądź jak Renata Renata włożyła wiele starań w opracowanie wiarygodnej interpretacji wyników swoich badań. Nie była leniem. Bądź jak ona.

Statystyka nie gryzie Statystyka i matematyka nie są straszne. Wystarczy zapamiętać kilka prostych zasad. Nie musisz znać wzorów na pamięć. Wykorzystaj…

Kalkulatory Mamy czasy, gdzie technologia pomaga ludziom. Czemu więc z niej nie skorzystać? Zapomnij o liczeniu na kartce czy w Excelu. Skorzystaj z algorytmu.

Hipotezy vs. fakty Już wiesz, że interpretacja ma kluczowe znaczenie dla dalszych decyzji. Oprzyj je o fakty. Nie koloruj rzeczywistości i nie idź na skróty.

Decyzje Samodzielnie podejmuj decyzje. Nawet, jeśli będziesz ignorować fakty, rób to świadomie i z pełną odpowiedzialnością.

Dokładność Jeśli uzyskana dokładność cię nie satysfakcjonuje, szukaj sposobów na zwiększenie liczby wyników, którymi dysponujesz. Teraz już wiesz, jak to działa.

Co mówi matma?

Stosując się do tych zasad nie popełnicie głupich błędów w interpretacji wyników.

Bądźmy w kontakcieKrzysztof Piwowar

@xysiu

1. How confident do you need to be in your research? (źródło). 2. Strong MeasuringU (źródło). 3. Z-score calculator (źródło). 4. Confidence interval calculator for a completion rate (źródło). 5. Confidence interval calculator (źródło). 6. Percentiles from the t-Distribution Calculator (źródło). 7. Kalkulatory - Quick calcs (źródło). 8. Kalkulatory - Usable Stats (źródło). 9. Jaki test statystyczny dobrać? (źródło). 10. Pojęcia stosowane w analizie statystycznej (źródło).

11. Trochę linków o statystyce (źródło). 12. Garść informacji o istotności statystycznej/wiarygodności (źródło). 13. Stosowane przedziały wiarygodności (źródło). 14. Książka Quantifying the User Experience: Practical Statistics

for User Research, Jeff Sauro, James R. Lewis (źródło). 15. Unsplash - beautiful free photos (źródło).

KRZYSZTOF PIWOWAR · @XYSIU

Dzięki za cierpliwość!Odwiedź pgs-soft.com

(nie)wiarygodne obserwacje praktyków ux – o głupich błędach w interpretacji wyników

Design

marcin kołakowski apelacje cywilne -...

opoka tfi - zmiana na rynkach · 2019-11-05 · opoka tfi;...

certyfikowane warsztaty praktycy dla praktyków€¦ ·...

data:18.01 - marcin iwuć › wp-content › uploads ›...

ochrona własności intelektualnej w dobie światowego ...

czy jesteśmy racjonalni? o błędach poznawczych i...

witold wasilewski, bep ipn komisja katyŃska kongresu...

z uczniami w koperniku - kuratorium oświaty w...

technika dla - witmir.pl filesłowo wstępne wydawnictwo...

java. współbieżność dla praktyków

spotkanie praktykÓw employee experience …...dorota...

okulistyka · program edukacyjny dla lekarzy praktykÓw...

zeskanowane obrazy - kulw przypadku dziela twórczego autora...

niepubliczne agencje zatrudnienia osÓb … · ucząc się...

oferta szkoleń centrum edukacji menedżerskie j uniwersytet...

spis treŚci - logopeda.org.pl · ich nieprawidłowa...

wersa twój mikroskop do prac rutynowych i badawczych w...

leica nova ts50 · leica nova ts50 oferuje elastyczność w...

wydawnictwo.uni.lodz.pl · social media w procesie ......

sprawdzone rozwiĄzania w zarzĄdzaniu zasobami … ·...