měření spokojenosti v knihovnách

Měření spokojenosti v knihovnách

Ladislava Zbiejczuk Suchá Gabriela Šimková

Národní knihovna, 17/10/2013

Měření spokojenosti v knihovnách

• Standardy VKIS stanovují – Měření spokojenosti jednou za 5 let. – „Více než 90 % uživatelů hodnotí služby

knihovny jako dobré nebo velmi dobré.“ – „Více než 75 % dětí a mládeže hodnotí služby

knihovny stupněm dobrý“.

Měření spokojenosti v knihovnách

• Standardy VKIS nestanovují – Jak má být anketa reprezentativní? – Jak má probíhat sběr dat? – Jak reportovat výsledky? – Jak výsledky porovnávat?

Pro koho děláme výzkum?

• Pro sebe/vedení – rozhodování založené na datech

• Pro zřizovatele – reportování kvality • Pro uživatele – uživatel v centru naší

pozornosti

Fáze výzkumu 1. Výzkumná otázka/problém 2. Rozhodnutí o populaci a vzorku 3. Rozhodnutí o technice sběru dat 4. Konstrukce výzkumného nástroje 5. Pilotáž výzkumného nástroje a úprava 6. Sběr dat 7. Analýza 8. Prezentace dat

Jak začít? • „Market researchers tend to emphasize the technical part

of their job, but I think they shouldn’t do this. Of course we need people with excellent knowledge of techniques and methodology, but it is when they have a vision and judgement that researchers can make a difference.“

Will van den Berg, Philips Consumer Electronics

• Co může výzkum přinést organizaci? • Co bude jinak oproti tomu, kdyby výzkum nebyl?

Příprava výzkumu

• Kdo se podílí na formulaci výzkumného problému? – Zaměstnanci – Zřizovatel – Uživatelé (?)

Fáze I: definování problému

• Zapojení zaměstnanců - brainstorming • Generování možných témat pro výzkum • Prioritizace, výběr opravdu důležitých oblastí

Fáze I: definování problému

• Složitější oblasti – rozklad problému na jednotlivé dílčí problémy tak, aby byly měřitelné

Spokojenost se službami • „Spokojenost se službami“

The user satisfaction and loyalty model (Martensen Gronholdt, 2003)

Spokojenost se službami – NK ČR Hodnocení knihovnických a informačních služeb z hlediska nabídky a

podmínek: • výpůjční služby • meziknihovní služby • kopírovací služby • rešeršní služby • přístup k internetu Hodnocení obsahu knihovních fondů a elektronických informačních

zdrojů: • domácí produkce knih a časopisů • knih ze zahraniční produkce • zahraničních tištěných časopisů • elektronických informačních zdrojů (elektronické časopisy a další

báze) Hodnocení internetových stránek a prostředí databází: • Umožňují Vám internetové stránky knihovny nalézat samostatně

informace o fondech a službách? • Považujete prostředí databází za přívětivé pro samostatné

vyhledávání informací, o které máte zájem?

Spokojenost se službami – NK ČR Hodnocení tištěných informačních materiálů a podpory informační gramotnosti uživatelů: • Pomáhají Vám tištěné informační letáky knihovny při práci v knihovně? • Jak Vám pomáhají naše tištěné informační letáky? • Pomáhá Vám knihovna získat informační dovednosti, které potřebujete ke své práci nebo

studiu? Hodnocení prostředí pro studium, technického vybavení a sociálního zázemí: • Považujete prostory knihovny za pohodlné pro potřeby Vašeho studia a učení? • Považujete technická zařízení určená pro přístup k informacím za dostatečná? • Jste spokojen/a se sociálním zázemím knihovny? (oddechové prostory, WC) Hodnocení pracovníků knihovny z hlediska důvěry, korektnosti, pohotovosti při řešení problémů

a odborné kvalifikace: • Důvěřujete pracovníkům knihovny? • Jsou k Vám pracovníci knihovny korektní? • Jsou pracovníci knihovny schopni pohotově zvládat problémy, se kterými se na ně obracíte? • Mají podle Vás pracovníci knihovny dostatečnou úroveň odborných znalostí, aby mohli

odpovídat na Vaše dotazy? Celkové hodnocení služeb knihovny a hodnocení přínosu služeb knihovny pro uživatele a

celkové spokojenosti uživatelů se službami knihovny: • Považujete služby knihovny za přínosné pro Vaše studium, výzkum či odbornou práci? • Jste spokojen/a s celkovou kvalitou služeb poskytovaných knihovnou?

Spokojenost se službami • LibQUAL

– Minimální úroveň služby – Požadovaná úroveň služby – Reálná úroveň služby

Koho budeme měřit?

• Kdo je populace? – uživatelé knihovny • Kdo nám odpoví? – jaký bude náš vzorek?

Kolik dotazníků potřebujeme sesbírat?

• Kolik lidí do knihovny chodí? • Jak homogenní je tato skupina? • Jak složitý je náš problém? • S jakou výběrovou chybou počítáme? • Výpočet vzorku – např.

http://surveysystem/sscalc.htm

Jak velký vzorek?

Velikost populace Velikost vzorku

Do 100 jednotek 80 %

Do 1000 jednotek

40 %

Do 10 000 jednotek

7,5 %

Do 100 000 jednotek

1,5 %

Do 1 000 000 jednotek 0,25 %

Do 10 000 000 jednotek 0,045 %

Kontrola kvality a reprezentativity

• V průběhu vyplňování: screeningové a filtrační otázky

• Po vyplnění: ad hoc kontrola klíčových charakteristik (věk, pohlaví), případně vážení

Jaká data u uživatelích už máme?

• Co všechno o uživatelích už víme? • Dokážeme určit, jaká forma dotazníku jim bude

vyhovovat?

Papírové dotazníky

• Velmi flexibilní • Možnost ohodnotit služby přímo na místě • Možnost kombinace s jinými metodami

• Časově náročné zpracování • Motivace pro vyplňování • Nízká míra responze

Telefonické dotazování

• Vysoká míra responze • Možnost rovnou vyplňovat do systému • Možnost přizpůsobit se uživateli v čase

• Časová náročnost • Finanční náročnost • Nemožnost používat vizuální pomůcky • Špatná odezva na otevřené otázky

Online dotazníky • Okamžitý přístup k datům • Dobrá míra responze i na citlivé otázky • Nezaujaté odpovědi • Možnost využití kvót a screeningových otázek • Dobrá míra responze i na komplexní a

otevřené otázky

• Nutnost aktuální databáze kontaktů • Otázka motivace respondentů • Ne všichni jsou online!

Případová studie: Jevíčko vs. Polička • Jevíčko: Kombinace online dotazníku a

tištěné verze distribuované do schránek – 3000 dotazníků

• Návratnost tištěné verze blížící se nule

• Polička: kombinace metod – tištěné + na pobočce

Jak motivovat?

• Mají dostat odměnu za vyplnění? • Jakou? • Jak zvýšit jejich zapojení?

Personalizace

• Zapojení do procesu zlepšování • Osobní oslovení • Vysvětlení důvodu • Jak často používat dotazníky, aby to fungovalo?

Zapojení uživatelů „User-centred design“

Zapojení

• Kombinace metod – nejen kvantitativní dotazníky • Vymyslet soutěž v rámci dotazníku • Sdílet výsledky a výstupy

Jdeme na to: papír a tužka

• Dramaturgie dotazníku • Dotazník krok po kroku • Větvení, filtrování, přeskoky otázek

Rozhodování o dotazníku

• Šablona dotazníku nebo vymyslet vlastní? • Využít existující nástroj nebo vyvinout

vlastní?

• Jaké máme zkušenosti? • Vyhodnocení kvality existujících dotazníků • Chceme porovnat výsledky?

Nástroje

Survio dotazníky pro knihovny

• Šablony připravené na míru pro knihovny • Zvýhodněná cena DIAMOND verze:

100 Kč/rok • Návody na http://vyzkumy.knihovna.cz

Dramaturgie dotazníku

• Na začátek jednoduchá otázka • Konverzační tón (využívat přechody,

pomoci respondentovi s orientací) • Seskupovat podobné otázky • Střídat různé druhy odpovědí • Složité otázky doprostřed dotazníku • Sociodemografické a osobní otázky

nakonec

ejte se na přímé zážitky

Vždy jen jednu otázku

Vyhněte se otázkám se skrytou nápovědou a příčinnou souvislostí

Upřesněte, kolik chcete odpovědí

Typy otázek v dotazníku

• Otevřené / uzavřené otázky • Uzavřené

– Standardizované odpovědi – Vyčerpávající soubor všech možných

odpovědí – Všechny kategorie (možnosti) musí být výlučné – Podrobnější členění lze následně seskupovat

(hrubější kategorie) – Oboustranně souměrné varianty

Typy otázek v dotazníku

Lickertova škála (metoda měření postojů)

• Jak jste spokojen se službami knihovny? 1. velmi nespokojen 2. spíše nespokojen 3. ani spokojen, ani nespokojen 4. spíše spokojen 5. velmi spokojen

Typy otázek v dotazníku

Seřazení položek • Jaké mají být vlastnosti ideálního

knihovníka?

Seřaďte položky podle důležitosti Rozhodnost Moudrost Píle Uvážlivost Mazanost Komunikativnost

Typy otázek v dotazníku

Baterie otázek

Jak jste spokojen/a s … Velmi spokojen/a

Spíše spokojen/a

Ani/ani

Spíše nespokojen/a

Velmi nespokojen/a

Výběrem knih ve volném výběru

1 2 3 4 5

Délkou výpůjční lhůty 1 2 3 4 5

Přístupem personálu knihovny

1 2 3 4 5

Úrovní toalet 1 2 3 4 5

Typy otázek v dotazníku

Sémantický diferenciál

1 2 3 4 5 6 7 8 9 Ostýchavý/á Průbojný/a Impulzivní Uvážlivý/á Hodný/á Zlý/á Moudrý/á Pošetilý/á Rozhodný/á Nerozhodný/á

Typy otázek v dotazníku

Volba postoje Někteří knihovníci si myslí, že fond by se měl především přizpůsobit požadavkům čtenářů. Jiní si myslí, že knihovna by měla aktivně nabízet čtenářům knihy, které ani nemusí znát. Kterému názoru dáváte přednost? • ( ) Knihovna by se měla přizpůsobit • ( ) Knihovna by měla sama budovat fond • ( ) Nemohu vybrat

Metodologická dilemata

• Rozhodnutí o kategorii „nevím“ • Rozhodnutí o středové kategorii

Délka dotazníku

• Čím delší dotazník, tím vyšší míra opuštění • Čím delší dotazník, tím vyšší míra výběru

odpovědi „nevím, nemohu se rozhodnout“ • 10 otázek? • Důležitější než samotný pokrok ve

vyplňování je vnímání pokroku uživatelem

Design a vizuální pomůcky

• Vyšší míra vyplnění online dotazníků je zaznamenána u designově střídmých dotazníků.

• Oproti tomu vizualizace určitých prvků (např. log, ukázek zboží) může zvyšovat míru odpovědí na konkrétní otázku (Deutskens, et al. 2004).

Byly vaše čtenářské

aktivity omezeny kvůli časové

náročnosti vaší práce?

Chtěl(a) byste mít

dům a děti?

Kolik Vám je let?

0 – 20 20 – 30 30 – 40 40 – 60 60 – 80

Jaký je váš příjem?

Myslíte si, že při

současném stavu školství se je

rozumné dávat své dítě na gymnázium?

Knihy a časopisy

čtu: Nikdy Zřídka Často

Velmi často Každý den

Myslíte si, že by knihy měly být

seřazeny dle signatury?

Pilotní testování

• Ideální přímo s uživateli, ale lepší jakékoliv testování než žádné (zaměstnanci, rodina)

• Cca 10-20 respondentů • Online i tištěná verze

Distribuce dotazníku

• 5-fázový proces – Příprava – Rozeslání – Upomínka 1 – Upomínka 2 – Poděkování, sdílení

Pauza?

Co s daty?

• Co všechno o uživatelích už víme? • Dokážeme určit, jaká forma dotazníku jim bude

vyhovovat?

Čištění dat

• Garbage in, garbage out • Chyby při zpracování, záměny znaků • Extrémní hodnoty

SURVIO: odpověď můžete „vypnout“,

ale ne změnit

Třídění prvního stupně za vás udělá

aplikace

Tabulky četností

Jaké je Vaše vzdělání?

Četnost odpovědí

Relativní četnost

Validní relativní četnost

Validní hodnoty Základní 46 7,5 % 7,6 % Základní vyučen /střední bez maturity

62 10,1 % 10,2 %

Střední s maturitou 307 50,1 % 50,5 %

Pomaturitní nástavba, VOŠ

40 6,5 % 6,6 %

Vysokoškolské 153 25,0 % 25,2 %

Celkem validní hodnoty

608 99,2 % 100,0 %

Chybějící hodnoty (neví, neodpověděl/a)

Chybějící hodnoty 5 0,8 %

Celkem 613 100,0 %

Takto vypadá správně a úplně vyplněná tabulka – obsahuje: • počty validních y chybějících hodnot • absolutní i relativní četnosti • validní relativní četnosti

Koláčové grafy

• Vhodný pro: – Třídění prvního stupně (jedna datová řada) – porovnání četností u nominálních proměnných,

které nemají příliš mnoho hodnot (méně než 7) – Pokud hodnoty, které chcete vykreslit, nejsou

nulové – Pokud hodnoty představují část celku

Sloupcové grafy • Klasický sloupcový graf vhodný pro:

– Porovnání položek – Ordinální proměnné a kardinální proměnné s menším

počtem kategorií – Znázornění změn za časové období (třídění druhého

stupně) • Sloupcový skládaný graf:

– znázornění vztahu jednotlivých položek k celku s porovnáním podílu každé z hodnot na celkové hodnotě v různých kategoriích

• 100% skládaný graf: – porovnání procentuálního podílu (relativních četností)

jednotlivých hodnot na celkové hodnotě v různých kategoriích

– např. porovnání Lickertových škál v bateriích otázek

1 - Cítím se trapně kvůli tomu, že nevím, jak využívat služeb akademické knihovny 2 - Jsem zmatený z mnoha záležitostí týkajících se vysoké školy. 3- Nejsem si jistý/á, jak mám začít v knihovně vyhledávat. ---

1 – rozhodně souhlasím 2 – spíše souhlasím 3 – ani souhlasím, ani nesouhlasím 4 – spíše nesouhlasím 5 – rozhodně nesouhlasím

Nástroje pro vizualizace, infografiky

• http://www.easel.ly/ • http://infogr.am • http://visual.ly/

Nástroje pro vizualizace, infografiky

Nástroje pro vizualizace, infografiky

Chci, aby tady…

Zapůsobit na city