Georg Michenthaler 1
Messung der Kundenzufriedenheit
Nutzen - Methoden - Qualitätskriterien
praxissimus-Stammtisch 5.11.09
Georg Michenthaler 2
Institut für empirische Sozialforschung GmbH
Das Institut:- Markt- und Meinungsforschung, seit 1965- 32 angestellte MitarbeiterInnen, ca. 300 freiberufl. InterviewerInnen
Forschungsmethoden:- Quantitative Erhebungen (telefonisch, face to face, Online)- Qualitative Forschung (Focusgruppen, Eperteninterviews, Tests)- Statistische Analysen (Modellrechnungen, Indices ...)
Forschungsschwerpunkte:- u.a. Kundenzufriedenheit, Mitarbeiterzufriedenheit
Georg Michenthaler 6
Wozu Messung der Kundenzufriedenheit ?
strukturiert, repräsentativ, zuverlässig,„objektiv“, umfassend; aufwissenschaftlichenKonzepten/Theorien beruhend
Gewinnung systematischen Wissens
Erkennen von Risikensinkende Kundenbindung, drohenderVerlust relevanter Kundensegmente,Produktschwächen
Ausloten von Chancen undPotenzialen - Innovation
Stärkung der Kundenbindung,Anhaltspunkte für Erschließung neuerKundenbereiche, Produktentwicklung
Hebung der Qualitätsstandards -Konkurrenzfähigkeit
Qualitätsmanagement von Produktenund Dienstleistungen im gesamtenZyklus (von Entwicklung überVermarktung bis zur Nachbetreuung);Maßzahlen/Benchmarks
Forderung der ISO 9001:2008
Georg Michenthaler 7
Konkrete Anwendungen (aktuelle IFES-Beispiele)
Soziale Serviceeinrichtung:- Stärkung von Qualitätsorientierung der MitarbeiterInnen- Grundlage für strategische Entscheidungen (Investition in Ausstattung oder Ausbildung?)
Krankenhausbetriebsgesellschaft (VAMED kmb):- zentrales Element des Qualitätsmanagements- Ergebnis: Erringung des Öst. Staatspreises für Qualität 2009- Ziel: EFQM-Award
Internationaler Pharmakonzern:- Kundenzufriedenheit und interne Dienstleistungszufriedenheit als Kennzahlen für leistungsbezogene Gehaltsbestandteile
Verbund öst. Forschungseinrichtungen:- Vorher-Nachher Messung der Kundenzufriedenheit als Evaluierung der Effektivität zweckgebundener öffentlicher Förderungen
Georg Michenthaler
Was ist Kundenzufriedenheit?
Anspruchsniveau
Marktalternativen
Anbieterversprechen
Image des Anbieters
Kosten
objektive Merkmale derLeistungserbringung
Differenz
subjektiv wahrgenommene
LeistungenErwartungen
eigene oder indirekteWahrnehmung von
Leistungen
Rahmenbedingungen
Ergebnis eines Soll - Ist - Vergleichs
Vergleich von eigenen Erwartungen mit subjektiv wahrgenommenen Leistungen
Georg Michenthaler
Erhebung der Kundenzufriedenheit:Notwendige Voraussetzungen und Erfolgskriterien
Kooperation und detaillierte Abstimmung mit Kunden
Einbindung der Mitarbeiter/-innen: Befragung nicht alsKontrollinstrument, sondern als Hilfsmittel für die tägliche Arbeit
Vorherige Festlegung verbindlicher Verwertungsregeln (interneErgebnisveröffentlichung, Maßnahmen usw. ...)
Hohe methodische Qualitätsstandards * Befragungsinstrument, Erhebungsmethode * Analyse, Interpretation, Schlussfolgerungen
„Richtiger“ Zeitpunkt der Befragung
Georg Michenthaler
Erhebung der Kundenzufriedenheit: Erste Schritte
Startworkshop mit dem Kunden
• Festlegung der Zielsetzung
• Festlegung der Verwertungsregeln, Verbindlichkeit usw.Definition der Zielgruppen (Entscheider, Verwalter, Endnutzer)
• Festlegung des Befragungsdesigns, Wahl der Erhebungsmethode
• Festlegung der inhaltlichen Schwerpunkte
• Festlegung des Zeitplans
technische Rahmenbedingungen (Adressen, Feldarbeit...)
Vorinformation der Zielpersonen
Erstellung des Befragungsinstrumentes (Pretest)
Georg Michenthaler 11
Die zentralen Forderungen an die Messung
Validität (Gültigkeit)Validität einer Messung bedeutet,dass das gemessen wird, was manmessen möchte.
Reliabilität (Zuverlässigkeit) Reliabilität bedeutet, dass dasMessinstrument zuverlässig ist, alsobei wiederholter Messung zum selbenErgebnis führt.
Georg Michenthaler 12
Qualitative Befragungsmethoden
Leitfadeninterviews Audio-Aufzeichnung, Transkription
Fokusgruppen strukturiertes Auswahlverfahren(Screening, Re-Screening, Incentives);Moderation durch geschultes Personal;Beobachtung durch Einwegspiegel imIFES-FG-Studio
Georg Michenthaler
Quantitative Erhebungsmethoden - Stärken und Schwächen
unkompliziert, keine technischenVoraussetzungen notwendig, (u.U.Vollerhebung möglich)
schriftlich langer Abwicklungszeitraum,Unsicherheit des Umfangs und derQualität des Rücklaufs, keinekomplexe Filterführung imFragebogen möglich
Online Vollerhebung u.U. möglich,kostengünstig, komplexeFilterführung des Fragebogensmöglich, Rücklauf durch Reminder-Aktionen beeinflussbar;
technische Voraussetzungenerforderlich (Internet-Zugang,eindeutige E-Mail-Adressen),eventuell geringes Vertrauen inAnonymität
telefonisch exakte Stichprobenziehungmöglich, Vertrauen in Anonymität,unkompliziert, keinetechnologischen Voraussetzungenerforderlich, rasche Abwicklung,komplexe Filterführung desFragebogens möglich
Vollerhebung kostenintensiv
Georg Michenthaler
Wahl der geeigneten Befragungsmethode
schriftlich telefonisch(CATI)
Online
Vertrauen in Anonymität ++ + -
Komplexität des Fragebogens - ++ +
Beantwortung offener Fragen - + -
Repräsentativität der Stichprobe - ++ +
Datenqualität +/- + +/-
Preis-, Leistungsverhältnis - +/- +
GESAMTBEWERTUNG
(abhängig von Voraussetzungen) - ++ +
Georg Michenthaler
Der Fragebogen - inhaltliche Schwerpunkte
Selektionsfragen (Filterung der Kundengruppen)
Hintergrundfragen (persönliche Kriterien, betriebliche Funktion...)
produkt-, dienstleistungsbezogene Fragen - Differenzierung nach:
• Kundengruppen (Entscheider, Abwickler, Nutzer)
• Produkt-, Leistungsart
• Nutzungsfrequenz (Wichtigkeit von Leistungen)
Zufriedenheit mit Produkten/Leistungen
Zufriedenheitskriterien:• quantitative Kriterien (Ausmaß, Zugänglichkeit...)
• qualitative Kriterien (Kompetenz, Schnelligkeit, Freundlichkeit)
• Zufriedenheit mit Prozessen
Georg Michenthaler 16
Das Auswahlverfahren - Voll- und Teilerhebungen
willkürliche Auswahl
Grundgesamtheit (N)
• einfache Zufallsauswahl
• geschichtete Zufallsauswahl (disproportionale Auswahl)
• Klumpenstichprobe
• mehrstufige Auswahl
VollerhebungAuswahlverfahren/
Stichprobe
Zufallsauswahl bewusste Auswahl
• typische Fälle
• Extremfälle
• Konzentrationsprinzip
• Quotenstichprobe
Problematik der Stichprobenausfälle
Georg Michenthaler 17
Zwei Qualitätskriterien des Auswahlverfahrens
Repräsentativität Die wahre Verteilung der Merkmale in derGrundgesamtheit ist das auschlaggebende Kriteriumfür die Güte einer Stichprobe.
Grundlage für Überprüfung: z.B. Volkszählungsdaten;Mitglieder-Strukturdaten
Stichprobengröße Je größer die Stichprobe, desto geringer derstatistische Zufallsfehler (Irrtumswahrscheinlichkeit).Die empirische Sozialwissenschaft toleriert perKonvention eine Irrtumswahrscheinlichkeit von 5%bzw. ein Konfidenzintervall von 95%.Abweichungen, die außerhalb dieses Bereichs liegen,bezeichnet man als nicht zufällig, sondernsignifikant.
Georg Michenthaler
Auswertung, Ergebnisdarstellung
Häufigkeitsverteilungen
bivariate Tabellen, Matrizen
Indices (Faktorenanalysen, Customer Satisfaction Index)
Rangreihen, Benchmarks
Effekte von Teilleistungen auf die Gesamtzufriedenheit(Regressionen, Kausalanalysen, Pfadanalysen)
Kundensegmentierungen, Typologien (Clusteranalysen)
Querschnitts-, Längsschnittsanalysen (Zeitvergleiche)
Maßnahmenvorschläge
Georg Michenthaler
Ergebnisumsetzung - Maßnahmenraster
Evaluierung der Effekte durch Wiederholungsmessung
Einzelleistungen Wichtigkeit BeurteilungUrsachen für
Unzufriedenheit
mögl.
Maßnahmen
Leistung 1 hoch positiv
Leistung 2 hoch negativ intern: Qualität Schulung
Leistung 3 niedrig negativ extern: Zulieferer ??
Leistung 4 hoch negativ intern: Umfang Ausweitung
Georg Michenthaler 21
Die Irrtümer und Fehlerquellen
Fehler durch Unangemessenheit der MethodeMethode
Analyse,Darstellung
Scheinkorrelationen
Aussagen auf Basis zu kleiner Stichproben
Vergleiche von nicht Vergleichbarem, falsche Analogien und Generalisierungen
irreführende grafische Darstellungen
Scheinpräzision durch Angabe von Dezimalen
Stichprobe/Feldarbeit
keine Repräsentativität, systematische Verzerrungen durch falsche Zielpersonenauswahl
Qualitätsmängel des Fragebogens
mangelnde Qualität der Feldarbeit, „gefälschte“ Interviews
Georg Michenthaler
Die zwölf Gebote der Fragenformulierung
• kurz, verständlich, präzise
• Sprachniveau - keine kumpelhaften Anbiederungen
• keine doppelten Verneinungen
• Korrektheit der Antwortkategorien (präzise, überschneidungsfrei, vollständig)
• Vorsicht bei wertbesetzten Begriffen
• keine mehrdimensionalen Fragen
• normalerweise keine indirekten Fragen
• normalerweise keine Suggestivfragen
• variierende Polung bei Fragenbatterien
• keine Überforderung der ZP z.B. durch Rechenaufgaben
• Positions-, Ausstrahleffekte
kein Gebot ohne Ausnahme
Georg Michenthaler 23
Check-List für die Beauftragung von Forschung
Fußt das Forschungskonzept auf einer soliden und bewährtentheoretischen Grundlage?
Hat das Institut ausgewiesene Forschungserfahrungen zu diesemoder zu ähnlichen Themen und Fragestellungen (Referenzen)?
Hat das Institut spezielle Erfahrung mit der Branche?
MethodischeKompetenz
Qualitäts-management
Wie werden die Interviewer geschult und kontrolliert?
Wie werden die Daten und der Output kontrolliert?
InhaltlicheKompetenz
Verfügt das Institut über ausreichende technische und logistischeRessourcen für die Projektabwicklung?
Welcher Technologie und methodischer Herangehensweisenbedient man sich für die Feldarbeit (z.B. CAPI, CATI,Stichprobenziehung)
Georg Michenthaler 24
IFES-Qualitätskontrolle
Feldarbeit Interviewereinschulungen, -nachschulungen;Interviewerkontrolle (Aviso-Karten bei Face toFace Interviews; telefonische Stichproben-kontrollen bis zu Nachgeh-Interviews;Supervision bei CATI-Interviews; Überprüfungauf Interviewerbias im Antwortverhalten)
Datenexploration, Plausibilitätskontrollen(externe Validierung), automatisierteDatencleanings, Korrekturgewichtungen
Auswertung
Mehr Augen - Prinzip, Korrekturlesen vonAnalysen und Berichten
Ergebnisdarstellung
Georg Michenthaler
Projektablauf - Dauer - Kosten
Entwicklung und Abstimmungdes Fragebogens
Feldarbeit: CATI oder Online
Ergebnisaufbereitung
Präsentation der Ergebnisse
ca. 10 Arbeitstage
5 - 10 Arbeitstage
nach Vereinbarung
abhängig von Befragungsmethode
und Stichprobengröße
optional: Umsetzungsworkshops nach Vereinbarung
DAUER: KOSTENBEISPIELE:
BASISLEISTUNGEN:- Konzeption, Fragebogen- Feldarbeit- Auswertung, Tabellen- Analyse, Summary- Chartreport- Präsentation
VARIANTE1:telefonisch (CATI)n=300; à 10 Minutenca. 4.500,-- (netto)VARIANTE 2:Online (mit Adressen)n=1000; à 8 Minutenca. 9.500,-- (netto)ERGEBNISWORKSHOP:halbtags ca. 3.500,-- (netto)
PROJEKTABLAUF:
Georg Michenthaler 26
Vielen Dank für Ihre Aufmerksamkeit ...
... und gerne beantworte ich Ihre Fragen!
INSTITUT FÜR EMPIRISCHE SOZIALFORSCHUNG GMBHTeinfaltstraße 8 1010 WienTelefon: (01) 54 670-0 Fax: (01) 54 670-312Mail: [email protected] Web: http://www.ifes.atTel: 0664 401 3751