test i organisations - psykologienteasdale.psy.ku.dk/testteori/kristjan houmann. om 360...

Program – 8-10-2010:

1. Introduktion2. Hvad er 360 graders metoden?3. Feedback teori og metode 4. Anvendelses scenarier5. MRG LEA 360 gennemgang6. MRG LEA 360 psykometri7. Refleksion over metoden

Test i organisationsTest i organisations--psykologienpsykologien

360 graders testning360 graders testning

Introduktion:

� Kristjan Jul Houmann, cand.psych.aut.� Kandidat fra Københavns Universitet 1999.� E-mail: [email protected] – Web: www.kpas.dk.

CV:� Forskningsmedarbejder Bispebjerg Hospital.� Test- og erhvervspsykolog Right Kjaer & Kjerulf A/S.� Afdelingsleder Test & Analyser Kjerulf & Partnere A/S.� Certificeret MRG Master Trainer (www.mrg.com).

Tillidshverv:� Medlem af Aftagerpanelet for Institut for Psykologi.� Bestyrelsesmedlem Videnscenter for Professionel

Personvurdering (www.personvurdering.dk).

Hvad er 360 Hvad er 360 graders metoden?graders metoden?



Person assessment-model

EgoSelvKærne

Personlighed

Personprofiler

Adfærd

Adfærdsprofiler

OmverdenDialogværktøjer

LEA360

Selv

Kolleger Kolleger

Medarbejdere

360º måling

Chef


Feedback teoriFeedback teoriog metodeog metode


Hvordan ser du dig selv som leder?


JoHaris vindue…

Kendt af andre

IKKE k

endt af

andre

Åbentområde

Blindtområde

Skjultområde

Ukendtområde

Kendt af mig IKKE kendt af mig


SituationBeskriv situationen, hvor og hvornår?

AdfærdHvordan var personens adfærd,

hvad gjorde han/hun?

PåvirkningHvilken påvirkning havde adfærden på dig, hvilke følelser eller tanker blev fremkaldt?

S

A

P

Feedback - model


AnvendelsesAnvendelsesscenarierscenarier



Typiske anvendelses scenarier:

� Appraisal systemer – KPI (Key Performance Indicators) m.fl.

� Assessment centre – Fx intern og ekstern rekruttering til talentprogrammer, organisationsudviklingsprojekter m.fl.

� Personlig udvikling af ledere – Fx coaching, karriererådgivning, MBA studie m.fl.

� Team-udvikling.� Organisationsændringer.� Trivsels- og ledermålinger i forskellige variationer.

360 graders metoden og coaching:

� Metoden er interessant, da den tilbyder struktureret feedback fra fokuspersonens omgivelser.

� De forskellige observatør-kategorier tilbyder muligheden for perspektivskift.

� Den indsamlede feedback giver mulighed for en form for ”realitetstjek” af fokuspersonens selvopfattelse- og forståelse.

� Metoden har vist sig mindre effektiv, hvis ikke den følges op af en kvalificeret tilbagemelding og/eller coaching.

� Et struktureret værktøj til at arbejde med ledergrupper individuelt og som team.

MRG LEA 360MRG LEA 360gennemganggennemgang


LEA 360-grader

Formål Analyse af den enkelte leders effektivitet ift. ledelsesadfærd.

Aktivitet LEA 360 grader – Leadership Effectiveness AnalysisProfilen er en web-baseret analyse af ledelsesadfærd, der foretages blandt lederen selv, dennes chef, kolleger og medarbejdere. Der måles og analyseres inden for følgende hovedområder:

- At skabe en vision- Udvikling af medarbejdere- Gennemførelse af visionen- Opfølgning- Resultatorientering- Teamplaying

Udbytte LEA 360-graders adfærdsanalyse er en internationalt anerkendt metode (findes på en lang række forskellige sprog) tilvurdering og benchmark af ledelsesadfærd og ledelseseffektivitet. Profilen giver information omkring eget syn på lederrollen og om chefs, kollegers og medarbejderes oplevelse af lederadfærden - alt sammen for at øge den enkelte leders og det enkelte ledelsesteams organisatoriske effektivitet.


The MRG Story

”Management Research Group was launched in 1983 in Portland, Maine. Our founders were psychologists and Human Resources Developmentexperts who believed in a more scientific approach to assessment and feedback for people in organizations. In the earliest stages of ourcompany’s history, the role of management and leadership wasevolving in organizations worldwide, becoming a richer and more complex concept than ever before. We studied thousands of people in management, leadership, and sales roles. Our research has shapedthe models, assessments, and approaches used today by our networkof independent consultants.”

I dag er MRGs værktøjer den globale de facto standard og anvendes af alle førende virksomheder og lederuddannelsesorganisationer –herunder IMD, Insead og flere MBA uddannelser.



FollowingThrough:•Control•Feedback

Creating A Vision:•Traditional (Cons.)•Innovative•Technical•Self•Strategic

DevelopingFollowers:•Persuasive•Outgoing•Excitement•Restraint

Implementing the Vision:•Structuring•Tactical•Communication•Delegation

Achieving Results:•Management Focus•Dominant•Production

Team Playing:•Cooperation•Consensual•Authority•Empathy

The LEA 360 analyzes the leadership style in six main areas, withreference to a norm of i.e. Danish leaders

SLD Model Define Leadership RequirementsStrategic DirectionsRole Expectations

Assess Current PracticesLEA 360®

Customized LEA 360®LEA Self

LEA Culture

Assess Organizational Implications

LEA Composite Profile AnalysisLEA Strategic Directions AuditLEA Best Practices ReportCustomized Research

Develop StrategicallyStrategic Leadership Practices

Customized Development Programs

ReassessmentLEA 360®LEA Culture



LEA 360

• A method to uncover how the leaderprioritizes and handles his/her leadershipassignment.

• The leader gets evaluation from him-/herself, his/her nearest boss, selected peers (min. 2) and selected direct reports (min. 2)

• The profile does not tell whether the observers like or dislike the leader’s style, but how the leader is perceived to usehis/her energy and administers his/her leadership.

• In consultation with the consultant, advantages and disadvantages in the profileare discussed, in relation to the leader’scurrent challenges.

Observer FeedbackPoints on Profiling and Analyzing Observer Feedback:

– The observer feedback is provided as three distinct groups – not “others”.

– The raw scores for each group are normed against a database of like observers.

– Each observer group has distinctly different viewpoints• Think about how differently you manage your relationships with boss, peers, and direct reports.


Rater’s Viewpoint

It’s how they see you that

counts!

• Interpersonal Relationship• Experience• History• Opportunity• Actual Behavior• Needs


General Profile Interpretation Tips

• Look at demographic information.• Look at scores 70% or higher and 30% or lower.• Look at profile function by function.• Look at certain practices that may affect overall profile.

– High Excitement can boost effect of other practices.– High Restraint can mute the effect of other practices.– Management Focus – high or low can effect other

practices.


MRG LEA 360MRG LEA 360psykometripsykometri


Krav til test og profiler –”Varedeklaration”:

� Standardisering (oversættelse, bearbejdning m.v.)� Skalaegenskaber (psykometriske analyser)� Sammenligningsmateriale (normer)� Reliabilitet (pålidelighed)� Validitet (gyldighed)� Akceptabilitet (for testpersonen og administrator)


MRG LEA 360 spørgeskema(er):

Underformer:� LEA Self spørgeskema: 84 spm. + 18 demografiske spm.

� LEA Observer spørgeskema: 66 spm. + 11 demografiske spm. + 22 Part B spm.

� LEA Strategic Directions, Role Expectations & LeadershipCulture spørgeskemaerne: 66 spm. + 11 demografiske spm.


MRG LEA 360 svarskala:

� Semi-ipsativ med normering.

� MOST: 5 = especially characteristic of you, 4 = most likeyou, but you do not feel strongly about it.

� NEXT: 3 = a reasonably accurate description, 2 = only the better of the two less appealing choices.


MRG LEA 360 konstruktion:

� Baseret på empiriske studier af ledere og ledelsesadfærd.

� En rollebaseret adfærdsanalyse.

� Leadership ”sets” = det teoretiske grundlag for LEA 360. Def.: Et ”set” indikerer sandsynligheden for, at en leder vil opføre sig konsistent på tværs af en bred vifte af ledelsesmæssige udfordringer.

� Oprindeligt 35 leadership sets - blev reduceret til de nuværende 22 sets.


Reliabilitet:

Måler testen stabilt fra gang til gang og i forskellige situationer. Se Technical Considerations Report s. 4.

MRG studier:� Test-retest: 2 separate studier med hver 14 dages

test-retest interval.� Inter-rater: 1 studie.� Alle studier har vist tilfredsstillende resultater.


Validitet:

Måler testen rent faktisk det, som den påstår at måle. En test kan ikke være valid, hvis den ikke er reliabel. Se Technical Considerations Report s. 5.

MRG studier:� Mindst 5 studier gennemført af LEAens konstrukt og

prædiktive validitet. Ikke alle studier udført af MRG.� ”Golden standard” validering udført ift. 16PF, CPI,

MBTI, Wesmann og IDI).� Faktoranalyse udført mellem LEA og 16PF.� Alle studier har vist tilfredsstillende resultater.


PausePause


Refleksion over Refleksion over metodenmetoden


Refleksionspunkter:

Realismen som erkendelsesteori. � 360 målingen afspejler sandheden om fokuspersonen. � Observatørerne placeres i en ekspertrolle ift.

Fokuspersonens lederkompetencer, evner og motiver.� I 360 graders processen antages mennesket at have en

indre kerne, og kan beskrives i sig selv og adskilt fra omverdenen.

� Adfærd stammer fra intrapsykiske fænomener, som fx kompetencer.


Refleksionspunkter fortsat:

Socialkonstruktionismens kritik: � Mangfoldighed af sociale verdener. � Søgen efter ”sandheden” giver ikke mening. � Observatørerne har forskellige positioner og erfaringer med

Fokuspersonen og vil derfor vurdere forskelligt. � Samskabelse af mening og samskabelse af ledelse.



Foucaults magtteori:� Symmetrisk – Asymmetrisk magtrelation i

feedback konteksten vil påvirke deltagernes ”ærlighed”.



Systemisk teori: � Der er for lidt fokus på relationernes betydning.



Anerkendende teori – fx AI: � Antagelsen om, at vi motiveres til forandring på

baggrund af negativ feedback og diskrepans fokusering, kan kritiseres. Se også Brett & Atwater, 2001.


Refleksionspunkter Brett & Atwater (2001):

Opsummering. Man undersøgte, hvordan 360 graders feedback og forskelle i selv-observatør ratings relaterede sig til Fokuspersonens:

� Reaktioner på feedbacken.

� Opfattelse af feedbackens præcision.

� Modtagelighed for personlig udvikling.



Resultater. Man fandt ud af følgende:� Når fokuspersonen fik en mindre positiv/negativ rating

pga. ”Over-rating” gav det en opfattelse af feedbacken som upræcis og affødte negative reaktioner hos vedkommende.

� Ovenstående relaterede sig endvidere til, at Fokuspersonen opfattede feedbacken som mindre brugbar. (fx Leon Festinger: Kognitiv Dissonans. Samt Control Theory).



Resultater. Man fandt ud af følgende:

Def. Målorientering: Et mentalt framework, der påvirker, hvordan et individ fortolker og reagerer på præstations-situationer. Meget tyder på, at testningen inducerede en situationsbestemt præstationsorientering i alle testpersonerne.

1. Præstationsorientering: En disposition til at vise og validere ens kompetencer ved at opsøge positive bedømmelser og undgå negative bedømmelser.

2. Indlæringsorienteret: En disposition til at udvikle kompetencer ved at tilegne sig nye færdigheder og opnå mestring over nye situationer.



Resultater. Man fandt ud af følgende:� De Fokuspersoner, som mente, at feedbacken var mindre

brugbar blev af en ekstern facilitator vurderet som mindre udviklingsorienterede (modstand).

� Målorientering (præstations- eller indlæringsorienteret) modererede ikke forholdet mellem ratings og opfattelsen af deres præcision eller reaktionerne på feedbacken.

� Målorienteringen var derimod relateret til Fokuspersonens opfattelse af 360 processens brugbarhed flere uger efter feedbacksessionen (kun for personer med indlæringsorientering).



Konklusion. Man fandt ud af følgende:� Studiet udfordrer den fremherskende holdning i 360 graders

assessment, nemlig at Fokuspersonen kan motiveres til positiv udvikling og læring af negativ feedback samt af selvindsigt alene baseret på forskelle i selv-observatør ratings.

� Det udfordrer endvidere antagelsen om, at Fokuspersonen af sig selv vil kunne se nytteværdien i at ændre sig, fordi andre (observatører) mener noget andet for på den måde at minimere kognitiv dissonans (Festinger) og opnå kontrol (Control theory) ved at annullere, udligne eller reducere forskelle i selv vs. observatør feedback.



Opmærksomhedspunkter:� Fokuspersonens efterfølgende relation til

observatørerne kan blive belastet.

� Fokuspersonen opfatter feedback fra forskellige observatørkategorier forskelligt.

� Det hjælper at have en coach og flere coachingsessioner, hvis man skal kunne bruge især negativ feedback til noget.

� Der advares mod at benytte 360 graders værktøjer uden en trænet facilitator og uden tilbagemelding.


Refleksionspunkter – hvad kan der gøres?:

Man bør ved anvendelse af 360 graders processer være særlig opmærksom på:� Grundig information til både Fokusperson og

observatører, før, under og efter processen startes. Afklaring af formål og beskrivelse af proces. Det vi måler på, skaber vi mere af.

� Ingen skjulte dagsordener – fokus på etikken.

� Giver målingens spørgsmål og resultater nye handlemuligheder til Fokuspersonen? Mulighed for customiserede spørgsmål?



Man bør ved anvendelse af 360 graders processer være særlig opmærksom på:� Mulighed for ”Vigtighedsfaktor” og åbne spm. til

observatørerne.

� Anonymitet for observatører – kolleger og medarbejdere? Godt eller skidt –Socialkonstruktionismen vs. Foucault.

� Narrativ tilgang til forståelse af resultaterne –”forskellige stemmer” – ikke et udtryk for sandheden.



Man bør ved anvendelse af 360 graders processer være særlig opmærksom på:

� Anerkendende tilgang i resultatformidlingen – ikke kun fokusere på det negative og de lave scorer.

� Kan observatørerne inddrages i feedbackprocessen eller bagefter – fx 3-parts møde med nærmeste leder, opfølgningsmøder med medarbejder mv. Samskabelseaf ledelse jf. Socialkonstruktionismen. Fx Team-coaching processer.



Man bør ved anvendelse af 360 graders processer være særlig opmærksom på:

� Der skal altid anvendes en trænet facilitator til feedback sessionen. Redskabet bør bruges dialogorienteret.

� Tilbud om effekttestning og opfølgning til Fokuspersonen, hvis feedbacken skal være brugbar og skabe varige ændringer.


Spørgsmål og Spørgsmål og afrundingafrunding


test i organisations - psykologienteasdale.psy.ku.dk/testteori/kristjan houmann. om 360...

Documents