Evidence Based Consultancy

Lopen op twee benen van wetenschappelijke kennis en praktijkervaring

Tonnie van der Zouwen13 oktober 2011

2

Aanleiding onderzoek

Een storend gat tussen succesverhalen uit de literatuur en mijn eigen ervaringen als consultant en als trainer LSI methoden voor adviseurs

Groeiend gebruik, en ook misbruik, van participatieve veranderbenaderingen

Claim op “sustainable change” in de literatuur, maar nauwelijks systematisch onderzoek van effecten na enige tijd

Waarom wel bijsluiters voor medische en financiële interventies en niet voor consultancy?

3

Agenda

Presentatie en inhoudelijke vragen:

Hoe ontwikkel je een bijsluiter voor consultancy in wetenschappelijk verantwoord onderzoek

Een voorbeeld van een onderzoek naar een participatieve interventie: Effectiviteit van Large Scale Interventions (LSI)

Een voorbeeld van een bijsluiter, met evidence based richtlijnen voor een veranderbenadering

Discussie:

Hoe kunnen praktijk en wetenschappelijk onderzoek elkaar versterken? Wat zie je als voordelen, nadelen, dilemma’s?

4

Onderzoeksvraag en -doel

Hoofdvraag: Wanneer en hoe is een Large Scale Intervention effectief voor duurzame verandering?

Wat is LSI precies, wat is al bekend over de effectiviteit?

Hoe ziet duurzame verandering eruit in de praktijk?

Hoe kan effectiviteit van een interventie als LSI geëvalueerd worden?

Wat zou er in een “bijsluiter” voor LSI moeten komen?

5

Wat is LSI?

Large Scale Interventions (LSI) is een participatieve veranderbenadering, waarbij het hele systeem (organisatie en stakeholders) in alle fasen van het traject wordt uitgenodigd om een bijdrage te leveren.

Een of meer werkconferenties met het hele systeem in één ruimte is kenmerkend voor LSI (whole system in the room).

De taak/vraagstuk bepaalt wat het systeem is. Wie heb je nodig voor succes?

6

Top-down benadering

“I have shared my vision, so now we have a shared vision”Cartoon van Mark de Koning

7

Participatieve benadering

Interactief werken aan een gedeeld beeld en nieuwe betekenissenCartoon van Mark de Koning

Research ModelBased on the model “The elements of an intervention” of Jac Geurts et. al. 2006

Context/Task

Effectiveness

Client

Consultant

Intervention

Methods

Large Scale Interventions

Conceptualisation

Concepts

Relationships

Theory

Logic of feeling, Collective learning, Systems thinking,

SensemakingSustainable change

Results in : Insights

Results in: Insights

Selects

& steers

Fills & deepens

Structure

& steer

Structure

& steer

Contribute to

Operations

Actions & Events in LSI trajectories

Loading

Characteristics of the cases

Results in : Experiences

9

Research design

Een Naturalistic Inquiry, gebruik van meerdere onderzoeksmethoden en meerdere bronnen

Zoeken naar patronen van verbanden, in plaats van een lineaire relatie tussen twee factoren

Deductie, inductie en abductie door de onderzoeker

10

Fasen en stappen in het onderzoek

1. Veldverkenning: Wat is LSI? Wat is bekend over de effectiviteit?

2. Bouwen van een evaluatie instrument: Wat is duurzame verandering en hoe kan het geëvalueerd worden?

3. Testen en verbeteren van het evaluatie instrument

4. Testen validiteit en bruikbaarheid van de bijsluiter

11

Fase 1:Veldverkenning

Doel: Wat is al bekend over LSI? Wat zijn succesfactoren en effecten van LSI?

Activiteiten:

1. Bronnen onderzoek: literatuur, websites, interviews met grondleggers en consultants, deelname aan conferenties, lidmaatschap wereldwijde netwerken, volgen online platforms

2. Tekstanalyse van ca. 50 in artikelen gedocumenteerde LSI cases

Resultaten:

Beschrijving van “the state of the art of LSI”

Lijst met succesfactoren en effecten, met waarneembare indicatoren

Impressies veldverkenning

13

Fase 2: Bouwen evaluatie instrument

Hoe kan effectiviteit van LSI geëvalueerd worden?

1. Bouwen theoretisch kader voor duurzame en niet duurzame verandering:

Niet duurzame verandering draagt bij aan meer en beter werk gedaan krijgen (1e orde collectief leren)

Duurzame verandering betekent het ontwikkelen van capaciteiten om beter met veranderingen om te kunnen gaan (2e orde collectief leren)

2. Ontwikkelen evaluatiemethode op basis van auditmethoden uit kwaliteitsmanagement systemen van ISO 9000: audit matrix, scoretabellen, evaluatie rapportage

Theoretisch kader: De logica van het gevoel

Doet recht aan de complexiteit, gelaagdheid van een situatie

Tijd komt in beeld

Geen vaste indelingen maar dynamische verbanden

Aandacht voor informele aspecten (macht, relaties, eigenschappen van mensen) en formele aspecten (structuren, procedures)

Gevoel speelt een belangrijke rol

Kapstok voor ontwikkeling van zinvol organiseren/ innoveren

structuren, regels, procedures, functies,

managementsystemen

formele eigenschappen

Concept voor organisatieontwikkeling

Tijd

Ontwikkelingcapaciteiten

natuurlijk systeeminterne sturing: lef

sociaal regelsysteemexterne sturing: discipline

communicatief zelfsturings-systeemZelfsturing: communicatie

Ons gevoel geeft aan of en waar nieuwe waarnemingen passen

angstzich thuis voelen

boosheidrechtvaardigheid

verdriet

erkenning

symbolen, tradities, verhalen, rituelen, huisstijl

informele eigenschappen

beelden voor de toekomst

communicatieve eigenschappen

Gebaseerd op “De Logica van het gevoel” van Arnold Cornelis, 1996

Duurzame verandering als tweede orde collectief leren

natuurlijk systeem

lef

sociaal regelsysteem

discipline

communicatief zelfsturings-systeem

communicatie

tijd

ontwikkelingcollectief lerenin een organisatie

Nulde orde leren- alleen individuen leren- impliciete spelregels, meest onbewust- interne sturing door lef

Eerste orde leren- collectief leren- expliciete procedures en regels- externe sturing door discipline

Tweede orde leren- principes achter de regels- toetsing aan doelen - doorgaand collectief leren

depressiviteitcollectieve inzichten, leiden niet tot bijsturing

stuurloosheid: ontbreken van richtinggevende toekomstbeelden

groeifixatieniet denken maar doen

stagnatieniet ontwikkelen

chaosgeen expliciete regels voor samenwerking

verstarringbestaande inzichten blijven de norm

emancipatie

disciplinering

burn-out

agressie

Evaluatie instrument

18

Fase 3: Testen en verbeteren evaluatie instrument

1. Testen instrument door reconstructie van 3 cases, 2 jaar na afloop van de LSI: interviews, documentenonderzoek, waarnemingen doen

2. Verbeteren van het instrument

3. Ontwikkelen van een bijsluiter voor LSI, op basis van een voorbeeld uit de medische praktijk: “The practical guide for identification, evaluation and treatment of overweight and obesity in adults”

4. Maken van een Executive Summary (Client Information Leaflet)

19

Fase 4: Testen validiteit en bruikbaarheid van de practical guide

Is de bijsluiter correct, adequaat, bruikbaar?

1. Twee internationale Research conferences, met onderzoekers, consultants en opdrachtgevers van LSI

2. Testen bruikbaarheid, door 4 master studenten in evaluatie van 7 cases.

3. Verbeteren van de guide

Impressies case study

Evaluatie instrument

Impressies Research conference

Inhoud praktijkgids voor LSIBijsluiter voor cliënten (Client Information Leaflet):

Wat is LSI?

Wat doet LSI?

Voordat je LSI gaat gebruiken, contra-indicaties

Hoe LSI te gebruiken?

Mogelijke risico’s

Naslagwerk voor experts met richtlijnen voor toepassing:

Vooraf: Toetsen van pre-condities voor LSI

Tijdens: Ontwerp en uitvoering van LSI

Achteraf: Procedure en hulpmiddelen voor evaluatie van de effecten

Belangrijke principes LSI-traject

25

Match van situatie en veranderstrategie

Omstandigheden

Laag Niveau eigenaarschap en commitment Hoog Duidelijk Kwestie/ gewenste resultaten / route Onduidelijk Laag Complexiteit Hoog Weinig Onzekerheid Veel Ligt vast Uitkomst Open Enkelvoudig Belangengroepen/ agenda’s Meervoudig

Figuur van Paul Miller en Martin Leith, gebaseerd op een model van Bryan Smith, bewerkt door Tonnie van der Zouwen, april 2005

Succesfactoren van LSIParticipatie moet de moeite waard zijn: Een belangrijk vraagstuk waarbij stakeholders elkaar nodig hebben voor succes

Het systeem moet er aan toe zijn: leiders nemen bijdragen van stakeholders serieus

Facilitators moeten ‘koken met de principes’, om een goede match te maken tussen de situatie, de taak en het ontwerp

De juiste mensen in de werkconferentie(s); bepalen van het systeem is cruciaal

Verwachting management is essentieel om vertrouwen op te bouwen en in stand te houden

Sustainable change vraagt om goede follow up: Focus op traject (prolonged engagement) en niet op events

Effecten van LSI

Betere en sneller implementatie van beoogde veranderingen

Toegenomen verandervermogen: Collectief leren en veranderen gaan door

Communicatie is directer (tweerichtingsverkeer) en constructiever

Ontwikkelen van reflectie- en stuurvermogen

Grenzen tussen delen van het systeem worden beter doordringbaar

Meer informatie

Large Scale Interventions: www.largescaleinterventions.com

Onderzoek LSI: www.tonnievanderzouwen.nl/wiki

Kader voor duurzame verandering, op basis van de kennistheorie van de Logica van het gevoel: www.tonnievanderzouwen.nl en http:\\arnoldcornelis.ning.com

1. Hoe kunnen praktijk en wetenschappelijk onderzoek elkaar versterken?

2. Wat zie je als voordelen, nadelen, dilemma’s van Evidence Based Consultancy?

Discussie