Sosiaalialan mittarikeräyksen tulokset: Mitä pilottikeräys opetti?

Heli Valkeinen, erikoistutkija, TtT

TOIMIA-verkoston koordinaattori

Heli Valkeinen - Sosiaalialan arviointiverkoston tapaaminen, THL 27.3.2017

Mittareita, mittareita – mutta mistä ja millaisia?

Vaikutusten (ja vaikuttavuuden) todentaminen

Paine saada mittareita käyttöön, mutta samalla epätietoisuus mitä mittareita pitäisi käyttää ja miten

Kehitteillä useita mittareita, koska tarve mittareille suuri

Tarve ja toive mittareille ja mittaamiselle

• Miten todennan oman työn vaikutuksia?

Samalla (suuri?) pelko mittareiden ja mittaamisen voimalle

• Ottaako mittari ja mittaaminen liian suuren roolin asiakas- / potilas- / yksilötapaamisessa?

Heli Valkeinen - Sosiaalialan arviointiverkoston tapaaminen, THL 27.3.2017

Mittarikeräyksen idea ja toteutus

Paljon puhetta mitä mittareita sosiaalialalla käytetään vai käytetäänkö mitään

”Käärittiin hihat” mittarikeräys

Teimme TOIMIA:n toimituksessa Webropol-kyselyn, jossa oli kolme ”osaa”:

• Kehitteillä olevat mittarit

• Kehitteillä, mutta samalla jo käytössä olevat mittarit

• Valmiit käytössä olevat mittarit

Kysely lähetettiin täysin sattumanvaraisesti omien verkostojen välityksellä; ts. ei tietoa millaisen määrän kysely lopulta tavoitti vastaajia - pilottikeräys

Kysely auki 11/2016 – 1/2017

Heli Valkeinen - Sosiaalialan arviointiverkoston tapaaminen, THL 27.3.2017

Tulokset (1)

• 55 eri mittaria / menetelmää Yhteensä 66 ilmoitusta,

joista 11 tuplaa

• 3 menetelmiä / 1 (ehkä) mittari Kehitteillä olevia = 4

• 3 menetelmiä / 7 (ehkä) mittareita Kehitteillä, mutta

käytössä = 10

• 8 menetelmiä / 33 (ehkä) mittareita Valmiit käytössä = 41

• 9 mittaria arvioituna

• 1 arviointiprosessissa TOIMIA-tietokannassa

Heli Valkeinen - Sosiaalialan arviointiverkoston tapaaminen, THL 27.3.2017

Tulokset (2): Erillinen listaus mittareista

Mittarikeräyksen yhteydessä saimme

myös erillisen listauksen sosiaalialalla käytettäviä

mittareita

Noin 145 mittaria/menetelmää

(osa samoja kuin meidän

keräyksessä)

Heli Valkeinen - Sosiaalialan arviointiverkoston tapaaminen, THL 27.3.2017

Tulokset (3)

Mittareita lapsille – nuorille – aikuisille – ikääntyville jne.

Hyvin monen erilaisen asian mittaamiseen

Tiedonkeruutavat pääasiassa

• Haastattelu

• Havainnointi

• Itsearviointi

• (Vain joitakin objektiivisia testejä)

ICF:ää on hyödynnetty kehittämisessä tai mittari on linkitetty ICF-käsitteisiin – alle puolet ilmoitetuista

Pätevyys-, toistettavuus- tai muutosherkkyystietoja ilmoitettiin vain muutamasta mittarista

Heli Valkeinen - Sosiaalialan arviointiverkoston tapaaminen, THL 27.3.2017

Ajatuksia tuloksista…

Mittareita /menetelmiä käytetään sosiaalialalla yllättävän paljon, vaikka käsitys saattaa olla toisenlainen

• ”Mittarivapaa alue” ei pidä paikkaansa

• Kuka mittareita käyttää ja miten – vaatii tarkempaa selvitystä

Mittareiden ominaisuuksista (validiteetti, reliabiliteetti, jne.) ilmoitettiin vain vähän tietoa

• Käyttäjät eivät tiedä käyttämänsä mittarin ominaisuuksista ja niiden yhteydestä käyttötarkoitukseen

• Käytetäänkö oikeaa ja pätevää mittaria oikeassa tilanteessa?

(Lähes) kaikkien mittareiden taustasta pitäisi tietää enemmän ennen kuin niitä voisi suositella

Heli Valkeinen - Sosiaalialan arviointiverkoston tapaaminen, THL 27.3.2017

(Toimintakyvyn) arvioinnin prosessi

Heli Valkeinen - Sosiaalialan arviointiverkoston tapaaminen, THL 27.3.2017

Valmistau-tuminen

Toteutus Tulosten tulkinta

Tulosten dokumen-

tointi

Tulosten hyödyntä-

minen

Mittaaminen! Autti-Rämö ym. Kuntoutuminen

2016, 208

Heli Valkeinen - Sosiaalialan arviointiverkoston tapaaminen, THL 27.3.2017

Viisauden alku:

Miksi mitataan?

Mitä mitataan?

Luotettavat ja pätevät arviointimenetelmät

Heli Valkeinen - Sosiaalialan arviointiverkoston tapaaminen, THL 27.3.2017

Psykometriset ominaisuudet tarkoittavat mittarin kykyä

• mitata sitä, mitä sen on tarkoitus

mitata

• validiteetti (pätevyys)

• tuottaa tuloksia toistettavasti • reliabiliteetti (toistettavuus,

luotettavuus)

• havaita muutos • muutosherkkyys

Lisäksi on arvioitava mittarin käyttökelpoisuutta

• soveltuvuus haluttuun käyttötarkoitukseen

• mm. saatavuus, hinta, käytön helppous, turvallisuus jne.

Uuden mittarin kehittäminen on haastava ja asiantuntemusta

vaativa prosessi – aloita vain, jos resurssit riittää ja oikeasti

tarvetta!

Heli Valkeinen - Sosiaalialan arviointiverkoston tapaaminen, THL 27.3.2017

Kuvailla Erotella

Ennustaa Seurata

Psykometriikka ja mittauksen tarkoitus

• Mittarin mitattava

haluttua asiaa /

ominaisuutta (sisältövaliditeetti)

• Kyky erotella

ryhmiä (ryhmien

erotteluvaliditeetti)

• Kyky ennustaa

asia X

tapahtuvaksi (ennustevaliditeetti)

• Kyky havaita

mitattavassa

ominaisuudessa

muutosta (muutosherkkyys)

• Kyky tuottaa sama tulos toistettavasti

/ luotettavasti; mahdollisimman

vähän mittausvirhettä (reliabiliteetti)

Esim.

Heli Valkeinen - Sosiaalialan arviointiverkoston tapaaminen, THL 27.3.2017

Mittaamisen hyödyt ovat

seurausta hyvästä

kokonaisprosessista!