Arvioinnin sietämätön vaikeus!

Hankkeiden vaikutusten seurannasta ja arvioinnista on puhuttu vuosikausia, ja edelleen se näyttää tuottavan päänvaivaa niin rahoittaville tahoille kuin toteuttajillekin. Hankkeiden toteutumista on luonnollisesti seurattava ja varmistuttava siitä, että rahoitus käytetään siihen tarkoitukseen, johon se on myönnetty. Määrällisiä mittareita on kohtuullisen helppoa seurata, mutta toimenpiteiden todellisten vaikutusten laadullinen arviointi on hankalampaa.

Parempi työelämä! -hankkeen yhtenä tehtävänä on seurata työelämän kehittämisen sisällöllisen kokonaisuuden etenemistä ESR+ -ohjelmassa. Tähän työpakettiin sisältyy myös teemassa aloittavien hankkeiden arviointi siitä näkökulmasta, millaisia vaikutuksia niillä on kohderyhmiensä työhyvinvointiin ja tuottavuuteen. Tarkoituksena on siis saada vaikuttavuutta esiin eikä niinkään arvioida hankkeiden toimenpiteiden toteutumista tai määrällisten indikaattoreiden saavuttamista. Arvioinnin pohjaksi tarvitaan kuitenkin systemaattista mittaamista ja vertailukelpoista tietoa.
 

Miten aidosti mitataan hankkeen onnistumista? 
 

Lapin Kansa kirjoitti 24.11.2023 suuren EU-rahoitteisen hankkeen vaikutusten arvioinnista.1 Artikkelista käy hyvin ilmi, miten vaikeaa ja monisyistä hankkeiden vaikutusten arviointi on. Hankkeita ei toteuteta tyhjiössä, vaan vaikuttavia tekijöitä on paljon aina muista paikallistoimijoista globaaliin talouteen. Voi siis olla hyvinkin haastavaa määritellä, mikä ja millainen tulos on yksistään yhden hankkeen vaikutusta ja mikä monen tekijän summa, johon hankkeella on ollut osavaikutusta. Omat haasteensa tuo se, ovatko toteuttaja ja arvioiva taho niin sanotusti samalla sivulla siitä, mitä ollaan arvioimassa ja millä keinoin. Arvioinnin vaikeudesta huolimatta hanke voi silti olla hyvinkin onnistunut tavoitteidensa saavuttamisessa.

Hankkeille määritellyillä indikaattoreilla mitataan usein esimerkiksi tiettyjen toimenpiteiden osallistujamääriä henkilö- ja organisaatiotasolla, mikä ei sinänsä vielä välttämättä kerro toimien varsinaisista vaikutuksista paljoakaan. Voi käydä niin, että hanke itsessään on onnistunut, mutta alkuvaiheessa valitut indikaattorit eivät sovellu parhaalla mahdollisella tavalla aikaansaatujen vaikutusten mittaamiseen. Hyvä hanke pystyy myös sopeuttamaan toimintaansa muuttuviin olosuhteisiin. - Kellään ei ole hallussaan kristallipalloa, jolla voisi ennustaa esimerkiksi koronapandemian kaltaisten kriisien kokonaisvaltaista vaikutusta hankkeiden(kin) toimintaympäristöön.
 

Työelämän kehittämishankkeen vaikuttavuutta voidaan arvioida vaikuttavasti seuraamalla työelämänlaadun indeksiä 
 

Työelämän kehittämisen teemassa yksi tämän rahoituskauden tärkeimpiä tavoitteita onkin hankkeiden vaikuttavuuden arvioinnin kehittäminen. Miten arviointia sitten tulisi tehdä? Hankkeemme lähestyi asiaa tiedolla johtamisen ja helppokäyttöisyyden näkökulmasta.

QWL (Quality of Working Life) on Lapin yliopistossa kehitetty työntekijäkokemusta mittaava tieteellisesti validi menetelmä. QWL:n viidentoista kysymyksen tarjoaman tiedon kautta voidaan laskea QWL-indeksi, eli lukema, joka kertoo työntekijöiden työpaikallaan kokemasta työelämän laadusta. Työelämän laadun parantaminen kehittää tutkitusti myös henkilöstötuottavuutta, mikä tarkoittaa taloudellista hyötyä työnantajalle – siis win-win-tilanne kaikille osapuolille. Mittaamalla QWL-indeksiä voidaan päästä myös kiinni niihin vaikutuksiin, joita työelämän kehittämisen hankkeilla on kohderyhmiensä työelämän laatuun.

Hankkeemme toimesta kehitetään QWL-menetelmään pohjautuvaa työkalua, jolla voidaan mitata työelämän laadun indeksi. Työkalun kehittämisessä keskiössä ovat helppokäyttöisyys, tulosten visualisointi ja helppo tulkittavuus sekä vertailukelpoisen tiedon tuottaminen. Suunnitelmissa on, että valtakunnalliset työelämän kehittämisen ESR+-hankkeet tekevät ensimmäiset mittaukset em. työkalulla kohderyhmissään hankkeen alussa, toiset hankkeen puolivälissä ja kolmannet loppuvaiheessa.

Koordinaatiohankkeen tehtävänä on koota tulokset ja tieto yhteen eri hakuteemojen hankkeista sekä arvioida koko työelämän kehittämisen kokonaisuuden vaikuttavuutta. Tavoitteenamme on myös saada hyviä käytäntöjä leviämään aiempaa tehokkaammin, jotta hyvät arviointimenetelmät saataisiin laajaan käyttöön eikä pyörää tarvitsisi keksiä hankkeissakaan aina uudestaan.

Teemme omalta osaltamme parhaamme, että teeman hankkeet onnistuisivat tavoitteidensa saavuttamisessa, ja että kohderyhmien organisaatiot ja yritykset hyötyisivät hankkeista kehittämällä omaa työelämän laatuaan.  Toivon mukaan pystymme myös ohjelmakauden päätteeksi esittämään timanttisia tuloksia näistä saavutuksista ja todentamaan hankkeilla aikaan saatua vaikuttavuutta työelämän laadun kehittämisessä ja sitä kautta tuottavuuden parantamisessa.

 

Bloggaajana hankekoordinaattori Kirsi Salla
 

Lähteet:

Mauno, P. Menikö matkailun miljoonaprojekti mönkään ja EU-rahat hukkaan – hankkeiden vaikuttavuutta vaikea arvioida. Lapin Kansa 24.11.2023. www.lapinkansa.fi/meniko-matkailun-miljoonaprojekti-monkaan-ja-eu-ra/6071087