Laadulliset mittarit lisäisivät allianssitoiminnan vaikuttavuusarvioinnin luotettavuutta

Vaikuttavuuden mittaaminen on kaikille Suomen ammattikorkeakouluille ja yliopistoille yhteinen haaste. Tämän totesivat yhdessä useiden suomalaisten korkeakoulujen edustajat Kuopiossa Itä-Suomen yliopistolla järjestetyssä vuosittaisessa Eurooppalaisten yliopistoallianssien verkostoitumispäivässä joulukuussa 2025. Päivän aikana järjestettiin työpajoja, joissa keskityttiin useisiin allianssitoimintaan liittyviin aiheisiin. Yksi työpajaryhmistä pohti korkeakouluallianssien vaikuttavuutta ja sen mittaamista, koska yleisesti käytetyt määrälliset vaikuttavuusmittarit kertovat ainoastaan toiminnan lukumäärälliset tapahtumat, mutta ne eivät kantaa toiminnan laatuun. Työpajassa käytyjen keskustelujen pohjalta tässä tekstissä pohditaan keinoja tehostaa vaikuttavuusarviointia laadullisen mittaamisen kautta.

Vaikuttavuus on käsitteenä moniulotteinen ja tulkinnanvarainen, mikä näkyy siinäkin, että sille ei ole virallista määritelmää, johon vaikuttavuuden arvioinnissa voitaisiin nojata. Sitra määrittelee käsitteen vaikuttavuusketjuna, jossa yhteiskunnallinen vaikuttavuus (impact) on seurausta tekemiseen kohdistettujen resurssien (input), itse tekojen (output) ja niitä seuranneen vaikutuksen (outcome) aiheuttamasta muutoksesta yksittäisten ihmisten hyvinvointiin tai yhteiskunnalliseen hyötyyn. Kansainvälisesti vastaava määritelmä tunnetaan iooi-mittarina. (Heliskoski ym., 2018, s. 5) Euroopassa on tällä hetkellä 73 yliopistoallianssia, joissa on mukana yhteensä lähes 650 korkeakoulua Euroopan maista (European Commission, 2025). Verkostoitumispäivässä pidetyn työpajan osallistujat kertoivat vaikuttavuutta tulkittavan eri tavoin eurooppalaisten yliopistoallianssien kesken. Tulkinnanvaraisuuden vuoksi vaikuttavuuden vertailu on hankalaa joskus jopa samassa allianssissa mukana olevien kesken. Myös arvioinnin näkökulma voi vaihdella ja samoja mittareita voidaan tulkita eri tavoin. Joissain alliansseissa vaikuttavuutta mitataan allianssitasolla, toisissa oman organisaation tasolla ja kolmansissa alueellisesti, joten tulokset eivät ole vertailukelpoisia keskenään. Myös mittarit vaihtelevat jonkin verran allianssien kesken. Tästä huolimatta korkeakouluja kuitenkin sijoitetaan keskinäiseen arvojärjestykseen näiden vaikuttavuusarviointien perusteella.

Laadulliset mittarit syventävät vaikuttavuuden arvoa

Koulutuksen ja osaamisen vaikuttavuutta mitataan esimerkiksi sen mukaan, kuinka moni sijoittuu alueelle työntekijäksi valmistumisen jälkeen. Tällainen lukumäärällinen mittaustapa on vertailukelpoinen, selkeä ja luotettava mitattaessa koulutuksen vaikuttavuutta omalla alueella maakunnallisesti tai valtakunnallisesti. (Ylikoski, 2025, ss. 4–5). Eurooppalaisissa korkeakoulualliansseissa tutkintoon johtavaa koulutusta toteutetaan kuitenkin myös allianssin jäsenten keskinäisenä yhteistyönä. Käytännössä tutkinnot voivat olla sisällöllisesti yhteistyössä toteutettuja tai kahden korkeakoulun myöntämiä kaksoistutkintoja. Tällaisten tutkintojen vaikuttavuutta mitattaessa alueelle työllistyvien määrä olekaan enää luotettava mittari, koska tutkintokoulutuksesta valmistuneet sijoittuvat ainoastaan yhteen maahan tai alueelle valmistumisensa jälkeen. Kun tutkintokoulutusta järjestetään yhteistyössä muiden eurooppalaisten korkeakoulujen kanssa, on opiskelijan sijoittuminen tutkinnon myöntäjän alueelle usein täysin mahdotonta, eikä se suurimmassa osassa tapauksista voi myöskään olla ensisijainen tavoite. Näissä tapauksissa lukumäärään perustuvan mittarin luotettavuus ja tuloksen vertailukelpoisuus kärsivät.

Verkostoitumispäivän työpajassa nousi esiin mahdollisuus käyttää määrällisten mittareiden tukena laadullisia mittareita, joilla määrän sijaan arvioidaan konkreettisen tekemisen laatua sanallisesti. Niiden avulla on mahdollista avata tarkemmin toimintaa ja sen vaikuttavuutta käytännössä ja selvittää toiminnan todellista laatua useasta näkökulmasta. Tällaisten laadullisten mittarien etu onkin, että arviointiin saadaan lisää syvyyttä, koska ne haastavat toimijoita pelkän määrän sijaan keskittymään siihen, mikä tekee toiminnasta laadukasta. Vaikuttavuuden näkökulmasta toiminnassa syntyneiden uusien tutkimus- ja koulutuspalvelujen määrä voi näyttää lukumääräisesti hyvinkin suurelta. Laadullisella mittarilla voidaan kuitenkin arvioida myös näiden palvelujen tarpeellisuutta esimerkiksi alueella toimivien yritysten saavuttaman hyödyn näkökulmasta, koska suurikaan määrä ei käytännössä ole vaikuttava, jos palvelua ei tarvitse kukaan.

Laadullista arviointia pohdittaessa nousi esiin myös se, että eurooppalaisissa korkeakoulualliansseissa järjestettävän tutkimuksen tai koulutuksen vaikuttavuutta arvioidaan usein osallistujamäärän kautta, mikä ei lopulta kerro tilaisuuden todellisesta vaikuttavuudesta juuri mitään. Myös tätä voitaisiin täydentää laadullisella mittarilla, jolla saadaan näkyväksi verkostojen toimivuudesta johtuva tuloksellisuus, kuten uusien tutkimusrahoitusten saaminen alueelle, yritysten kansainvälistyminen ja muu tapahtuman järjestämisestä välillisesti syntynyt vaikuttavuus.

Toisaalta olisi hyvä arvioida myös sitä, ketkä osallistuvat tapahtumiin, joita järjestetään osana allianssin toimintaa. Saavuttiko tapahtuma kohderyhmänsä ja saatiinko paikalle tavoitteiden kannalta oikeat ihmiset – ne, joiden toiminnasta laadullinen vaikuttavuus lopulta syntyy? On tärkeää ymmärtää, että tapahtumien konkreettisten tulosten arvo on mitattavissa vasta pitkällä aikavälillä. Allianssien tapahtumissa syntyneet verkostot voivat saavuttaa todellisen arvonsa toisinaan vasta vuosienkin kuluttua. Vaikka tällaista pitkän ajan kuluessa syntynyttä vaikuttavuutta onkin hyvin vaikea arvioida, laadullisessa arvioinnissa voidaan kuitenkin vähintäänkin näyttää toteen yhteyksien syntyminen. Esimerkiksi tutkijoiden tutustuminen toisiinsa voi synnyttää arvokkaan yhteyden tai yhteisen idean, jonka vaikuttavuus konkretisoituu vasta vuosien kuluttua yhdessä haetun tutkimusrahoituksen kautta. Tässä yhteydessä vaikuttavuus voi tarkoittaa esimerkiksi yhteistyön ansiosta alueelle saatua tutkimusrahoitusta, jolloin tutkimuksen kautta saavutetaan välillisiä alueellisen yritystoiminnan hyötyjä, kun tutkimuksessa syntyy innovaatio. Tämänkaltaista vaikuttavuutta ei saada koskaan näkyväksi pelkästään verkostoitumistapahtumien määrää tai osallistujien määrää mittaamalla.

Korkeakoulun oma alueellinen vaikuttavuus allianssin sisällä

Korkeakouluilla tulisi olla rohkeutta arvioida kriittisesti myös oman tekemisensä vaikuttavuutta allianssin sisällä. Allianssien toiminta toteutuu käytännössä sen kautta, kun konkreettisesti tehdään erilaisia työpaketteja. Tällöin oman korkeakoulun toimintaa voidaan katsoa osana allianssia ja arvioida, edistääkö tekeminen alueellisia tavoitteita tai oman korkeakoulun tai alueen strategiaa. Toisaalta voidaan arvioida oman roolin vaikutusta hyötyjen kautta. Mitä hyötyä allianssiin kuulumisesta on yksittäiselle oman organisaation tutkijalle tai opiskelijalle? Ovatko he saavuttaneet allianssin avulla jotain sellaista hyötyä, jota he eivät muutoin olisi saavuttaneet? Vaikuttavuuden näkökulmasta korkeakoulujen roolit eri allianssien sisällä voivat vaihdella suuresti, ja joku allianssin osapuolista voi olla hallitsevampi kuin toinen. Tällöin on myös mahdollista, että joku saavuttaa omalla aktiivisuudellaan enemmän hyötyä itselleen kuin toinen. Voikin olla hyödyllistä arvioida, millaista alueellista hyötyä yhteistyöllä on saavutettu Suomessa tai alueellisesti, ja mikä oman organisaation rooli on ollut noiden hyötyjen saavuttamisessa. Arvioinnissa on uskallettava olla rehellinen itselleen.

Vaikuttavuusdatan johdonmukainen kerääminen pitkällä aikavälillä on tärkeää. Kun kaikki organisaation toimijat keräävät datan johdonmukaisesti samaan paikkaan, voidaan estää myös henkilöstön vaihtumisesta johtuvat mahdolliset tiedonkulun katkokset. Jos tieto tehdystä työstä ei kulje talon sisällä luotettavasti, on henkilövaihdosten takia mahdollista, että vaikuttavuutta aliarvioidaan vaillinaisin tiedoin ja organisaatiosta poistuneen henkilön vaikuttava työ jää sen vuoksi arvioimatta tai pahimmillaan täysin näkymättömiin.

Lopuksi voidaankin sanoa, että allianssitoiminnan vaikuttavuutta olisi mahdollista parantaa kriittisen ja rohkean arvioinnin ja vaikuttavuusdatan johdonmukaisen keräämisen kautta. Laadullisella arvioinnilla saadaan toiminta näkyväksi konkreettisella tasolla, jolloin lukumääriin perustuvia mittareitakin on helpompi ymmärtää. Laadullisen arvioinnin perusteella on myös mahdollista kehittää toimintaa entistä vaikuttavampaan suuntaan, kun varsinainen tekeminen lukujen taustalla on nähtävissä. Tämä tekisi allianssien välisen vertailun aiempaa helpommaksi ja oikeudenmukaisemmaksi.

Kirjoittajat