03.04.2020

Kokeiluja siellä, pilotteja täällä – harva on välttynyt kuulemasta näitä sanoja. Onko kyse vain muotisanoista vai tuovatko kokeilut ja pilotit jotain uutta kehittämiseen? Miten niiden onnistumista voidaan arvioida?

Opastamisen ekosysteemi -hankkeessa kokeiltiin ja pilotoitiin erilaisia opastamisen moderneja ratkaisuja. Hankekonsortioon kuuluivat Helsingin, Tampereen ja Turun kaupungit sekä Turku Science Park ja Turun ammattikorkeakoulu. Tässä artikkelissa kootaan opittua kokeiluista, piloteista ja niiden arvioinnista.

Muutokseen vastaaminen kokeilukulttuurilla

Opastamisen ekosysteemi -hanke käynnistyi syksyllä 2017. Hankkeen taustalla oli pääministeri Sipilän hallitusohjelman kärkihanke valjastaa yhteiskunnan kehittämiseen kokeilukulttuuri, jonka tavoitteena oli löytää innovatiivisia ratkaisuja yhteiskunnan ja palveluiden kehittämiseen, edistää yrittäjyyttä sekä vahvistaa alueellista ja paikallista päätöksentekoa ja yhteistyötä. Hankkeen rahoitus tuli 6Aika-ohjelman kautta Euroopan aluekehitysrahastolta (EAKR), Euroopan sosiaalirahastolta (ESR), valtiolta sekä hankekumppaneilta.

Jatkuva muutos on tyypillistä nykyajalle. Yhteiskunnan rakenteiden, työelämän ja uusien teknologioiden murroksessa uusiutumisen ja soveltamisen taitoja tarvitaan pinnalla pysymiseen. Pelkästään suunnittelupöydän ääressä kehitetyt ratkaisut eivät enää useinkaan toimi. Kokeilukulttuuri merkitseekin ajattelutavan muutosta kehittämiseen. Se haastaa ihmiset kyseenalaistavaan ajatteluun ja vuorovaikutukseen.

Uuden teknologian, ratkaisun tai toimintatavan läpimurto vaatii ensimmäisiä kokeilijoita, jotka nostavat idean julkiseen keskusteluun. Luovuus ja uudet avaukset kumpuavat usein törmäytettäessä eri liiketoiminta- ja tieteenaloja sekä toimintatapoja. Vuorovaikutteisuus on keskiössä ja uusia toimintamalleja etsitään toimijoiden yhteiskehittämisen verkostoissa, joita kutsutaan ekosysteemeiksi. Kokeiluissa hyödynnetään usein palvelumuotoilun lähestymistapaa ja keinoja palveluiden kehittämiseen: iteratiivisen kehittämisen sekä yhteiskehittelyn muodot luonnehtivat kokeilukulttuuria.

Kokeilukulttuuriajattelussa muutosta ei nähdä esteenä, vaan muutos halutaan valjastaa kehityksen airueeksi. Raja perinteisten T&K-hankkeiden ja kokeilujen välillä on jossain määrin häilyvä. Kokeilukulttuuria leimaavat perinteiseen kehittämiseen verrattuna vahvasti ennakkoluuloton uusien ratkaisujen etsintä, konkreettisuus, ketteryys, osallistaminen, suurten haasteiden pilkkominen erikseen kokeiltaviin osioihin sekä sen hyväksyminen, että kokeiluissa ei aina onnistuta saavuttamaan tavoitteita. Keskeisin tavoite onkin jakaa avoimesti kokemuksia ja maksimoida oppiminen.

Kokeiluja ja pilotteja

Kokeiluja voidaan luokitella eri tavoin. Kokeilevan Suomen sähköinen julkaisu Kokeiluluotsi erottelee kolme kokeilutyyppiä. Nopeaksi kokeiluksi kutsutaan uutta tuote-, palvelu- tai toimintamalliaihiota, joka suunnitellaan toteuttajien ja käyttäjien yhteistyössä ja prototyyppiä testataan nopealla aikataululla jo varhaisessa vaiheessa. Suunnitelmallinen kokeilu nojaa laajempaan tiedonkeruuseen ongelman hahmottamiseksi tarkemmin ja kehittäminen tapahtuu esimerkiksi eri sidosryhmiä osallistavan palvelumuotoiluprosessin kautta. Tutkimuksellinen kokeilu hyödyntää tieteellistä otetta niin toteutuksen kuin arvioinnin osalta. Arvioinnin tavoitteena voi olla päästä esimerkiksi runsaalla kokeilua koskevalla kyselyaineistolla tulosten yleistettävyyteen tai laadullisella palauteaineistolla kuten haastatteluilla saada monipuolinen ymmärrys kokeilun onnistumisesta ja vaikuttavuudesta.

Opastamisen ekosysteemi -hankkeessa monet kokeilut olivat nopeita kokeiluja. Kilpailutus tehtiin ilman tarkkoja tarvekuvauksia, koska haluttiin löytää uusia opastusratkaisuja. Tällaisia nopeita kokeiluja olivat esimerkiksi Helsingin Kauppatorin mobiilisivuston kokeilu, Turun kohokartan ja Chabla-etätulkkauspalvelun kokeilu näkö- ja kuulovammaisten kohderyhmille sekä Tampereen Pispalan ja Pyynikin opastussovellus, joka hyödyntää ilmakuvapohjaa sekä 360VR-kuvaa. Suunnitelmallisia kokeiluja tehtiin erityisesti Helsingissä, jossa useampi Kauppatorin alueen kokeilu nojasi aiemmin tehtyjen opastamisen tarveselvitysten tuloksiin. Tutkimuksellisena kokeiluna Turun AMK kehitti ja testasi Bluetooth-tekniikkaan perustuvaa, yksittäiselle käyttäjälle personoitua sisätilaopastusta.

Usein tehdään ero kokeilun ja pilotin välillä. Pilottivaihe seuraa usein yhtä tai useampaa onnistunutta kokeilua tai tarveselvitystä. Pilotissa testataan ja viilataan jo melko valmista ratkaisua tai prosessia sen aidossa toimintaympäristössä ennen sen lopullista käyttöönottoa. Tampereella pilotoitiin useammassa tapahtumassa julkaisujärjestelmää, johon tapahtumajärjestäjä voi julkaista mm. tietoa tapahtumapaikasta, sen saavutettavuudesta ja palveluista. Tampereen keskustan opastusta uudistettiin pilotoimalla interaktiivista infonäyttökioskia. Helsingin opastuspilotissa hyödynnettiin Tampereella kehitettyä julkaisujärjestelmää Kauppatorin mobiiliopastukseen sekä jatkokehitettiin kokeilun tulosten perusteella mittaustapaa jalankulkijoiden määrän laskemiseksi reaaliaikaisen ruuhkatiedon saamiseksi. Turun kaupungille suunniteltiin uusi opastamisen kokonaiskonsepti opastetyyppeineen, joista opastepyloneita pilotoitiin keskusta-alueella.

Kokeilujen ja pilottien arviointi oppimisen välineenä

Tulosten hyödyntämisen kannalta kokeilun ja pilotin etenemisen, oppien ja saavutettujen tavoitteiden dokumentaatio on tärkeää. Arviointi on hyvä aloittaa jo ennen kokeilua lähtötilanteen arvioinnilla ja riskien tunnistamisella. Kokeilun aikana keskiössä on itse kokeiluprosessin onnistumisen arviointi. Kokeilun loputtua analysoidaan tavoitteiden saavuttamista, kokeilun vaikutuksia sekä opittua eri kohderyhmien näkökulmasta. Keskeistä on tunnistaa kokeilun/pilotin lopputuleman ja lähtötilanteen välinen ero. Saavutettiinko kokeilulla haluttu muutos? Ovatko kokeiluun panostetut resurssit suhteessa tavoitteeseen ja tulokseen? Onko kokeilu skaalattavissa eli tarjoaako kokeiltu ratkaisu laajemman käyttöönoton mahdollisuuden? Kokeilukulttuuriin kuuluu se, että kokeilun opit ja tulokset tuodaan avoimesti näkyviin myös silloin, kun vaikutukset eivät ole odotetun kaltaisia.

Kokeilun aikana keskiössä on itse kokeiluprosessin onnistumisen arviointi. Kokeilun loputtua analysoidaan tavoitteiden saavuttamista, kokeilun vaikutuksia sekä opittua eri kohderyhmien näkökulmasta.

Kokeilujen arviointi voi olla hyvin erilaista riippuen kokeilun koosta ja luonteesta. Pienen ruohonjuuritason kokeilun arvioinniksi voi riittää itsearviointi, kun taas laajan pilotin arviointi täytyy suunnitella tarkkaan ja hyvissä ajoin, jotta sekä itse prosessista että sen vaikutuksista saadaan monipuolinen käsitys eri sidosryhmien näkökulmasta ja että palautetta ja opittua pystyttäisiin mahdollisesti hyödyntämään jo kehittämisprosessin aikana. Tällöin voidaan palautetta kerätä esimerkiksi hankehenkilöstöltä, kaupungin virkamiehiltä, kokeiluteeman ulkopuolisilta asiantuntijoilta, kokeilua toteuttaneilta yrityksiltä sekä kokeilussa tuotetun ratkaisun loppukäyttäjiltä. Laajempien kokeilukokonaisuuksien tai pilottien kohdalla hyvä vaihtoehto voi olla arvioinnin toteuttaminen ainakin osittain ulkopuolisen tahon toimesta. Eri sidosryhmien sitouttaminen arviointiprosessiin palvelee myös kokeilujen ja pilottien tulosten levittämistä ja laajempaa hyödyntämistä.

Kokeilujen palautteenkeruu ja arviointi Opastamisen ekosysteemi -hankkeessa

Hankkeen alussa pohdittiin erilaisten standardoitujen vaikuttavuus- ja käytettävyyskyselyjen käyttömahdollisuuksia. Esillä olivat muun muassa SUS (Systems Usability Scale), UTAUT/TAM (Unified Theory of Acceptance and Use of Technology) sekä UMUX (Usability Metric for User Experience) (ks. esim. Lewis ym., 2015). Näiden standardoitujen kyselyjen etuna olisi ollut tulosten vertailtavuus esimerkiksi eri kokeilujen tai teknologioiden välillä sekä tieteellinen validiteetti. Toisaalta ymmärrettiin, että vakioidut kyselyt saattavat sopia heikosti arvioitavan kohteen (teknologia yms. ratkaisu) ominaisuuksiin tai tietylle kohdeyleisölle. Toiseksi todettiin, että ne tuottavat melko kapealta osa-alueelta tietoa, joten monipuolisen tiedon kerääminen olisi vaatinut useamman kyselyn toteuttamista yhdellä vastaajalla, mikä olisi saattanut vähentää osallistumishalukkuutta. Kolmanneksi havaittiin, että innovatiivisten kokeilujen näkökulmasta tarvitaan yksityiskohtaistakin tietoa siitä, miten arviotavaa ratkaisua pitäisi jatkossa kehittää, mitä pelkästään vakioitujen kyselyjen avulla ei saada selville.

Hankkeen kokeilujen arvioinnissa hyödynnettiinkin lopulta monia palautteenkeruumenetelmiä. Hankepartnereiden yhteiskäyttöön laadittiin kokeiluja käsittelevien lähteiden (ks. joitakin lähteitä dokumentin lopussa) perusteella neljä yleistä arviointilomaketta, joita oli mahdollista tarpeen mukaan muokata:

1. lähtötilanteen arviointilomake,
2. palvelun tai paikan löydettävyyteen liittyvien kokeilujen käyttäjäpalautelomake,
3. yleinen kokeiltavan ratkaisun käyttäjäpalautelomake sekä
4. asiantuntija-arviointiin suunniteltu lomake.

Palautelomakkeita täytettiin sähköisesti, eli palautteenantajille jaettiin palautekyselyn linkki esimerkiksi kokeilusta kertovan informaatiotaulun QR-koodin avulla tai linkkiä jaettiin vaikkapa kaupungin tai kokeilun kohteena olevan tapahtuman viestintäkanavissa.

Moneen kokeiluun ja pilottiin osatoteuttajat räätälöivät tavoitteiden saavuttamista ja ratkaisun käytettävyyttä tai vaikuttavuutta koskevan täsmäkyselyn. Esimerkiksi Turun pilotin opastuspylonien sisällöstä ja ilmeestä kerättiin ensivaiheessa palautetta muutaman kysymyksen paperilomakkeilla. Helsingin Kauppatorin pilottiin liittyen alueen yrittäjille lähetettiin kysely, jossa kartoitettiin yritysedustajien havaintoja mobiilisovelluksen vaikutuksista liiketoimintaansa. Helsingin pilotin toteuttajayrityksille ja asiantuntijoille pilotin yhteistyökumppaniyritys lähetti lomakkeen sisältäen avoimia kysymyksiä innovaatiokumppanuudesta hankintamenettelynä sekä mobiilisovelluspilotin onnistumisesta.

Erityisesti modernien teknologioiden osalta palautteenkeruu sisällytettiin mahdollisuuksien mukaan kokeiltavaan palveluun. Esimerkiksi useissa kokeiltavissa sovelluksissa palautetta kerättiin muutamalla kysymyksellä, joihin käyttäjä saattoi vastata saman tien sovellusta käyttäessään. Yksinkertaisimmillaan tämä oli ainoastaan tykkää-tyyppinen palaute. Lisäksi joissakin kokeiluissa käytettiin haastattelua palautteen keruuseen. Esimerkiksi Turussa Paavo Nurmi Marathonin katsojia haastateltiin heidän havainnoistaan koskien sisääntuloväylien digitaalisilla ulkonäytöillä olleita tapahtumatiedotteita.

Useimmissa kokeiluissa ja piloteissa oli yksi tai useampi valittu yritys mukana toteutuksessa. Näiltä toimijoilta saatiin palautetta erityisesti kokeilun tai pilotin aikana käydyissä keskusteluissa sekä useissa tapauksissa myös loppuraportin muodossa.

Kokemusten jakamista ja opitun levittämistä

Kokeilukulttuurin mukaisesti hankehakemuksessa ei oltu määritelty mitä kokeiluja ja pilotteja tullaan toteuttamaan, vaan kukin osatoteuttaja määritti omat kokeilut ja pilotit erityisesti edustamansa kaupungin lähtökohdista lähtien. Hankkeessa pyrittiin tietoisesti välttämään samanlaisten ratkaisujen kokeilemista eri kaupungeissa, jotta yhdessä saataisiin kokeiltua mahdollisimman paljon erilaisia opastusratkaisuja. Hankkeen onnistumisen kannalta oli tärkeää, että hankepartnereiden edustajat tapasivat säännöllisesti niin kasvokkain kuin virtuaalikokouksissakin. Tietoa kilpailutuksista, tarjouksista, kokeilujen ja pilottien tavoitteista, toteutuksista, arviointitavoista, parhaista käytänteistä sekä palautteista jaettiin avoimesti ja ideoita sekä kokemuksia hyödynnettiin osatoteuttajien välillä ristiin.

Monikanavainen, oikea-aikainen, näkyvä tiedottaminen kokeilusta ja sen palautteenkeruusta onkin oleellista loppukäyttäjäpalautteen saamiseksi.

Joidenkin kokeilujen ja pilottien osalta palautemäärä varsinkin loppukäyttäjiltä jäi pienehköksi. Monikanavainen, oikea-aikainen, näkyvä tiedottaminen kokeilusta ja sen palautteenkeruusta onkin oleellinen loppukäyttäjäpalautteen saamiseksi. Monessa kokeilussa oli mukana sekä kokeilun toteutukseen kilpailutettu yritys että muita sidosryhmiä, kuten tapahtumajärjestäjiä, kokeilualueen yrityksiä tai yhdistyksiä. Hyväksi käytännöksi osoittautui se, että jo kokeiluja kilpailutettaessa edellytetään valittavalta yritykseltä palautteen keruuta eri sidosryhmiltä tai vähintäänkin kokeilun onnistumisen arviointia oman yrityksen osalta. On myös oleellista muistaa, että arvioinnin suunnittelu on oleellinen osa kokeilun tai pilotin kokonaissuunnittelua. Kokeilun päätyttyä on liian myöhäistä alkaa suunnitella arviointia, mutta vaikuttavuuden arviointia voi olla toisinaan järkevä jatkaa jonkin aikaa kokeilun tai pilotin päättymisen jälkeen.

Opastamisen ekosysteemi -hankkeen toimenpidetietoa, tuloksia sekä arviointeja kokeilujen ja pilottien onnistumisista on levitetty monin tavoin, mm. seminaareissa, työpajoissa ja koulutuksissa. Hankkeen kotisivuilta löytyvät esimerkiksi Älykkään kaupunkiopastamisen käsikirja, Opas opastajille -työkirja, yksittäisten kokeilujen ja pilottien kuvauksia sekä erilaisia taustaselvityksiä ja raportteja.

Lue lisää:

– Kokeileva Suomi. Kokeilijan starttipaketti. Saatavissa: (https://kokeilevasuomi.fi/artikkeli/-/asset_publisher/kokeilijan-starttipaketti)

– Kokeileva Suomi, Valtioneuvoston kanslia. 2019. Kokeiluluotsi, opas kokeilujen tukijalle. Saatavissa:
https://kokeilevasuomi.fi/documents/1777665/1915666/Kokeilujen_tukijan_opas_FI.pdf/8b9e5301-1f76-3097-bab0-85c790c10aa3/Kokeilujen_tukijan_opas_FI.pdf

– Valtioneuvoston kanslia, Kokeileva Suomi. Kokeilijan työkalupakki. Saatavissa: https://kokeilevasuomi.fi/artikkeli/-/asset_publisher/kokeilijan-tyokalupakki

– Muita lähteitä: https://kokeilevasuomi.fi/lukuvinkkeja

– Käyttökokemuksen arvioinnista: Lewis, J. R., Utesch, B. S., & Maher, D. E. (2015). Measuring perceived usability: The SUS, UMUX-LITE, and AltUsability. International Journal of Human–Computer Interaction, 31, 496–505.