North Patrol on suunnitteluun erikoistunut konsulttitoimisto. Suunnittelemme, autamme teknologiavalinnoissa, kilpailutamme. Emme myy toteutusprojekteja, emmekä lisenssejä, olemme aidosti asiakkaan puolella.
Laadullisesti voidaan arvioida niin tuotetta ja teknologiaa, ihmisiä ja organisaatiota, ehdotettua ratkaisua kuin ehdotettua projektia tai läpivientiä. North Patrolilla on kokemusta näiden kaikkien arvioinnista ja seuraavassa käyn tarkemmin läpi, millä tavoin me teemme laadullista arviointia osana julkista hankintaa.
Asiakastyytyväisyysarvioinnilla varmuutta tiimin osaamisesta
Kirjoitin jo aikaisemmin tässä blogissa, miksi osaaminen ja kokemus kannattaa ennemmin laittaa vähimmäisvaatimuksiksi, kuin pisteytettäviksi arviointikriteereiksi, mutta jos haluaa varmistua tarjottavan tiimin soveltuvuudesta ja osaamisesta, voidaan hyödyntää asiakastyytyväisyysarviointia laadullisena vertailukriteerinä.
Asiakastyytyväisyysarvioinnissa pyydämme tarjoajalta tietyn määrän yritysreferenssien ja asiantuntijoiden henkilökohtaisten referenssien yhteyshenkilöitä, joille soitetaan ja heitä haastatellaan strukturoidusti. Haastateltavia pyydetään arvioimaan ennalta sovittuja kysymyksiä tai väittämiä asteikolla nollasta kolmeen. Tyypillisesti kysytään esim. projektin onnistumisesta, budjetissa pysymisestä, yhteistyön sujumisesta, asiantuntijan osaamisesta tai asiakaspalveluasenteesta. Pisteet lasketaan yhteen ja eri toimittajien pisteet suhteutetaan keskenään, jolloin saadaan toimittajan vertailupisteet.
Periaatteessa samat kysymykset voisi esittää sähköisellä kyselyllä, mutta nämä sivutetaan herkästi ja onnistuneen kilpailutuksen edellytys on, että kaikkiin tarjoajiin liittyen saadaan sama määrä vastauksia. Tässä suhteessa puhelinhaastattelut on todettu toimivammaksi muodoksi vaikka se työläs onkin.
Tuotteen asiantuntija-arvioinnilla yhdistetään toiminnallisuudet käyttötapauksiin
Kun vertaillaan teknologioita tai saas-tuotteita, vertaillaan usein omenoita ja päärynöitä. Molemmat ovat hedelmiä mutta niillä on erilaisia ominaisuuksia ja haluamme varmistua, miten nämä ominaisuudet vastaavat meidän tarpeisiimme. Tätä varmistusta emme saa, jos tyydymme listaamaan vaatimuksia ja rastittamaan näitä Excel-taulukossa. Ei riitä, että arvioimme voiko tuotteella tai teknologialla tehdä jokin asia, vaan tärkeämpää on tietää, istuuko ominaisuus meidän käyttötapoihimme. Aina näin ei ole, sillä olemme viime aikoina saanneet mediasta lukea useista tietojärjestelmähankkeista, joissa valittu tuote ei lopulta sovellukaan haluttuihin käyttötapauksiin kovin hyvin.
Tässä avuksi tulee tuotteiden ja teknologioiden asiantuntija-arviointi nimenomaan peilaten konseptiin ja käyttötapauksiin. Tuotteen soveltuvuutta arvioidessa on tärkeä ymmärtää, miten sen ominaisuuksia ja kyvykkyyksiä voidaan hyödyntää juuri meidän tarpeisiimme. Asiantuntija-arvion rinnalla tai sijaan voidaan myös hyödyntää testipaneeleita, joissa on mukana oikeita loppukäyttäjiä, jotka arvioivat tuotteen käytettävyyttä ja soveltuvuutta. Molemmissa tapauksissa annetaan pisteitä soveltuvuudelle ennalta määriteltyjen periaatteiden mukaan.
Ennen kuin voidaan peilata ominaisuuksia ja kyvykkyyksiä tarpeisiin ja käyttötapauksiin, on nämä oltava tiedossa ja kuvattuna. Kaikkia mahdollisia käyttötapauksia ei missään nimessä voi testata tai arvioida, vaan kannattaa keskittyä kaikista tärkeimpiin ja monimutkaisimpiin käyttötapauksiin.
Vaikka tuotteen tai teknologian laadullista arviointia ei loppupeleissä hyödynnettäisikään osana varsinaista kilpailutusta, se kannattaa tehdä osana kilpailutuksen valmistelevaa markkinakartoitusta.
Räätäliratkaisuissa kiinnostaa miten jokin asia tultaisiin toteuttamaan
Aivan kuten tuotteen tai teknologian soveltuvuutta arvioidessa, myös räätäliratkaisuissa tai tuotteiden asiakaskohtaisissa konfiguroinneissa meitä kiinnostaa miten ratkaisu vastaa juuri meidän tarpeitamme. Se, miten toimittaja ehdottaa, että meidän ongelmamme ratkaistaan, on huomattavasti kiinnostavampi tieto kuin pelkkä vakuuttelu siitä, että ongelmamme ratkaistaan.
Ehdotettujen ratkaisujen laadullisessa arvioinnissa voidaan pisteyttää esimerkiksi demoa tai pilottiratkaisua, mutta useimmiten me North Patrolissa hyödynnämme kilpailutuksissamme kirjallisia ratkaisukysymyksiä. Näitä käytämme erityisesti silloin, kun kilpailutetaan asiakaskohtaista toteutusta, joka voi olla täysin räätälitoteutus tai pohjautua johonkin tuotteeseen.
Yksityisellä puolella potentiaalisia toimittajia usein tavataan ja keskustellaan mahdollisesta ratkaisusta. Toki on teknisesti mahdollista tavata toimittajia myös osana julkisen hankinnan avointa menettelyä, mutta jos näitä tapaamisia halutaan käyttää pisteytystarkoituksessa, haastatteluiden tulee olla hyvin strukturoituja, kysymykset ennalta määriteltyjä, käsikirjoituksessa tulisi pysyä ja haastattelu tulisi mieluiten nauhoittaa. Tämä on aika hankalaa, joten suosimme sen sijaan kirjallisia ratkaisukysymyksiä, joihin voi suhtautua ikään kuin kirjallisena haastatteluna.
Ratkaisua koskevilla kysymyksillä arvioidaan toimittajan osaamista ja sitä, miten hyvin toimittaja on perehtynyt juuri meidän haasteisiimme. Vastauksia arvioidessa ei siis ole kysymys siitä, onko vastaus oikea vai ei, vaan siitä, kuinka hyvin se kuvaa ratkaisua juuri meidän tarpeisiimme.
Vastauksia tulee tässäkin aina peilata siihen, mikä on kuvattu tarve. Emme voi olettaa, että toimittaja ymmärtää tarjota ratkaisua sellaisiin asioihin ja tarpeisiin, joita ei ole heille kerrottu. Hyvä vaatimusmäärittely tai hankinnan kohteen kuvaus on tässä avainasemassa, ja kysymysten tulee kohdistua kuvattuihin asioihin. Hyvä vastaus puolestaan kuvaa ymmärrettävästi miten toimittaja aikoo ratkaista tarpeemme.
Kirjalliset ratkaisukuvaukset ovat hyvä tapa varmistua, että ratkaisu todella tehdään laadukkaasti. Vastaukset ovat osa tarjousdokumenttia ja näin ollen myös sitovat toimittajaa toteuttamaan ratkaisun kuvaamallaan tavalla. Asiakas voi työn edetessä myös vaatia, että asiat tehdään kuten on tarjouksessa kerrottu. Toki projektin aikana tulee aina tarvetta muutoksille, ja näistä on sovittava yhdessä, mutta lähtökohtaisesti voidaan olettaa, että ratkaisu tehdään niin kuin on kuvattu. Kun toimittaja on joutunut miettimään toteutusta ennakkoon, se antaa myös hyvät valmiudet projektin läpiviennille ja aikataulussa pysymiselle.
Aivan kuten muissa laatuvertailutavoissa, myös ratkaisukuvausten kohdalla pisteytysperiaatteet tulee olla kuvattuna tarjouspyynnössä, eikä pisteytyksiin voida lukea sisään sellaisia asioita, joita ei ole ehdotetussa ratkaisussa, saati vaatimusmäärittelyssä tai käyttötapauksissa kerrottu. Ratkaisukuvauskysymysten arviointipisteet lasketaan yhteen ja nämä suhteutetaan toisiinsa, jonka pohjalta tarjoajat saavat painoarvon mukaiset vertailupisteet.
Toimintatavat ja projekti kertovat miten päästään maaliin
Olimme sitten ostamassa räätäliratkaisun toteutusprojektia, tuotteen käyttöönottoprojektia tai toteutusresursseja, kiinnostuksemme kohdistuu toimintatapoihin ja projektin kohdalla myös projektisuunnitelmaan. Koska harvemmin halutaan, että tekijät lähtevät soitellen sotaan, pyydetään tarjouspyynnössä tyypillisesti myös jonkinlaista projektisuunnitelmaa tai kuvausta läpiviennistä.
Jotkut toimintatavat soveltuvat meille paremmin kuin toiset. Jos olemme tarjouspyynnössä esimerkiksi kertoneet, että palvelun ensimmäisen version tulee olla käytössä viimeistään päivänä x tai että haluamme että toimittajalla on vastuu työn organisoinnista ja projektin läpiviennistä, meitä ei hirveästi lämmitä, jos toimittaja kertoo pääsevänsä aloittamaan vasta viikkoa ennen kun pitäisi olla valmista tai jos toimittaja odottaa, että asiakkaalta löytyy Scrum Master ohjaamaan toteutustyötä.
Tästä syystä toimintatapoja ja projektisuunnitelmia on hyvä laadullisesti arvioida. Meidän ei tarvitse tyytyä vakuutteluun siitä, että tiettyä osaamista on tai että projekti tehdään tietyllä tavalla, vaan voimme pyytää tarkempaa kuvausta ja pisteyttää vastaukset. Laadullinen arviointi on huomattavasti helpompaa, kun kaikkien tarjoajien suunnitelmat ovat yhdenmukaisia, joten North Patrolilla suosimme ratkaisukysymysten tapaan myös projektia ja läpivientiä koskevia kirjallisia kysymyksiä, joihin toimittajat vastaavat.
Toimintatapoihin ja läpivientiin liittyviin kysymyksiin pätee muutoinkin samat vaatimukset kuin ratkaisua koskeviin kysymyksiin. Tahtotila ja tarpeet tulee olla kerrottuna esimerkiksi tarjouspyynnössä ja pisteytystapa selkeästi kuvattuna.
Jokaiselle arviointitavalle omat painoarvot
Eri laadullisia arviointitapoja on hyvä yhdistää, jotta saadaan mahdollisimman kattava kuva. Asiakastyytyväisyyden arvioiti sekä tarjotun projektin tai prosessin arviointi soveltuvat mihin tahansa projektiin ja näihin voidaan yhdistää joko ratkaisukuvauskysymyksiä tai tuotearviointia, mutta harvemmin molempia. Ratkaisujen arviointi soveltuu erityisen hyvin asiakaskohtaisiin ja täysin räätälöityihin toteutuksiin ja tuotearviointi puolestaan silloin kun haetaan esimerkiksi saas-ratkaisua.
Eri laadullisille arviointitavoille kannattaa myös antaa omat painoarvot kilpailutuksessa. Ratkaisun soveltuvuus kerrottuun tarpeeseen on useimmiten tärkeämpää kuin projektin läpivienti, joten sille annetaan tyypillisesti korkein painoarvo. Hinta on toki myös olennainen osa tarjousten arviointia, ja tälle annetaan oma painoarvonsa, joka on North Patrolin kilpailutuksissa aina pienempi, kuin laatutekijöiden yhteen laskettu painoarvo.
Tässä blogissa on puhuttu lähtökohtaisesti laadullisesta arvioinnista osana julkista hankintaa. Mikään ei kuitenkin estä samojen menetelmien hyödyntämistä myös ei-julkisissa kilpailutuksissa, jos ja kun halutaan varmistua hyvästä laadusta. Yllä kuvatut tavat ovat sekä toimittajille että hankintayksikölle työläämpiä kuin Excel-listojen täyttäminen tai arviointi, mutta johtavat useimmiten huomattavasti laadukkaampaan lopputulokseen ja sujuvampaan projektiin. Kaikki onnistumisen edellytykset ovat olemassa kun ratkaisua kun on ennakkoon sovitettu nimenomaan asiakkaan käyttötapoihin ja tarpeisiin, kokonaisuus on hahmotettu, asiakas on kerryttänyt vastausten kautta ymmärrystä siitä, mitä oikein ollaa tekemässä ja miten, ja myös toimittajalla on selkeät askelmerkit valmiina.
PS. Sinua voisi kiinnostaa tulossa oleva ilmainen webinaarimme:
Digitaaliset asiointipalvelut – Erilaiset konseptit ja toteutuksen eri vaihtoehdot (11.12.2024 klo 10:00).
Ilmoittaudu webinaariin
Lue palveluistamme
Pyydä tarjous
