Utvärderingsmodell för programvara: så väger ni kriterier mot varandra

Syftet med utvärderingen bestämmer vikterna

Vikter är inte neutrala. De visar vad ni prioriterar och bör utgå från utvärderingens syfte, inte från vad som är lätt att mäta. När ni väljer programvara ska varje vikt kunna förklaras med ett behov eller ett mål.

Syftet kan vara att välja mellan alternativ, undersöka hur väl en lösning passar verksamheten eller identifiera vad som behöver utvecklas. Bestäm vilket beslut utvärderingen ska stödja innan ni börjar sätta vikter.

Börja med att formulera vad ni behöver lära er eller besluta. Om målet är att välja mellan alternativ ska kriterierna hjälpa er att skilja alternativen åt, medan en uppföljning kan behöva visa var lösningen fungerar väl och var den brister.

Skriv ned syftet och avgränsningen innan ni viktar. Beskriv vilka programvarualternativ och behov som ingår, och låt samma syfte styra kriterier, vikter och betygsskala. Det minskar risken för att viktningen blir en summering av enskilda önskemål.

Samma logik gäller programvara. Vid lärande riktar vikterna uppmärksamheten mot det ni vill utveckla; vid urval måste de skilja alternativen åt.

Skriv ned utvärderingens syfte i en eller ett par meningar innan ni viktar. Låt varje vikt kopplas till syftet. En vikt som inte kan motiveras utifrån syftet är sannolikt tradition eller tyckande, inte behov.

Vilken typ av programvara är det egentligen?

Alla programvaror bör inte viktas likadant. Medicinskt beslutsstöd styrs av andra krav än ärendehanteringssystem eller interna statistikverktyg, och användningsområdet påverkar vilka kriterier som är relevanta.

Börja med att beskriva vad programvaran ska göra och vilka arbetsflöden den ska stödja. Skilj mellan funktioner som verksamheten behöver från första dagen och sådant som kan vara önskvärt men inte avgör valet.

Gör den avgränsningen innan ni jämför alternativen. Då blir det tydligare vilka kriterier som ska fungera som trösklar och vilka som ska betygsättas och viktas.

En tröskel är ett villkor som måste vara uppfyllt för att ett alternativ ska gå vidare. Det kan till exempel vara en nödvändig funktion eller en integration som krävs för att arbetet ska fungera.

Skilj sådana villkor från önskemål om högre kvalitet. Ett villkor som inte uppfylls kan slå ut ett alternativ, medan skillnader i kvalitet mellan godtagbara alternativ kan bedömas med betyg och vikter.

Beskriv också vilka användare och arbetsuppgifter utvärderingen gäller. Samma programvara kan behöva bedömas olika beroende på om den ska stödja ett centralt arbetsflöde eller användas som ett avgränsat verktyg.

Kontrollera att kriterierna inte blandar flera behov i samma formulering. Om ett kriterium omfattar både användarvänlighet och integration blir det svårare att sätta ett konsekvent betyg och motivera vikten.

Först när användning, användare och nödvändiga villkor är tydliga bör ni jämföra hur tungt olika kvalitetskriterier ska väga. Då blir diskussionen konkret och förankrad i programvarans avsedda användning.

Klargör tidigt användningsområde, användare, vilken information programvaran hanterar, tillämpliga regelverk och vem i organisationen som äger frågan. Det avgör vilka kriterier som är relevanta innan ni diskuterar hur tungt de ska väga.

Skillnad mellan tröskelkriterier och betygsatta kriterier

Helhetsbild och samverkan motverkar stuprörsviktning

Viktning som bara utgår från den egna förvaltningens behov riskerar att bli stuprör. Ta därför reda på vilka andra verksamheter och system som påverkas av valet.

Digg rekommenderar svenskt ramverk för digital samverkan. Digg framhåller att en offentlig aktör behöver stärka förmågan att se och agera utifrån ett helhetsperspektiv och skapa större samlad samhällsnytta – att göra rätt saker på rätt sätt, enskilt eller i samverkan med andra.

Svenskt ramverk för digital samverkan riktar sig till kommun, region och statlig myndighet. De tre aktörsgrupperna kan köpa samma typ av programvara och behöver då enas om vilka kriterier som är gemensamma och vilka som är egna.

Gör helhetsperspektivet synligt i kriterierna. Då kan ni väga verksamhetens egna behov tillsammans med sådant som påverkar samarbetet med andra.

Exempel på samverkansrelaterade kriterier är förmåga till informationsutbyte och interoperabilitet, stöd för gemensamma begrepp och standarder, möjlighet att dela tjänster eller komponenter med andra aktörer samt långsiktig förvaltning och dokumenterad exitstrategi.

Samverkanskriterier får liten betydelse om de inte finns med i modellen. Beskriv därför vilka beroenden ni vill bedöma och låt dem synas i kriterierna och motiveringarna.

En praktisk tumregel: avsätt en uttalad andel av vikten åt samverkansrelaterade kriterier och redovisa andelen separat. Då tystas den inte ned av verksamhetsspecifika önskemål. Andelen bör motiveras utifrån utvärderingens syfte och hur beroende er verksamhet är av andra aktörer.

Relevanta regelverk för programvara i Sverige

Fördelar och nackdelar med att sätta vikter baserat på helhetsperspektiv

Så tar ni fram och räknar med vikter

Arbeta i tydliga steg. Börja med tröskelkriterierna: krav som måste vara uppfyllda för att alternativet ska komma i fråga, till exempel lagkrav, grundläggande informationssäkerhet, tillgänglighetskrav, nödvändiga integrationer mot befintliga system eller krav på support och avtal.

Trösklar betygsätts inte och får ingen vikt. De är uppfyllda eller inte.

Håll trösklarna utanför viktningen även när de är avgörande för beslutet. Ett alternativ som inte uppfyller ett nödvändigt villkor ska inte kunna kompensera för det genom höga betyg på andra kriterier.

Betygsätt sedan de kriterier som kan variera i kvalitet mellan alternativen. Bestäm en betygsskala och vad varje nivå betyder, så att bedömarna tolkar den likadant. Slå ihop eller stryk kriterier som mäter ungefär samma sak; en lång lista gör vikterna svårtolkade och ökar risken för dubbelräkning.

En metod för att ta fram vikter är swing weighting: jämför först skillnaden mellan bästa och sämsta utfall för varje kriterium och bedöm hur viktig den skillnaden är. Ge den viktigaste skillnaden referensvikten 100; om nästa bedöms hälften så viktig får den 50. Råvikterna blir 100 och 50, med summan 150. Dividera varje råvikt med 150 för att normalisera dem till en sammanlagd vikt på 1 (GOV.UK; Government Analysis Function).

Ni kan också först rangordna skillnaderna mellan bästa och sämsta prestation och sedan bedöma hur betydelsefull varje skillnad är. Den arbetsgången hjälper gruppen att jämföra kriteriernas vikt utifrån hur mycket alternativen faktiskt skiljer sig (Government Analysis Function).

Sätt relativa vikter som summerar till 100 procent över de betygsatta kriterierna. Bestäm också hur kriterierna får kompensera varandra: får ett högt betyg på ett kriterium väga upp ett lågt på ett annat, eller finns kriterier där ett svagt resultat inte kan kompenseras?

För in viktningen i en matris med en rad per kriterium. Kolumner: tröskel ja eller nej, vikt i procent, betygsskala, minimikrav och motivering. Då syns det direkt vilka rader som är krav och vilka som vägs mot varandra.

Upphandlingsmyndigheten visar ett exempel med 70 procent kvalitet och 30 procent pris. En enkel matris blir då: kvalitet 70 procent, pris 30 procent, summa 100 procent. Räkna varje alternativs totalpoäng som (kvalitetsbetyg × 70 + prisbetyg × 30) / 100 och använd samma betygsskala för båda kriterierna (Upphandlingsmyndigheten).

Dokumentera motiveringen bakom varje vikt: vilket syfte den tjänar, vilket behov den speglar och vem som företräder behovet. Det gör viktningen granskningsbar i efterhand.

AHP, Analytic Hierarchy Process, är en annan metod för att ta fram vikter. Strukturera beslutet hierarkiskt, jämför kriterierna parvis och ange vilket kriterium som är viktigast och hur mycket viktigare det är. Jämförelserna används sedan för att härleda vikter (SGF).

Förankra vikterna hos dem som berörs

Vikter som en enskild grupp sätter riskerar att missa verksamhetens samlade behov. Involvera därför dem som påverkas av programvaruvalet innan modellen låses.

Börja med att låta deltagarna beskriva vilka behov som är viktigast för deras arbete. Skilj på synpunkter om vilka kriterier som ska ingå och åsikter om hur tungt varje kriterium ska väga.

Be deltagarna förklara vilka arbetsmoment eller problem som ligger bakom deras prioriteringar. Det gör det lättare att jämföra önskemål från olika delar av verksamheten.

Gör förankringen till en del av arbetet från början. Om grupperna bjuds in först när modellen är färdig kan viktningen bli svår att acceptera när resultatet ska användas.

Hämta även erfarenheter från organisationer som har infört liknande programvara. Fråga vad som visade sig viktigt i användning, drift och förvaltning, och pröva om erfarenheterna är relevanta för era egna behov.

Översatt till programvaruutvärdering innebär det att involvera dem som använder programvaran dagligen, de som ansvarar för drift och förvaltning, informationssäkerhet, upphandling och juridik samt den verksamhet som finansierar lösningen. Låt grupperna föreslå vikter och jämför förslagen. Stora skillnader är värdefull information som bör hanteras öppet, inte jämnas ut i tysthet.

Välj metod efter situation: gemensam workshop, parvisa jämförelser, enkät eller strukturerad hearing. Förankringen gäller både kriterier och vikter. Att bjuda in först när modellen är färdig ger skenbar delaktighet och märks ofta när resultatet ska användas.

Pröva, följ upp och justera modellen

Pröva viktningen mot alternativ med kända egenskaper innan modellen används skarpt. Ge deltagarna samma underlag och se om viktningen leder till ett utfall som stämmer med den samlade bedömningen.

Om utfallet inte stämmer med den samlade bedömningen ska ni undersöka om kriterierna, betygsskalan eller vikterna behöver ändras. Ändra inte modellen bara för att få ett visst alternativ att vinna.

Dokumentera hur ni kom fram till viktningen så att någon utanför gruppen kan följa resonemanget. Spara kriteriernas definitioner, hur vikterna togs fram och hur de används i beräkningen.

Följ upp efter införandet om de tyngst vägande kriterierna motsvarade verksamhetens faktiska behov. Om utfallet inte blev det ni väntade er kan ni ompröva kriterier eller vikter inför nästa utvärdering.

Bestäm när utvärderingsmodellen ska följas upp och vem som ansvarar för det. En planerad uppföljning gör det möjligt att använda erfarenheter från införandet när ni senare granskar eller återanvänder modellen.

Dokumentera tillräckligt för att viktningen ska kunna granskas och återanvändas: syfte och avgränsning, kriterielista med definitioner och betygsskalor, vikter med motivering, vem som beslutat och när, samt datum och skäl för varje ändring.

Versionera modellen så att det går att se vad som låg till grund för tidigare beslut. Återanvänd den i nästa utvärdering i stället för att börja om från noll.