Pilotprojekt före beslut: så testar ni systemet i verklig verksamhet

Varför en pilot före beslut – och vilket beslut ska den stötta?

Att testa teknik är inte att pröva ett system i den egna verksamheten. I en demonstration fungerar nästan allt, eftersom scenariot är förvalt och underlaget anpassat. I en pilot möter lösningen era ärenden, texter, rutiner och medarbetare. Först då syns om den håller i vardagen.

Bestäm tidigt vilket beslut piloten ska ge underlag för. Tre vanliga utgångar: fortsätta i större skala, justera något innan ni går vidare eller avbryta. Skriv ned dem före testet. Då framgår vilket resultat som talar för vad, och det blir svårare att i efterhand tolka in det svar man helst vill ha.

En pilot är också ett tillfälle att prova nyttorealisering i liten skala. Enligt Sveriges Kommuner och Regioner (SKR) handlar nyttorealisering om att säkerställa att förändringar och investeringar leder till avsedd nytta för invånare, verksamhet och samhälle. Det innebär att koppla verksamhetens behov, mål och prioriteringar till ett strukturerat arbetssätt. Både kostnader och förväntade effekter följs upp över tid.

SKR framhåller att systematiskt nyttorealiseringsarbete stärker beslutsfattandet. Det bidrar till att rätt satsningar genomförs, följs upp och justeras vid behov. Det kräver tydliga arbetssätt, ansvarsfördelning och samverkan mellan verksamhet, ledning och stödjande funktioner.

Skriv ned vad piloten ska visa och vilka effektmål som ska utvärderas. Utgångspunkten är det underlag ni behöver för att kunna besluta om fortsättning. Dokumentera syftet, så att det i efterhand går att skilja på vad ni ville pröva och vad som faktiskt hände.

Sätt avslutskriterier innan testet börjar. När är testningen färdig, och vilken nivå ska effektmålen nå för att respektive vägval ska bli aktuellt? Testningen pågår till dess att kriterierna är uppfyllda.

Avgränsa piloten: från verksamhetsbehov till förväntad nytta

Utgå från verksamhetens behov och prioriteringar, inte från leverantörens funktionslista. En lista över vad systemet kan göra säger inget om vad som behöver bli bättre hos er. Börja med uppgifter som tar tid, återkommer ofta och som medarbetarna själva lyfter som betungande.

Ställ upp förväntade nyttor och kostnader redan före start. Vilken tid frigörs, för vem och vad händer med den? Vilka kostnader tillkommer för licenser, införande, utbildning och intern arbetstid? Skriv ned det tidigt. Då kan utfallet jämföras mot något, i stället för att bedömas på magkänsla i efterhand.

Är ni inte redo för hela nyttorealiseringsprocessen är en nyttokalkyl en lagom ingång. SKR rekommenderar den för kommuner och regioner som vill komma igång. SKR hänvisar till Ineras modell för nyttokalkyler i nio steg, med exempel på genomförda kalkyler.

Där finns också en interaktiv utbildning i nyttokalkylen, framtagen tillsammans med Inera, samt en webbutbildning från Adda. Myndigheten för digital förvaltning (DIGG) har tagit fram en vägledning i nyttorealisering och ett beräkningsverktyg för nyttor och kostnader som stöd till offentliga organisationer.

En rimlig avgränsning är att piloten prövar en eller ett par nyttor ordentligt i stället för att täcka allt. Ett tydligt resultat är lättare att tolka än ett spretigt.

Avgränsa piloten också i tid. Sätt ett tydligt slutdatum och se till att avtal om att nyttja lösningen är avgränsade i tid på samma sätt. En pilot utan slutdatum glider lätt över i ett informellt införande.

Välj en verklig arbetsuppgift – inte ett demoscenario

Välj en avgränsad, texttung och återkommande uppgift. Den ska redan finnas i ordinarie arbete. Då ger testet kunskap om er vardag, inte om en påhittad situation. Resultatet kan jämföras med hur uppgiften löstes tidigare.

I initiativet Svea beskrivs exempel på uppgifter en digital assistent kan stödja med. Svea koordineras av AI Sweden i samarbete mellan svenska myndigheter, kommuner, regioner och näringslivet.

Exempel: sammanfatta och analysera stora textmassor; förbättra och redigera texter så att de blir mer lättlästa och strukturerade; skapa nya texter som rapporter, handlingar och ansökningar anpassade efter specifika mallar och riktlinjer.

Andra exempel: klassificera dokument och skapa beslutsunderlag i handläggningsprocesser; ta fram individualiserat stöd åt medborgare. Enligt projektet är sådana uppgifter ofta både mödosamma och tidskrävande. De är samtidigt viktiga för att uppfylla uppdraget.

Poängen med en verklig uppgift är att piloten testar arbetsflödet runt lösningen. Var kommer underlaget ifrån? Vem granskar svaret? Vad händer när svaret är fel? Hur dokumenteras det? Sådant syns sällan i ett demoscenario. Det avgör ändå om införandet lyckas.

AI Sweden lyfter också fram varför området är prioriterat. Medarbetare i offentlig sektor hanterar dagligen omfattande och varierande textrelaterade uppgifter. Samtidigt väntas personalbrist. Enligt siffror som AI Sweden återger med SKR 2022 som källa beräknas antalet personer som är 80 år eller äldre öka med nästan 50 procent fram till 2031. Antalet anställda inom offentlig sektor behöver öka med 410 000 personer fram till 2031.

Beskriv det tänkta användningsområdet så tydligt och avgränsat som möjligt. Gör testfall av verkliga ärendetyper ur er egen kö, med de underlag och mallar som faktiskt används.

Samla testfallen i paket för en milstolpe eller cykel och tilldela testare så att den nödvändiga testmatrisen täcks. Testplanen visar när testningen för milstolpen är klar.

Låt medarbetarna testa – hela vägen från första fråga till omdöme

Utforma piloten så att den är lättanvänd och tillgänglig för alla medarbetare, oavsett teknisk kompetens. Det är vad Svea-projektet undersöker: hur prototypen ska utformas för att kunna användas brett av medarbetare med olika förkunskaper. En lösning som bara fungerar för den redan tekniskt intresserade ger inget svar på om den håller i bred verksamhet.

Låt handläggarnas egna omdömen bli en del av resultatet, inte bara ett trevligt inslag vid sidan om. De kan se om svaren stämmer, om språket håller, om något blir snabbare och om något i stället blir krångligare.

I Svea-initiativet har deltagare tillsammans ägnat över 5 000 timmar åt att annotera träningsdata. Det beskrivs som att kombinationer av frågor och svar betygsätts för att sedan användas för att träna de AI-modeller som Svea bygger på. Grundtanken är densamma: människan bedömer kvaliteten, och bedömningen används för att förbättra.

En pilot förändrar inte något av sig själv. Fredric Skargren, forskare vid Örebro universitet, konstaterar att engagemang, ledarskap, prioriteringar och annat krävs för att åstadkomma praktisk utveckling av de tjänster som medborgare, företag och andra är beroende av. Utan en ledning som prioriterar och avsätter tid riskerar testet att stanna vid en rapport.

Se därför till att någon äger piloten. Se också till att medarbetarnas tid för att delta är avsatt. Frågor som uppstår under vägen ska fångas upp i stället för att bli liggande.

Bestäm hur många som deltar och vilka befattningar de kommer från. Piloten ska vara i liten skala, men bredden i testgruppen avgör vad ni får svar på – välj deltagare så att den nödvändiga testmatrisen täcks.

Driv piloten som ett projekt med tydlig styrning. Utse en pilotägare, och låt en beredningsgrupp lämna rekommendationer innan genomförandet börjar. Uppdatera genomförandeplanen efter de rekommendationerna.

Uppskattade resurser och utmaningar i offentlig sektor

Kunskapskälla, data och kvalitet – det som avgör om svaren håller

Pilotens utfall hänger i hög grad på vilken kunskap systemet bygger på och hur den tas fram. En assistent som svarar på frågor om er verksamhet behöver en kunskapskälla som är aktuell, relevant och begriplig för dem som använder den. I Svea-projektet är kunskapskällan en central del, och projektet beskriver den i en kort film.

Kvaliteten fastställs inte en gång för alla. Frågor och svar behöver granskas och förbättras över tid. Annoteringsarbetet i Svea är ett exempel. Räkna därför med att piloten behöver ett arbetssätt för återkoppling: vem upptäcker att ett svar är fel, hur rapporteras det och hur blir det bättre?

AI Sweden lyfter också fram bristen på AI-kompetens, beräkningskraft och juridiska förutsättningar. För att lyckas krävs att offentliga organisationer delar på kritiska resurser. De behöver samtidigt dela på bördan av att samla den datamängd som krävs för att skapa verkligt kapabla och flexibla lösningar. Resursdelning mellan organisationer är alltså en möjlig väg förbi det en enskild kommun eller myndighet har svårt att klara själv.

För den egna piloten ger det två praktiska frågor. Vilken kunskap ska systemet bygga på? Vem ansvarar för att den hålls uppdaterad efter att projektet är slut?

Informationsklassa den avgränsade mängd data som piloten omfattar. Dokumentera syftet och eventuell personuppgiftsbehandling, och ta stöd av dataskyddsombudet (DSO).

Undersök om piloten kan genomföras i en testmiljö i stället för mot skarpa ärenden. Ta hjälp av en objektledare för den bedömningen, och bestäm vad som i så fall måste prövas skarpt i stället.

Mät rätt saker under piloten och lär av det som inte fungerar

Mät löpande under piloten, inte bara vid start och slut. Välj mått som säger något om kärnverksamheten – handläggningstider, kvalitet i underlagen, medarbetarnas upplevelse av arbetet. Mät inte bara hur flitigt systemet används.

Fredric Skargrens forskning vid Örebro universitet är tydlig. Mäter man rätt saker kan man lära av misstag, prioritera det viktigaste och utveckla verksamheten gemensamt. Han varnar samtidigt för motsatsen: mäter man fel saker finns risk att digitaliseringen inte bidrar till kärnverksamheten, att medarbetarna får ökad arbetsbelastning och att medborgarna upplever sämre service.

Ett sätt att kartlägga läget är att använda ett index eller en enkät. Skargrens forskning beskriver ett digitalt index som använts av svenska myndigheter och testats på ett antal myndigheter i frågor som rör tillstånd och tillsyn. Indexet utgår från en enkät och utvärderar insatser så att myndigheter kan jämföras med varandra. Åtgärder kan göras där digitaliseringen inte lyckats tillräckligt bra. Han bedömer att det är möjligt att använda indexet på fler områden inom kommunal, regional och statlig förvaltning.

Ta med de resultat som inte är positiva. Det är de som visar var en justering behövs före en större satsning. De är därför minst lika värdefulla som de förväntade framgångarna. Använd resultaten för lärande och prioritering, och var beredd att justera både lösning och arbetssätt.

Skargren påminner också om att ett index inte förändrar myndigheterna av sig självt. Engagemang, ledarskap och prioriteringar krävs för att mätningen ska leda till praktisk utveckling.

Knyt mätningen till pilotens effektmål och avslutskriterier. Då blir resultatet ett underlag för vägvalet i stället för en allmän lägesbeskrivning.

Från pilot till vägval: samverkan, upphandling och fortsatt realisering

När piloten är klar: sammanställ resultatet mot de nyttor ni satte upp innan ni började. Var öppna med både det som fungerade och det som inte gjorde det. Förankra slutsatserna hos både ledning och verksamhet. Nyttorealisering enligt SKR kräver tydliga arbetssätt, ansvarsfördelning och samverkan mellan verksamhet, ledning och stödjande funktioner. Bestäm sedan vilket av de tre vägvalen ni tar: fortsätta, justera eller avbryta.

Om det egna behovet inte kan lösas med befintliga lösningar finns andra vägar framåt. Regeringen har gett Upphandlingsmyndigheten i uppdrag att genomföra informationsinsatser och möjliggöra kunskapsutbyte mellan näringslivet och upphandlande organisationer. Syftet är att underlätta för små och medelstora företag som erbjuder innovativa digitala tjänster att i större utsträckning delta i offentliga affärer.

Mårten Janerud, avdelningschef för Affärsutveckling & IT på Upphandlingsmyndigheten, kommenterar uppdraget positivt. Han säger att om fler företag deltar i offentliga upphandlingar öppnas möjligheter för fler innovativa lösningar.

Inom ramen för uppdraget ska Upphandlingsmyndigheten bland annat ta tillvara slutsatserna från Kammarkollegiets förstudie om ett dynamiskt inköpssystem för innovativa digitala lösningar. Myndigheten ska också inhämta synpunkter från Skatteverket och Försäkringskassan, som etablerar en AI-verkstad för offentlig förvaltning. Vid ett rundabordssamtal som civilminister Erik Slottner bjöd in innovativa företag till konstaterades att innovationsupphandling behöver användas mer.

Enligt uppgifterna kräver det utbildningsinsatser, bättre vägledning, fler utbildningar och ett kompetenscenter. Civilministerns budskap var att fler innovativa lösningar behöver nå ut i offentlig sektor för att stärka Sveriges digitala suveränitet.

Kunskapsutbyte är en annan väg. DIGG ansvarar för ett nationellt nätverk för nyttorealisering som är öppet för alla anställda inom offentlig sektor. SKR lyfter fram exempel som Sundsvalls kommuns arbete med nyttorealisering och den gemensamma utbildning i nyttorealisering som Eskilstuna kommun och Strängnäs kommun har tagit fram. För den som just avslutat en pilot är andras erfarenheter ofta det snabbaste sättet att undvika att upprepa samma misstag.

Under en pilot är genomförandet ofta förenklat. Det krävs inte samma omfattning av upphandling och förvaltningsplanering som vid ett införande. Ett beslut att gå vidare innebär därför att de delarna behöver hanteras i nästa steg.

Dokumentera hur piloten genomfördes: vilket underlag som användes, vilka frågor som uppstod och vad som ändrades under vägen. Det blir underlag både för vägvalet och för en kommande upphandling.