Pilotprojekt före beslut: så testar ni systemet i verklig verksamhet

Varför en pilot före beslut – och vilket beslut ska den stötta?

Att testa teknik är inte detsamma som att pröva ett system i den egna verksamheten. I en demonstration fungerar nästan allt, eftersom scenariot är förvalt och underlaget anpassat. I en pilot möter lösningen era ärenden, texter, rutiner och medarbetare. Först då syns om den håller i vardagen.

Bestäm tidigt vilket beslut piloten ska ge underlag för. Vanliga utgångar är tre: fortsätta i större skala, justera något innan ni går vidare eller avbryta. Skriv ned dem innan testet börjar. Då blir det tydligt vilket resultat som talar för vad – och svårare att efteråt tolka in det svar man helst vill ha.

En pilot är också ett bra tillfälle att prova nyttorealisering i liten skala. Enligt Sveriges Kommuner och Regioner (SKR) handlar nyttorealisering om att säkerställa att förändringar och investeringar leder till avsedd nytta för invånare, verksamhet och samhälle. Det innebär att koppla verksamhetens behov, mål och prioriteringar till ett strukturerat arbetssätt där både kostnader och förväntade effekter följs upp över tid. SKR framhåller att systematiskt nyttorealiseringsarbete stärker beslutsfattandet och bidrar till att rätt satsningar genomförs, följs upp och justeras vid behov, samt att det kräver tydliga arbetssätt, ansvarsfördelning och samverkan mellan verksamhet, ledning och stödjande funktioner.

Avgränsa piloten: från verksamhetsbehov till förväntad nytta

Utgå från verksamhetens behov och prioriteringar – inte leverantörens funktionslista. En lista över vad systemet kan göra säger inget om vad som behöver bli bättre hos er. Börja i stället med de uppgifter som tar tid, är återkommande och som medarbetarna själva pekar ut som betungande.

Ställ upp förväntade nyttor och kostnader redan före start. Vilken tid frigörs, för vem, och vad händer med den? Vilka kostnader tillkommer för licenser, införande, utbildning och intern arbetstid? Skriv ned detta tidigt, så går utfallet att jämföra mot något i stället för att bedömas på magkänsla i efterhand.

Om ni inte är redo att ta er an hela nyttorealiseringsprocessen är en nyttokalkyl en lagom ingång. SKR rekommenderar just detta för kommuner och regioner som vill komma igång och hänvisar till Ineras modell för nyttokalkyler i nio steg, med exempel på genomförda kalkyler. Där finns också en interaktiv utbildning i nyttokalkylen, framtagen tillsammans med Inera, samt en webbutbildning från Adda. Myndigheten för digital förvaltning (DIGG) har tagit fram en vägledning i nyttorealisering och ett beräkningsverktyg för nyttor och kostnader som stöd till offentliga organisationer.

En rimlig avgränsning är att piloten prövar en eller ett par nyttor ordentligt i stället för att försöka täcka allt. Ett tydligt resultat är lättare att tolka än ett spretigt.

Välj en verklig arbetsuppgift – inte ett demoscenario

Välj en avgränsad, texttung och återkommande uppgift som redan finns i ordinarie arbete. Då ger testet kunskap om er vardag, inte om en påhittad situation, och resultatet kan jämföras med hur uppgiften löstes tidigare.

I initiativet Svea, som koordineras av AI Sweden i samarbete mellan svenska myndigheter, kommuner, regioner och näringslivet, beskrivs exempel på uppgifter en digital assistent kan stödja med: sammanfatta och analysera stora textmassor; förbättra och redigera texter så att de blir mer lättlästa och strukturerade; skapa nya texter som rapporter, handlingar och ansökningar anpassade efter specifika mallar och riktlinjer; klassificera dokument och skapa beslutsunderlag i handläggningsprocesser; samt ta fram individualiserat stöd åt medborgare. Enligt projektet är sådana uppgifter ofta både mödosamma och tidskrävande, samtidigt som de är viktiga för att uppfylla uppdraget.

Poängen med en verklig uppgift är att piloten samtidigt testar arbetsflödet runt lösningen: var kommer underlaget ifrån, vem granskar svaret, vad händer när svaret är fel och hur dokumenteras det? Sådant syns sällan i ett demoscenario men avgör om införandet lyckas.

AI Sweden lyfter också fram varför området är prioriterat: medarbetare i offentlig sektor hanterar dagligen omfattande och varierande textrelaterade uppgifter, samtidigt som personalbrist väntas. Enligt siffror som AI Sweden återger med SKR 2022 som källa beräknas antalet personer som är 80 år eller äldre öka med nästan 50 procent fram till 2031, och antalet anställda inom offentlig sektor behöva öka med 410 000 personer fram till 2031.

Låt medarbetarna testa – hela vägen från första fråga till omdöme

Utforma piloten så att den är lättanvänd och tillgänglig för alla medarbetare, oavsett teknisk kompetens. Det är vad Svea-projektet undersöker: hur prototypen ska utformas för att kunna användas brett av medarbetare med olika förkunskaper. En lösning som bara fungerar för den redan tekniskt intresserade ger inget svar på om den håller i bred verksamhet.

Låt handläggarnas egna omdömen bli en del av resultatet, inte bara ett trevligt inslag vid sidan om. De kan se om svaren stämmer, om språket håller, om något blir snabbare och om något i stället blir krångligare. I Svea-initiativet har deltagare tillsammans ägnat över 5 000 timmar åt att annotera träningsdata, vilket beskrivs som att kombinationer av frågor och svar betygsätts för att sedan användas för att träna de AI-modeller som Svea bygger på. Grundtanken är densamma: människan bedömer kvaliteten, och bedömningen används för att förbättra.

Kom också ihåg att en pilot inte förändrar något av sig själv. Fredric Skargren, forskare vid Örebro universitet, konstaterar att engagemang, ledarskap, prioriteringar och annat krävs för att åstadkomma praktisk utveckling av de tjänster som medborgare, företag och andra är beroende av. Utan en ledning som prioriterar och avsätter tid riskerar testet att stanna vid en rapport.

Se därför till att någon äger piloten, att medarbetarnas tid för att delta är avsatt och att frågor som uppstår under vägen fångas upp i stället för att bli liggande.

Nyckelstatistik från Svea-projektet och offentlig sektor

Kunskapskälla, data och kvalitet – det som avgör om svaren håller

Pilotens utfall hänger i hög grad på vilken kunskap systemet bygger på och hur den kunskapen tas fram. En assistent som svarar på frågor om er verksamhet behöver en kunskapskälla som är aktuell, relevant och begriplig för dem som använder den. I Svea-projektet är kunskapskällan en central del, och projektet beskriver den i en kort film.

Kvaliteten fastställs inte en gång för alla. Frågor och svar behöver granskas och förbättras över tid, vilket annoteringsarbetet i Svea är ett exempel på. Räkna därför med att piloten behöver ett arbetssätt för återkoppling: vem upptäcker att ett svar är fel, hur rapporteras det och hur blir det bättre?

AI Sweden lyfter också fram bristen på AI-kompetens, beräkningskraft och juridiska förutsättningar. För att lyckas krävs att offentliga organisationer delar på kritiska resurser samtidigt som de delar på bördan av att samla den datamängd som krävs för att skapa verkligt kapabla och flexibla lösningar. Resursdelning mellan organisationer är alltså en möjlig väg förbi det en enskild kommun eller myndighet har svårt att klara själv.

För den egna piloten ger det två praktiska frågor: vilken kunskap ska systemet bygga på, och vem ansvarar för att den hålls uppdaterad efter att projektet är slut?

Mät rätt saker under piloten och lär av det som inte fungerar

Mät löpande under piloten, inte bara vid start och slut. Välj mått som säger något om kärnverksamheten – handläggningstider, kvalitet i underlagen, medarbetarnas upplevelse av arbetet – och inte bara om hur flitigt systemet används. Fredric Skargrens forskning vid Örebro universitet är tydlig: mäter man rätt saker kan man lära av misstag, prioritera det viktigaste och utveckla verksamheten gemensamt. Han varnar samtidigt för motsatsen: mäter man fel saker finns risk att digitaliseringen inte bidrar till kärnverksamheten, att medarbetarna får ökad arbetsbelastning och att medborgarna upplever sämre service.

Ett sätt att kartlägga läget är att använda ett index eller en enkät. Skargrens forskning beskriver ett digitalt index som använts av svenska myndigheter och testats på ett antal myndigheter i frågor som rör tillstånd och tillsyn. Indexet utgår från en enkät och utvärderar insatser så att myndigheter kan jämföras med varandra och så att åtgärder kan göras där digitaliseringen inte lyckats tillräckligt bra. Han bedömer att det är möjligt att använda indexet på fler områden inom kommunal, regional och statlig förvaltning.

Ta med de resultat som inte är positiva. Det är de som visar var en justering behövs före en större satsning, och de är därför minst lika värdefulla som de förväntade framgångarna. Använd resultaten för lärande och prioritering, och var beredd att justera både lösning och arbetssätt.

Skargren påminner också om att ett index inte förändrar myndigheterna av sig självt – engagemang, ledarskap och prioriteringar krävs för att mätningen ska leda till praktisk utveckling.

Från pilot till vägval: samverkan, upphandling och fortsatt realisering

När piloten är klar: sammanställ resultatet mot de nyttor ni satte upp innan ni började, och var öppna med både det som fungerade och det som inte gjorde det. Förankra slutsatserna hos både ledning och verksamhet, eftersom nyttorealisering enligt SKR kräver tydliga arbetssätt, ansvarsfördelning och samverkan mellan verksamhet, ledning och stödjande funktioner. Bestäm sedan vilket av de tre vägvalen ni tar: fortsätta, justera eller avbryta.

Om det egna behovet inte kan lösas med befintliga lösningar finns andra vägar framåt. Regeringen har gett Upphandlingsmyndigheten i uppdrag att genomföra informationsinsatser och möjliggöra kunskapsutbyte mellan näringslivet och upphandlande organisationer. Syftet är att underlätta för små och medelstora företag som erbjuder innovativa digitala tjänster att i större utsträckning delta i offentliga affärer. Mårten Janerud, avdelningschef för Affärsutveckling & IT på Upphandlingsmyndigheten, kommenterar uppdraget positivt och säger att om fler företag deltar i offentliga upphandlingar öppnas möjligheter för fler innovativa lösningar.

Inom ramen för uppdraget ska Upphandlingsmyndigheten bland annat ta tillvara slutsatserna från Kammarkollegiets förstudie om ett dynamiskt inköpssystem för innovativa digitala lösningar, och inhämta synpunkter från Skatteverket och Försäkringskassan som etablerar en AI-verkstad för offentlig förvaltning. Vid ett rundabordssamtal som civilminister Erik Slottner bjöd in innovativa företag till konstaterades att innovationsupphandling behöver användas mer. Enligt uppgifterna kräver det utbildningsinsatser, bättre vägledning, fler utbildningar och ett kompetenscenter. Civilministerns budskap var att fler innovativa lösningar behöver nå ut i offentlig sektor för att stärka Sveriges digitala suveränitet.

Kunskapsutbyte är en annan väg. DIGG ansvarar för ett nationellt nätverk för nyttorealisering som är öppet för alla anställda inom offentlig sektor. SKR lyfter fram exempel som Sundsvalls kommuns arbete med nyttorealisering och den gemensamma utbildning i nyttorealisering som Eskilstuna kommun och Strängnäs kommun har tagit fram. För den som just avslutat en pilot är andras erfarenheter ofta det snabbaste sättet att undvika att upprepa samma misstag.