Podd: Utvärderingar

Maria Ringbo: Hej och välkommen till det här samtalet. Mitt namn är Maria Ringbo. Nu ska jag prata med Ingrid Schild, Umeå universitet. Välkommen hit, Ingrid! 

Ingrid Schild: Stort tack, ska du ha Maria!

Maria Ringbo: Vi ska prata om utvärdering, men jag tänker att du allra först ska få berätta lite om dig. Ja, presenterar dig, helt enkelt, så jag ger dig ordet.

Ingrid Schild: Ja, tack så mycket. Jo, som du sade, Ingrid Schild heter jag. Jag sitter i mitt rum vid Sociologiska institutionen på Umeå universitet. Jag undervisar mycket i biblioteks- och informationsvetenskap. Vi har kandidatprogram och så har vi också ett magisterprogram. 

Innan jag kom till sociologen … Ett av mina intresseområden, både praktikmässigt och forskningsmässigt, är utvärdering. Det var innan jag kom in på biblioteks- och informationsvetenskapsfältet, faktiskt. Utvärdering är ett spännande område, tycker jag naturligtvis. Det finns en hel forskningslitteratur och det finns professorer inom utvärdering. 

Vi har i Sverige någonting som heter Svenska utvärderingsföreningen, SVUF.nu. Sedan i höstas sitter jag i styrelsen för Svenska utvärderingsföreninen. Nu jobbar vi med en stor jubileumskonferens [som går av stapeln] i december, nästa månad [2023]. Alla som är intresserade av utvärdering kan bli medlemmar i Svenska utvärderingsföreningen. De har seminarier och de har konferenser. Ja, så syftet med föreningen är att sprida god praktik och kunskap om utvärdering i Sverige. That’s me, så att säga.

Maria Ringbo: Spännande. Tack! Men varför ska man göra utvärderingar egentligen?

Ingrid Schild: Ja du. Ja, varför ska man? Det korta svaret … Det här kommer låta jättekonstigt. Det korta svaret är att man gör utvärderingar för att skapa ett bättre samhälle, faktiskt. Fundera … De saker som vi utvärderar … Vi utvärderar satsningar. För det mesta offentligt finansierade satsningar av olika typer. Projekt, program, verksamheter som är offentligt finansierade. De här projekten, programmen och satsningarna finns för att skapa ett bättre samhälle, för att få ett bättre samhälle. 
Varför har vi läsfrämjande insatser? Jo, det är för att förbättra någonting hos medborgare. Om man tänker att de satsningarna är till för att förbättra någonting hos medborgarna och man vill utvärdera dem med ögon som att man skapar kunskap, som att “i nästa omgång kan vi göra bättre satsningar”. Det är den stora frågan. Man utvärderar för att … använda våra pengar på bättre satsningar och förbättra de satsningar som vi har. Det kan vara projekt, program, verksamheter, insatser av olika sorter. Det är ett svar. 

Sedan kan man ha ett kanske mer jordnära svar eller ett svar på en lite mindre högtravande nivå. Då brukar man i utvärderingslitteraturen prata om utvärdering för kontroll, utvärdering för lärande och utvärdering för medinflytande och så kan man lägga till kanske en till utvärdering för verksamhetsutveckling, men jag tycker kanske att den går in i utvärdering för lärande och medinflytande. 

Om man tänker på utvärdering för kontroll … Det görs ofta. Då är det ofta beslutsfattarna som tycker att “nu måste vi utvärdera det här för att se till att vi har effektivitet, att vi når våra mål, att vi har bra effektivitet, att vi lever upp till de krav vi har”. Då är det sådana utvärderingsfrågor man har i bakhuvudet. 

Numera tycker många och jag med dem, att det kanske är mest … Det är en typ av utvärdering och den finns ju, men numera tycker man också att det är superviktigt att tänka på utvärdering. Utvärdering för lärande, alltså det främsta syftet för utvärdering är att vi lär oss från utvärderingen. Det vill säga att vi  faktiskt kan förbättra verksamheten på basis av den kunskap vi får från utvärderingen. 

Så nämnde jag då en tredje typ av utvärdering, alltså utvärdering för medinflytande. På engelska brukar man ordet empowerment, liksom att man gärna vill medvetandegöra eller i det här fallet kanske gör användarna av en verksamhet en tjänst på något vis mer delaktighet i beslut som tas kring den verksamheten och i utvärderingen. Utvärdering för empowerment, genom utvärdering eller medinflytande. 

Genom att tänka så kring utvärdering, utvärdering kring medinflytande, så kanske man vill involvera deltagare i någon typ av … Om det är en aktivitet där man utvärderar deltagare i utvärderingen, att dels göra dem till deltagare i utvärderingen, så att inte beslut … så att man inte kommer in som en expert, utvärderar och allt bara går över deras huvuden, utan man involverar dem i beslut som har med utvärderingen att göra. Genom det får de medinflytande i både utvärderingen och i beslut som tas kring verksamheten. 

I litteraturen brukar man säga någonting som på engelska heter – den mesta litteraturen är på engelska – monitoring and evaluation systems, alltså uppföljnings- och utvärderingssystem. Det är en typ av utvärdering. Den andra typ av utvärdering man brukar prata om är program- och policy-utvärdering. Och program- och policyutvärderingar är som stand alone’s. Det är en utvärdering man gör när man känner att, oj, nu behöver jag … Tyvärr vid vissa tillfällen … Inte kontinuerligt … Medan utvärderingssystem är uppföljningssystem som görs kontinuerligt. 

Bibliotek, där har vi ju uppföljningssystem. Det är statistik som rapporteras till KB, exempelvis. Man har ju, i sina administrativa system på biblioteken, en typ av uppföljningsmätningar som man gör kontinuerligt. Den typ av utvärdering räknar jag faktiskt inte in i det jag pratar om idag. Idag pratar jag om policy- och programutvärdering. De enskilda utvärderingsinsatser som man gör inom projekt- och policyprogram. Det var liksom en introduktion till den frågan. 

När det gäller de här programprojektutvärderingarna. Vad ska man säga? När börjar och slutar man? Det man har kommit fram till idag, faktiskt, är att utvärderingar ofta glöms bort när man planerar en verksamhet. Om man vill utvärdera i relation till målen, verksamhetsmålen, så kan man se till att formulera mål som faktiskt går att utvärdera. Idag är det väldigt många mål som är alldeles för luddiga och de går inte att utvärdera. En insats, om satsningens mål är “förbättrad livskvalitet hos en grupp människor”. Det går ju inte att utvärdera det. Då måste man som utvärderare hitta kreativa sätt att ändå komma åt det målet, på något vis. 

Men om man definierar mål i planeringen som är mer utvärderingsbara, så är det bra. Och då menar jag inte att de ska vara kvantifierbara, utan bara inte så luddiga som det här ska leda till, som “trevliga erfarenheter” eller “bättre livskvalitet”, lite mer specifikt än så. Det är en orsak till varför det är bra att “tänka utvärdering” i förhand eller när man planerar verksamheten. Det finns en viktig typ av utvärdering där man kanske faktiskt vill ha någon, kallad för en utvärderare, tydligt inkluderad i verksamheten. Att den faktiskt kan följa verksamheten, ge feedback till personalen och vara inblandad i verksamheten under tiden som verksamheten pågår, så att personalen i verksamheten faktiskt kan förbättra sitt arbete under tiden som verksamheten pågår. Då har de en critical friend, alltså då har de en, på ett positivt sätt, kritisk blick på verksamheten, som kan verksamheten och kan ge dem råd så att de håller sig på rätt köl, så att säga. Det kan man ju inte om man tänker på utvärdering för sent, vilket är det vanliga – att man tänker på utvärdering när verksamheten är färdig. Det är egentligen för sent. Det är viktiga utvärderingstyper som man vill inkludera, som man vill stödja, utvärdering under tiden som verksamheten pågår. Man pratar om processutvärdering, exempelvis, och deltagandeutvärdering. Då är det bra att man börjar med utvärderingen under tiden som verksamheten pågår.

Maria Ringbo: För vems skull görs en utvärdering egentligen?

Ingrid Schild: Faktum är att det stora svaret är att man gör utvärderingar för medborgarna, faktiskt. För dig, för dig Maria, och för mig. Utvärderingen görs för att vi i slutändan ska få ett bättre samhälle. För om vi tänker på att utvärdera läsfrämjande verksamheter och om vi utvärderar dem för att förbättra dem – och när de blir bättre – då kommer fler deltagare att ha större nytta av dem. Då kommer det gå bättre för de deltagarna. Då får vi ett bättre samhälle. Det tänket kan man överföra till i princip allt i offentlig verksamhet som bör utvärderas och som utvärderas. 

Det är ett väldigt fint sätt att tänka på utvärderingen på, tycker jag. Vi utvärderar för att i slutändan få ett bättre samhälle, för att få bättre verksamheter. Inte för att kontrollera, inte nödvändigtvis för att stänga ner. Det är klart, ibland är någonting inte värt att finansiera och då kanske det är bra att vi inte spenderar pengar på det. Men då får man förhoppningsvis kunskap från utvärderingen som gör att man kan förbättra en verksamhet. 

För vem görs en utvärdering? Ja, det var det stora svaret för mig. Men det är ju alldeles för svepande svar. Så mitt konkreta svar skulle kunna vara att det är olika beroende på vilken typ av utvärdering man gör. 

Nu kommer jag faktiskt att dela upp utvärderingstyperna i tre huvudtyper. När jag untvärderar om utvärdering för studenter, så brukar jag de här tre typerna och de stämmer faktiskt med verkligheten. 

Man har något man kan tänka som mål, resultat och utvärdering. En variant av det är effektutvärdering, alltså utfallsutvärdering. Då är det ofta så att man kollar på en verksamhet i efterhand. Har den nått målen? Vad har effekten blivit? De är ofta kvantitativa. Ja, för att se om vi har nått det resultat som vi hoppades nå. Den typ av utvärdering görs ofta för att beslutsfattare gärna vill veta, de som gör policies och så. Folk på Kulturrådet exempelvis. Kulturdepartementet, för den delen. Nådde den här insatsen de effekter vi vill ha? Då är det en typ av utvärdering för beslutsfattare, på det stora hela. 

Men om man tänker processutvärdering som en annan typ av utvärdering, alltså att man utvärderar processen, utvärderar arbetsgången, organisationen av verksamheten. Det kan absolut göras för beslutsfattare också, men då tänker man att man gör det för personalen. Kanske främst i bibliotekssammanhang. Man gör det för att de ska få en bättre förståelse av arbetsprocessen, som därmed är en del av att förbättra den under tiden som den pågår. 

Så har man då en tredje typ av utvärdering som – kärt barn har många namn – man kallar för deltagande eller interaktiv eller medinflytande, empowerment. En typ av utvärdering som kanske görs främst för användarna av en tjänst och dem som berörs direkt eller indirekt av den här verksamheten. Det kan också inkludera intressegrupper i civilsamhället, exempelvis. När de är inkluderade i utvärderingen, när man gör utvärdering för dem, så vill man gärna inkludera dem. De kanske får vara med och bestämma vilken utvärderingsfråga man ska ställa. Vilka kvalitetskriterier man ska använda. 
Det varierar hur mycket man involverar dem i själva utvärderingen, men man tänker med de utvärderingsfrågor man ställer att man vill gynna användarna av en tjänst. Den typen av utvärdering är ofta väldigt användbar, för den blir väldigt relevant för användaren. Det som kan vara lite tråkigt är att policyfolk eller beslutsfattare på kommunen, exempelvis, inte alltid förstår att den typen av utvärdering är minst lika användbar som en målresultatutvärdering. 

Det var ett svar på vem man egentligen gör utvärderingen för.

Maria Ringbo: Du har kommit in lite grand på hur man kan involvera andra i utvärderingen, men om man tittar kort på det: Vilka ska eller bör involveras i en utvärdering?

Ingrid Schild: Ja, också här ska jag börja lite svepande. Man brukar dela upp utvärdering i intern utvärdering och extern utvärdering. Även självutvärdering ingår som en viktig typ av utvärdering.
Intern utvärdering, det säger sig självt, då håller man utvärderingen inhouse. Det kan vara någon som är oberoende av verksamheten men som ändå har en viss utvärderingskompetens som utvärderar. 
Extern utvärdering, och nu pratar jag om vem som utvärderar den externa utvärderingen, är oftast ett uppdrag till en extern person eller en extern organisation. 

Självutvärdering är också ett systematiskt kunskapsinhämtande om den egna verksamheten. Det kan man också göra och det är också en väl respekterad utvärderingsform. 

Om vi går tillbaka till de här tre utvärderingstyperna, så är det ett sätt att svara, men du frågade faktiskt vem som ska involveras i en utvärdering.

Maria Ringbo: Ja, precis. 

Ingrid Schild: Vi kommer tillbaka till våra tre typer: målresultat, processutvärdering och deltagande utvärdering. 

Om jag tänker på målresultatutvärdering, så är det kanske egentligen framför allt utvärderaren som metodspecialist som går in och utvärderar. De kan effektivtutvärdering, de är duktiga på att mäta olika indikatorer, hur mycket resurser som gick in och vad det är för effekter som kommer ut. De är duktiga på att mäta olika saker. Jag vill inte svartmåla den här typen av utvärdering, för den behövs också, men då tänker man att det kanske inte är de som är involverade i verksamheten som genomför utvärderingen. Då är det utvärderaren som är specialisten, metodspecialist framförallt. 
Sedan har man processutvärdering och det är någon typ av mellanting. Då, tänker jag åtminstone, involverar man gärna personalen. Man kanske intervjuar dem och ser till att även användarna, för den delen, kommer till tals, att deras perspektiv präglar utvärderingen och att de får prägla vad som anses vara en bra verksamhet. Då kanske man tenderar mot de kvalitativa intervjumetoderna. 

Sedan är det den tredje typen, där deltagarna eller … interaktiv, intressentutvärdering. Där kan man i utvärderingen inkludera egentligen alla som direkt eller indirekt påverkas av verksamheten. Det varierar naturligtvis hur mycket man vill att deltagarna påverkar utvärderingen, för det kan naturligtvis ta mycket tid och resurser i anspråk att involvera alla. Man behöver kanske vara ganska selektiv, men tanken är åtminstone att exempelvis användarna av en tjänst ska vara med och formulera utvecklingsfrågor. De påverkar också vad jag kallar för kvalitetskriterier, det vill säga aspekterna av en verksamhet som man diskuterar kvalitet i relation till. Det som är viktigt för användaren kommer att vara viktig i utvärderingen. Det är fördelen där. Då inkluderas de olika intressenternas perspektiv i utvärderingen. Därmed blir utvärderingen relevant för en bredare grupp människor än bara beslutsfattarna. Inte minst för de här användarna eller deltagarna som deltar i utvärderingen. Genom att delta i utvärdering så blir de medvetna om sin egen roll i verksamheten, kanske till och med sin egen roll i samhället, vad de har rätt till, plus att de får påverka genom utvärdering och lär sig då också om utvärdering. 

Det finns en författare som jag tycker är väldigt bra – det mesta av den spännande utvärderingsforskningen kommer naturligtvis från USA – och han heter Ernest House. Alltså House, som i hus på engelska, och han har ett paper som heter “Deliberativ Democratic Evaluation” i en tidskrift som heter New Directions for Evaluation från år 2000. Han har skrivit om The Deliberative Democratic Evaluation. Hans grej är just deliberativ evaluation, där man involverar deltagare i en verksamhet. De är involverade i att diskutera verksamheten. Vad utgör en bra verksamhet för oss? Det är inte bara beslutsfattaren eller utvärderaren som ska bestämma vad som utgör en bra verksamhet. Så det är och det tycker jag ligger väldigt väl i linje med bibliotekens demokratiska uppdrag. Och med rättvisetänket också. Och hållbarhetstänket också, för den delen.

Maria Ringbo: I samband med läsfrämjande aktiviteter och verksamhet lyfts ibland hur uppdraget är svårt att utvärdera. Nu har vi fått flera metoder av dig här och flera tankesätt. Men det hörs också att det inte riktigt finns lämpliga verktyg eller att det som genomförs inte riktigt matchar med utvärderingsverktygen. Hur kan man tänka kring den här problematiken?

Ingrid Schild: För det första så vet jag att det finns en åsikt om att det är väldigt svårt att utvärdera exempelvis läsfrämjande verksamheter. Nu har jag, i och med att jag är involverad i och organiserar konferensen i december [2023] för Svenska utvärderingsföreningen och är ansvarig för en paneldiskussion där, så har jag fått ihop en utvärderare och forskare inom kulturområdet. Vi ska diskutera utvärdering inom kultursektorn. Jag tror att det finns en föreställning om att det just där är väldigt svårt att utvärdera. 

Hur kan man utvärdera konst eller musik eller litteratur, för den delen? Det är så subjektivt och det är så emotionell respons på de sakerna. Det går inte att utvärdera. Jag tror att den tanken kanske finns, lite grand. Jag har inte analyserat det här jättenoga, men jag tror kanske lite grand att den tanken finns också på bibliotek – och med rätta. Hur kan vi utvärdera de saker som ska leda till att folk får ett bättre liv? Inte bara att de ska få jobb eller få högre lön eller bli friska, utan att de ska få ett bättre liv. 
Då tror jag det hjälper att fundera lite grand på … För det första, om man tänker konkret kring det. Naturligtvis är det jättesvårt. Jag menar, sannolikheten att man kan komma in fem år efter satsningen och se om en barngrupp, eller en vuxengrupp för den delen, har blivit gladare i litteratur och börjat läsa mer, så är den sannolikheten obefintlig. Det kommer inte att hända. Men man kan fundera: Varför har jag den här läsfrämjande verksamheten, aktiviteten? Vad är det? Varför finns den? Bortsett från att vi vill främja läsning? Men vad är det för andra saker man kan inkorporera i utvärderingen som kvalitetskriterier och från vems perspektiv? 

Det är inget fel … Man kan göra en ganska subjektiv utvärdering. Vad fick användarna ut av det här? Inte bara frågor om de tyckte att det var kul, men vad bidrog detta till? Man kan ställa sådana frågor. Man kan ställa frågor om själva arbetsprocessen i en processutvärdering. Hur var arbetsprocessen? Man kan också ställa lite svåra frågor som “Nu har vi haft den här aktiviteten, den såg ut så här och så här, det gynnade uppenbarligen en viss grupp människor, för de tyckte det var jättebra, men är det grupper som inte nås av den här verksamheten på grund av hur verksamheten ser ut och är organiserad? Sådana frågor kan man ställa. Man kan ställa frågor kring de oförutsedda konsekvenserna eller effekterna. 

I alla sådana här resultat där man får människor tillsammans i en verksamhet börjar saker och ting händer som man kanske inte hade tänkt skulle hända. Det kommer både positiva och negativa saker ut ur det här. Oförutsedda konsekvenser eller effekter av en satsning. Egentligen är det inte skillnad på att utvärdera en läsfrämjande verksamhet och exempelvis ett omsorgsprogram eller något annat som kanske utvärderas oftare.

Maria Ringbo: Precis. Jag tänker att du har varit inne på det här med process, men jag ställer ändå frågan till dig: Är utvärdering en process eller ett resultat? Hur kan man tänka där?

Ingrid Schild: Är det en process eller är det ett resultat? Det är klart det är båda. 

Maria Ringbo: Hur är det båda?

Ingrid Schild: Jag har pratat ganska mycket om … En sak som utvärderingen kan göra men som man inte tänker på är … Bara genom att det finns en utvärdering, så får det igång en viss diskussion i en arbetsgrupp, inte defensivt. “Nu kommer utvärdering.” Det är inte så jag menar, utan “Jaha, nu har vi den här utvärderingen och de ska titta på det och det är ju intressant.” Det kommer igång en diskussion kring verksamheten på grund av att utvärderaren finns där. Man börjar kanske prata ihop sig om vad det är vi egentligen gör. Vad är det vi egentligen fokuserar på? Vad är det vi egentligen vill med detta? Så bara tack vare att det finns en utvärdering där. 

Utvärderaren kan också spela en viktig roll där, med deltagare i utvärderingsformen. Och processutvärdering också. Så utvärderaren kan spela en ganska fin roll och komma in som en typ av moderator eller som en typ av diskussionspartner, critical friend, som jag tror att jag sade innan. Alltså, få igång en typ av kommunikation mellan utvärderaren och de som utvärderas, men också mellan dem som utvärderas, som kanske pratar ihop sig med varandra på ett sätt som de annars inte har gjort. 

På det sättet skapas på något sätt ett medvetandegörande och ett medinflytande. Det är inte de som utvärderas, utan är de som är inblandade i verksamheten som utvärderar. Då kan lärande också ske i de typerna av kommunikation.

Maria Ringbo: Jag tänker att du har sagt hur mycket som helst om olika delar, men jag tänker också det emellanåt är så att man för en aktivitet skriver fram ett tydligt syfte. Sedan, när det är dags för utvärdering – den kommer i slutet – så vill man visa på att de här målen faktiskt har uppfyllts. Eller finns det en annan funktion för en utvärdering?

Ingrid Schild: Bortsett från att kunna uttala sig om målen?

Maria Ringbo: Precis. 

Ingrid Schild: Ja, en funktion för utvärdering tycker jag är den lärande funktionen. Den är viktig. Alltså, utvärdering som genererar kunskap. Det är viktigt. Men det är också viktigt att man ser det som ett sätt att tillämpa systematiska, ofta samhällsvetenskapliga, metoder. Det är ingenting man bara tycker. “Den här verksamheten var bra.” Man ska systematiskt inhämta information om det som man utvärderar och analysera det och besvara hur och varför och fråga “Hur fungerar det här? Varför blev det sådär?” Inte bara att vi uppfyllde … exempelvis: fem personer kom till verksamheten och var med i fem veckor och nu har de börjat läsa mycket böcker. Det säger mig inte någonting alls om verksamheten. 

Vad var det med verksamheten som gjorde att det blev så? Alltså, kombinera det som jag kallar mål, resultat, utvärdering eller målutvärdering med processutvärdering. Vad var det som hände i verksamheten? Genom att kombinera de två så kan man börja prata om “Vad var det?” Då kommer man kunna besvara hur och varför. Vad var det med verksamheten som ledde till de resultat som man verkar ha observerat eller som man har fångat upp? Så att man lär sig. Vad var det med verksamheten som var bra och vad i verksamheten kan ändras? Det kanske finns olika aspekter, olika delar av en verksamhet, som har olika effekter. Den typ av kunskap kan man fånga upp om man inte bara stirrar sig blind på att uttala sig om huruvida målen uppfylldes. 

Jag tror att det ofta är det som beslutsfattare eller uppdragsgivare som utvärderar i kommunen inte förstår. De blir frustrerade när det kommer en väldigt kvalitativ utvärdering som säger att “jo, men den här fanns, den här interaktionen kom igång och det blev dessa spin-offs från den här verksamheten”. De vill ju ha siffror, eller hur? Det är lättare att ta beslut på basis av det. 

Maria Ringbo: Jag tänker att det är det som är ett problem med utvärdering, när man bara vill ha siffror. För egentligen säger ju siffror ingenting om engagemanget. 

Ingrid Schild: Nej, precis. Huvuddelen av utvärderingslitteraturen är inne på detta. Folk har insett det sedan länge nu och jag vet inte … Jag vet inte varför inte beslutsfattare har förstått det här än. 
Men det jag vet, och som faktiskt ligger på utvärderarens bord, är att ha en pedagogisk uppgift i relation till policymakers och beslutsfattare om vad vi kan säga och vad vi inte kan säga i en utvärdering. Exempelvis bland samhällsvetare och inom sociala processer, som ofta är det vi utvärderar i bibliotekssammanhang. Vi kan inte säga exakt vad som orsakar vad. Det går inte att kvantifiera de saker som vi vill åstadkomma, oftast. Så det blir processer och fenomen och kvalitativa diskussioner som vi ofta hör i dessa typer av utvärderingar. Utvärderaren, tycker jag, har den här pedagogiska rollen gentemot beslutsfattare för att få dem att förstå vad vi faktiskt kan leverera med utvärderingar och vad vi inte kan leverera.

Maria Ringbo: Det är bra. Finns det, så här avslutningsvis, någonting som vi har missat och som du vill att vi lägger till?

Ingrid Schild: Nu pratas väldigt mycket, och med rätta, om användning av utvärdering. Användning är ett område som ofta glöms bort. Inom utvärderingsforskning finns det tre stora forskningsområden. En är metoder och en är värden, vilka värden en utvärdering inkorporerar. Jag pratar lite om demokratiska värden osv. 

Den tredje är faktiskt användning av utvärdering. Varför vi gör utvärderingar. Om vi gör dem för att förbättra någonting, då vill vi ju att kunskapen från utvärderingen kommer till användning. Då har man liksom identifierat olika typer av användning som utvärderingen kan leda till. Det mest uppenbara är kanske den instrumentella användningen, där rekommendationerna finns i utvärderingen. Där rekommendationerna tillämpas av dem som kan göra någonting på basis av utvärderingen. 

Man vill ju att utvärdering ska kunna leda till förändring på det stora hela. I instrumentell användning har någon agerat på basis av de rekommendationer som kanske finns i utvärderingen. 

Sedan har man en lite mer subtil typ av användning som man kanske inte tänker på, men som jag skulle påstå är minst lika viktig. Det är den kunskap … Bara det att det finns en utvärderingsrapport, som folk, kanske är det en verksamhet, personalen för den delen, har tagit del av. Då kanske de börjar diskutera saker på ett lite annat sätt än de gjorde tidigare. Då kanske diskussionen ändrar karaktär och kanske blir lite mer informerad. De kanske ser saker och ting från lite andra perspektiv än man gjort innan utvärderingen. Samtalet har blivit annorlunda. Det kommer i längden också att påverka verksamheten. Att man tänker på saker på ett litet annat sätt, tack vare utvärderingen. 

Sedan finns den lite cyniska … Det är ganska vanligt att utvärderingen används för sådana saker, symboliska saker, nästan som marknadsföring för att visa upp … “Vi har gjort en utvärdering och vår verksamhet var bäst i länet”, och så där. Den typen av användning bygger inte på den kunskap som finns i rapporten, utan den används mest i marknadsföringssyfte.

Det här att folk lär sig från en utvärdering och kanske därmed förstår sin verksamhet på ett litet annat sätt än innan, det är en typ av användning. Det är så många utvärderingar som görs och så läggs de på någons hylla. “Ja, då kan vi bocka av det. Då har vi gjort det.” Då var det ju egentligen synd att man investerade så mycket i utvärderingen när man inte tog till sig den kunskapen.

För att det ska vara värt att ta till sig kunskapen måste utvärderingen vara av bra kvalitet, naturligtvis. Det måste finnas en viss kvalitet i utvärderingen, men forskning på användning av utvärdering visar tyvärr att det är för många utvärderingar som ligger på hyllor runt om i Sverige och inte används. 

Maria Ringbo: Så, det är ett slutord. Att man tar vara på utvärderingens kunskap och för det vidare in i kommande projekt.

Ingrid Schild: Ja. En förutsättning är naturligtvis att det blir en utvärdering som håller en viss kvalitet och det är upp till utvärderaren. Utvärderaren kan anturligtvis påverka potentialen för användningen. Man har funnit att de här process- och deltagarutvärderingarna ofta är mer användbara än resultatutvärderingar. För som jag sa innan. “Vi har uppnått målen, så vi är nöjda.” Okej, klappa varandra på axeln. Next, liksom. Men, jag tror att man lär sig mer där man går in i processen och försöker förstå själva verksamheten, hur den fungerade och hur allt hängde ihop och med vad. Vad var det som ledde till vad? Sådana saker, så att man inte stirrar sig blind enbart på måluppfyllelse. Det är upp till utvärderarna att skapa en utvärdering som man faktiskt kan lära sig någonting av.

Maria Ringbo: Det får bli våra slutord. Tack så jättemycket Ingrid för det här samtalet.

Ingrid Schild: Tack själv. Det har varit superroligt. Kul att få prata om saker som man själv tycker är spännande.