Källkritik och koll på läget som motvikt när AI-slask riskerar att ta över

När internet svämmar över av AI-slask – syntetiskt, AI-genererat material – lever källor en undanskymd tillvaro och fakta riskerar att tas för givet. I den här intervjun resonerar Olof Sundin, professor med ett stort intresse för information och samhällsfrågor, med Digiteket om källkritiken av idag. Hur kan förändringarna påverka, men också mötas av, biblioteken?

När informationsflödet genomsyras av AI-genererat material skapas många förändrade förutsättningar för oss att hitta och använda information. Informationen som vi möter i vår vardag, på fritiden och på jobbet eller i skolan, blir som bekant knappast mindre, eller mindre svårhanterad, med tiden. Att inte kunna möta de problem som exempelvis vilseledande information skapar, leder till konsekvenser som drabbar både individen och samhället. Källkritik behövs för att vi ska kunna lita på olika tillvägagångssätt för att sålla, prioritera och värdera – och faktum är att mycket av den traditionella källkritiken fortfarande är gångbar. Men den behöver kompletteras.

Olof Sundin är professor i biblioteks- och informationsvetenskap vid Lunds universitet. Han forskar om hur information kontrolleras i samhället och har ett särskilt intresse för desinformation. Förra året kom han ut med boken Källkritik: människor, teknik och samhälle, som går igenom källkritikens utveckling och grunder. Den behandlar bland annat områden som sökmotorer, sociala medier, generativ AI, samhällets förväntningar och källkritikens roll i Sverige.

Källkritik beskrivs ofta som en metod för att fastställa om en källa innehåller sann eller falsk information, men i den här boken ses källkritik snarare som ett sätt att värdera om en källa är trovärdig eller inte, och den bidrar till förmågan att agera genom att välja, vara försiktig och välja bort. I boken inkluderar källkritik även en förståelse för hur information hittas, samt när vi bör kunna lita på källor och inte enbart ifrågasätta dem. 

Olof Sundin påpekar i boken att det är en utmaning att göra en bok om källkritik som inkluderar en förståelse för data, algoritmer och utmaningar från generativ AI, och samtidigt göra boken hållbar över tid. Digiteket bad därför Olof Sundin att berätta mer om källkritiken av idag, med ett särskilt fokus på folkbiblioteken när det gäller generativ AI och internet. Hur påverkas folkbiblioteken och bibliotekariernas arbete? Hur tacklar man den förändringen?

Källkritik och generativ AI

Vi vet att generativ AI för med sig flera olika utmaningar vad gäller källkritik. Olof Sundin lyfter i boken bland annat hur en AI-påverkad, digital infrastruktur fungerar med mängder av syntetiskt, alltså AI-genererat, material där källor blir allt mer osynliga. Källkritik är en fråga som också ges mycket utrymme i Sverige, både i skolan och i samhällssamtalet. Hur människor hittar källorna pratas det däremot inte lika mycket om. Olof Sundin kallar det perspektivet för sökkritik – förståelsen för och kunskap om varför vi möter den information vi gör i den digitala infrastrukturen.

– Under ett par-tre år har många av oss testat och lekt med applikationerna inom generativ AI, alltså olika språkmodeller som ChatGPT, och vi har fascinerats och kanske skrämts av dem av olika skäl. I allt större utsträckning byggs också generativ AI in i andra tjänster. Ett exempel är sökmotorer som Google Overview, och motsvarande för andra redan existerande tjänster, säger Olof Sundin.

I webbaserade sökmotorer, och även många forskningsdatabaser, är det nästan omöjligt att kringgå de AI-genererade sammanfattningarna som användaren serveras överst.

– Tanken är att sammanfattningen ska förenkla, men den bidrar också till ett slags beslutsfattande och bidrar till det osynliga beslutsfattande som AI står för. Sammanfattningarna blir en slags automatisering av analysen av innehållet du söker efter. Som användare “slipper” du att göra den egna analysen, du “slipper” att stöta och blöta var innehållet kommer från, vilket perspektiv det har och vilken trovärdighet, säger Olof Sundin och fortsätter:

– Istället får du en sammanhängande text som i regel är förhållandevis välskriven eftersom generativ AI är tränad i att ge sammanhängande svar. Och det även i de fall då det inte nödvändigtvis finns ett sammanhängande svar.

RAG, Retrieval Augmented Generation

Tekniken kallas RAG, Retrieval Augmented Generation och den kombinerar informationssökning med textgenerering, vilket bland annat innebär en slags sammanfattning av innehållet från de översta länkarna.

– Språkmodellen funkar så att RAG ska ge dig ett övertygande och välformulerat svar som dessutom är artigt formulerat. Det stryker dig också medhårs genom att uttrycka något i stil med ”vilken utmärkt bra fråga”. Men svaret är i sin tur beroende av, utöver AI-modellen som sådan, de källor som svaret genereras utifrån. En av utmaningarna med den här tekniken är att de underliggande källorna tenderar att bli osynliga för oss användare. 

Eftersom sökmotorn som hämtar informationen saknar omdöme blir inte heller resultatet särskilt bra om de källor som hamnar överst är av dålig kvalitet, eller till och med är resultat av en påverkanskampanj. Och generativ AI:s osynliggörande av källor kan medföra flera olika problem. Ett av dem är att det blir svårt att bedriva källkritik när källorna osynliggörs.

– Ett annat problem är ekonomiskt, genom att trafiken till olika webbplatser minskar då många människor nöjer sig med det AI-sammanfattade svaret. Man går inte vidare via någon av länkarna, och det får enorma konsekvenser. 

En av utmaningarna med den här tekniken är att de underliggande källorna tenderar att bli osynliga för oss användare. 

Ytterligare ett problem handlar om att ju mer osynliga källorna är för oss användare, desto mindre kunskap utvecklar vi om källor, betydelsen av olika genrer och hur olika källor relaterar till varandra. Istället förmedlas en syn på kunskap som att den alltid är objektiv, okomplicerad fakta.

– När analysen av källorna automatiseras är risken att människor utvecklar en känsla av att inte behöva fundera på de underliggande källorna och vilka de är. Utan att vara forskare inom kognition tänker jag mig ändå att det på sikt kan försämra våra kognitiva kapaciteter. Hela idén med källkritik är ju uppbyggd kring en tradition av att vi har publikationer och dokument, vi vet att det finns upphovspersoner, institutioner, förlag och en massa sådana möjligheter som kan bistå oss att värdera innehållet i en källa. Om vi inte går in i källan utan nöjer oss med den ytliga AI-sammanfattningen så tappar vi både förmågan och kunskapen, men kanske också intresset för, att bedriva källkritik.

Olof Sundin lyfter ett exempel: hur AI byggs in i skolbibliotekskatalogtjänster i USA.

– Detta ska bidra till att anpassa katalogerna efter den nuvarande amerikanska administrationen och dess syn på vad som är acceptabelt att finnas på skolbibliotek. Argumentet är att detta ska bidra till att hjälpa bibliotekarierna att identifiera så kallad kontroversiell litteratur, men det är tydligt att det är ett beslutsfattande som också bidrar till att upprätthålla en viss typ av censur. Det är skrämmande, men också viktigt att lyfta. Även om just detta inte finns i Sverige så är det ett exempel på hur beslutsfattande byggs in i system. Samtidigt är det svårt att peka på eftersom det blir osynligt för användaren hur besluten tas.

Tillit till källor

En central aspekt av källkritik är källtillit. Med källtillit menas att i rimlig utsträckning lita på källor som bygger på erkända och transparenta metoder för att producera exempelvis nyheter eller forskning. 

– Källkritik behöver användas i relation till den information som hittas av algoritmernas prioriteringar. Källkritik handlar också om en förståelse för när det faktiskt är rimligt att lita på information vi möter. Källtillit är inte ett alternativ till källkritik, utan en aspekt. Vem är det som talar egentligen? Hur fungerar kvalitetsjournalistik? Hur noggrant arbetar biblioteken med sina urval av litteratur eller tillgång till databaser?

När generativ AI-teknik skapar enorma möjligheter för oseriösa aktörer att publicera texter i olika genrer ökar behovet av att kunna sätta tilltro till traditionella aktörer och institutioner. Förutsättningen är att dessa arbetar på ett sätt så att de förtjänar tillit. Bibliotek är en av de institutioner som i ännu större utsträckning än idag kan fungera som kvalitetsstämpel för olika innehåll, menar Olof Sundin.

När generativ AI-teknik skapar enorma möjligheter för oseriösa aktörer att publicera texter i olika genrer ökar behovet av att kunna sätta tilltro till traditionella aktörer och institutioner.

– Folkbiblioteket tilldelas en hög grad av tillit av medborgarna. Det är ett fantastiskt kapital. Och det är ju naturligtvis inte något som är kommet från Gud, utan den tilliten har biblioteken skapat under många års arbete. Att vara en institution som människor hyser en hög grad av tillit till blir ännu viktigare i samtiden och framtiden. Det kommer att bli ännu svårare att kunna avgöra om bilder, filmer, texter och ljud faktiskt stämmer med vad det utger sig för att vara, eller om det bara är påhittat. 

Biblioteken kan vara en av dessa oaser där man ändå på något vis kan stå för ett trovärdigt innehåll tillsammans med exempelvis kvalitetsjournalistik, menar Olof Sundin. 

– Man måste dock sköta och upprätthålla tilliten. Det är inte något som alltid finns där, utan det gäller att ha koll på sitt urval och sin beståndsutveckling, men också på att upprätthålla sin egen expertis i de här frågorna. 

Beståndet och tjänster

Utgångspunkten är att allt ansvar självfallet inte kan läggas på biblioteken och medborgarna för att klara utmaningarna. Samhället behöver ställa krav på aktörerna i branschen.

 – Källkritik räcker inte för att hantera utmaningar med AI och risken för att vilseledande information sprids. Detta är också politiska frågor som kräver lagstiftning och en typ av konsumentskydd. Exempelvis behövs lagstiftning på europeisk nivå, som Digital Service Act. 

Olof Sundin understryker dock betydelsen av att biblioteken har kontroll.

– Mer än någonsin behöver medborgare veta att biblioteket har kontroll på sina samlingar, säger Olof Sundin och fortsätter:

– Bokmarknaden har redan exploderat av AI-genererad litteratur. AI-slop, alltså AI-genererat skräp, är det grundläggande att biblioteken har koll på. Det är av stor betydelse att bibliotek har kontroll över sitt bestånd, över inköp och utveckling. På vilka grunder köper man in böcker? Vad väljer man att inte köpa in? Kontrollen kan också handla om att man inte utan mycket reflektion outsourcar inköpen till företag. Att man som medborgare kan veta att biblioteket har koll på sina samlingar blir så oerhört viktigt för att bibliotek även i framtiden ska vara en tillitsfull aktör i samhället.

För bibliotekens räkning är det också viktigt att våga avvakta och kanske också säga nej till inköp av digitala tjänster. Snarare än att vara på tå och hoppa på erbjudanden behövs en viss tröghet. Ett problem är att det många gånger är svårt att välja bort funktioner. På akademiska bibliotek är det forskningsdatabaser det handlar om, och med dem kommer AI-genererade sammanfattningar när man söker efter resultat, vare sig man vill eller inte. 

AI-slop, alltså AI-genererat skräp, är det grundläggande att biblioteken har koll på.

–  Man ska ha klart för sig att det sker så enormt stora ekonomiska investeringar i AI-produkterna, och företagen kommer att vilja trycka ut dem till kunderna. Där det är möjligt behöver man verkligen föra en diskussion lokalt om en viss tjänst är något man vill ha eller behöver? Det är också en balans mellan efterfrågan från besökare och beslut, och den balansen är den klassiska utmaningen för folkbibliotek. Ska man tillmötesgå människors direkta önskemål eller ska man också ha ett slags upplysningsideal i sin verksamhet? Köper man inte in en tjänst eller produkt måste man förstås också kunna argumentera för det. 

Självklart finns det mycket stöd att hämta ur, och möjlighet att göra fantastiska saker med, generativ AI. Man måste dock även fundera på konsekvenserna, betonar Olof Sundin.

– Det gäller att aldrig se en AI-modell som någon slags ersättning för en databas. Sen går tjänsterna ihop allt mer, som jag exemplifierade med Overview. Jag kan tänka mig att bibliotekskataloger snart också kommer att erbjudas, om de inte redan gör det, med RAG-tekniken.

Synliggöra automatiseringar

Till bibliotekariernas utmaningar, och de källkritiska utmaningarna, hör att synliggöra automatiseringarna som görs och som kommer att göras. Det gäller i bibliotekariernas eget arbete men också i arbetet gentemot låntagarna, menar Olof Sundin. Han påpekar att bibliotekarier alltid har haft stor kunskap om allt från hur bokmarknaden fungerar och cirkulerar till sökmotorer. Nu bör kunskapen även innefatta en kritisk förståelse av generativ AI, och det är en utmaning att följa utvecklingen.

– Det går väldigt fort. Det är viktigt att man upprätthåller någon slags expertkunskap också på rätt område. När det gäller en arbetsplats kan inte alla vara uppdaterade om samma saker, även om alla behöver ha en grundförståelse, utan man får ha en arbetsdelning där de med störst intresse och kunskap fortsätter att vidareutveckla kunskapen. 

Snarare än att vara på tå och hoppa på erbjudanden behövs en viss tröghet.

Den grundläggande förståelsen för källkritik är fortfarande aktuell.

– Det är verkligen inte så att det bibliotekspersonalen kan är passé. Däremot måste den traditionella bibliotekarieexpertisen appliceras också på AI-teknik, och en kritisk förståelse måste skapas för hur AI-tekniken kommer att influera den traditionella expertisen. Bibliotekarier måste ha råg i ryggen nog att tro på den egna expertisen och samtidigt utveckla den. 

Vad gäller utvecklingen inom generativ AI är den icke-transparent och svår att förstå. Där får man ta del av andras analyser i dagsmedia eller i specialmedia. 

– Alla har ett ansvar att uppdatera sig inom sitt yrke och sitt kunskapsfält. Men det måste ju finnas förutsättningar för det också.

Biblioteken kan i stor utsträckning bidra till att stärka människors självständighet i den digitala infrastrukturen och människors kritiska förståelse för AI och AI-tjänster.

– Jag menar självständighet i form av att förstå vad det är som faktiskt sker och hur det påverkar en. En del av detta är att inte enbart prata om AI-modeller i största allmänhet eftersom de är väldigt specifika. Det finns olika modeller och olika applikationer som är tränade på olika typer av texter och modererade genom olika typer av finjustering och kan vara utvecklade för att undvika en viss typ av svar. Det är viktigt att förstå potentialen som finns att påverka folk genom att, så att säga, skruva på vissa knappar så att man får en viss typ av innehåll lättare. 

Olof Sundin exemplifierar med hur den amerikanska administrationen sätter press på AI-företagen för att de inte ska få inkludera en viss typ av innehåll i sina svar. 

– Situationen är oerhört mycket mer kritisk i USA. Men det gäller att vara på sin vakt. Att förstå vad som händer och kunna bistå människor att bedriva sitt informerade medborgarskap, det är en viktig demokratisk utmaning i framtiden.

Klassisk bildning

I balansen mellan utbildning och bildning så har folkbiblioteken, enligt Olof Sundin, alltid befunnit sig någonstans mitt emellan. 

–  Det gäller att inte tappa bort den dubbla rollen och även bildningsaspekten i en mer klassisk bemärkelse. Det pedagogiska arbetet ska inte förvandlas till att biblioteken blir marknadsförare av olika AI-tjänster och bara lär ut hur man promptar på bästa sätt.