Begränsningar med generativ AI

Nu känner du till ungefär hur generativ AI fungerar. Men innan vi tittar på hur man använder den på ett effektivt sätt, kan det vara värt att titta på vad den har för brister och begränsningar. 

Hallucinationer

En av de mest omtalade svagheterna med stora språkmodeller är att de ibland hittar på svar. Det kallas för hallucinationer och kan bestå i att modellen exempelvis presenterar felaktiga eller påhittade uppgifter, ofta med ett självsäkert tonfall.

Till exempel så kan du få ett uppenbart felaktigt svar på en faktafråga eller så kan du be modellen om en källhänvisning till en studie och få ett svar som verkar trovärdigt med författare och publiceringsår. Men när du försöker leta upp källan visar det sig att studien aldrig har funnits.

Hallucinationer kan ha flera olika orsaker och vi ska titta på några av dem.

Ytlig statistisk förståelse

Du kanske minns att vi i förra kapitlet gick igenom att stora språkmodeller genererar sina svar ett ord i taget baserat på sannolikhet? Problemet är att denna metod sällan leder till en faktisk förståelse av ett ämne. Modellen förstår inte varför saker är som de är, bara att de ofta förekommer tillsammans. Detta gör den sårbar för felaktiga resonemang, särskilt i komplexa situationer. Eftersom modellen inte ”vet” vad den säger, kan den inte skilja på det som faktiskt är sant och det som bara låter sannolikt baserat på dess träningsdata.

Det här är en av de vanligaste orsakerna till att generativ AI hallucinerar. Bara för att ett visst svar har hög statistisk sannolikhet, så behöver det inte betyda att det är korrekt. 

Väldigt hjälpsam, men omedveten om sina brister

Minns du att vi i förra kapitlet pratade om att de stora språkmodellerna tränar sig själva att upptäcka mönster i sin träningsdata med hjälp av neurala nätverk? Det är däremot inte bara helt upp till språkmodellen själv att avgöra mönster. Utöver den grundläggande statistiska träningen finjusteras stora språkmodeller ofta för att bete sig på önskat sätt, till exempel genom att vara hjälpsamma, följa instruktioner och undvika skadligt innehåll. Detta sker ofta genom processer som kallas förstärkningsinlärning med mänsklig feedback (reinforcement learning from human feedback, RLHF), där mänskliga granskare ger feedback på modellens svar. Även om detta gör att modellerna upplevs som hjälpsamma och härliga att ha att göra med kan det ibland bidra till hallucinationer. Om modellen har lärt sig att alltid svara och vara hjälpsam kan den i situationer där den saknar korrekt information istället generera ett troligt, men inkorrekt, svar snarare än att säga att den inte vet.

Föråldrad kunskapsbas

Modeller tränas på stora textmängder men bara fram till ett visst datum. Det betyder att de inte känner till händelser eller förändringar som inträffat efter att modellen tränades klart. Till exempel: En AI som tränades 2023 vet inte vad som hände i valet 2024, vilka nya lagar som trädde i kraft, eller vilka nya vetenskapliga rön som publicerades därefter.

Nu för tiden har alla stora AI-tjänster integrerad webbsökning för att kunna hämta aktuell information som inte finns med i träningsdatan. Men den kommer inte alltid att göra det om det inte framgått tydligt från dina instruktioner att den ska göra det här. Däremot har alla tjänsterna ett manuellt läge som man kan aktivera, så att den alltid ska söka på webben för information. Det kan du se mer om i de senare kapitlen, där vi går in på specifika AI-modeller och hur man använder dem 

Om du använder en språkmodell för att plocka fram fakta som är aktuell gör du bäst i att dubbelkolla den med en annan källa också.  

Begränsat kontextfönster

Det här är egentligen inte en hallucination, men det kan upplevas som en sådan. I förra kapitlet pratade vi om hur en stor språkmodell får sin träningsdata som tokens (ord eller delar av ord)? En stor språkmodell kan bara ”minnas” en viss mängd information, alltså en specifik mängd tokens, under tiden den jobbar med en uppgift. Detta kallas för ett kontextfönster. Det här märks till exempel om du för långa samtal med en AI-chattbot. Saker du nämnde i början av konversationen faller bort, vilket kan leda till inkonsekventa eller repetitiva svar, och du måste ibland påminna modellen om vad ni redan gått igenom. Om en dialog blir för lång eller om du matar in ett mycket långt dokument kommer modellen att ”glömma” de tidigare delarna av konversationen eller texten. Detta hindrar den från att föra långa sammanhängande dialoger eller att göra djupgående analyser av mycket stora dokument.

Detta hanterar du bäst genom att starta en ny chatt när du märker att språkmodellen börjar tappa kontexten. 

Övriga brister

Vid sidan av sin tendens att hallucinera så har även stora språkmodeller en del andra brister som kan vara bra att känna till. 

Promptkänslighet

Stora språkmodeller är väldigt responsiva till hur du formulerar dina instruktioner. Detta är egentligen en väldigt stor fördel, eftersom du verkligen kan finslipa och få exakt det resultat som du vill ha. Men inledningsvis kan det upplevas som väldigt frustrerande av nya användare, eftersom de inte förstår varför de får så pass olika resultat när de ger nästan identiska instruktioner. Små förändringar i hur du formulerar en fråga eller till och med ett extra mellanslag kan påverka svaret från modellen på oväntade sätt. Detta beror på att språkmodellen reagerar känsligt på hur din instruktion exakt ser ut. 

Till exempel kan en instruktion som ”Sammanfatta den här artikeln kort” ge ett helt annat resultat än ”Kan du skriva en kort sammanfattning av artikeln?” Trots att det i praktiken betyder samma sak. Orsakerna till det här är ganska invecklade, men lite förenklat kan man säga så här: Eftersom språkmodellerna är tränade på att känna igen mönster, så innebär det att även väldigt små variationer i hur du uttrycker dina instruktioner kan trigga olika sorters mönsterigenkänning hos språkmodellen. 

Det bästa sättet att hantera det här problemet är helt enkelt att acceptera att du kommer att få olika typer av resultat beroende på hur du uttrycker dig. Du får testa dig fram i hur du uttrycker dig själv när du är ute efter ett väldigt specifikt resultat.

Svårt för matematik och logiska resonemang

Trots sin förmåga att bearbeta text imponerande väl, har stora språkmodeller ofta en svag matematisk och logisk förmåga. De kan ha svårt med flerstegsproblem, komplex aritmetik eller logiska pussel. De är inte utvecklade för att agera som kalkylatorer eller logiska processorer, utan som språkgeneratorer. Även om modeller blir bättre, kan de fortfarande ha svårt med komplexa instruktioner som innehåller flera led (”Berätta inte om X, men nämn Y utan att inkludera Z”). Modellen kan missa en del av instruktionen, särskilt om den är lång eller invecklad, och därmed ge ett svar som går emot en specifik begränsning som användaren har satt upp. 

De senaste modellerna har blivit betydligt bättre på det här. De har fått inbyggd förmåga att ”tänka igenom” ett problem innan de svarar, vilket märkbart minskar antalet fel i matematik och logiska resonemang. Begränsningen finns kvar, men den är inte lika påtaglig som den var.

Bristande träningsdata

Det är viktigt att känna till att stora språkmodeller fungerar bäst på språk och ämnen som är välrepresenterade i träningsdatan. För språk som talas av få, eller för smala fackområden, blir resultaten ofta sämre. En modell kan skriva insiktsfulla texter på engelska om klimatpolitik, men har svårt att formulera sig på nordsamiska eller förstå detaljer inom svensk förvaltningsrätt. Det beror inte på ovilja utan på att det helt enkelt inte fanns tillräckligt med exempel i datan den tränades på.

Om träningsdatan innehåller stereotypa, orättvisa eller felaktiga representationer av människor, grupper eller fakta, kommer AI-modellen att lära sig och återspegla dessa fördomar i sina svar. Detta kan leda till svar som är partiska, diskriminerande eller helt enkelt felaktiga ur ett etiskt eller faktamässigt perspektiv. Även om modellen statistiskt sett ”genererar det mest sannolika” svaret baserat på datan. En modell kan till exempel föreslå manliga jobb i ett svar om ingenjörer om den bara sett manliga ingenjörer i träningsdatan, eller ge en felaktig bild av en viss kultur om träningsdatan bara representerar en snäv syn på den.

Det här problemet är tyvärr väldigt svårt att komma runt. De flesta stora språkmodeller utvecklas idag av engelskspråkiga företag, främst i USA, och tränas i stor utsträckning på engelskspråkig data.

Skillnaden mellan traditionell sökning och generativ AI

Till sist kan det vara värt att prata lite grann om vilka brister generativ AI har använt som sökmotor. Det är lätt att blanda ihop generativ AI med traditionella sökmotorer, men de fungerar på helt olika sätt.

En traditionell sökmotor, som Google, letar efter dokument eller webbsidor som matchar din sökfråga. Du får en lista med länkar som du själv får granska och bedöma. Den ger dig vägar till information och du får använda ditt eget förnuft för att hitta det relevanta svaret … efter att du har vadat genom ett träsk av reklam och sponsrat innehåll. 

En generativ AI däremot genererar ett direkt svar på din fråga. Den hämtar inte svaret från en enskild källa utan skapar det genom att generera innehåll utifrån sin träningsdata. De flesta stora AI-tjänsterna, som ChatGPT och Gemini, kommer också att söka på nätet när du frågar om något som berör aktuell information eller som den bedömer att den behöver information utöver sin träningsdata för att svara på. Du kommer då att få källhänvisningar, men svaret den ger dig är en sammanfattad version av information och du vet inte alltid exakt varifrån informationen kommer.

Fördelarna är tydliga: det går snabbt, det är tillgängligt och du slipper klicka dig igenom flera sidor för att hitta svar. Men nackdelen är att du som användare måste vara vaksam. Det finns ingen garanti för att svaret är korrekt och ibland saknas källhänvisningar.

Om du är intresserad av att använda AI för informationssökning och informationshantering så finns det mer specialiserade tjänster som är lämpliga att använda, såsom Perplexity och NotebookLM.