En arg, arg AI

Ha i åtanke att teknikutvecklingen kring AI går väldigt snabbt och att mycket har hänt sedan den här artikeln publicerades. Innehållet och beskrivningarna av de övergripande utmaningarna tekniken för med sig har dock bedömts fortfarande vara relevant.

Vad händer om man låter en fyraåring hänga med sin tolvåriga storebror och hans kompisar under lång tid? Troligtvis får man se en spännande utveckling i både språk och beteendemönster hos lillkillen.

På samma sätt blir det om du tränar nästa generations språkteknologiska AI-modell, OPT-175B, genom att låta den språkbadas i bland annat Reddits forumsidor.

Scenariot ovan beskrivs på knastertorrt forskarspråk i företaget Metas rapport i samband med att de gör sin AI-modell tillgänglig för forskare och utvecklare. För dem, liksom för mig, som inte hänger med i alla de komplexa svängarna kring maskininlärning och algoritmer, finns en lättsammare och sammanfattande förklaring i Arthur Holland Michels twittertråd. 

Några guldkorn ur sammanställningen:

• “OPT-175B har en hög benägenhet att generera toxiskt språk och förstärka skadliga stereotyper.”
• “Den verkar uppvisa stereotypiska fördomar i nästan alla (kontroll)kategorierna utom religion.”

Och kanske allra roligast eller mest skräckinjagande:

• “Studien visar att OPT-175B kan skapa skadligt innehåll även när den förses med en relativt harmlös prompt att skriva efter.”

Kontentan är alltså att den AI som Meta nu släpper ut i världen för att användas och vidareutvecklas är motsvarigheten till ett snarstucket internettroll. Ve den användare som springer in i en automatisk chatbot som drivs av OPT-175B.

– Jag gillar Nalle Puh.

– Klart du gör, din äckliga lilla furry!

Jag raljerar givetvis men rapporten visar ändå på ett systemfel: om man tränar sina artificiella intelligenser i en toxisk miljö så kommer de att visa en högre benägenhet att uppvisa toxiskt beteende. Detta är i sig kanske inte ett problem om modellen bara används för forskning kring den språkgenererande tekniken. Tyvärr rör det sig i detta fall om en modell som andra kan bygga vidare på och vars beteende säkerligen kommer att kunna få genomslag i en mängd faktiska applikationer.

I sammanhanget är det ju också värt att komma ihåg att detta inte är första gången en AI baserad på en språkmodell löper amok och sprider hat och fördomar. En av de mer kända exemplen är väl Microsofts chatbot Tay (Thinking About You) som lanserades 2016 och fick stängas ner redan efter 16 timmar. Under den tiden hade den hunnit emulera de många användare som trollade den och levererat en mängd rasistiska, sexistiska, antisemitiska och i övrigt kränkande inlägg. Läs mer om Tay på Wikipedia.

Datorer är kassa på språk

För att få lite bakgrund till denna historia behöver man fördjupa sig lite i datorer och språk.

En dator kan ingenting på egen hand. Den måste först ges tydliga instruktioner för att kunna vara till hjälp. Språk har visat sig vara en av de saker som en dator har riktigt, riktigt svårt att ta till sig. En av anledningarna till detta är att språk oftast kommer med så mycket mer än bara ord som tillsammans bildar meningar. Språk bär kultur och bygger på en mängd gemensamma uttalade och outtalade regler, kunskaper, fördomar och så vidare.

Exempelvis får meningen “Du är grym” olika betydelser om det sägs av en försmådd kärlekspartner eller en tonåring som ser sin kompis göra parkourtricks. Datorer är inte heller bra på att ta in kontext, kulturella ledtrådar eller att ta hänsyn till avsändaren. All text bedöms som likvärdig och alla dubbeltydigheter är svåra för en dator att förstå.

Ett sätt att enkelt testa en dators språkförmåga är ett så kallat winogradschema (döpt efter professorn i datavetenskap: Terry Winograd). Ett winogradschema förser datorn med en mening och ställer ett antal frågor kopplade till pronomen och undersöker om datorn kan svara rätt. Genomgående för dessa meningar och frågor är att människor nästan alltid klarar av dem med lätthet medan datorer får kämpa. Ett exempel:

Exempelmening

De ansvariga vid Polismyndigheten vägrade ge demonstranterna demonstrationstillstånd för att de fruktade våld.

Fråga

Syftar de på demonstranterna eller de ansvariga vid Polismyndigheten?

För att korrekt kunna identifiera rätt svar krävs mer än språkregler. Det krävs en erfarenhet rörande vad och vilka polisen är och vad de gör samt en insikt om att demonstrationer ibland kan bli våldsamma.

Winogradschemat sätter alltså fingret på att språk allt som oftast innehåller mycket mer information än de faktiska orden.

Att göra datorer bra på språk är därför något det läggs stora resurser på. 2016 testades datorer med de allra mest avancerade språkmodellerna genom att de fick svara på en mängd frågor från ett winogradschema. Den bästa modellen hade 58 % rätt på frågorna – knappt bättre än att slumpmässigt gissa. Idag när samma test återupprepas har de bästa språkmodellerna upp mot 97 % rätt – en siffra som liknar ett normalt mänskligt resultat.

Språkteknologi

De första försöken att lära datorer språk gick ut på att lära dem mönster och regler för hur språk fungerar. Det misslyckades eftersom det helt enkelt finns för många, för spretiga, för osynliga och för intuitiva regler för hur språk fungerar.

Nästa steg var att låta datorer lära sig vad språk är på egen hand med hjälp av maskininlärning med neurala nätverk som stöd – det vill säga AI. Med kopiösa mängder skriftspråk som stöd är det tanken att dessa neurala nätverk ska kunna identifiera ord, språk och mening, steg för steg.

Arbetet i ett neuralt nätverk handlar om att skapa ett självlärande system där ingångsvärden matas in, filtreras genom ett antal filter som vart och ett har som uppgift att titta på något mycket litet och mycket specifikt och sedan slussa dem vidare. Utgångsresultatet jämförs sedan med ett facit och en återkopplingsloop går tillbaka genom alla filter och gör minimala justeringar i alla filtreringslager. Genom att upprepa den här processen om och om igen miljontals,miljardtals gånger lär sig det neurala nätverket att “känna igen” och att “förstå” vad som är vad och hur det ska användas. Även när det handlar om komplexa saker som språk.

Det är detta vi menar när vi pratar om språkmodeller.

För att träna dessa språkmodeller krävs det enorma mängder data för dem att öva på. En källa till sådan data är digitaliserade böcker, men med dessa kommer två problem: 1) Det finns inte tillräckliga mängder för att utgöra ett bra träningsunderlag.

2) Språk förändras ständigt så böcker som är ett eller två decennier gamla är inte lika gångbara.

Om en språkmodell i huvudsak tränas på språk som pratades och skrevs på 1990-talet  kommer den att vara sämre på att hantera språk från 2020-talet. En lösning på detta blir då att få tillgång till stora mängder skriven data som använder ett nutida språk. Ett sådant exempel skulle kunna vara populära forum som Reddit – eller för att använda en mer perifer och mer extrem svensk motsvarighet – forumet Flashback. På detta sätt skulle man kunna få tillgång till stora textmassor skrivna av människor idag. Och detta är alltså precis vad man har gjort i fallet med OPT-175B. Med detta har man då fått problemet att människor i den sortens forummiljö i högre utsträckning uttrycker sig till exempel rasistiskt, sexistiskt, raljant och nedlåtande. Och på samma sätt som med ingressens fyraåring lär sig språkmodellen “hur man skriver”.

Lär man verkligen datorerna att förstå språk?

Samtidigt med detta pågår en filosofisk diskussion. Vi pratar om att vi på detta sätt lär datorer att förstå språk – men är det egentligen det vi gör? Om vi med hård träning genom neurala nätverk kan träna en dator att spotta ut det korrekta språkliga svaret på varje givet stimulus – förstår den språk då? Är det verkligen förståelse vi pratar om när en dator kan svara på frågor eller skriva texter utifrån en kort instruktion? Eller handlar det bara om att utföra ett program? Denna problematik gäller alla datorer som utför sina instruktioner,  vilka dessa instruktioner än är. Kan våra intelligenta maskiner egentligen förstå någonting? Är de ens “intelligenta”? I detta sammanhang brukar man lyfta tankeexperimentet med det kinesiska rummet. Personer helt utan kunskaper i kinesiska befinner sig i ett rum med en lucka genom vilken frågor och svar kan lämnas utan att någon övrig kommunikation sker. Genom luckan lämnas det frågor skrivna på kinesiska som personerna då inte alls förstår. Personerna har dock en mycket noggrann men också mycket komplex instruktion som hjälper dem att avgöra vilka kinesiska tecken som ska sättas samman för att leverera ett svar. Vad de gör är att de bara mekaniskt följer instruktionen bit för bit tills de har ett svarsmeddelande fullt av kinesiska tecken. Förstår de svaren de lämnar ut? Svaret är givetvis nej. De förstår inte svaret trots att de följer instruktionerna och kan få det rätt varje gång.

Vad ska man med språkkunniga datorer till?

Anledningen till att det ändå läggs så mycket resurser på datorers förmåga att förstå, tolka och skriva text är att användningsområdena för detta är så många och så potentiellt lukrativa. Tänk bara på hur du själv säkert använt och kanske förvånats över hur skickliga nätets översättningsprogram börjar bli. Utöver detta uppenbara exempel finns det många andra:

Automatiserad kundtjänst

Att utveckla automatiserad kundtjänst eller rådgivning som kan förstå din fråga och ge dig relevanta svar på det du söker efter. Att på detta sätt kunna ersätta kadrer av människor är lockande för många företag.

Digital experthjälp/diagnostiseringsverktyg

En än mer avancerad kundtjänst är AI:n som kan agera som expert. Du ställer en fråga kring juridik, medicin eller dylikt och får ett svar av en AI som på ingen tid alls kan a) avkoda frågan, b) hitta kunskapen och c) formulera ett tydligt svar. Den sortens tjänst som direkt skulle göra en massa människor i idag ganska kvalificerade jobb, arbetslösa.

Ett misslyckat exempel på detta är IBS Watson som spåddes en lovande framtid som ett hjälpsamt diagnostiseringsverktyg till stöd för läkare, men som i slutändan inte kunde leverera. Målbilden är dock fortfarande kvar och arbetet fortgår. Skillnaden mellan en fungerande språkmodell och en sökmotor är att en specialiserad sökmotor skulle kunna gå igenom tusentals medicinska textböcker och forskningsartiklar på en sekund och rekommendera lämplig läsning som verkar nyttig för dig baserat på dina sökningar, medan en språkmodell i större utsträckning skulle kunna “förstå” den medicinska datan och hjälpa till att ställa en diagnos och uttrycka den i text.

Digitala journalister

Att utveckla digitala journalister som utifrån prompts kan generera artiklar på bestämda ämnen utifrån inmatad fakta. En tidning utan bråkiga journalister finns det säkert utgivare som drömmer om. För den som tycker det låter science fiction rekommenderas en AI-skriven artikel från the Guardian. Eller varför inte ett exempel ur vår egen verksamhet som illustreras på bilden nedan. Vi gav en konkurrerande språkmodell till OPT-175B en mycket begränsad prompt i form av den första meningen i fet stil, och bad den skriva ett stycke om Digiteket. Det resterande stycket är skrivet av språkmodellen. Faktamässigt stämmer det inte så bra då AI:n bokstavligen bara genererar text utifrån data den plockat från många olika källor och fyllt i luckorna. På ytan ser det dock ut som vilken engelsk informationstext som helst.

Data-mining

I Digitekets artikel i ämnet Artificiell intelligens möter KB:s stora samlingar lyfts ytterligare exempel på hur språkmodeller används för att analysera stora mängder text för att hitta mönster och mening. Exempelvis forskningsprojektet Mining for meaning: Den offentliga migrationsdiskursens dynamik, som “använder avancerade maskininlärningsmetoder för att analysera hur diskursen och uppfattningarna om migrationen förändrats över tid i olika befolkningsgrupper”.

Läsa, transkribera, sammanfatta

Till dessa exempel kan man givetvis lägga de otaliga pågående projekt där språkmodeller används för att läsa, transkribera och översätta handskrivna anteckningar ur historiska källor – något som exempelvis används inom släktforskningen.

Behöver jag vara rädd för den arga, arga AI:n?

Ja och nej, är väl det korta svaret. Det faktum att Meta (Facebook) i en rapport pekar på sin egen språkmodells brister visar ju på en medvetenhet om problemet, och det öppnar givetvis för möjligheter att lösa det med fortsatt utveckling. Den hastighet med vilken fältet utvecklas, som exemplifieras i artikeln ovan, talar ju också för att det troligtvis kommer bättre och förhoppningsvis mindre arga och snarstuckna språkmodeller snart. Samtidigt är det faktum att Meta ändå släpper ut sin arga AI i världen och att den i detta nu börjar användas för forskning och tillverkning av digitala resurser såklart oroande. Mångas förtroende för den digitala mediebranschen i stort och för Meta mer specifikt, beträffande deras förmåga att reagera på och hantera kränkningar och kränkande material, är lågt.