Om Mathias Sundin, AI-risk och Lex Luthor

Det här är ingen recension av Mathias Sundins pinfärska bok Kentaurens fördel: Så tänker, skriver och kommunicerar du bättre och snabbare med ChatGPT. En sådan är jag inte i stånd att skriva, eftersom det endast är bokens avslutningskapitel "Är AI så farligt att vi inte ens ska använda det?" jag läst från början till slut; resten har jag på sin höjd skummat. Det är i detta slutkapitel jag här skall dyka ned, och specifikt i hur Sundin i kapitlet tillskriver mig ståndpunkter jag inte omfattar och aldrig har yttrat. Sådan vantolkning har jag alltid varit en smula allergisk mot, och jag vill redan nu varna känsliga läsare för att en lite tråkig ton därför kan komma att smyga sig in i min följande redogörelse.

Men innan dess, låt mig trots allt ge mitt hastiga intryck av boken som helhet. Böcker om hur man använder den nya AI-tekniken för diverse kontorssysslor och andra arbetsuppgifter kan gott ha ett värde, även om det snabbt börjat bli överfullt på marknaden för dem, samtidigt som halveringstiden på de insikter som levereras kan väntas bli osedvanligt kort till följd av hur rasande snabbt tekniken ifråga går framåt. Att döma av kvaliteten på argumentationen i slutkapitlet (liksom i det meningsutbyte i Aftonbladet Sundin och jag hade i april i år) har jag dock inga större förhoppningar om att boken skall erbjuda några klokskaper som får den att på något positivt sätt sticka ut från mängden. Den 148-sidiga texten ger intryck av att ha knåpats ihop inom loppet av cirka en arbetsvecka, och jag vill låta det vara osagt huruvida detta bör ses som ett belägg för eller emot författarens tes om hur effektivt ens skrivande kan bli då man tar hjälp av ChatGPT.

Så till hur jag dyker upp i handlingen, i ett slutkapitel som annars mest äganas åt att svartmåla och vantolka Max Tegmark. Så här heter det på s 128:

[I]ngen vet hur man bygger AGI. Vi har faktiskt ingen aning om hur man gör det och när det är möjligt. Trots att ingen har den blekaste aning om hur, oroar sig dessa personer för att det kommer att ske snart. En av de ledande rösterna i Sverige, professor Olle Häggström, menar att det kan komma att ske redan med nästa version av ChatGPT, version 5. I scenariot är det inte AI:n själv som utplånar mänskligheten, utan en ondskefull superskurk som Lex Luthor som gör det med hjälp av AI. Ja, han säger faktiskt precis det.

Att ingen vet säkert exakt hur AGI¹ kommer att utformas eller kan ge exakt svar på när det är att vänta är såklart sant, men Sundins tal om att "ingen har den blekaste aning" är gravt tendentiöst, och det är synd att han undlåter att nämna exempelvis de idéer som får företrädare för ledande AI-labb som OpenAI och Anthropic att tala om tidslinjer till AGI som håller sig väl inom innevarande decennium (2020-talet).² Detta är så typiskt för den mix av glidningar, halvsanningar och rena sakfel som slutkapitlet i Kentaurens fördel består av att jag inte reagerar med så mycket mer än en trött suck, men värre är när författaren börjar ljuga om mig personligen - då får jag svårt att hålla tillbaka min vresighet.

Superskurkar som Lex Luthor finns som bekant inte i verkligheten utan bara i DC:s och Marvels serietidningsuniversa och i liknande fiktiva sammanhang. Ack om det vore så väl att min och andras oro för en nära förestående AI-katastrof byggde på vanföreställningen att dessa superskurkar finns i verkligheten. Då skulle det såklart vara lätt att avfärda denna oro. Men nej, det Sundin här påstår om mig är såklart inte sant.

Vad som däremot är sant är att jag i en rad föredrag i våras tillgrep ett tankeexperiment inbegripandes en superintelligent Lex Luthor.³ När jag gjorde det var jag ständigt noga med att betona att det inte rörde sig om någon förutsägelse eller ens om ett plausibelt framtidsscenario, utan just om ett tankeexperiment. Avsikten med tankeexperimentet var att bemöta den annars kanske frestande intuition som går ut på att AI-system som exempelvis GPT-4 inte rimligtvis kan sätta igång någon AI-apokalyps, vilken ju skulle kräva ett direkt ingripande i den fysiska världen, i motsats till vad dessa AI-system förmår som ju inte gör annat än att producera text. Eftersom det för många är lättare att föreställa sig hur en människa medelst social manipulation och annat tillskansar sig makt, än att tänka sig en AI göra samma sak, fann jag parallellen till en Lex Luthor begränsad till enbart språkhandlingar vara ett användbart pedagogiskt redskap för att undergräva denna felaktiga intuition.⁴ Och det var inte bara i föredrag jag använde mig av detta redskap, utan vid minst ett tillfälle också i samtal med en journalist, vilket framgår av följande passage i en DN-artikel den 31 mars i år.

Men hur skulle då en superintelligens som i grunden är en språkmodell, kunna hota mänskligheten? Häggström ber oss göra ett tankeexperiment med en superskurk som till exempel Stålmannens ärkefiende Lex Luthor, som på något vis uppnår superintelligens. Kan han, med endast en laptop och internetuppkoppling, ta över världen?

– Ju mer man tänker på det sättet desto mer inser man att det är nog faktiskt inte är så svårt. Om han utnyttjar sin superintelligens till att överlista aktiemarknader för att skapa ett ekonomiskt imperium, och kan gå igenom olika brandväggar som han vill, kanske till och med ta över militär teknologi den vägen. Men han har också övertalningsförmågan, eller förmågan till social manipulation.

Så när som på den första meningen citerar Sundin hela denna passage på s 140-141 i sin bok, varefter han gör följande reflektion:

Att det finns sådana galningar till människor ifrågasätter jag inte. Men AI:n ska alltså vara så superintelligent att den utan större problem kan ta kontroll över mänskligheten, men ändå vara dum och lydig nog att följa sin Lex Luthor-husse. Denne Lex Luthor has alltså löst problemet (som Tegmark, Häggström med flera menar i det närmaste olösligt) med hur man har kontroll över en superintelligent AI, men av någon anledning är det ingen annan som har det.

På detta har jag två reflektioner:

• Nej, nej, nej, någon superintelligent AI figurerar överhuvudtaget inte i det tankeexperiment jag återgav i mina föredrag och i den citerade DN-intervjun. Det är Lex Luthor själv som är superintelligent, och det är med sin egen blixtrande superintelligens han tänker ut hur han skall erövra världen - inte med någon AI:s. Och därför behöver han inte lösa det problem Sundin snuddar vid i den sista meningen, och som brukar kallas AI Alignment: att se till att AI:n har mål och värderingar som får den att agera som vi önskar.
• Nej, nej, nej, för bövelen, jag har aldrig hävdat att AI Alignment är "i det närmaste olösligt" - och det stämmer även ytterst illa med min bild av Max Tegmarks ståndpunkter. Vad däremot både Max och jag är bekymrade över är att färden mot AGI börjat gå med sådan rasande hastighet, samtidigt som AI Alignment-forskningen går betydligt trögare, att risken är stor med nuvarande AI-kapplöpning att vi inte hinner lösa AI Alignment i tid. Se s 364-366 i bonuskapitlet till min bok Tänkande maskiner för en ödmjuk och balanserad diskussion om AI Alignment-problemets svårighetsgrad.

Det finns fler underligheter i Sundins avslutningskapitel som jag skulle kunna påpeka, men jag nöjer mig så här. Och i och med att han är en person jag gärna vill hålla mig väl med - nyligen invald i regeringens AI-kommission har han hux flux blivit ett betydelsefullt namn i AI-Sverige - hoppas jag att han tar mina påpekanden med glatt jämnmod, präglat av insikten att ansvaret för de felaktigheter som uppdagas i hans bok ligger 100% på honom och 0% på budbäraren.

Fotnoter

1) Artificiell generell intelligens. Jag har förr ofta använt detta begrepp i tal om framtida avancerad AI, och väljer att göra detsamma här eftersom Sundin gör det, men se s 321-323 i det gratis nedladningsbara bonuskapitlet till den nya upplagan av min bok Tänkande maskiner för en redogörelse för varför jag på sistone kommit att betrakta begreppet som så problematiskt att det egentligen helst borde undvikas.

2) Se exempelvis Dwarkesh Patels djuplodande intervju med Anthropics VD Dario Amodei från augusti i år.

3) Sundin var närvarande vid minst ett av dessa föredrag, nämligen det som ägde rum i Lund den 23 maj i år.

4) Den som önskar en detaljerad redogörelse för argumentet kan finna en sådan i den passage som varar cirka 13:20-16:20 i det videoföredrag om ChatGPT och AI Alignment jag postade här för ganska exakt ett år sedan, den 16 december 20222.