Om kentaurschack

Igår skrev jag i Expressen om AI, arbetsmarknad och det så kallade människan i loopen-idealet. En central fråga är den om huruvida det finns någon vettig plats för människan i en process med AI-system som blivit bättre än vi på vad det nu är som skall göras. Ett populärt exempel att lyfta fram för dem som vill besvara frågan jakande har varit det så kallade kentaurschacket, vilket jag omtalar i artikeln:

Då AI överträffar mänsklig skicklighet kan vi [...] fortfarande hoppas att kombinationen människa plus AI ska visa sig mer kapabel än AI ensam. AI-entusiasternas paradexempel på detta var länge schack. Sedan mänskliga stormästare visat sig vara chanslösa mot de bästa schackprogrammen började man experimentera med spelformen kentaurschack, där mänskliga spelare fick lov att konsultera ett schackprogram innan de utförde sina drag. Så länge teamet människa plus maskin var bättre än maskinen ensam var spelformen intressant, men intresset kollapsade i slutet av 2010-talet då det blev snudd på omöjligt att överträffa en motståndare som valde att slaviskt följa datorns rekommendationer.

1997 förlorade den dåvarande schackvärldsmästaren Garri Kasparov en uppmärksammad match mot IBM:s schackprogram Deep Blue, och det var då kampen mellan människa och maskin på schackets område ansågs avgjord. Redan året efter lanserade Kasparov i en uppvisningsmatch mot stormästarkollegan Veselin Topalov det som senare kom att kallas kentaurschack, där alltså två mänskliga spelare med tillgång till schackprogram som de har rätt att konsultera under spelets gång ställs mot varandra. Spelformen fortsatte i nära två decennier att röna ett visst intresse, men i takt med att datorprogrammen blev allt spelstarkare närmade sig spelformen en kris: hur länge skulle den mänskliga komponenten i beslutsfattandet visa sig ha något att tillföra?

Så länge kombinationen människa plus maskin var starkare än maskinen ensam var spelformen intressant, och AI-propagandister kunde anföra kentaurschacket som ett exempel på hur människan kan förbli relevant även i närvaro av överlägset kapabla AI-system. Men det som tycks ha blivit den sista internationella kentaurschacksturneringen spelades 2017, varpå intresset i tysthet kollapsade. Jag har varit i kontakt med en av de ledande organisatörerna av kentaurschackturneringar, och han bekräftar min bild av att orsaken till det kollapsade intresset är att det inte längre verkade finnas något konstruktivt för den mänskliga parten i ett kentaurteam att bidra med. (Att till slut alla partier oundvikligen verkade sluta i remi bidrog också till att de sista entusiasterna ledsnade.)

Det ligger i sakens natur att ett vikande intresse för vad det nu må vara inte alltid dokumenteras explicit, och detta verkar vara fallet specifikt för det som hände med kentaurschacket 2017-2018. Och just detta bidrog antagligen till att en del av de oförväget optimistiska AI-debattörer som spred budskapet "Framtiden är ljus! Se på kentaurschacket!" inte observerade att tiden sprungit ifrån dem utan fortsatte med sina glada besked som om inget hade hänt. Den i Sverige ledande företrädaren för denna inobservanta falang är otvivelaktigt Mathias Sundin, i kraft av dennes bok Kentaurens fördel från 2023 (här är ett relevant utdrag). Jag hoppas att han i ljuset av det jag här meddelar kommer att korrigera sin kentaurschacksretorik, men med tanke på den inte alltför imponerande nivå av argumentativ stringens och hederlighet han hittills uppvisat (och som jag sett mig föranledd att kommentera här, här och här) håller jag inte andan.

AI-kommissionens rapport är bättre än väntat

Den svenska regeringens AI-kommission, som sjösattes i december förra året, är redan färdig med sitt uppdrag! I direktiven ingick bland annat att föreslå hur

Sverige som ledande forskningsnation, avancerad industrination och ambitiös välfärdsnation bättre ska tillvarata möjligheterna och hantera riskerna med AI

och att

identifiera prioriterade internationella insatser och lämna förslag till hur Sverige kan agera proaktivt och samordnat vid framtagande och utveckling av internationella policyer och regelverk för AI.

Kommissionens rapport överlämnades vid en pressträff i tisdags (den 26 november), där deras ordförande Carl-Henric Svanberg bjöd på en längre föredragning, efter att ha avslöjat några av huvuddragen i en artikel på DN Debatt dagen innan.

Rapporten är en positiv överraskning, i förhållande till mina förväntningar som var ytterst lågt ställda efter lanseringen av kommissionen förra året, då Svanberg enligt TT:s rapportering meddelat att "Vi måste avmystifiera AI" med tillägget att "kommissionen måste balansera faror och positiva aspekter på området, där [...] det generellt blir väl mycket larmrapporter". Som kronan på verket framhöll han att "AI är varmt. Det är kärlek och empati", vilket väl inte är vare sig särskilt väl skickat som avmystifiering eller någon alldeles lyckad utgångspunkt för den som har ambitionen att "balansera faror och positiva aspekter". En ytterligare bidragande orsak till mina låga förväntningar stod att finna i kommissionens inte helt välbalanserade sammansättning, med AI-riskförnekaren Mathias Sundin som det namn som stack allra mest i ögonen.

Men som sagt, resultatet blev bättre än väntat. Ett första lackmustest är i vilken mån de förstått vilken exceptionellt snabb och omvälvande utveckling vi står på tröskeln till, och på denna punkt ger jag dem betyg 3 (på den gamla goda 5-gradiga skalan). Att de insett brådskan så till den grad att de såg till att fullgöra uppdraget på just under 12 månader, att jämföra med den 18-månadersdeadline som stipulerades i uppdraget, är ett mycket gott tecken. Detsamma gäller det återkommande talet i rapporten om AI som en "omtumlande, framforsande teknik som i människans händer skapar förutsättningar för grundläggande förbättringar av våra samhällen". Emellertid följs just de orden upp av formuleringen "precis som järnvägen, elen och telefonen gjorde" vilken innebär ett implicit antagande att AI-teknikens effekter inte kommer att bli väsentligt större än de som följde på dessa tidigare teknikgenombrott, eller med andra ord att AI kommer att på Nate Silvers teknologiska Richterskala stanna på TRS-nivå 8 istället för att fortsätta till nivåerna 9 eller 10. Det kan förstås hända att den förutsägelsen visar sig korrekt, men det kräver i så fall antingen att fortsatt AI-utveckling relativt snart stöter på något oväntat och oöverstigligt tekniskt hinder, eller att vi (mänskligheten) besinnar oss och drar i nödbromsen inför de oöverskådliga konsekvenserna av att skapa en ny art vars allmänintelligens vida överstiger vår egen. Vilken av dessa båda eventualiteter kommissionen tror blir verklighet ger rapporten ingen ledtråd om, och deras förgivettagande förblir märkligt omotiverat. Något liknande kan sägas om avsnittet om AI-teknikens framtida energibehov, där kloka ord om hur "storleken på AI:s framtida elbehov i dag är högst osäker och inte går att förutsäga med någon precision" följs upp av den antiklimatiska, omotiverade¹ och närmast bisarrt modesta bedömningen att "AI kommer att stå för någon eller några procent av den totala elkonsumtionen i världen".²

Rapporten har mycket att säga både om skapandet av ett fruktbart svenskt innovationsklimat och om snabb utrullning av AI-teknik för olika tillämpningar i offentlig sektor, och här finns en hel del att instämma i och applådera. Den föreslagna åtgärdsarsenalen är omfattande, men också påfallande billig, då den budgeterade kostnaden för förslagen landar en bra bit under tre miljarder kr per år,³ varför budgetöverväganden inte kan komma att utgöra någon rimlig ursäkt om regeringen väljer att dra benen efter sig i genomförandet av kommissionens idéer.

Att rapporten trots AI-frågans utpräglat globala karaktär har ett väldigt stort fokus på Sverige och svensk konkurrenskraft är inte orimligt, även om de ovan citerade direktiven hade möjliggjort en något större (och enligt min mening önskvärd) grad av blickhöjning och tankar kring hur Sverige kan bidra till att den globala omställningen till en värld med avancerad AI blir lyckosam. Det utförliga diskussionen kring hur Sverige mellan 2020 och 2024 halkat ned från 15:e till 25:e plats på det som kallas Global AI Index ser jag dock som ett lite löjligt inslag av provinsiell alarmism, i synnerhet då det inte återföljs av något påpekande om vilken remarkablet framskjuten position för ett litet land som Sverige som plats 25 på listan innebär.⁴

Provinsiellt är också talet om vikten av att EU inte sätter hinder för lanseringen av nya amerikanska AI-modeller i Europa. Här heter det i rapporten att "även om EU-lanseringen av en ny modell bara dröjer sex månader kan det få väldigt negativa effekter på våra företags förmåga att hävda sig i den globala konkurrensen", och kommissionen anmodar "svenska företrädare [att] verka för att den AI-relaterade EU-regleringen inte bidrar till försämrad tillgänglighet för dessa verktyg". Och visst, dessa aspekter är värda att beakta, men de behöver vägas mot EU:s viktiga roll i att verka för en globalt gynnsam och etiskt rimlig utveckling, och behovet av att kunna sätta press på de ledande AI-företagen genom att villkora lanseringen i EU av deras AI-produkter med att de skärper sitt AI-säkerhetsarbete till nivåer där vi alla (i EU såväl som i resten av världen) kan känna oss trygga i att dessa produkter inte kommer att leda till katastrof. Att AI-kommissionens rapport inte med ett ord berör denna centrala målkonflikt tyder på en enögdhet som är djupt bekymmersam och som för tankarna till Svanbergs ovan citerade och föga välavvägda ord om värme och kärlek i december 2023.

Det finns såklart mycket mer att anföra om rapporten, men låt mig avrunda med att kommentera vad den har att säga om min hjärtefråga: vikten av att undvika ett scenario där en ickealignerad AI tar över världen och utplånar mänskligheten. Här hade man, av de skäl jag inledningsvis nämnde, kunnat frukta att rapporten skulle vara totalt avfärdande inför att detta skulle vara en problematik att överhuvudtaget ta på allvar. Men hör här vad de säger:

Vissa menar dock att en sådan utveckling skulle kunna hota mänsklighetens existens. Detta genom att AI-systemen utvecklar en egen vilja som skiljer sig från vår, och betraktar oss som ett hot mot sin egen fortlevnad eller sina egna mål. Risken i ett sådant scenario ligger i att systemen helt enkelt blir mer kapabla än vi människor och att vår förmåga inte räcker till för att hindra en okontrollerad utveckling.

Och vidare:

AI-kommissionen anser att oron kring den så kallade existentiella risken är något som måste beaktas...

Ihop med förslaget om ett svenskt AI-säkerhetsinstitut som de budgeterar med 30 miljoner kr årligen utgör dessa ord en ytterst glädjande överraskning. Jag har ingen insyn i kommissionens inre arbete, men med tanke på vad Mathias Sundin sagt i andra sammanhang om existentiell AI-risk anar jag att förhandlingarna om formuleringar kan ha varit hårda,⁵ och de har också resulterat i en del reservationer jag inte gillar helt, som följande fortsättning på "något som måste beaktas..." ovan:

...men beklagar samtidigt att delar av den offentliga diskussionen om säkerhet har tenderat att fokusera på spekulativa risker med mycket låg sannolikhet.

Eftersom det här inte preciseras vilka spekulativa risker som avses, och eftersom den offentliga diskussionen är vittförgrenad och av extremt ojämn kvalitet, så kan jag inte beslå detta uttalande som formellt felaktigt. Sammanhanget ger dock en kraftig antydan om att påståendet handlar om risken att mänsklighetens utplånas av superintelligent AI, och att kommissionen med talet om "mycket låg sannolikhet" utan ett uns av motivering gör en ytterst kontroversiell bedömning som helt saknar solitt vetenskapligt stöd. Kommissionens ledamöter behöver uppenbarligen läsa på i frågan, och som startpunkt rekommenderar jag varmt Connor Leahys m.fl. aktuella text The Compendium. Den vägen tror jag att de skulle kunna närma sig insikten om vad som kanske är den allra viktigaste åtgärd Sverige behöver vidta men som lyser med iögonfallande frånvaro i rapporten: att agera internationellt för att påtala det oacceptabla i och få stopp på den civilisatoriskt livsfarliga kapplöpning mot AGI-avgrunden som en knapp handfull AI-företag i norra Kalifornien just nu är inbegripna i.

Fotnoter

1) Med ordvalt "omotiverade" tillåter jag mig här en ytterst mild överdrift, då ju bedömningen föregås av påpekandet att "Erfarenheten visar [...] att det hela tiden utvecklas energieffektivare dataprocessorer och algoritmer", dock utan omnämnande av Jevons paradox, vilket är ett förbiseende jag helst hade sluppit se i en statlig utredning anno 2024.

2) Se t.ex. Leopold Aschenbrenners Situational Awareness för ett helt väsensskilt scenario som det vore oklokt att utan argument bara vifta undan.

3) Dock finns gott om frågetecken att resa inför enskilda budgetpunkter. För att bara nämna ett exempel i mängden så budgeteras 30 miljoner kr årligen för skapandet av 50 gästprofessurer inom AI, och jag har väldigt svårt att begripa hur 600 000 kr per sådan tjänst och år skulle kunna räcka.

4) På Wikipedias lista över världens folkrikaste länder ligger Sverige på 90:e plats, medan 25:e-platsen på samma lista innehas av Italien med just under 59 miljoner invånare. Om den försämrade placeringen för Sverige alls behöver förklaras med något annat än brus och godtycke i mätmetoden, så vill jag peka på att framväxten av tigerekonomier och en global medelklass har ökat konkurrensen på listan, något jag vägrar se som entydigt dåligt.

5) Om jag får spekulera ytterligare så gissar jag att Nobelpristagaren Geoffrey Hintons varningsord vid tillkännagivandet av fysikpriset i förra månaden kan ha haft gynnsam påverkan på kommissionens avvägning, och kanske också att kommissionsledamoten Fredrik Heintz (som på sistone verkar ha svängt en aning i frågan) kan ha spelat en konstruktiv roll i diskussionerna.

What Max Tegmark really said about AI risk

In a recent article in the Australian online magazine Quillette, Swedish AI pundit Mathias Sundin portrays his more framous compatriot Max Tegmark as a doomsayer. He quotes Tegmark as saying the following in the Swedish public radio show Sommar on August 1, 2023:

I’ve been thinking a lot about life and death lately. Now, it’s probably my turn next in my family. But I guess the rest of humanity will perish about the same time — after over a hundred thousand years on our planet. I believe the artificial intelligence that we’re trying to build will probably annihilate all of humanity pretty soon.

The quote is authentic and the translation from Swedish is fine. But look at Sundin's comment immediately after the quote:

There were no ifs or buts and no “10 percent risk” or other disclaimers — just the promise of certain doom.

The careful reader might here notice the contrast between Sundin's talk of “certain doom”, and Tegmark's use of the word “probably” — which normally signifies not certainty but uncertainty.¹ If the reader trusts that Sundin writes in good faith, he will likely conclude that the word “probably” is used here by Tegmark not in its real meaning, but as meaningless sentence filler and random noise, and that if one looks carefully at what else he has to say in the Sommar show, Sundin's summary about “the promise of certain doom” turns out to be accurate.

So let's have a look then, at what Tegmark has to say in Sommar, to determine whether Sundin's summary statement is warranted. (Spoiler: it is not.)

Less than half a minute after the passage quoted by Sundin, Tegmark says the following:

What can we do today, in order to change direction towards a more hopeful and inspiring future?²

This is already an indication that, far from preaching “certain doom”, Tegmark thinks that “a more hopeful and inspiring future” is possible, and wants to engage his listeners in the great project of navigating towards such a future.

Soon after that, Tegmark goes on to compare an AI catastrophe wiping out humanity to a more down-to-Earth and familiar event: the death at old age of his own parents. He feels his parents had full lives, and thinks the possibility of an AI apocalypse compares unfavorably to this:

But if the entire human race dies out because we messed up with AI, I feel in contrast that we have neither lived fully nor died honorably. Rather, it would feel tragic and unnecessary, as if a child makes the mistake of riding its bike across the edge of a precipice, despite repeated warnings. We are so young from a cosmic perspectives, with billions of promising years ahead of us. If we avoid that precipice, our future can become so much better than our past. We are on the verge of finally taking control of our own destiny, and solving many of the problems we humans have so far failed at.³

“Our future can become so much better than our past” are hardly the words of someone who predicts “certain doom”, and the entire passage is on the contrary rather hopeful. Later in the show, Tegmark spells out his hopeful vision about a flourishing future in slighly more detail:

I have talked a lot about the threat from AI, but what happens if we manage to change course so as to end up in a future with a superintelligence which is under our control, and which is neither used maliciously, nor is misaligned or in competition with us? First of all, this will be like Christmas Day for anyone who likes research and technology, as the research done by the superintelligence will be limited not by what humans are able to think up, but only by the laws of nature. Discoveries that I believed as a teenager would take millennia or an eternity might be solved within our lifetimes. My uncle Erik and his daughter Anna both died in cancer, but I am convinced that all cancer can be cured — the problem is just that we humans have so far failed to figure out how. I believe superintelligence would quickly find cures for all diseases, and lift everyone out of poverty, stabilize the climate and solve all the classical global problems we have so far failed at.⁴

A more striking counterexample to Sundin's claim that Tegmark offers “no ifs and buts” in his talk about AI risk would be hard to imagine. And there's more:

What drives my AI activism is not just that I want to avoid problems, but also that I want to preserve these inspiring possibilities.⁵

And this:

We do not need to compete with AI. It is just Moloch trying to fool us into that attitude. We are the ones building AI, and if we make sure to keep control, then it will be us rather than AI who call the shots.⁶

It is clear from these quotes that far from predicting “certain doom”, Tegmark thinks a bright future awaits us if only we get our act together and play our cards right. It is furthermore clear that he doesn't even think this right way of playing our cards necessarily invloves giving up on the project of building superintelligent AI. To the contrary, such AI plays a key role in the grand visions for the future that he paints. It's just that he understands that there are risks involved and that we therefore need to proceed with a suitable level of caution, something that he judges the leading AI developers to lack. Hence his talk about the need to change course.

This is a highly reasonable position (and one that I share),⁷ but conveying it accurately goes counter to Sundin's ambition of painting Tegmark in the worst possible light. Instead, Sundin shamelessly decides to gamble on the readers of Quillette not knowing Swedish and therefore not being able to check his story, and to simply lie about what Tegmark says in Sommar.

What else can be said about Sundin's Quillette article? Well, it is quite bad. As is sadly typical for large parts of the AI debate as a whole and for his own writings in particular, Sundin is not interested in engaging seriously with the arguments of his opponents, and the article is full of inaccuracies and misrepresentations. I spent so much ink in 2023 — one newspaper op-ed and two blog posts — on Sundin's poor writing that frankly speaking I am sick of it, and so I will not say anything more about his Quillette article. I will not even comment on his choice (which is especially bizarre given the long and tedious email exchange we had about it in December last year) to continue to grossly misrepresent the point of my Lex Luthor thought experiment.

This is mostly not about Sundin himself, but more intended as an example of the abysmally low level of discourse among the category of accelerationists and AI risk deniers that he represents. I do worry, however, that him being chosen in December last year as a member of the Swedish government's AI commission is a small sign of governmental dysfunction.

Footnotes

1) The word used in the Swedish original is “antagligen” (01:37 into the radio show), which has very similar connotations in the present context as the English “probably”.

2) The Swedish original, beginning at 02:05: Vad kan vi göra idag, för att ändra riktning mot en mer hopfull och inspirerande framtid?

3) The Swedish original, at 03:48: Men om hela mänskligheten dör ut, för att vi klantat till det med artificiell intelligens, så känner jag däremot att vi varken levt färdigt eller dött värdigt. Snarare skulle det kännas tragiskt och onödigt, som om ett barn av misstag cyklar över kanten på ett stup, trots många varningar. Vi är så unga ur ett kosmiskt perspektiv, med miljarder lovande år framför oss. Om vi undviker det där stupet så kan vår framtid dessutom bli så mycket bättre än vårt förflutna. Vi är på vippen att äntligen ta kontroll över vårt eget öde, och lösa många av de största problem som vi människor hittills gått bet på.

4) The Swedish original, at 54:45: Jag har pratat mycket om hotet från artificiell intelligens, men vad händer om vi lyckas ändra kurs, och hamnar i en framtid med en superintelligens under vår kontroll, som inte används illvilligt, är felriktad eller konkurrerar med oss? Först och främst blir det som julafton för alla som gillar forskning och teknik, eftersom superintelligensens forskning blir begränsad inte av vad vi människor kan lista ut, utan bara av vad som är fysiskt möjligt. Upptäckter som jag som tonåring trodde skulle ta tusentals år eller en evighet skulle kunna ske under vår livstid. Både min morbror Erik och hans dotter Anna dog t.ex. av cancer. Jag är övertygad om att all cancer går att bota, problemet är att vi människor hittills inte lyckats lista ut hur. Jag tror att superintelligens snabbt skulle hitta botemedel för alla sjukdomar, och lyfta alla ur fattigdom, stabilisera klimatet, och lösa alla de klassiska världsproblemen om vi hittills gått bet på.

5) The Swedish original, at 56:10: Min AI-aktivism drivs inte bara av att jag vill undvika problem utan också av att jag vill bevara de här inspirerande möjligheterna.

6) The Swedish original, at 01:04:00: Vi behöver inte konkurrera med AI. Det är bara Moloch som försöker lura i oss det. Det är nämligen vi som bygger AI, och om vi ser till att vi behåller kontrollen så blir det vi och inte AI som bestämmer var skåpet skall stå.

7) For a summary statement of where I stand on AI issues, readers who know Swedish are encouraged to consult the bonus chapter (downloadable for free) in the 2023 edition of my book Tänkande maskiner. For those who prefer English, there are various video recordings of talks I've given that can serve a similar purpose; see here, here and here.

Om Mathias Sundin, AI-risk och Lex Luthor

Det här är ingen recension av Mathias Sundins pinfärska bok Kentaurens fördel: Så tänker, skriver och kommunicerar du bättre och snabbare med ChatGPT. En sådan är jag inte i stånd att skriva, eftersom det endast är bokens avslutningskapitel "Är AI så farligt att vi inte ens ska använda det?" jag läst från början till slut; resten har jag på sin höjd skummat. Det är i detta slutkapitel jag här skall dyka ned, och specifikt i hur Sundin i kapitlet tillskriver mig ståndpunkter jag inte omfattar och aldrig har yttrat. Sådan vantolkning har jag alltid varit en smula allergisk mot, och jag vill redan nu varna känsliga läsare för att en lite tråkig ton därför kan komma att smyga sig in i min följande redogörelse.

Men innan dess, låt mig trots allt ge mitt hastiga intryck av boken som helhet. Böcker om hur man använder den nya AI-tekniken för diverse kontorssysslor och andra arbetsuppgifter kan gott ha ett värde, även om det snabbt börjat bli överfullt på marknaden för dem, samtidigt som halveringstiden på de insikter som levereras kan väntas bli osedvanligt kort till följd av hur rasande snabbt tekniken ifråga går framåt. Att döma av kvaliteten på argumentationen i slutkapitlet (liksom i det meningsutbyte i Aftonbladet Sundin och jag hade i april i år) har jag dock inga större förhoppningar om att boken skall erbjuda några klokskaper som får den att på något positivt sätt sticka ut från mängden. Den 148-sidiga texten ger intryck av att ha knåpats ihop inom loppet av cirka en arbetsvecka, och jag vill låta det vara osagt huruvida detta bör ses som ett belägg för eller emot författarens tes om hur effektivt ens skrivande kan bli då man tar hjälp av ChatGPT.

Så till hur jag dyker upp i handlingen, i ett slutkapitel som annars mest äganas åt att svartmåla och vantolka Max Tegmark. Så här heter det på s 128:

[I]ngen vet hur man bygger AGI. Vi har faktiskt ingen aning om hur man gör det och när det är möjligt. Trots att ingen har den blekaste aning om hur, oroar sig dessa personer för att det kommer att ske snart. En av de ledande rösterna i Sverige, professor Olle Häggström, menar att det kan komma att ske redan med nästa version av ChatGPT, version 5. I scenariot är det inte AI:n själv som utplånar mänskligheten, utan en ondskefull superskurk som Lex Luthor som gör det med hjälp av AI. Ja, han säger faktiskt precis det.

Att ingen vet säkert exakt hur AGI¹ kommer att utformas eller kan ge exakt svar på när det är att vänta är såklart sant, men Sundins tal om att "ingen har den blekaste aning" är gravt tendentiöst, och det är synd att han undlåter att nämna exempelvis de idéer som får företrädare för ledande AI-labb som OpenAI och Anthropic att tala om tidslinjer till AGI som håller sig väl inom innevarande decennium (2020-talet).² Detta är så typiskt för den mix av glidningar, halvsanningar och rena sakfel som slutkapitlet i Kentaurens fördel består av att jag inte reagerar med så mycket mer än en trött suck, men värre är när författaren börjar ljuga om mig personligen - då får jag svårt att hålla tillbaka min vresighet.

Superskurkar som Lex Luthor finns som bekant inte i verkligheten utan bara i DC:s och Marvels serietidningsuniversa och i liknande fiktiva sammanhang. Ack om det vore så väl att min och andras oro för en nära förestående AI-katastrof byggde på vanföreställningen att dessa superskurkar finns i verkligheten. Då skulle det såklart vara lätt att avfärda denna oro. Men nej, det Sundin här påstår om mig är såklart inte sant.

Vad som däremot är sant är att jag i en rad föredrag i våras tillgrep ett tankeexperiment inbegripandes en superintelligent Lex Luthor.³ När jag gjorde det var jag ständigt noga med att betona att det inte rörde sig om någon förutsägelse eller ens om ett plausibelt framtidsscenario, utan just om ett tankeexperiment. Avsikten med tankeexperimentet var att bemöta den annars kanske frestande intuition som går ut på att AI-system som exempelvis GPT-4 inte rimligtvis kan sätta igång någon AI-apokalyps, vilken ju skulle kräva ett direkt ingripande i den fysiska världen, i motsats till vad dessa AI-system förmår som ju inte gör annat än att producera text. Eftersom det för många är lättare att föreställa sig hur en människa medelst social manipulation och annat tillskansar sig makt, än att tänka sig en AI göra samma sak, fann jag parallellen till en Lex Luthor begränsad till enbart språkhandlingar vara ett användbart pedagogiskt redskap för att undergräva denna felaktiga intuition.⁴ Och det var inte bara i föredrag jag använde mig av detta redskap, utan vid minst ett tillfälle också i samtal med en journalist, vilket framgår av följande passage i en DN-artikel den 31 mars i år.

Men hur skulle då en superintelligens som i grunden är en språkmodell, kunna hota mänskligheten? Häggström ber oss göra ett tankeexperiment med en superskurk som till exempel Stålmannens ärkefiende Lex Luthor, som på något vis uppnår superintelligens. Kan han, med endast en laptop och internetuppkoppling, ta över världen?

– Ju mer man tänker på det sättet desto mer inser man att det är nog faktiskt inte är så svårt. Om han utnyttjar sin superintelligens till att överlista aktiemarknader för att skapa ett ekonomiskt imperium, och kan gå igenom olika brandväggar som han vill, kanske till och med ta över militär teknologi den vägen. Men han har också övertalningsförmågan, eller förmågan till social manipulation.

Så när som på den första meningen citerar Sundin hela denna passage på s 140-141 i sin bok, varefter han gör följande reflektion:

Att det finns sådana galningar till människor ifrågasätter jag inte. Men AI:n ska alltså vara så superintelligent att den utan större problem kan ta kontroll över mänskligheten, men ändå vara dum och lydig nog att följa sin Lex Luthor-husse. Denne Lex Luthor has alltså löst problemet (som Tegmark, Häggström med flera menar i det närmaste olösligt) med hur man har kontroll över en superintelligent AI, men av någon anledning är det ingen annan som har det.

På detta har jag två reflektioner:

• Nej, nej, nej, någon superintelligent AI figurerar överhuvudtaget inte i det tankeexperiment jag återgav i mina föredrag och i den citerade DN-intervjun. Det är Lex Luthor själv som är superintelligent, och det är med sin egen blixtrande superintelligens han tänker ut hur han skall erövra världen - inte med någon AI:s. Och därför behöver han inte lösa det problem Sundin snuddar vid i den sista meningen, och som brukar kallas AI Alignment: att se till att AI:n har mål och värderingar som får den att agera som vi önskar.
• Nej, nej, nej, för bövelen, jag har aldrig hävdat att AI Alignment är "i det närmaste olösligt" - och det stämmer även ytterst illa med min bild av Max Tegmarks ståndpunkter. Vad däremot både Max och jag är bekymrade över är att färden mot AGI börjat gå med sådan rasande hastighet, samtidigt som AI Alignment-forskningen går betydligt trögare, att risken är stor med nuvarande AI-kapplöpning att vi inte hinner lösa AI Alignment i tid. Se s 364-366 i bonuskapitlet till min bok Tänkande maskiner för en ödmjuk och balanserad diskussion om AI Alignment-problemets svårighetsgrad.

Det finns fler underligheter i Sundins avslutningskapitel som jag skulle kunna påpeka, men jag nöjer mig så här. Och i och med att han är en person jag gärna vill hålla mig väl med - nyligen invald i regeringens AI-kommission har han hux flux blivit ett betydelsefullt namn i AI-Sverige - hoppas jag att han tar mina påpekanden med glatt jämnmod, präglat av insikten att ansvaret för de felaktigheter som uppdagas i hans bok ligger 100% på honom och 0% på budbäraren.

Fotnoter

1) Artificiell generell intelligens. Jag har förr ofta använt detta begrepp i tal om framtida avancerad AI, och väljer att göra detsamma här eftersom Sundin gör det, men se s 321-323 i det gratis nedladningsbara bonuskapitlet till den nya upplagan av min bok Tänkande maskiner för en redogörelse för varför jag på sistone kommit att betrakta begreppet som så problematiskt att det egentligen helst borde undvikas.

2) Se exempelvis Dwarkesh Patels djuplodande intervju med Anthropics VD Dario Amodei från augusti i år.

3) Sundin var närvarande vid minst ett av dessa föredrag, nämligen det som ägde rum i Lund den 23 maj i år.

4) Den som önskar en detaljerad redogörelse för argumentet kan finna en sådan i den passage som varar cirka 13:20-16:20 i det videoföredrag om ChatGPT och AI Alignment jag postade här för ganska exakt ett år sedan, den 16 december 20222.

Ett bottennapp i AI-debatten

Min av AI-utvecklingen och AI-debatten triggade förhöjda medianärvaro som jag för ett par veckor sedan rapporterade om i den förra bloggposten har fortsatt. Jag tänker inte räkna upp alla framträdanden, men vill peka på de båda var för sig drygt timslånga poddsamtalen på Future Strategist och Rak höger med Ivar Arpi som de tydliga höjdpunkterna. Lyssna gärna på något av dem!

Istället för att orda mer om dessa tänker jag här istället säga lite om det som varit det tydligaste bottennappet, nämligen mitt meningsutbyte i Aftonbladet med egenföretagaren och tidigare riksdagsledamoten Mathias Sundin:

• Mathias Sundin: Att pausa AI är farligt - då kan Kina ta över, Aftonbladet, 10 april 2023.
• Olle Häggström: En paus behövs för att undvika AI-apokalyps, Aftonbladet, 12 april 2023.
• Mathias Sundin: Att en AI-apokalyps hotar är ren fantasi, Aftonbladet, 14 april 2023.

Sundins inledande artikel är en attack på det öppna brev från Future of Life Institute som jag är medundretecknare till och har rapporterat om tidigare, och som förordar en paus i träningen av de största AI-modellerna så att det eftersläntrande säkerhetsarbetet skall ha en chans att komma ikapp. Hans huvudinvändning mot brevet är att en sådan paus skulle bädda för Kina att köra om oss i väst i AI-utvecklingen, och han passar också på att banna oss ''AI-alarmister'' för att sakna grund för våra varningar och för att istället föra ''extremt långtgående och krystade teoretiska resonemang som de sedan dramatiskt målar upp som mänsklighetens undergång''.

I mitt svar beklagar jag att Sundin driver

exakt det slags retorik som riskerar att elda på den farliga kapplöpningen, och fördomsfullt tar för givet att kinesiska bolag skulle vara mindre villiga än amerikanska att ta ansvar och samarbeta kring undvikandet av en AI-apokalyps,

men i övrigt lägger jag merparten av spaltutrymmet på att kort peka på delar av den (alls icke krystade) teoretiska grunden för att betrakta den skenande AI-utvecklingen som ett existentiellt hot mot mänsklighetens överlevnad. Man hade kunnat hoppas att Sundin i sin slutreplik skulle befatta sig med något av detta, men av detta blir det exakt noll och intet, och han nöjer sig istället med att (felaktigt) proklamera att de risker jag framhåller är ''ren spekulation'' och ''en fantasi som inte baseras på några fakta''. Och lika lite som han bygger under dessa påståenden,¹ lika lite ger han något skäl för sin bisarra ståndpunkt att ''ChatGPT 4 kan inte tänka och är inte intelligent, inte ens lite''.²

Ingenting i Sundins båda debattinlägg ger någon som helst antydan om att han bemödat sig om att ta del av den forskning han beskriver som ''ren spekulation''.³ Att gå ut i allmän debatt och grundlöst men med myndig stämma och spelad auktoritet döma ut hela forskningsområden utan att kunna något om dem är ett beteende som vi tidigare sett hos exempelvis klimatförnekare och kreationister, och som försämrar signal-brus-förhållandet i debatten på ett direkt skadligt vis.

Jag vill helst tro gott om mina medmänniskor, och antar därför att Sundin gärna skulle höja nivån på sin AI-retorik jämfört med den nuvarande, som är präglad av det som verkar vara hans modus operandi: att ur röven dra fram sakpåståenden och torgföra dessa om de låter som stöd för hans allmänna agenda, helt utan hänsyn till deras eventuella sanningshalt. Men för en sådan nivåhöjning krävs att han lär sig något om forskningsläget inom AI-risk, och för den sakens skull har jag några lästips åt honom:

Han skulle kunna börja med att läsa Stuart Russells bok Human Compatible: Artificial Intelligence and the Problem of Control från 2019, eller min egen Tänkande maskiner: Den artificiella intelligensens genombrott från 2021.⁴ Dessa böcker ger en allmän bakgrundsteckning, även om de trots att de bara har fyra respektive två år på nacken redan har börjat bli lite föråldrade i vissa delar till följd av den rasande takten i senare års AI-utveckling. Därför kan det vara bra att komplettera med några nyare och lite kortare texter. Här finns mycket att välja på, men två jag verkligen vill rekommendera är AI alignment from a deep learning perspective av Richard Ngo, Lawrence Chan och Sören Mindermann, och Without specific countermeasures, the easiest path to transformative AI likely leads to AI takeover av Ajeya Cotra. Det kan också vara värdefullt för Sundin att ta del av OpenAI:s dokument Planning for AGI and beyond från februari i år, där den framtid de aspirerar på att vara med och skapa diskuteras med ord som dessa:

The first AGI will be just a point along the continuum of intelligence. We think it’s likely that progress will continue from there [...]. If this is true, the world could become extremely different from how it is today, and the risks could be extraordinary. A misaligned superintelligent AGI could cause grievous harm to the world. [...]

Successfully transitioning to a world with superintelligence is perhaps the most important—and hopeful, and scary—project in human history. Success is far from guaranteed, and the stakes (boundless downside and boundless upside) will hopefully unite all of us.

Här kan man glädjas åt att de inte hänger sig åt samma nedlåtande syn som Sundin på risker och risktänkande. Icke desto mindre agerar de vanvettigt våghalsigt med allas vår framtid i potten, vilket de med chockerande uppriktighet medger i den tekniska dokumentationen i samband med förra månadens släpp av GPT-4:

Finally, we facilitated a preliminary model evaluation by the Alignment Research Center (ARC) of GPT-4’s ability to carry out actions to autonomously replicate and gather resources—a risk that, while speculative, may become possible with sufficiently advanced AI systems—with the conclusion that the current model is probably not yet capable of autonomously doing so.

Further research is needed to fully characterize these risks.

[Mina kursiveringar.]

Som sagt: AI-paus, anyone?

Fotnoter

1) Det närmaste jag hittar sådan underbyggnad från Sundins sida är hans förklaring i en efterföljande Twitterdiskussion att hans uppskattning om ''0% risk att AGI förgör mänskligheten'' är ''baserad på att mänsklighet kommer undvika att något sådant sker''. Vi kommer alltså, om Sundin här har rätt, att lyckas ta oss samman och förhindra en slutlig AI-katastrof. Detta är i själva verket det utfall jag för egen del hoppas på och eftersträvar, men om det skall kunna bli verklighet krävs att vi tar riskerna på allvar. Att på Sundins vis förneka riskernas existens är inte något bra sätt att uppmuntra till det nödvändiga säkerhetsarbetet.

2) I debatten florerar en uppsättning handviftningsargument för varför de förmågor GPT och andra stora språkmodeller uppvisar inte är äkta intelligens, men de har alla det gemensamt att de (med minimala modifieringar) visar att inte heller människor har äkta intelligens. Av detta kan vi dra slutsatsen att argumenten antingen är felaktiga eller att de underförstått laborerar med ett irrelevant intelligensbegrepp. Jag hoppas inom kort få tid till en bloggpost med en kort genomgång av de vanligaste argumenten av denna typ.

3) Inte heller i Sundins bakgrund finns något som tyder på kunskaper i ämnet - Wikipedia anger hans främsta akademiska meritering som ''tidigare lärarstudent''.

4) Om Sundin är intresserad kan jag skicka honom ett signerat exemplar av Tänkande maskiner.