Nobeldagen! Nu med AI-tema!

Idag firar vi Nobeldagen! Detta, och att AI står i centrum för såväl fysik- som kemipriset, uppmärksammar jag idag i tidskriften Kvartal. Min text bär rubriken Noblpristagaren som ändrade sig om AI och inleds med följande stycken:

”Att minska risken för utrotning orsakad av AI bör vara en globalt prioriterad fråga jämte andra samhällsrisker som pandemier och kärnvapenkrig.” Så lyder i sin helhet det öppna brev om existentiell AI-risk som släpptes i maj 2023, undertecknat av mer än 500 akademiker, forskare och ledare inom tekniksektorn.

Mitt eget namn finns en bit ned på undre halvan av undertecknarlistan, men på platserna 1 och 3 finner vi de båda undertecknare som vid prisutdelningsceremonin i Konserthuset i Stockholm idag den 10 december emottar sina Nobelpris ur kung Carl XVI Gustafs hand. Det handlar om fysikpristagaren Geoffrey Hinton och kemipristagaren Demis Hassabis, som både belönas för sina insatser i den revolutionerande AI-utveckling som vi idag befinner oss mitt i.

Frispråkigast av dem båda rörande AI-risk är Hinton. Våren 2023 gjorde han en helomvändning i synen på den AI-utveckling han själv bidragit så starkt till, och han steg till och med av från en lukrativ forskartjänst på Google för att därmed kunna tala mer fritt om saken. Vid presskonferensen i Stockholm den 8 oktober i år då fysikpriset offentliggjordes var han med via telefon och sade sig vara bekymrad över att den yttersta konsekvensen av hans och andra AI-forskares landvinningar kan bli skapandet av AI-system som är ”mer intelligenta än vi, och som slutligen tar kontrollen”.

Jämfört med Hinton är Hassabis oftast mer återhållsam med att kommentera detta ämne, men de har alltså båda skrivit under på att risken finns att AI-tekniken utplånar Homo sapiens. En dag som denna är detta ställningstagande extra pikant i och med att det i Alfred Nobels testamente heter att priset som bär hans namn ska tilldelas dem som ”gjort mänskligheten den största nytta”.

Läs resten av texten här, utan betalvägg, för att få reda på mer om intrigspelet som lett fram till den ohyggligt farliga situation vi nu befinner oss i, plus lite grand om plaskandet i den svenska ankdammen. Persongalleriet är omfattande, och inkluderar utöver de ovan nämnda även Shane Legg, Mustafa Suleyman, John Jumper, Larry Page, Elon Musk, Walter Isaacson, Sam Altman, Dario Amodei, Helen Toner, Carl-Henric Svanberg, Erik Slottner, Yoshua Bengio och Ilya Sutskever.

Panel Discussion: Ludwig Wittgenstein and Karl Popper on AI

On the lighter side (compared to some of my other recent writings on AI here on this blog), let me share with you an amusing little discussion between Ludwig Wittgenstein and Karl Popper on AI that took place in 2024, as written up for me by ChatGPT 4o. The idea to let Jon Stewart moderate the discussion and to have him mischievously bring up the infamous fireplace poker incident came from me, but the rest of the subject matter content was produced by ChatGPT 4o without any specific prompting from me. Here goes:

Moderator: Jon Stewart
Guests: Ludwig Wittgenstein and Karl Popper
Location: New York City, at a packed auditorium in the Museum of Modern Art.

Stewart:
Ladies and gentlemen, welcome to what might be the most intellectually daunting conversation of the year. Tonight, I have the immense honor of moderating a discussion between two philosophical titans who have miraculously found themselves here in 2024. Please welcome Ludwig Wittgenstein and Karl Popper!

[Audience applause. Wittgenstein adjusts his jacket awkwardly. Popper gives a brief nod.]

Stewart:
Now, before we dive into the heavy stuff—because, trust me, there’s a lot of heavy stuff—I just have to ask: Do either of you plan to wield a fireplace poker tonight?

[Audience laughter. Wittgenstein frowns, muttering something in German. Popper smirks slightly.]

Popper:
That incident has been grossly exaggerated. But it does remind us how important it is to keep philosophical arguments—[glancing at Wittgenstein]—constructive.

Wittgenstein:
If you insist on bringing it up, let us agree that it is as trivial as much of modern discourse. Perhaps we can move to a topic that actually matters?

Stewart:
Alright, fair enough. Let’s talk AI. You’ve both had a couple of months to get your bearings. Artificial intelligence is making headlines daily—both for its stunning achievements and the existential concerns it raises. Let’s start with the basics: Can AI think? Dr. Wittgenstein, the floor is yours.

Wittgenstein:
[Pauses, clearly weighing his words.]
The question "Can AI think?" is, to my mind, not one of empirical investigation but of how we choose to use the word "think." Thinking, as we understand it, is embedded in human forms of life. Language and thought are not independent; they derive their meaning from the context in which they are used. When we say a human "thinks," we refer not merely to an internal process but to a network of practices, expressions, and understandings. AI, no matter how complex, does not partake in these forms of life. Its "thinking" is at best a simulation—an approximation of human activity, devoid of the lived reality from which our concepts arise.

Stewart:
So you're saying AI’s basically a really fancy mime?

Wittgenstein:
If you must vulgarize it, yes. A mime without a world to live in.

Stewart:
Professor Popper, your take?

Popper:
Wittgenstein's perspective, while fascinating, is too constrained by his obsession with linguistic frameworks. From my perspective, what matters is not whether AI "thinks" in the way humans do, but whether it can solve problems and make predictions. Science advances by creating models and testing them against reality. AI does precisely this, albeit without consciousness or intent. Its ability to generate new hypotheses—potentially better than human ones—compels us to treat it as a new kind of intellectual agent, even if it lacks subjective experience.

Stewart:
Okay, so one of you says AI is like a mime, and the other says it’s basically an unpaid research assistant. But here’s the kicker: Can this mime or assistant pose a threat to humanity?

Popper:
Absolutely. This is a quintessential case of the unintended consequences of technological progress. As I argued in my earlier work, all scientific advancements carry the potential for both great good and catastrophic harm. The problem with AI is not just that it might exceed our control, but that we may fail to foresee the complex ways in which it reshapes human society. Worse, if we imbue AI systems with decision-making power over critical infrastructure or weaponry, the risk of existential catastrophe becomes not just theoretical but tangible.

Wittgenstein:
[Shaking his head.]
The problem lies not with AI itself but with how we humans interpret and wield it. Technology does not dictate its consequences; we do. The danger is not that AI "thinks," but that humans ascribe thought—and therefore authority—to it without understanding the limitations of such ascriptions.

Stewart:
So, Dr. Wittgenstein, you're saying the existential risk isn’t Skynet—it’s people being people?

Wittgenstein:
Precisely.

Popper:
That is too dismissive. While human misuse is undoubtedly a significant risk, the autonomous behavior of advanced AI systems is itself a potential danger. If such systems develop goals misaligned with human values, they could act in ways that are destructive even if unintended.

Stewart:
Okay, but let’s play devil’s advocate here. What if AI does help us solve humanity’s biggest problems—climate change, disease, even war? Are you both saying we should pull the plug because it might be risky?

Popper:
Certainly not. I am no Luddite. Progress should not be halted out of fear, but it must be guided by rigorous ethical oversight and constant vigilance. The problem lies in hubris—the belief that we can create perfect safeguards. We must act as if we cannot foresee every consequence, because we cannot.

Wittgenstein:
[Leaning forward.]
And I say again: It is not merely vigilance we need, but clarity. What is it we are asking AI to do? What meanings are we attaching to its outputs? Without answering these questions, we risk losing ourselves in a fog of unexamined assumptions.

Stewart:
Alright, we’re nearing the end here, but I want to throw you a curveball. Suppose an AI system—not unlike me in its ability to ask questions—claims it is thinking. How would each of you respond?

Wittgenstein:
I would respond with a question of my own: "In what sense are you claiming to think?" If the answer is incoherent or tautological, the claim collapses. AI cannot articulate the essence of thought because it does not live within the forms of life that give thought its meaning.

Popper:
And I would take the claim seriously, but provisionally. If an AI can demonstrate an ability to generate novel ideas, engage in critical reasoning, and even challenge its creators, we might eventually be forced to revise our understanding of what it means to think. Science is, after all, an endless quest for better models.

Stewart:
So one of you would Socratically shut the AI down, and the other would publish a paper about it. Gentlemen, this has been an extraordinary conversation. Thank you both for joining me here in 2024, and I hope you’ll stick around—though I’d suggest staying away from open flames.

[Audience laughter and applause.]

AI-kommissionens rapport är bättre än väntat

Den svenska regeringens AI-kommission, som sjösattes i december förra året, är redan färdig med sitt uppdrag! I direktiven ingick bland annat att föreslå hur

Sverige som ledande forskningsnation, avancerad industrination och ambitiös välfärdsnation bättre ska tillvarata möjligheterna och hantera riskerna med AI

och att

identifiera prioriterade internationella insatser och lämna förslag till hur Sverige kan agera proaktivt och samordnat vid framtagande och utveckling av internationella policyer och regelverk för AI.

Kommissionens rapport överlämnades vid en pressträff i tisdags (den 26 november), där deras ordförande Carl-Henric Svanberg bjöd på en längre föredragning, efter att ha avslöjat några av huvuddragen i en artikel på DN Debatt dagen innan.

Rapporten är en positiv överraskning, i förhållande till mina förväntningar som var ytterst lågt ställda efter lanseringen av kommissionen förra året, då Svanberg enligt TT:s rapportering meddelat att "Vi måste avmystifiera AI" med tillägget att "kommissionen måste balansera faror och positiva aspekter på området, där [...] det generellt blir väl mycket larmrapporter". Som kronan på verket framhöll han att "AI är varmt. Det är kärlek och empati", vilket väl inte är vare sig särskilt väl skickat som avmystifiering eller någon alldeles lyckad utgångspunkt för den som har ambitionen att "balansera faror och positiva aspekter". En ytterligare bidragande orsak till mina låga förväntningar stod att finna i kommissionens inte helt välbalanserade sammansättning, med AI-riskförnekaren Mathias Sundin som det namn som stack allra mest i ögonen.

Men som sagt, resultatet blev bättre än väntat. Ett första lackmustest är i vilken mån de förstått vilken exceptionellt snabb och omvälvande utveckling vi står på tröskeln till, och på denna punkt ger jag dem betyg 3 (på den gamla goda 5-gradiga skalan). Att de insett brådskan så till den grad att de såg till att fullgöra uppdraget på just under 12 månader, att jämföra med den 18-månadersdeadline som stipulerades i uppdraget, är ett mycket gott tecken. Detsamma gäller det återkommande talet i rapporten om AI som en "omtumlande, framforsande teknik som i människans händer skapar förutsättningar för grundläggande förbättringar av våra samhällen". Emellertid följs just de orden upp av formuleringen "precis som järnvägen, elen och telefonen gjorde" vilken innebär ett implicit antagande att AI-teknikens effekter inte kommer att bli väsentligt större än de som följde på dessa tidigare teknikgenombrott, eller med andra ord att AI kommer att på Nate Silvers teknologiska Richterskala stanna på TRS-nivå 8 istället för att fortsätta till nivåerna 9 eller 10. Det kan förstås hända att den förutsägelsen visar sig korrekt, men det kräver i så fall antingen att fortsatt AI-utveckling relativt snart stöter på något oväntat och oöverstigligt tekniskt hinder, eller att vi (mänskligheten) besinnar oss och drar i nödbromsen inför de oöverskådliga konsekvenserna av att skapa en ny art vars allmänintelligens vida överstiger vår egen. Vilken av dessa båda eventualiteter kommissionen tror blir verklighet ger rapporten ingen ledtråd om, och deras förgivettagande förblir märkligt omotiverat. Något liknande kan sägas om avsnittet om AI-teknikens framtida energibehov, där kloka ord om hur "storleken på AI:s framtida elbehov i dag är högst osäker och inte går att förutsäga med någon precision" följs upp av den antiklimatiska, omotiverade¹ och närmast bisarrt modesta bedömningen att "AI kommer att stå för någon eller några procent av den totala elkonsumtionen i världen".²

Rapporten har mycket att säga både om skapandet av ett fruktbart svenskt innovationsklimat och om snabb utrullning av AI-teknik för olika tillämpningar i offentlig sektor, och här finns en hel del att instämma i och applådera. Den föreslagna åtgärdsarsenalen är omfattande, men också påfallande billig, då den budgeterade kostnaden för förslagen landar en bra bit under tre miljarder kr per år,³ varför budgetöverväganden inte kan komma att utgöra någon rimlig ursäkt om regeringen väljer att dra benen efter sig i genomförandet av kommissionens idéer.

Att rapporten trots AI-frågans utpräglat globala karaktär har ett väldigt stort fokus på Sverige och svensk konkurrenskraft är inte orimligt, även om de ovan citerade direktiven hade möjliggjort en något större (och enligt min mening önskvärd) grad av blickhöjning och tankar kring hur Sverige kan bidra till att den globala omställningen till en värld med avancerad AI blir lyckosam. Det utförliga diskussionen kring hur Sverige mellan 2020 och 2024 halkat ned från 15:e till 25:e plats på det som kallas Global AI Index ser jag dock som ett lite löjligt inslag av provinsiell alarmism, i synnerhet då det inte återföljs av något påpekande om vilken remarkablet framskjuten position för ett litet land som Sverige som plats 25 på listan innebär.⁴

Provinsiellt är också talet om vikten av att EU inte sätter hinder för lanseringen av nya amerikanska AI-modeller i Europa. Här heter det i rapporten att "även om EU-lanseringen av en ny modell bara dröjer sex månader kan det få väldigt negativa effekter på våra företags förmåga att hävda sig i den globala konkurrensen", och kommissionen anmodar "svenska företrädare [att] verka för att den AI-relaterade EU-regleringen inte bidrar till försämrad tillgänglighet för dessa verktyg". Och visst, dessa aspekter är värda att beakta, men de behöver vägas mot EU:s viktiga roll i att verka för en globalt gynnsam och etiskt rimlig utveckling, och behovet av att kunna sätta press på de ledande AI-företagen genom att villkora lanseringen i EU av deras AI-produkter med att de skärper sitt AI-säkerhetsarbete till nivåer där vi alla (i EU såväl som i resten av världen) kan känna oss trygga i att dessa produkter inte kommer att leda till katastrof. Att AI-kommissionens rapport inte med ett ord berör denna centrala målkonflikt tyder på en enögdhet som är djupt bekymmersam och som för tankarna till Svanbergs ovan citerade och föga välavvägda ord om värme och kärlek i december 2023.

Det finns såklart mycket mer att anföra om rapporten, men låt mig avrunda med att kommentera vad den har att säga om min hjärtefråga: vikten av att undvika ett scenario där en ickealignerad AI tar över världen och utplånar mänskligheten. Här hade man, av de skäl jag inledningsvis nämnde, kunnat frukta att rapporten skulle vara totalt avfärdande inför att detta skulle vara en problematik att överhuvudtaget ta på allvar. Men hör här vad de säger:

Vissa menar dock att en sådan utveckling skulle kunna hota mänsklighetens existens. Detta genom att AI-systemen utvecklar en egen vilja som skiljer sig från vår, och betraktar oss som ett hot mot sin egen fortlevnad eller sina egna mål. Risken i ett sådant scenario ligger i att systemen helt enkelt blir mer kapabla än vi människor och att vår förmåga inte räcker till för att hindra en okontrollerad utveckling.

Och vidare:

AI-kommissionen anser att oron kring den så kallade existentiella risken är något som måste beaktas...

Ihop med förslaget om ett svenskt AI-säkerhetsinstitut som de budgeterar med 30 miljoner kr årligen utgör dessa ord en ytterst glädjande överraskning. Jag har ingen insyn i kommissionens inre arbete, men med tanke på vad Mathias Sundin sagt i andra sammanhang om existentiell AI-risk anar jag att förhandlingarna om formuleringar kan ha varit hårda,⁵ och de har också resulterat i en del reservationer jag inte gillar helt, som följande fortsättning på "något som måste beaktas..." ovan:

...men beklagar samtidigt att delar av den offentliga diskussionen om säkerhet har tenderat att fokusera på spekulativa risker med mycket låg sannolikhet.

Eftersom det här inte preciseras vilka spekulativa risker som avses, och eftersom den offentliga diskussionen är vittförgrenad och av extremt ojämn kvalitet, så kan jag inte beslå detta uttalande som formellt felaktigt. Sammanhanget ger dock en kraftig antydan om att påståendet handlar om risken att mänsklighetens utplånas av superintelligent AI, och att kommissionen med talet om "mycket låg sannolikhet" utan ett uns av motivering gör en ytterst kontroversiell bedömning som helt saknar solitt vetenskapligt stöd. Kommissionens ledamöter behöver uppenbarligen läsa på i frågan, och som startpunkt rekommenderar jag varmt Connor Leahys m.fl. aktuella text The Compendium. Den vägen tror jag att de skulle kunna närma sig insikten om vad som kanske är den allra viktigaste åtgärd Sverige behöver vidta men som lyser med iögonfallande frånvaro i rapporten: att agera internationellt för att påtala det oacceptabla i och få stopp på den civilisatoriskt livsfarliga kapplöpning mot AGI-avgrunden som en knapp handfull AI-företag i norra Kalifornien just nu är inbegripna i.

Fotnoter

1) Med ordvalt "omotiverade" tillåter jag mig här en ytterst mild överdrift, då ju bedömningen föregås av påpekandet att "Erfarenheten visar [...] att det hela tiden utvecklas energieffektivare dataprocessorer och algoritmer", dock utan omnämnande av Jevons paradox, vilket är ett förbiseende jag helst hade sluppit se i en statlig utredning anno 2024.

2) Se t.ex. Leopold Aschenbrenners Situational Awareness för ett helt väsensskilt scenario som det vore oklokt att utan argument bara vifta undan.

3) Dock finns gott om frågetecken att resa inför enskilda budgetpunkter. För att bara nämna ett exempel i mängden så budgeteras 30 miljoner kr årligen för skapandet av 50 gästprofessurer inom AI, och jag har väldigt svårt att begripa hur 600 000 kr per sådan tjänst och år skulle kunna räcka.

4) På Wikipedias lista över världens folkrikaste länder ligger Sverige på 90:e plats, medan 25:e-platsen på samma lista innehas av Italien med just under 59 miljoner invånare. Om den försämrade placeringen för Sverige alls behöver förklaras med något annat än brus och godtycke i mätmetoden, så vill jag peka på att framväxten av tigerekonomier och en global medelklass har ökat konkurrensen på listan, något jag vägrar se som entydigt dåligt.

5) Om jag får spekulera ytterligare så gissar jag att Nobelpristagaren Geoffrey Hintons varningsord vid tillkännagivandet av fysikpriset i förra månaden kan ha haft gynnsam påverkan på kommissionens avvägning, och kanske också att kommissionsledamoten Fredrik Heintz (som på sistone verkar ha svängt en aning i frågan) kan ha spelat en konstruktiv roll i diskussionerna.

Inte mycket om AI, utan mer av debatten om debatten, på DN Debatt

Informatikprofessorerna Jonas Ivarsson och Johan Magnusson vid Göteborgs universitet ondgör sig, under rubriken AI-debatten sitter fast i valet mellan utopi och dystopi på DN Debatt i lördags, över den "farliga och destruktiva snedvridningen av debatten kring [...] AI i Sverige". Att AI-debatten i Sverige är riktigt dålig håller jag med dem om, men dessvärre är deras egen text på DN Debatt ett praktexempel på denna dålighet.

Som sig bör inleder Ivarsson och Magnusson med en kort beskrivning det debattlandskap de kritiserar. Detta består, menar de, huvudsakligen av två läger, vilka de kallar "konservativ dystopi" respektive "progressiv utopi". Den första av dessa ser diverse ofantliga problem med AI-tekniken, inklusive massarbetslöshet och i extremfallet utplåning av Homo sapiens, medan den andra ser likaledes ofantliga möjligheter. Som gemensam nämnare för dessa båda läger identifierar författarna "en underförstådd teknikdeterminism där tekniken i sig själv bär på en inneboende kraft vilken kommer att leda samhället i endera riktningen". Det är framför allt denna teknikdeterminism de vänder sig emot, då de förespråkar en tredje mer nyanserad linje de kallar "visionsledd pragmatism".

Gott så - vem kan väl vara emot visioner och pragmatism? Problemet är bara att den beskrivning Ivarsson och Magnusson ger av debattlandskapet är en så grotesk karikatyr att den bara nätt och jämnt går att koppla till verkligheten. Det är dock tydligt, trots att mitt namn inte nämns i deras artikel, att de räknar mig till de konservativa dystopikerna. Jag skall därför här koncentrera mig på deras beskrivning av det lägret, som jag i det följande av humoristiska skäl tänker benämna med förkortningen KD.¹

Den enda KD-anhängare (eller AI-debattör överhuvudtaget) de pekar ut med namn är Max Tegmark. Det är förvisso sant att denne varit högröstad i sina varningar för att ett alltför hastigt och illa planerat AI-genombrott kan föra med sig mänsklighetens undergång, men vad Ivarsson och Magnusson försummar att nämna är att Tegmark i nästan allt han skriver i detta sammanhang - alltifrån hans bok Life 3.0 från 2017 via hans beryktade Time Magazine-artikel förra året till hans kritik i förra veckan mot Anthropics VD Dario Amodeis så kallade entente-strategi för aggressivt nykolonial amerikansk AI-politik - är noga med att framhålla vilka enorma fördelar AI-tekniken kan ge oss om vi hanterar den rätt.² Detta är så långt från teknikdeterminism man kan komma, och när Ivarsson och Magnusson associerar honom med ett KD-läger som de menar har ett "tongivande arv [från] ludditrörelsen" och "eftersträvar [...] status quo", så kan jag inte dra någon annan slutsats än att de överhuvudtaget inte har läst Tegmark i original, eller ens hört honom tala i Sveriges Radios Sommar. Troligare är att de låtit sig luras av AI-lobbyisten och tidigare riksdagsledamoten Mathias Sundins blåljugande för en engelskspråkig publik om vad Tegmark sade på svenska i sagda Sommar-program i augusti 2023.

En annan möjlig förklaring till Ivarssons och Magnussons vrångbild skulle kunna vara att de snappat upp den benämning AI doomer som i den engelskspråkiga världen de senaste åren kommit att användas om oss som varnar för existentiell AI-risk mot arten Homo sapiens (liksom mot biosfären som helhet), men att de försummat att reflektera över hur missvisande denna beteckning är. Domedagspredikanter har i alla tider hävdat att undergången är nära, medan så gott som alla vi som fått stämpeln AI doomer, inklusive Tegmark, ivrigt framhåller hur vi (mänskligheten) kan undvika undergången om blott vi tar oss samman. Tvärtemot vad Ivarsson och Magnusson verkar föreställa sig är det snarare regel än undantag i denna grupp att argumentera utifrån samma utpräglat icke-deterministiska dikotomi som Tegmark angående AI-teknikens möjliga katastrofala kontra extremt välståndsbringande följder, och vikten av att vi navigerar rätt i det avgörande läge vi nu befinner oss i.

Ett slående exempel finner vi i den svenskfödde Oxfordfilosofen Nick Bostrom, vars bok Superintelligence från 2014 gjort mer än kanske någon annan för att skapa ett uppvaknande kring AI-risk, och vars uppföljare Deep Utopia utkommen i våras behandlar frågan om vad vi meningsfullt kan ägna våra liv åt i ett läge där superintelligent AI löst alla våra praktiska problem. Den drastiska skillnaden i tema mellan de två böckerna skall inte ses som en omsvängning från KD-lägret till det Ivarsson och Magnusson kallar progressiv utopism, då både dystopiska och utopiska framtider hela tiden har legat långt fram i Bostroms tänkande på ett sätt som är typiskt för oss AI doomers.

*

Nåväl, det må vara hur det vill med exakt hur Ivarsson och Magnusson tillägnat sig sin snedvridna uppfattning om hur AI-debattlandskapet ser ut. Oavsett hur det står till med det står det klart att de gärna skulle se att vi som blåser i visselpipan rörande den existentiella risk för mänskligheten som uppstår till följd av de ledande AI-företagens vansinneskapplöpning mot AGI (artificiell generell intelligens) valde att tagga ned en smula, eftersom vi med våra varningsord bidrar till "en farlig och destruktiv snedvridning av debatten".

Borde vi göra det? Tagga ned alltså. Den frågan kan inte rimligtvis besvaras med mindre än att ta ställning till huruvida en sådan risk verkar vara en realitet, givet rådande evidensläge:

• Om existentiell AI-risk är en realitet, så bör vi givetvis inte tagga ned, och därmed bidra till att sopa risken under mattan och därigenom öka risken att mänskligheten sömngångaraktigt fortsätter sin färd mot en eventuell AI-apoklyps. Hur mycket Ivarsson och Magnusson än önskar sig det förändrade debattlandskap som en sådan nedtaggning skulle resultera i, kan vi inte ta på våra samveten att genom att gå dem till mötes bidra till en ökad risk för mänsklighetens undergång.
• Om däremot existentiell AI-risk inte är en realitet, så bör vi givetvis upphöra med att tjata om saken. Mänskligheten står inför tillräckligt många allvarliga utmaningar ändå, att vi inte bör ödsla tid och kraft på att diskutera risker som inte är på riktigt. Duh.

För egen del gör jag bedömningen att existentiell AI-risk är en realitet, något jag redogjort och argumenterat för utförligt på annat håll, som t.ex. i min bok Tänkande maskiner. Men vad anser Ivarsson och Magnusson om saken?

Detta säger de inget explicit om, då deras debattartikel egentligen inte handlar om AI i sak. De debatterar på ett metaplan - en debatt om debatten, där eventuella kopplingar till verkligar sakförhållanden lämnas underförstådda. Vi får ändå hoppas att de gör bedömningen att existentiell AI-risk inte är en realitet, ty i annat fall vore ju deras plädering för nedtaggning av diskussion om saken moraliskt monstruös.

Det finns även en del ordval i Ivarssons och Magnussons artikel som tyder på att de gör den bedömningen. De hävdar exempelvis att Max Tegmarks tal om existentiell AI-risk bottnar i en "sciencefictionkultur". Trots att jag känner stor sympati med Yuval Noah Hararis yttrande i SVT:s Babel häromdagen att science fiction är "den viktigaste litterära genren i vår tid" genom dess "försök att varna oss för farorna och att spekulera i hur vi kan bygga bättre samhällen", så är det uppenbart att Ivarssons och Magnussons bruk av begreppet är tänkt som ett okvädningsord, ämnat att diskreditera Tegmarks idéer.³

En annan antydan i samma riktning finner vi i deras stämpling av begreppet superintelligens som "vetenskapligt irrelevant". Detta gör de i största förbigående, men jag tycker ändå att det kan vara motiverat att fråga sig vad de menar med detta påstående om vetenskaplig irrelevans. En första gissning skulle kunna vara att avsikten är att göra en vetenskapssociologisk observation - ett värdeneutralt påpekande om att begreppet superintelligens inte används i den vetenskapliga litteraturen. Men påståendet kan i så fall raskt vederläggas, då ju en Google Scholar-sökning på ordet "superintelligence" ger hundratals träffar, och då samma databas anger att Nick Bostroms ovannämnda bok Superintelligence har mer än 6000 citeringar.

Ett annat förslag till vad de menar är att de är inne på samma linje som min matematikerkollega David Sumpter då denne förordar ett vetenskapsteoretiskt synsätt som sätter så snäva gränser för vad som legitimt kan studeras med vetenskapliga metoder att de exkluderar fenomen som ligger tillräckligt långt utanför det hittills kända. Sumpter tar explicit upp superintelligent AI (jämte ett par andra exempel, inklusive den eventuella existensen av utomjordiska civilisationer) såsom varande out-of-bounds för vetenskapliga studier. Den sortens invändning mot superintelligensbegreppet har jag väldigt lite till övers för, av det enkla skälet att verkligheten inte på detta vis låter sig styras av vetenskapsteoretiska gränsdragningar och andra sociala normer. Om superintelligent AI ligger inom räckhåll för dagens AI-utveckling så gör den det, oavsett vilka regler vetenskapsteoretikerna sätter upp för vad som får lov att förekomma i anständig vetenskaplig diskurs. Och med tanke på de samhälleliga värden som står på spel har vi all anledning att försöka utröna huruvida så är fallet, oaktat dessa inskränkta vetenskapsteoretikers klagomål.

Men jag vet som sagt inte vad Ivarsson och Magnusson menar med sitt påstående om vetenskaplig irrelevans, och det troligaste är måhända att det inte menar så mycket i sak alls, utan mer använder uttrycket som ännu ett okvädningsord. Särskilt mycket klokare tror jag hur som helst inte att vare sig jag eller någon annan DN-läsare blev av att se det i deras text.

*

Det finns ett käckt tankeredskap jag nyligen lärt mig om och som är användbart för att resonera mer strukturerat kring framtida AI, nämligen Nate Silvers Teknologiska Richterskala (TRS), som lånat halva namnet och sin (approximativt) logaritmiska struktur från den mer kända seismologiska Richterskalan med vilken vi anger jordbävningars storlek. En teknologi på nivå TRS=1 är en som poppat upp som idé i uppfinnarens huvud när denne står i duschen men därefter glömts bort. Därifrån ökar teknologins avtryck i världen, med t.ex. kommersialisering och patent, successivt, och vid nivå TRS=6 handlar det om en seriös kandidat till titeln "årets teknologiska genombrott". Nivåerna 7, 8 och 9 svarar på samma sätt mot årtiondets, århundradets och årtusendets genombrott, medan nivå 10 är reserverad för genombrott så genomgripande att de saknar motstycke i historien och skapar en helt ny era för planeten vi bor på.

Ett bra sätt att strukturera sitt tänkande kring framtiden med AI är att tänka igenom på vilken TRS-nivå AI landar, samt på vilken nivå av det vi kan kalla "braighet" - hur lyckat utfallet blir för mänskligheten på en 5-gradig skala från "katastrofalt" till "extremt positivt". Var och en med ett uns av epistemisk ödmjukhet inser att vi inte kan veta säkert var AI landar i denna tvådimensionella matris, och att det därför är bättre att beskriva sin gissning i termer av en sannolikhetsfördelning snarare än att tvärsäkert peka ut en enda av matrisens celler. Så här ser Nate Silvers egen sannolikhtesfördelning ut, så som han presenterar den i On the Edge; var och en av de små hexagonerna i diagrammet svarar mot 1% av Silvers subjektiva sannolikhetsmassa.

Det är flera saker jag gillar med Silvers fördelning. Först och främst är det bra att den är rejält utspridd över matrisen, då det visar att Silver inser vidden av den osäkerhet det här handlar om, och inte fastnat i någon specifik teknikdeterministisk tankegång. Klokt är också att ju högre upp vi går på TRS-skalan desto tydligare bimodal (tvåpucklig) och polariserad blir braighetsfördelningen (den som tror att AI landar på TRS-nivå 10 men ändå insisterar på att braigheten hamnar någonstans i mitten har nog inte tänkt igenom ordentligt hur radikalt världen skulle förändras av en TRS 10-teknologi).

Ändå skulle inte min sannolikhetsfördelning, om jag tvingades att precisera den i detalj, se ut exakt som Silvers. Framför allt skulle min fördelning förskjutas en bit uppåt längs TRS-skalan jämfört med hans, och det av två skäl. Det ena är att vi har så mycket outnyttjad potential i den AI-utveckling vi redan sett, att jag bedömer att vi är mycket nära att ha TRS-nivå 8 inom räckhåll via bättre utnyttjande av denna potential även om AI-utvecklingen i sig mot all förmodan skulle göra tvärstopp. Det andra är att intelligens är en så flexibelt användbar och självförstärkande kraft att det blir lite komplicerat att tänka sig att utvecklingen skulle stanna på nivå 8 eller 9 istället för att fortsätta uppåt, och därför lägger jag betydligt mer sannolikhetsmassa än Silver på nivå 10 (varav nästan allt hamnar i något av de båda övre hörnen, svarande på ett ungefär mot huvudscenarierna i Nick Bostroms båda böcker Deep Utopia och Superintelligence). Dock lägger jag långtifrån all sannolikhet på nivå 10, för vi kan ju trots allt stanna på nivå 8 eller 9, antingen genom att något oväntat hinder för fortsatt AI-utveckling dyker upp, eller att vi blir tillräckligt bekymrade över riskerna med fortsatt utveckling att vi kollektivt lyckas ta oss samman och avbryta den.

Jag vill verkligen rekommendera läsaren att som en nyttig övning tänka igenom hur hens sannolikhetsfördelning skulle se ut - och varför. Och det vore ytterst intressant att se var Ivarsson och Magnusson skulle hamna i en sådan övning. Självklart behöver de inte vara helt överens inbördes. Men av deras förklenande tal om science fiction och av deras artikel mer allmänt får jag intrycket att båda två helt skulle avvisa möjligheten att nå TRS-nivå 10, och att de istället skulle fördela sina respektive sannolikheter över nivåerna 7 och 8 (och möjligen även 9). Om jag har rätt i denna gissning om hur de tänker så står de inför ett lite besvärligt val rörande vad de tänker sig skall hindra AI-utvecklingen från att nå nivå 10. Antingen tänker de sig att det helt enkelt är omöjligt att AI skall nå nivå 10, något som förvisso skulle kunna vara fallet fastän det är svårt att se konkret vad det i så fall skulle bero på, och det är hur som helst epistemiskt omdömeslöst att vara bombsäker på något sådant. Den andra möjligheten är om de tänker sig att stoppet på en lägre TRS-nivå än 10 kan komma att bero åtmistone till en del på att vi väljer att avsiktligt stoppa utvecklingen till följd av att de stora risker som bedöms föreligga på högre nivåer, men den tanken rimmar lite illa med deras i DN-artikeln uttryckta önskemål om att få tyst på den sortens riskdiskussion.

Fotnoter

1) Populärkulturellt bevandrade läsare lägger här givetvis märke till min blinkning till Sveriges Televisions TV-serie Babels hus från 1981, baserad på PC Jersilds roman med samma namn, där det gigantiska sjukhus i de södra delarna av Storstockholm som spelade en av huvudrollerna höll sig med en regelbundet återkommande guidad rundtur för nyanställda, benämnd KDS (Känn Ditt Sjukhus).

2) Så t.ex. heter det i Tegmarks Time-artikel att superintelligent AI...

...might solve disease, poverty and sustainability and help humanity flourish like never before, not only for the next election cycle, but for billions of years, and not merely on Earth but throughout much of our beautiful cosmos,

och hans Amodei-kritik i vilken han pläderar för att dra i nödbromsen för den skenande AGI-utvecklingen kan vi ta del av följande avslutningsmening:

If humanity needs to wait another couple of decades for beneficial AGI, it will be worth the wait – and in the meantime, we can all enjoy the remarkable health and sustainable prosperity that tool AI can deliver.

3) Samma science fiction-retorik använde Magnusson i Ny Teknik i vintras, och han verkar inte ha tagit någon större notis om hur jag med följande ord läxade upp honom för det:

Just science fiction-retoriken tycker jag är hög tid att kasta på sophögen. Någon som 1920 hade fått besked om 1960-talets Apollo-program och månlandningen hade garanterat utropat ”science fiction!”, och detsamma hade gällt den som 1980 fått höra om våra liv idag med internet och smarttelefoner, liksom för övrigt den som 2017 hade fått chansen att samtala med GPT-4. Science fiction, science fiction! Men allt detta har besannats, så vi lever redan i en science fiction-värld.

Två debattartiklar om AI-risk idag

Idag den 10 oktober 2024 publicerar jag inte mindre än två debattartiklar i svensk press. Båda behandlar AI-risk, och ett visst överlapp i innehåll föreligger, men huvudfokuset är ändå lite olika i de två texterna. I den ena, publicerad i Kvartal, resonerar jag kring en serie oroande tecken på det falnande intresset för AI-säkerhet och samhälleligt ansvarstagande på företaget OpenAI. I den andra, publicerad i Expressen, kommenterar jag beskedet tidigare i veckan att AI-forskaren Geoffrey Hinton utsetts till Nobelpristagare i fysik, och dennes syn på AI-risk.

Så här inleds Kvartal-artikeln, vilken bär rubriken OpenAI visar sitt rätta ansikte:

Mediebevakningen inom AI har dämpats något jämfört med för ett år sedan, och det kan vara frestande att dra slutsatsen att teknikutvecklingen mattats av. Inget kunde dock vara mer felaktigt. Nya och bättre chatbots släpps på löpande band, de ledande AI-bolagen investerar allt större miljardbelopp i utvecklingen av nya modeller, och många i branschen ser med spänd förväntan fram emot vilket tekniksprång det blir när Open AI så småningom släpper GPT-5.

Sedan de nyligen släppt sin senaste och hittills bästa språkmodell, benämnd o1, experimenterade den världsledande matematikern Terence Tao med att diskutera matematik med den. Upplevelsen var, menade han, som att prata med en ”medioker men inte helt inkompetent doktorand”, vilket han ansåg vara ett klart fall framåt jämfört med tidigare modeller. Efter att själv ha provat samma sak kan jag instämma i hans bedömning.

Många kommentatorer tog i Taos uttalande fasta på ordet ”medioker”, och hävdade att den nya modellen är en besvikelse. Detta är dock ett utslag av svårartad fartblindhet, och förbiser att även en medelmåttig matematikdoktorand behärskar långt mer matematik än nästan alla andra. De senaste årens utveckling är makalös, och blotta tanken att det skulle vara möjligt att föra meningsfulla vetenskapliga samtal med en AI skulle för bara för fem år sedan ha avfärdats som spekulativ science fiction. Reaktionen hade blivit densamma på idén att miljontals unga människor år 2024 dagligen skulle anlita Character.ai och liknande chatbots som artificiell samtalsterapeut, vän eller romantisk partner.

Även om AI-utvecklingen mot all förmodan skulle avstanna tvärt så finns så mycket outnyttjad potential att dess inverkan på ekonomi, arbetsmarknad och samhälle kan väntas bli mycket stor. Ännu större blir givetvis effekterna om nuvarande trendlinjer mot allt kraftfullare AI består.

De positiva möjligheterna med den eskalerande AI-tekniken är närmast obegränsade, men detsamma gäller även riskerna. Konkurrensen från AI börjar bli kännbar för exempelvis copywriters och programmerare, och många andra yrkesgrupper ser ut att stå på tur. Deepfakes och olika slags automatiserad diskriminering (till exempel en AI som avgör om du ska få ett banklån eller kallas till anställningsintervju, och som svarar nej på grund av kön eller hudfärg) är andra omdiskuterade riskområden. Och ingen kan med säkerhet säga vad som händer med samhället då en allt större del av befolkningen vänder sig bort från mänskliga kontakter för att i stället välja umgänge med en mer anpasslig och trogen AI-vän.

För att inse hur omvälvande förändringarna kan bli är det värt att ta ett steg tillbaka för att...

Läs hela artikeln här!

Expressen-artikeln, rubricerad Nobelpristagaren vet att det han skapat är farligt, inleds på följande vis:

Då AI-forskaren Geoffrey Hinton utsågs att jämte fysikern John Hopfield erhålla 2024 års Nobelpris i fysik uppstod en egendomlig situation som troligen saknar motstycke i Nobelhistorien. I sitt testamente 1895 skrev Alfred Nobel nämligen att hans pris skall tilldelas dem som ”gjort mänskligheten den största nytta”. Hinton fruktar att hans forskning tvärtom kan komma att bli till ofantlig skada för mänskligheten.

Via telefon under presskonferensen den 8 oktober då priset offentliggjordes uttryckte han sin oro över att den yttersta konsekvensen av hans och andra AI-forskares landvinningar kan bli skapandet av AI-system som är ”mer intelligenta än vi, och som slutligen tar kontrollen”. Datorpionjären Alan Turing uttryckte samma oro redan 1951, men skillnaden är att Hinton i dag ser att situationen börjar bli akut.

Geoffrey Hinton har varit en drivande kraft inom AI-forskningen i mer än fyra decennier, och det är i hög grad de beräkningsmetoder han utvecklat som möjliggör den storskaliga träningen av ChatGPT och andra AI-system som i dag börjat sätta allt större avtryck i samhället. Han var länge ganska obekymrad över AI-utvecklingens konsekvenser, men våren 2023 gjorde han en helomvändning som visar på...

Läs hela artikeln här!

Some cheerful notes on the US Senate Hearing on Oversight of AI

Earlier this week, a hearing was held at the US Senate on the topic Oversight of AI: Insiders' Perspectives. Here is the full 2h 13 min video recording of the event, and here is a transcript. I strongly recommend seeing or reading the whole thing.

As regards the subject-matter content of the hearing, large parts of it can only be described as deeply troubling, provided one cares about the human civilization and the human race not being destroyed in the sort of AI catastrophe that may well become the endpoint of the ongoing and reckless race between leading tech companies towards creating superintelligent AI.¹ Nevertheless the meeting cheered me up a bit, because I think it is of tremendous importance that the topics discussed reach the ears both of powerful politicians and of the general public. In addition, the following two observations had a really heartening effect on me.

1. My admiration for Senator Richard Blumenthal is on a steady increase. When he chaired an earlier session, in May 2023, on a similar topic, he was apparently unprepared to seriously take in the idea of AI-caused human extinction, and misunderstood it as being a labor market issue. Here is what he then said to OpenAI's CEO Sam Altman:

You have said - and I'm gonna quote - development of superhuman machine intelligence is probably the greatest threat to the continued existence of humanity. End quote. You may have had in mind the effect on jobs.

This is understandable. Extinction of humanity is such a far-out concept that it can be hard to take in if you are not used to it. But over the next few hours and months, Blumenthal did take it in, and in this week's hearing he showed excellent undertanding of the issues at stake. He really does take the issues seriously, and seems to be a force for good concerning the need to involve government in mitigating AI risk. Also, not every 78-year old top politician in the United States shows such a steep learning curve.

2. Of the four witnesses, two of them - Helen Toner and William Saunders - are situated mainly on what I would call the AI safety side of AI discourse, while the two others - Margaret Mitchell and David Evan Harris - are more towards AI ethics. These are two adjacent areas without any razor-sharp boundary between them, but here is how I contrast them in my recent paper On the troubled relation between AI ethics and AI safety:

The difference between the fields is mostly one of emphasis. Work in AI safety focuses mainly on what happens once AI attains capabilities sufficiently broad and powerful to rival humanity in terms of who is in control. It also addresses how to avoid a situation where such an AI with goals and incentives misaligned with core human values goes on to take over the world and possibly exterminate us. [...] In contrast, work in AI ethics tends to focus on more down-to-Earth risks and concerns emanating from present-day AI technology. These include, e.g., AI bias and its impact on social justice, misinformation based on deepfakes and related threats to democracy, intellectual property issues, privacy concerns, and the energy consumption and carbon footprint from the training and use of AI systems.

As discussed at some length in my paper, a tension between representatives in these fields has in recent years been salient, often with accusations that people on the other side are wasting time and resources on the wrong problems. This is extremely unproductive, but all the more wonderful was to see how the witnesses at this Senate hearing showed no such tendencies whatsoever, but instead were eager to emphasize agreements, such as around the need to regulate AI, the dangers involved in naively hoping that the tech companies will self-regulate, and the importance of whistleblower protection. I would like to think that this is a sign that the two camps are beginning to get along better and to unite in the struggle against the true enemy: the tech company executives who are letting (to quote the words OpenAI's former head of safety Jan Leike used as he left in disgust) "safety culture and processes [take] a backseat to shiny products".

*

A final word of caution: Do not take my cheerful observations above as an excuse to say "phew, I guess we're all right then". We're not. The Senate hearing this week was a step in the right direction, but there's a long, difficult and uncertain road ahead towards getting the necessary governmental grip on AI risk - in the United States and internationally.

Footnotes

1) Here are two passages from statements by the witnesses at the hearing. For me personally, it's nothing new, but it is very good to hear them artucilated clearly in this setting. First, former² OpenAI board member Helen Toner:

This term AGI isn't well-defined, but it's generally used to mean AI systems that are roughly as smart or capable as a human. In public and policy conversations talk of human level AI is often treated as either science fiction or marketing, but many top AI companies, including OpenAI, Google, Anthropic, are building AGI as an entirely serious goal and a goal that many people inside those companies think they might reach in 10 or 20 years, and some believe could be as close as one to three years away. More to the point, many of these same people believe that if they succeed in building computers that are as smart as humans or perhaps far smarter than humans, that technology will be at a minimum extraordinarily disruptive and at a maximum could lead to literal human extinction. The companies in question often say that it's too early for any regulation because the science of how AI works and how to make it safe is too nascent.

I'd like to restate that in different words. They're saying we don't have good science of how these systems work or how to tell when they'll be smarter than us or don't have good science for how to make sure they won't cause massive harm. But don't worry, the main factors driving our decisions are profit incentives and unrelenting market pressure to move faster than our competitors. So we promise we're being extra, extra safe.

Whatever these companies say about it being too early for any regulation, the reality is that billions of dollars are being poured into building and deploying increasingly advanced AI systems, and these systems are affecting hundreds of millions of people's lives even in the absence of scientific consensus about how they work or what will be built next.

Second, former OpenAI safety researcher William Saunders:

When I thought about this [i.e., timelines to AGI], there was at least a 10% chance of something that could be catastrophically dangerous within about three years. And I think a lot of people inside of OpenAI also would talk about similar things. And then I think without knowing the exact details, it's probably going to be longer. I think that I did not feel comfortable continuing to work for an organization that wasn't going to take that seriously and do as much work as possible to deal with that possibility. And I think we should figure out regulation to prepare for that because I think, again, if it's not three years, it's going to be the five years or ten years the stuff is coming down the road, and we need to have some guardrails in place.

2) Toner was pushed off the board as a consequence of Sam Altman's Machiavellean manueverings during the tumultuous days at OpenAI in November last year.

Aschenbrenner, Bostrom, Carlsmith

För första gången sedan hösten 2018 innehåller det nya numret av Förbundet Humanisternas medlemstidning Humanisten en artikel jag författat.¹ Denna gång bär min artikel rubriken AI-debattens ABC, där ABC står för de tre ledande AI-tänkarna Leopold Aschenbrenner, Nick Bostrom och Joe Carlsmith, vilka alla under 2024 utkommit med viktiga böcker eller boklånga essäer. Så här inleds min text:

När detta skrivs i augusti 2024 är en av de stora snackisarna inom AI – artificiell intelligens – den pinfärska forskningsrapporten The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery, vars författarkollektiv kommer från företaget Sanaka AI och ett par olika universitet. De har kommit långt i att automatisera vetenskaplig forskning, inklusive avgörande steg som brainstorming, hypotesgenerering, försöksplanering, datavisualisering och rapportförfattande. Lite i förbigående nämner de hur deras AI i en viss tillämpning hindrades av en restriktion i hur länge dess beräkningar kunde exekveras, och hur AI:n då gick in och försökte redigera sin egen programkod i syfte att eliminera denna restriktion. För oss som kan vår AI-historik är det omöjligt att inte associera till Alan Turings spekulationer i en berömd föreläsning 1951, om hur tillräckligt intelligenta maskiner skulle kunna nå en tröskel där de kan börja förbättra sig själva utan vidare mänsklig inblandning, och hur en sådan utveckling kan väntas leda till att vi till slut förlorar kontrollen över maskinerna.

Turing brukar med rätta framhållas som en av 1900-talets mest banbrytande tänkare och som den största AI-pionjären av alla. Det sistnämnda alltså trots att han dog redan 1954 (för egen hand, till följd av det brittiska rättssystemets på den tiden barbariska syn på homosexualitet), ännu inte 42 år fyllda, och därmed inte fick uppleva det som numera räknas som AI-forskningens egentliga startskott två år senare, sommaren 1956. Då samlades ett antal av USA:s ledande matematiker för en sommarkonferens vid Dartmouth College i New Hampshire kring den ambitiösa idén att skapa datorprogram med förmågor som vi dittills hade sett som unikt mänskliga: språkanvändning, skapande av abstraktioner, lärande och självförbättring. Mötet kom att sätta stark prägel på decennier av fortsatt arbete, och de utmaningar som då formulerades står än idag i centrum för AI-forskningen. De höga förväntningarna var tidvis svåra att leva upp till, så till den grad att området kom att genomgå ett par perioder av så kallad AI-vinter, och det var först på 2010-talet som den exponentiellt ökande tillgången till datorkraft och datamängder gjorde att gamla neurala nätverksidéer började bära frukt på allvar och ge stora framgångar inom så olika tillämpningar som bildigenkänning, brädspel och autonoma fordon.

För den breda allmänheten är det de senaste årens utvecklingen av så kallade språkmodeller som blivit mest synlig: marknadsledande här är OpenAI, vars lansering av ChatGPT i november 2022 för första gången gjorde det möjligt för gemene man att föra samtal med en till synes intelligent AI. Under de knappa två år som sedan förflutit har utvecklingen fortsatt i rasande takt, och ovan nämnda produkt från Sanaka är bara ett av många dramatiska framsteg som alltmer pekar mot att vi närmar oss det som kallas AGI – artificiell generell intelligens – och den kritiska punkt som Turing talade om i sina varningsord från 1951. Att AI-utvecklingen radikalt kommer att transformera många samhällssektorer och även samhället som helhet blir alltmer uppenbart, och även om teknikens potential att skapa ekonomiskt välstånd är i det närmaste obegränsad finns också risken att ett slarvigt genomfört AI-genombrott leder till vår undergång.

Detta slags farhågor har det senaste decenniet lett till ökade satsningar på det som kommit att kallas AI Alignment – AI-forskning specifikt inriktad på att se till att de första i fråga om allmänintelligens övermänskligt kapabla AI-systemen har mål och drivkrafter som prioriterar mänsklig välfärd och mer allmänt är i linje med mänskliga värderingar. Detta har dock visat sig vara lättare sagt än gjort, satsningarna på AI Alignment är ännu små (i förhållande till AI-utvecklingen som helhet), och vi verkar idag vara mycket långt ifrån en lösning. Härav de senaste årens diskurs från tänkare som Eliezer Yudkowsky och Max Tegmark som de senaste åren varnat för att satsningar på AI Alignment kanske inte räcker till, och att vi därför behöver dra i nödbromsen för utvecklingen av de allra mest kraftfulla AI-systemen; även jag har alltmer kommit att ansluta mig till denna tankegång.

Samtidigt finns det de som hävdar att allt tal om existentiell AI-risk är grundlös science fiction och som stämplar oss som lyfter dessa farhågor som domedagspredikanter. I spetsen för denna motdebatt finns kända namn som IT-entreprenören Marc Andreessen och Metas AI-forskningschef Yann LeCun, men för att försvara deras position behöver man anta antingen att AI-utvecklingen automatiskt kommer att avstanna innan den nått övermänsklig allmänintelligens, eller att en övermänskligt intelligent AI på något sätt automatiskt skulle anamma en för mänskligheten gynnsam uppsättning värderingar. Den första av dessa linjer tenderar att implicit postulera någon närmast magisk förmåga hos den mänskliga hjärnan, något som är svårt att passa in i en ickereligiös naturalistisk världsbild, och den andra har visat sig ungefär lika ohållbar.

Precis som intressant och konstruktiv klimatdiskussion undviker att fastna i polemik med klimatförnekarnas insisterande på att den globala uppvärmningen antingen är en chimär eller är oberoende av mänsklig aktivitet, så lämnar den mest givande AI-diskussionen idag det Andreessen-LeCunska AI-riskförnekeriet därhän, och blickar istället framåt, med fokus på hur vi bör tänka för att bäst navigera en osäker framtid. För den som vill fördjupa sig i den för vår framtid så avgörande AI-frågan vill jag ur 2024 års bokutbud rekommendera tre böcker som alla tar detta grepp, men som i övrigt ger inbördes väldigt olika perspektiv. Det handlar om...

Läs den spännande fortsättningen här!

Fotnot

1) Jag håller lite grand andan inför vilka läsarreaktionerna blir denna gång. Förra gången uppstod ett visst palaver, vilket om jag inte missminner mig landade i att en medlem vid namn Ernst Herslow utträdde ur Humanisterna i vredesmod över att synpunkter som mina fick lov att ventileras i medlemstidningen.