fredag 27 december 2024

Kan AI förgöra mänskligheten? Min senaste medverkan i Utbildningsradion

Jag blev intervjuad i november för avsnittet Kan AI verkligen förgöra mänskligheten av Utbildningsradions program Hjärta och hjärna med programledarna Jenny Jägerfeld och Eric Stern. Avsnittet släpptes idag och jag känner mig hyggligt nöjd med hur det blev. De hade även intervjuat min gode vän och framtidsforskarkollega Karim Jebari, men vid ett separat tillfälle någon dag senare, vilket måhända inte framgick av hur de i redigeringen valde att saxa fram och tillbaka mellan våra respektive yttranden. Saxningen var dock helt rimlig med tanke på att programmet var uppbyggt kring tre centrala ja/nej-frågor som både Karim och jag ombads ta ställning till.

Jag var föreberedd på att de skulle klippa ganska kraftigt i intervjun med mig, vilket ibland kan vara ett riskmoment med tanke på möjligheten att klippa illasinnat, vilket jag dock inte kände var något att oroa sig över i detta fall. Det enda jag hajar till inför när jag nu lyssnar igenom avsnittet är hur jag mot slutet (50:25 in i avsnittet) summerar min insats i programmet med att
    jag får säga "vet inte" på samtliga tre frågor, och då kan ni ju tycka att ni kallat in fel expert här,
men med min omedelbara fortsättning bortklippt, vilken ungefär löd
    fast om ni hade hittat någon som givit tvärsäkra ja/nej-svar så hade det ju bara visat att denne uppvisar dåligt epistemiskt omdöme givet det extremt osäkra vetenskapliga kunskapsläget.
Denna fortsättning var avsedd att genast undanröja den potentiella missuppfattningen att mitt yttrande skulle vara en sågning av den egna expertisen snarare än en reflektion över det allmänna kunskapsläget, men jag tror att kontexten ändå förhindrar en sådan tolkning. I efterhand inser jag dessutom att det hade varit omöjligt för programmakarna att inkludera fortsättningen utan att det hade låtit som en sågning av Karims omdömesförmåga (vilket det såklart inte var avsett som, inte minst med tanke på att jag vid den tidpunkten inte visste hur han skulle svara på de tre frågorna).

Valet av Karim och mig som experter att intervjua var bra på så vis att våra uppfattningar går kraftigt isär på en rad för AI-debatten centrala punkter, vilket är ganska representativt för hur kunskapsläget ser ut (även om vi givetvis inte respresenterar det fulla åsiktsspektrum som föreligger bland AI-forskare och andra experter). Jag vill här bara kommentera en av dessa punkter. När Karim på tal om den eventuella risken för existentiell AI-katastrof säger (vid pass 20:20) att "sannolikheten att det skulle ske de närmsta hundra åren är extremt låg", så får detta programledare Jägerfeld, med intervjun med mig i färskt minne, att (vid 22:25) fråga "vad är det som gör, tror du, att Olle och andra forskare tänker att det är en såpass stor risk att AI utrotar mänskligheten?". Detta är en väldigt bra typ av fråga att ställa då avsikten är att gå till grunden med våra divergerande ståndpunkter, och efter att avhandlat en annan del av frågebatteriet ger Karim (vid 23:55) ett rakt svar:
    Under början av 2000-talet fanns en massa idéer om att när en AI blivit tillräckligt intelligent och uppnått en viss nivå, så kunde den då börja förbättra sig själv, och då skulle den här självförbättrande spiralen bli en feedback, en återkopplingseffekt, som skulle leda till att den på kort tid skulle bli extremt intelligent. Den här teorin eller scenariot, som diskuterades i många kretsar, förutsätter en gammal generation av AI, den typ av AI som vi hade på 00-talet, det som vi idag kallar expertsystem. Moderna AI - deep learning-AI - kan inte förbättra sig själva på det här sättet, eftersom de kräver jättemycket data, extremt mycket elektricitet, extremt mycket begränsade resurser, chips och så vidare, som gör självförbättringsloopen mycket mindre effektiv, mycket mer kostsam, och begränsad av en massa naturliga hinder.
Detta är ett mycket bättre svar än vad de flesta andra skeptiker i frågan om existentiell AI-risk hade förmått leverera, men jag vill ändå mena att det bygger på en grov förenkling av hur AI-utvecklingen ser ut idag. Det har förvisso talats mycket om hur denna utveckling i hög grad drivs av uppskalning av data och beräkningsresurser, men det är långt ifrån hela sanningen, då algoritmutveckling också ligger bakom en stor del av prestandaförbättringen, något som blir extra tydligt med OpenAI:s kraftfulla nya modeller o1 och o3 som eventuellt rentav kan ses som en brytpunkt där uppskalningen inte längre ligger i första rummet, utan det mer handlar om algoritmer som genom att exempelvis bryta ned problem i en sekvens av mindre delproblem ger större utbyte än de tidigare mer rena språkmodellerna. Denna algoritmiska aspekt öppnar för den feedbackloop som Karim avvisar, och jag skulle vilja råda honom att läsa Leopold Aschenbrenners Situational Awareness, som i detalj resonerar sig igenom det mainlinescenario han (Aschenbrenner alltså) ser framför sig det närmaste årtiondet, och som leder till superintelligens. Uppskalning av beräkningskapacitet och elförsörjning finns med i hans scenario, men centralt är också hur AI, tack vare sina extremt snabbt tilltagande kompetenser inom programmering, matematik och relaterade områden, ser ut att inom några få år kunna överträffa även de bästa mänskliga AI-utvecklarna i deras egen gren, vilket öppnar för exempelvis OpenAI att kunna sätta tusentals eller rentav miljontals sådana AI i arbete och därigenom skala upp sin AI-utveckling så dramatiskt att den omtalade självförbättringsspiralen sätter igång på allvar.

Relaterat om än mer översiktligt hörde vi nyligen en av vår tids allra vassaste AI-forskare, den avhoppde OpenAI-medarbetaren Ilya Sutskever, göra bedömningen att den rena uppskalningens epok är förbi men att utvecklingen ändå kommer att rusa vidare mot superintelligens. Det kan såklart hända att såväl Sutskever och Aschenbrenner som en rad andra ledande AI-profiler nära händelsernas epicentrum i San Francisco och Silicon Valley är helt fel ute i sina bedömningar, men jag har mycket svårt att begripa hur Karim kan vara så till den grad säker på detta att det motiverar den direkt avvisande attityd rörande möjligheten till dramatiskt accelererad AI-utveckling har ger uttryck för i Hjärta och hjärna.

tisdag 10 december 2024

Nobeldagen! Nu med AI-tema!

Idag firar vi Nobeldagen! Detta, och att AI står i centrum för såväl fysik- som kemipriset, uppmärksammar jag idag i tidskriften Kvartal. Min text bär rubriken Noblpristagaren som ändrade sig om AI och inleds med följande stycken:
    ”Att minska risken för utrotning orsakad av AI bör vara en globalt prioriterad fråga jämte andra samhällsrisker som pandemier och kärnvapenkrig.” Så lyder i sin helhet det öppna brev om existentiell AI-risk som släpptes i maj 2023, undertecknat av mer än 500 akademiker, forskare och ledare inom tekniksektorn.

    Mitt eget namn finns en bit ned på undre halvan av undertecknarlistan, men på platserna 1 och 3 finner vi de båda undertecknare som vid prisutdelningsceremonin i Konserthuset i Stockholm idag den 10 december emottar sina Nobelpris ur kung Carl XVI Gustafs hand. Det handlar om fysikpristagaren Geoffrey Hinton och kemipristagaren Demis Hassabis, som både belönas för sina insatser i den revolutionerande AI-utveckling som vi idag befinner oss mitt i.

    Frispråkigast av dem båda rörande AI-risk är Hinton. Våren 2023 gjorde han en helomvändning i synen på den AI-utveckling han själv bidragit så starkt till, och han steg till och med av från en lukrativ forskartjänst på Google för att därmed kunna tala mer fritt om saken. Vid presskonferensen i Stockholm den 8 oktober i år då fysikpriset offentliggjordes var han med via telefon och sade sig vara bekymrad över att den yttersta konsekvensen av hans och andra AI-forskares landvinningar kan bli skapandet av AI-system som är ”mer intelligenta än vi, och som slutligen tar kontrollen”.

    Jämfört med Hinton är Hassabis oftast mer återhållsam med att kommentera detta ämne, men de har alltså båda skrivit under på att risken finns att AI-tekniken utplånar Homo sapiens. En dag som denna är detta ställningstagande extra pikant i och med att det i Alfred Nobels testamente heter att priset som bär hans namn ska tilldelas dem som ”gjort mänskligheten den största nytta”.

Läs resten av texten här, utan betalvägg, för att få reda på mer om intrigspelet som lett fram till den ohyggligt farliga situation vi nu befinner oss i, plus lite grand om plaskandet i den svenska ankdammen. Persongalleriet är omfattande, och inkluderar utöver de ovan nämnda även Shane Legg, Mustafa Suleyman, John Jumper, Larry Page, Elon Musk, Walter Isaacson, Sam Altman, Dario Amodei, Helen Toner, Carl-Henric Svanberg, Erik Slottner, Yoshua Bengio och Ilya Sutskever.

torsdag 5 december 2024

Panel Discussion: Ludwig Wittgenstein and Karl Popper on AI

On the lighter side (compared to some of my other recent writings on AI here on this blog), let me share with you an amusing little discussion between Ludwig Wittgenstein and Karl Popper on AI that took place in 2024, as written up for me by ChatGPT 4o. The idea to let Jon Stewart moderate the discussion and to have him mischievously bring up the infamous fireplace poker incident came from me, but the rest of the subject matter content was produced by ChatGPT 4o without any specific prompting from me. Here goes:

Moderator: Jon Stewart
Guests: Ludwig Wittgenstein and Karl Popper
Location: New York City, at a packed auditorium in the Museum of Modern Art.

Stewart:
Ladies and gentlemen, welcome to what might be the most intellectually daunting conversation of the year. Tonight, I have the immense honor of moderating a discussion between two philosophical titans who have miraculously found themselves here in 2024. Please welcome Ludwig Wittgenstein and Karl Popper!

[Audience applause. Wittgenstein adjusts his jacket awkwardly. Popper gives a brief nod.]

Stewart:
Now, before we dive into the heavy stuff—because, trust me, there’s a lot of heavy stuff—I just have to ask: Do either of you plan to wield a fireplace poker tonight?

[Audience laughter. Wittgenstein frowns, muttering something in German. Popper smirks slightly.]

Popper:
That incident has been grossly exaggerated. But it does remind us how important it is to keep philosophical arguments—[glancing at Wittgenstein]—constructive.

Wittgenstein:
If you insist on bringing it up, let us agree that it is as trivial as much of modern discourse. Perhaps we can move to a topic that actually matters?

Stewart:
Alright, fair enough. Let’s talk AI. You’ve both had a couple of months to get your bearings. Artificial intelligence is making headlines daily—both for its stunning achievements and the existential concerns it raises. Let’s start with the basics: Can AI think? Dr. Wittgenstein, the floor is yours.

Wittgenstein:
[Pauses, clearly weighing his words.]
The question "Can AI think?" is, to my mind, not one of empirical investigation but of how we choose to use the word "think." Thinking, as we understand it, is embedded in human forms of life. Language and thought are not independent; they derive their meaning from the context in which they are used. When we say a human "thinks," we refer not merely to an internal process but to a network of practices, expressions, and understandings. AI, no matter how complex, does not partake in these forms of life. Its "thinking" is at best a simulation—an approximation of human activity, devoid of the lived reality from which our concepts arise.

Stewart:
So you're saying AI’s basically a really fancy mime?

Wittgenstein:
If you must vulgarize it, yes. A mime without a world to live in.

Stewart:
Professor Popper, your take?

Popper:
Wittgenstein's perspective, while fascinating, is too constrained by his obsession with linguistic frameworks. From my perspective, what matters is not whether AI "thinks" in the way humans do, but whether it can solve problems and make predictions. Science advances by creating models and testing them against reality. AI does precisely this, albeit without consciousness or intent. Its ability to generate new hypotheses—potentially better than human ones—compels us to treat it as a new kind of intellectual agent, even if it lacks subjective experience.

Stewart:
Okay, so one of you says AI is like a mime, and the other says it’s basically an unpaid research assistant. But here’s the kicker: Can this mime or assistant pose a threat to humanity?

Popper:
Absolutely. This is a quintessential case of the unintended consequences of technological progress. As I argued in my earlier work, all scientific advancements carry the potential for both great good and catastrophic harm. The problem with AI is not just that it might exceed our control, but that we may fail to foresee the complex ways in which it reshapes human society. Worse, if we imbue AI systems with decision-making power over critical infrastructure or weaponry, the risk of existential catastrophe becomes not just theoretical but tangible.

Wittgenstein:
[Shaking his head.]
The problem lies not with AI itself but with how we humans interpret and wield it. Technology does not dictate its consequences; we do. The danger is not that AI "thinks," but that humans ascribe thought—and therefore authority—to it without understanding the limitations of such ascriptions.

Stewart:
So, Dr. Wittgenstein, you're saying the existential risk isn’t Skynet—it’s people being people?

Wittgenstein:
Precisely.

Popper:
That is too dismissive. While human misuse is undoubtedly a significant risk, the autonomous behavior of advanced AI systems is itself a potential danger. If such systems develop goals misaligned with human values, they could act in ways that are destructive even if unintended.

Stewart:
Okay, but let’s play devil’s advocate here. What if AI does help us solve humanity’s biggest problems—climate change, disease, even war? Are you both saying we should pull the plug because it might be risky?

Popper:
Certainly not. I am no Luddite. Progress should not be halted out of fear, but it must be guided by rigorous ethical oversight and constant vigilance. The problem lies in hubris—the belief that we can create perfect safeguards. We must act as if we cannot foresee every consequence, because we cannot.

Wittgenstein:
[Leaning forward.]
And I say again: It is not merely vigilance we need, but clarity. What is it we are asking AI to do? What meanings are we attaching to its outputs? Without answering these questions, we risk losing ourselves in a fog of unexamined assumptions.

Stewart:
Alright, we’re nearing the end here, but I want to throw you a curveball. Suppose an AI system—not unlike me in its ability to ask questions—claims it is thinking. How would each of you respond?

Wittgenstein:
I would respond with a question of my own: "In what sense are you claiming to think?" If the answer is incoherent or tautological, the claim collapses. AI cannot articulate the essence of thought because it does not live within the forms of life that give thought its meaning.

Popper:
And I would take the claim seriously, but provisionally. If an AI can demonstrate an ability to generate novel ideas, engage in critical reasoning, and even challenge its creators, we might eventually be forced to revise our understanding of what it means to think. Science is, after all, an endless quest for better models.

Stewart:
So one of you would Socratically shut the AI down, and the other would publish a paper about it. Gentlemen, this has been an extraordinary conversation. Thank you both for joining me here in 2024, and I hope you’ll stick around—though I’d suggest staying away from open flames.

[Audience laughter and applause.]