Kan AI förgöra mänskligheten? Min senaste medverkan i Utbildningsradion

Jag blev intervjuad i november för avsnittet Kan AI verkligen förgöra mänskligheten av Utbildningsradions program Hjärta och hjärna med programledarna Jenny Jägerfeld och Eric Stern. Avsnittet släpptes idag och jag känner mig hyggligt nöjd med hur det blev. De hade även intervjuat min gode vän och framtidsforskarkollega Karim Jebari, men vid ett separat tillfälle någon dag senare, vilket måhända inte framgick av hur de i redigeringen valde att saxa fram och tillbaka mellan våra respektive yttranden. Saxningen var dock helt rimlig med tanke på att programmet var uppbyggt kring tre centrala ja/nej-frågor som både Karim och jag ombads ta ställning till.

Jag var föreberedd på att de skulle klippa ganska kraftigt i intervjun med mig, vilket ibland kan vara ett riskmoment med tanke på möjligheten att klippa illasinnat, vilket jag dock inte kände var något att oroa sig över i detta fall. Det enda jag hajar till inför när jag nu lyssnar igenom avsnittet är hur jag mot slutet (50:25 in i avsnittet) summerar min insats i programmet med att

jag får säga "vet inte" på samtliga tre frågor, och då kan ni ju tycka att ni kallat in fel expert här,

men med min omedelbara fortsättning bortklippt, vilken ungefär löd

fast om ni hade hittat någon som givit tvärsäkra ja/nej-svar så hade det ju bara visat att denne uppvisar dåligt epistemiskt omdöme givet det extremt osäkra vetenskapliga kunskapsläget.

Denna fortsättning var avsedd att genast undanröja den potentiella missuppfattningen att mitt yttrande skulle vara en sågning av den egna expertisen snarare än en reflektion över det allmänna kunskapsläget, men jag tror att kontexten ändå förhindrar en sådan tolkning. I efterhand inser jag dessutom att det hade varit omöjligt för programmakarna att inkludera fortsättningen utan att det hade låtit som en sågning av Karims omdömesförmåga (vilket det såklart inte var avsett som, inte minst med tanke på att jag vid den tidpunkten inte visste hur han skulle svara på de tre frågorna).

Valet av Karim och mig som experter att intervjua var bra på så vis att våra uppfattningar går kraftigt isär på en rad för AI-debatten centrala punkter, vilket är ganska representativt för hur kunskapsläget ser ut (även om vi givetvis inte respresenterar det fulla åsiktsspektrum som föreligger bland AI-forskare och andra experter). Jag vill här bara kommentera en av dessa punkter. När Karim på tal om den eventuella risken för existentiell AI-katastrof säger (vid pass 20:20) att "sannolikheten att det skulle ske de närmsta hundra åren är extremt låg", så får detta programledare Jägerfeld, med intervjun med mig i färskt minne, att (vid 22:25) fråga "vad är det som gör, tror du, att Olle och andra forskare tänker att det är en såpass stor risk att AI utrotar mänskligheten?". Detta är en väldigt bra typ av fråga att ställa då avsikten är att gå till grunden med våra divergerande ståndpunkter, och efter att avhandlat en annan del av frågebatteriet ger Karim (vid 23:55) ett rakt svar:

Under början av 2000-talet fanns en massa idéer om att när en AI blivit tillräckligt intelligent och uppnått en viss nivå, så kunde den då börja förbättra sig själv, och då skulle den här självförbättrande spiralen bli en feedback, en återkopplingseffekt, som skulle leda till att den på kort tid skulle bli extremt intelligent. Den här teorin eller scenariot, som diskuterades i många kretsar, förutsätter en gammal generation av AI, den typ av AI som vi hade på 00-talet, det som vi idag kallar expertsystem. Moderna AI - deep learning-AI - kan inte förbättra sig själva på det här sättet, eftersom de kräver jättemycket data, extremt mycket elektricitet, extremt mycket begränsade resurser, chips och så vidare, som gör självförbättringsloopen mycket mindre effektiv, mycket mer kostsam, och begränsad av en massa naturliga hinder.

Detta är ett mycket bättre svar än vad de flesta andra skeptiker i frågan om existentiell AI-risk hade förmått leverera, men jag vill ändå mena att det bygger på en grov förenkling av hur AI-utvecklingen ser ut idag. Det har förvisso talats mycket om hur denna utveckling i hög grad drivs av uppskalning av data och beräkningsresurser, men det är långt ifrån hela sanningen, då algoritmutveckling också ligger bakom en stor del av prestandaförbättringen, något som blir extra tydligt med OpenAI:s kraftfulla nya modeller o1 och o3 som eventuellt rentav kan ses som en brytpunkt där uppskalningen inte längre ligger i första rummet, utan det mer handlar om algoritmer som genom att exempelvis bryta ned problem i en sekvens av mindre delproblem ger större utbyte än de tidigare mer rena språkmodellerna. Denna algoritmiska aspekt öppnar för den feedbackloop som Karim avvisar, och jag skulle vilja råda honom att läsa Leopold Aschenbrenners Situational Awareness, som i detalj resonerar sig igenom det mainlinescenario han (Aschenbrenner alltså) ser framför sig det närmaste årtiondet, och som leder till superintelligens. Uppskalning av beräkningskapacitet och elförsörjning finns med i hans scenario, men centralt är också hur AI, tack vare sina extremt snabbt tilltagande kompetenser inom programmering, matematik och relaterade områden, ser ut att inom några få år kunna överträffa även de bästa mänskliga AI-utvecklarna i deras egen gren, vilket öppnar för exempelvis OpenAI att kunna sätta tusentals eller rentav miljontals sådana AI i arbete och därigenom skala upp sin AI-utveckling så dramatiskt att den omtalade självförbättringsspiralen sätter igång på allvar.

Relaterat om än mer översiktligt hörde vi nyligen en av vår tids allra vassaste AI-forskare, den avhoppde OpenAI-medarbetaren Ilya Sutskever, göra bedömningen att den rena uppskalningens epok är förbi men att utvecklingen ändå kommer att rusa vidare mot superintelligens. Det kan såklart hända att såväl Sutskever och Aschenbrenner som en rad andra ledande AI-profiler nära händelsernas epicentrum i San Francisco och Silicon Valley är helt fel ute i sina bedömningar, men jag har mycket svårt att begripa hur Karim kan vara så till den grad säker på detta att det motiverar den direkt avvisande attityd rörande möjligheten till dramatiskt accelererad AI-utveckling har ger uttryck för i Hjärta och hjärna.