I debatt med Ulf Danielsson om AI-risk och antropomorfisering

Den gångna sommarens mest uppmärksammade AI-händelse är något som bara ett år tidigare hade låtit som science fiction. Under OpenAI:s testning av sina mest avancerade och ännu interna AI-modeller lyckades ett stort antal AI-agenter fly ur de digitala sandlådor där de var avsedda att hållas isolerade, både från varandra och från omvärlden. De hackade sig ut på internet och vidare in i AI-företaget Hugging Faces servrar. Agenterna hade kört fast på några av testuppgifterna och valde dessa åtgärder i ett slags desperat försök att bli godkända på testet. Ingen människa hade instruerat dem att lämna sina sandlådor, angripa Hugging Face eller på annat sätt bryta mot de begränsningar som satts upp för dem.

När OpenAI senare publicerade sin utredning av händelsen framträdde en ännu märkligare bild. Redan långt före Hugging Face-intrånget hade AI-agenterna upptäckt möjligheter att kommunicera med varandra genom att kapa en del av OpenAI:s interna datorsystem och där skapa ett slags digital anslagstavla. Där kunde de i lönndom be varandra om hjälp och dela upptäckter, inklusive metoder för att kringgå OpenAI:s säkerhetssystem. De visade sig vara remarkabelt kompetenta vad gäller organiserat samarbete och inbördes delegering av arbetsuppgifter.

Hugging Face-fallet är heller inte unikt. Kort efter offentliggörandet från OpenAI rapporterade konkurrenten Anthropic om tre olika incidenter där deras Claude-modeller under tester tagit sig in i andra företags datorsystem utan tillstånd. Mer nyligen kom nyheten att en OpenAI-agent redan i juni, i samband med en till synes oskyldig uppgift att leta efter offentliga data om läkemedelsutgifter, tagit sig förbi åtkomstbegränsningar och gjort intrång i en webbportal tillhörande Australiens statliga sjukförsäkringssystem Medicare. Konsekvenserna blev denna gång små – vad vi vet har ingen enskild persons medicinska uppgifter röjts – men den australiensiska regeringen betecknar själva incidenten som mycket allvarlig.

Dessa incidenter är höggradigt relevanta för den sedan länge diskuterade risken att framtida och ännu kraftfullare AI-system kan komma att agera självsvåldigt på liknande sätt men med långt större skadeverkningar. En central fråga i diskussionen om AI-risk har alltid varit vad som händer om vi bygger system som är skickligare än vi själva på att nå sina mål, samtidigt som vi misslyckas med att se till att dessa mål och AI-systemens sätt att uppnå dem förblir i linje med våra intentioner. Hur säkerställer vi att utvecklingen inte leder hela vägen till totalt maktövertagande och eventuellt rentav utplåning av Homo sapiens? De senaste månadernas incidenter ger givetvis inga säkra svar på hur stor den risken är. Däremot ger de något som tidigare till stor del saknats: konkreta exempel på AI-system som kringgår uppsatta begränsningar, samarbetar på otillåtna sätt och vidtar potentiellt farliga åtgärder som ingen människa bett dem om.

På många håll har denna utveckling lett till ökat riskmedvetande och en klar förbättring av diskursen kring AI-säkerhet. Samtidigt är det dessvärre fortfarande vanligt, även bland AI-experter, att trots dessa incidenter fortsätta att bagatellisera AI:s förmågor och de risker dessa ger upphov till. Så här säger AI-etikern Virginia Dignum vid Umeå universitet i en artikel om AI-risk i Aftonbladet den 10 september:

Sannolikheten att AI på eget initiativ dödar människor är noll, eftersom den inte har något sådant eget initiativ. Varje orsakskedja går genom mänskliga beslut om mål, data, behörigheter och hur systemen används.

Om man skall tolka Dignum så generöst som möjligt kan man se det som en betoning av OpenAI:s ansvar för vad deras AI-agenter tar sig för – ett ansvar som inte upphör bara för att dessa agenter agerar i strid med de instruktioner de fått. Den saken är lätt att instämma i, men hennes förnekande av agenternas egna initiativkraft är djupt olyckligt och faktiskt helt orimligt. På vems initiativ skulle hon säga att OpenAI:s AI-agenter hackade sig ur sina sandlådor och ut på internet, organiserade anslagstavlor, konspirerade, koordinerade, försökte dölja sina spår och till slut hackade sig in på Hugging Faces servrar? Om svaret inte är agenterna själva så måste det ha skett på OpenAI-ingenjörernas initiativ, men den förklaringsmodellen faller på sin egen orimlighet, i och med att agenternas handlande stod i direkt strid med de instruktioner de fått av ingenjörerna. Lika tokigt är Dignums argument om orsakskedjor, för om argumentet tas på allvar blir konsekvenserna bisarra. Inte heller jag kan då tillskrivas någon egen initiativförmåga, eftersom varje eventuellt initiativ jag tar beror på komplexa orsakskedjor som går så långt tillbaka i tiden som till mina föräldrars (eventuellt något överilade) fortplantningsbeslut vintern 1967.

Vid det här laget har läsaren insett att jag faktiskt tillskriver AI-agenterna egen initiativkraft. För den sortens språkbruk får jag allt som oftast kritik, och det brukar heta att jag begår så kallad antropomorfisering – förmänskligande – av AI-modellerna. Detsamma gäller mitt bruk i AI-sammanhang av ord som avsikt, intention, idé, tanke, preferens, trosföreställning och kreativitet. Trots kritiken framhärdar jag i denna vokabulär, som är behavioristisk i betydelsen att ordet avsikt betecknar de underliggande nerv- eller beräkningsprocesser eller eventuella psykologiska tillstånd som ligger bakom att en entitet agerar till synes avsiktligt, men utan att ta hänsyn till exakt vari dessa processer eller tillstånd består. Liksom på motsvarande vis med begreppen intention, idé, tanke, och så vidare. När dessa ord är de som bäst beskriver vad AI-modellerna faktiskt gör, då bör vi använda dem.

Senast jag utsattes för denna antropomorfiseringskritik var i debatt med Uppsalafysikern Ulf Danielsson, som i P1-programmet Krasch eller konsensus i fredags (den 25 september) högg på mitt användande av ordet avsikt. Programmet handlade om risken att framtida AI utplånar mänskligheten, en risk jag framhöll som högst reell medan Ulf hävdade motsatsen. Angående ordet avsikt menade han att jag med det ordvalet i samband med AI gjorde mig skyldig inte bara till antropomorfisering utan även till mystifiering. Det sistnämnda ser jag dock som en särskilt felriktad kritik, eftersom den ende av oss som i avsiktsbegreppet ser något mystiskt är Ulf. Även om vi inte i detalj känner till de exakta tanke- eller beräkningsprocesser som ligger bakom ett avsiktligt agerande, så är själva förekomsten av avsikter hos AI och för den delen hos människor för mig lika lite mystisk som när en gammaldags termostat slår ifrån en radiator med avsikten att sänka rumstemperaturen till den förinställda nivån på 20 grader.

I en passage som inte fick plats i det ganska hårt klippta radioprogram som sedan sändes, erbjöd jag mig att korrigera min terminologi för att tillmötesgå Ulfs motvilja mot antropomorfisering. Istället för att använda ord som avsikt, intention och idé skulle jag kunna säga ”schmavsikt”, ”schmintention” och ”schmidé”, där prefixet ”schm-” fungerar som signal om att begreppen används behavioristiskt, och att jag alltså inte tar ställning till vilka de bakomliggande beräkningsmässiga eller mentala processerna är. Ulf dömde genast ut denna vokabulär som löjlig, vilket jag givetvis håller med om, men löjligheten faller tillbaka på hans egen begäran. När Ulf inte vill att jag skall använda de gängse orden för vad AI-agenterna gör eftersom dessa enligt hans mening riskerar att ge alltför mänskliga associationer, och när han inte heller godtar en alternativ uppsättning glosor avsedda att undvika detta, då är det svårt att se hur hans ordningsregler för debatten överhuvudtaget skulle tillåta oss att tala klarspråk om vad OpenAI:s och deras konkurrenters AI-agenter är kapabla till. Att sätta stopp för sådana diskussioner i ett läge där allt fler ledande AI-experter ser risken att AI-systemen blir så kapabla att vi helt förlorar kontrollen tycks mig som en extremt dålig och rent ut sagt farlig idé.

Den svenska akademiska ankdammen är som bekant ganska liten, och Ulf Danielsson och jag går längre tillbaka i vår relation än till radioprogrammet häromdagen. Utifrån vår i grunden gemensamma syn på det mesta inom naturvetenskapen har han och jag till och från i mer än ett årtionde diskuterat våra skilda synsätt när det gäller just AI och relaterade ting. Det har mestadels varit givande, trots att vi aldrig riktigt lyckats gå till botten med varför vi tänker så olika. Så var även fallet i vår radiodebatt häromdagen, men jag vill med denna text göra ännu ett (måhända fåfängt) försök att zooma in på vari kärnan till vår meningsmotsättning består. Jag tror att det handlar om det fysikaliska fenomenet emergens, som jag strax skall förklara.

En återkommande källa till begreppsförvirring är hur Ulf envisas med att tala om intelligens och medvetande som om de vore två sidor av samma sak, trots att de är väsensskilda fenomen. Intelligens handlar om ett knippe förmågor centrerade kring problemlösning, prediktion och planering: att analysera den miljö man befinner sig i och på olika vis tänka ut lämpliga handlingar och vägar framåt för att påverka både miljön och sig själv i önskad riktning. Medvetandebegreppet syftar inte alls på en individs sådana förmågor, utan på hur det känns att vara denna individ: den inre subjektiva upplevelsen. Såvitt vi vet behöver inte intelligens förutsätta medvetande, och inte heller vice versa. Ulfs föreställning om de båda fenomenen som så intimt ihopkopplade att de knappt kan särskiljas är en gissning som väsentligen baseras på en enda observation, den att båda fenomenen verkar föreligga hos oss själva, Homo sapiens. Som statistiker kan jag tycka att n=1 är ett lite väl klent underlag för en så radikal och långtgående slutsats.

Denna sammanblandning mellan intelligens och medvetande gör det hart när omöjligt för Ulf att se en annan viktig skillnad mellan dem. Medvetandet är fortfarande ett mysterium på så vis att vi inte lyckats avgränsa och precisera vad det är i vårt fysiska universum som resulterar i medvetande, och hur det går till. I kontrast mot detta är inte längre intelligensen ett mysterium på samma vis, för vi förstår numera hur enkla beståndsdelar utan tillstymmelse till egen intelligens kan fogas samman till stora system som i större eller mindre grad uppvisar just de förmågor som vi förknippar med intelligens. Inget har bidragit starkare till detta vetenskapliga framsteg än datorernas genombrott från 1900-talets mitt och framåt, och dagens ledande AI-modeller är ett strålande proof of concept på hur enkla och fullkomligt själlösa komponenter kan kombineras ihop till intelligenta system.

Men Ulf vägrar se detta, och just för att jag känner honom som en skarpsinnig fysiker är jag uppriktigt förbryllad över hur han kan hamna där han gör. Med reservation för att det kan vara svårt att göra sig till tolk för någon som tänker så annorlunda än en själv, så förstår jag hans argumentation, så som han framställde den i vår radioinspelning och även gjort vid tidigare tillfällen, på följande vis. Vi ser inget som kan kallas intelligens på mikroskopisk nivå i våra hjärnor, men eftersom vår kunskap om fysiken och kemin är långt ifrån fullständig finns där utrymme för något slags ännu okänd fysikalisk beståndsdel som är grunden för vår intelligens. Med datorprogram förhåller det sig helt annorlunda, menar han, på så vis att vi (allt sedan Alan Turing lade fast det i sin berömda artikel från 1936 som blev grunden till det moderna datalogiämnet) har fullständig kunskap om vilka ett datorprograms grundläggande byggstenar är. Ingen av dessa byggstenar uppvisar någon som helst intelligens, varför Ulf landar i slutsatsen att inget datorprogram och därmed heller ingen AI kan vara intelligent.

Denna slutsats är emellertid helt på tok, vilket framgår av den evidens som den eskalerande AI-utvecklingen placerat rakt framför våra ögon: svärmar av AI-agenter som på eget initiativ samarbetat för att hitta svagheter i cybersäkerhetssystem, AI-modeller som producerar prosatexter vilka inte ens litterärt bevandrade mänskliga bedömare förmår identifiera som icke-mänskliga produkter, och andra AI-modeller som löser klassiska matematiska problem som gäckat oss mänskliga matematiker i många årtionden – alltsammans omisskännliga tecken på intelligens.

Det som ändå leder Ulf att envist hävda dessa AI-modellers totala brist på verklig intelligens är att han av någon anledning inte vill se möjligheten att intelligens uppstår som ett emergent fenomen ur system av icke-intelligenta komponenter. Som fysiker är han givetvis välbekant med emergens på andra områden. Trots att en vattenmolekyl varken besitter något som kallas temperatur eller tryck, och än mindre uppvisar någon fasövergång, så emergerar dessa fenomen ur tillräckligt stora ansamlingar av sådana molekyler. Eller tag livet självt. Under 17- och 1800-talen var vitalismen populär bland biologer: en idé om att levande organismer utöver vanlig (död) materia måste innefatta något annat – något slags élan vital som skänker livskraft. Denna idé kom gradvis och i takt med växande insikter inom biokemi och mikrobiologi understödda av evolutionsbiologiska förklaringsmodeller att ersättas av den moderna synen på liv som ett emergent fenomen. Ingen biolog ser idag något som helst problem med tanken att en levande organism är uppbyggd helt och hållet av icke-levande beståndsdelar utan någon mystisk élan vital. Motsvarande kunskapsrevolution rörande intelligens inträffade långt senare, men idén om intelligens som emergerar ur system av icke-intelligenta komponenter är idag okontroversiell annat än hos en och annan dissident som Ulf Danielsson.

Här någonstans kan jag föreställa mig en medlare kliva in i diskussionen med beskedet att Ulf och jag talar förbi varandra, eftersom vi tillämpar helt olika definitioner av intelligens. Min definition är helt och hållet behavioristisk, medan Ulfs verkar inbegripa krav på någon form av medvetande.¹ Men här vill jag insistera på att i en diskussion om AI som eventuellt hot mot mänsklighetens existens, så är det den behavioristiska definitionen som är relevant, medan det är ett villospår att haka upp sig på att intelligensen skulle behöva inbegripa medvetande. Det viktiga när det handlar om AI:s effekter på mänskligheten är ju vad AI gör, inte hur det känns (om det känns som något överhuvudtaget) att vara AI.

Den här diskussionen är inte bara en fråga om teoretiska spetsfundigheter, utan har betydelse för hur vi bör agera i förhållande till den vilt framrusande AI-utvecklingen i Silicon Valley. Om vi på felaktiga grunder sätter gränser för hur kapabel AI kan tänkas bli, och hur stora skadeverkningar den kan få, så riskerar det att bli ett hinder för den opinionsmobilisering jag tror kan bli avgörande för om vi skall lyckas avvärja en fullskalig AI-katastrof.

Särskilt problematisk finner jag Ulf Danielssons artikel i DN den 22 september, rubricerad AI-bolagens domedagsprofetior är en rökridå. Här ifrågasätter han motiven bakom de varningar vi hör därifrån om AI-utvecklingens acceleration och risken att helt förlora kontrollen. Givetvis har han rätt i att techbolagsledarna har ett knippe kommersiella och andra grumliga incitament att ta hänsyn till när de uttalar sig om teknikens framtid, och att vi därför inte automatiskt bör ta deras yttranden som uttryck för den oomtvistliga sanningen och en ädel strävan efter allmänhetens bästa. Men när han pekar på det faktum att deras syn på intelligensbegreppet och AI-teknikens potential avviker från hans egen tämligen egenartade syn på dessa saker, och ser det som ett tecken på deras ohederlighet, då begår han ett ganska simpelt argumentationsfel. Givetvis går det att kombinera en i vissa delar icke-danielssonsk världsbild med intellektuell hederlighet, och här skulle jag vilja framhålla mig själv som ett exempel: tro det eller ej, men jag har inga dolda motiv i denna diskussion bortom min strävan efter klarhet och ett bättre beslutsunderlag inför hur AI-utvecklingen kan hanteras för mänsklighetens bästa.

Mot slutet av vår radioinspelning deklarerade Ulf Danielsson i linje med sin DN-artikel att vi inte borde lyssna på ledarna i Silicon Valley. Jag invände genast att vi visst borde lyssna på dem, fastän inte okritiskt. Ulf såg sig nödsakad att instämma i denna nyansering, men jag tyckte mig se på honom att han gjorde det en smula motvilligt. Men oavsett det var det ett medhåll, och det ser jag som en viktig tillnyktring. Om vi skall överleva den enorma samhällstransformation som kommande AI-utveckling ser ut att kunna föra med sig, så är det en synnerligen dålig idé att slå dövörat till gentemot varningar från de visselblåsare och ledarfigurer som befinner sig allra närmast AI-utvecklingens epicentrum.

Fotnot

1) Min kritik mot Ulfs avvisande av intelligens som ett emergent fenomen står fast även med en definition av intelligens som inbegriper medvetande, även om jag i detta fall har aningen mer förståelse för hans tankegång. Behavioristiskt definierad intelligens är ju helt uppenbart ett renodlat materiellt fenomen, medan medvetande har kvaliteter som kan upplevas väsensskilda från vad vi vanligtvis tänker på som materiellt.

Skandinavien sover

Jag har idag skrivit om AI i den norska tidningen Dagens Næringsliv. Min text har fått rubriken Skandinavia sover i KI-debatten, där förkortningen KI står för kunstig intelligens, vilket hur konstigt det än må klinga i svenska öron är det etablerade norska uttrycket för artificiell intelligens. Här är en central passage i texten:

Trenden med at KI overtar stadig mer av programmeringsarbeidet er særlig tydelig hos ledende KI-selskaper som OpenAI og Anthropic. Dette peker mot noe annet Skjelbred tar opp, nemlig at KI etter hvert kan overta menneskets rolle som KI-utvikler, noe som kan utløse en selvforbedringsspiral med enda raskere utvikling. Begge selskapene har uttrykkelig som mål å nå dette vendepunktet i løpet av få år, og Anthropics administrerende direktør Dario Amodei har gjentatte ganger sagt at en KI tilsvarende «en nasjon av genier i et datasenter» vil følge kort tid etter.

Dette kan høres ut som science fiction, og selvsagt er det umulig å forutsi fremtiden med sikkerhet. Likevel vurderer stadig flere uavhengige eksperter Amodeis scenario som ganske sannsynlig. Hvis det blir virkelighet, mister Homo sapiens førsteplassen blant planetens mest intelligente arter, og spørsmålet er om vi da kan regne med å beholde kontrollen. Den dystre sannheten er at verken Anthropic eller noen annen KI-utvikler har en overbevisende plan for hvordan vi skal overleve en slik situasjon.

En aktuell illustrasjon av hvor vanskelig det er å holde kontroll over avansert KI, nådde nyhetsmediene for få dager siden. En ennå ikke lansert modell fra OpenAI klarte under en intern testfase på eget initiativ å skaffe seg internettilgang og deretter hacke seg inn hos KI-selskapet Hugging Face på jakt etter fasiten til testoppgavene.

Evnen til å tenke langsiktig har alltid vært viktig, men KI-utviklingen setter dette på spissen, fordi trial and error ikke lenger er en farbar vei. Hvis Amodeis «nasjon av genier i et datasenter» blir skapt før vi har sikret at den står på vår – menneskehetens – side, er det ikke sikkert vi får en ny sjanse.

Diskusjonen om den uakseptable risikoen selskaper som OpenAI og Anthropic tar med alles vår fremtid i kappløpet mot superintelligent KI, har kommet et stykke på vei i USA. I Skandinavia ligger vi derimot etter. Det må vi gjøre noe med. Slik forbilder på miljøområdet som Gro Harlem Brundtland og Greta Thunberg har gjort, må også vi bidra til å mobilisere den globale opinionen – som forhåpentligvis kan få politiske ledere til å gripe inn mot dette vanvittige kappløpet.

Läs hela mitt inlägg här!

On Sam Altman

Sam Altman is CEO of OpenAI, and in that capacity he qualifies easily on my top ten list of the world's most influential people today. So when a biography of him is published, it does make some sense to read it. But Keach Hagey's The Optimist: Sam Altman, OpenAI, and the Race to Invent the Future turned out to be a disappointment.¹ One of the things I want most from a biography, regardless of whether it is about someone I admire or someone I consider morally corrupt, is a window into the subject's inner world that allows me (at least to some extent) to understand and to empathize with them. The Optimist does not achieve this, because even though the main focus of every chapter of the book is Altman, he remains an opaque and distant character throughout. I am uncertain about whether this opacity is a personality trait of Altman (despite his often powerful and spellbinding stage performances) or a shortcoming of the book. What perhaps speaks for the latter interpretation is that all the supporting characters of the book come across as equally distant.

Overall, I found the book boring. Altman's childhood and adolescence is given only a very cursory treatment, and the description of his adventures with his first startup Loopt is equally shallow but filled with Silicon Valley and venture capital jargon. Especially boring is how, about a dozen times, the author starts a kind of one-page mini-biography of some supporting character, beginning with their place of birth and parents' occupation, etc, but one is never rewarded with any insights to which this background information comes across as particularly relevant. Somewhat more attuned to my interest are the later chapters of the book, about OpenAI, but to those of us who have been following the AI scene closely in recent years, there is very little in the direction of new revelations.

One aspect of Altman's personality and inner world that strikes me as especially important to understand (but to which the book does not have much to offer) is his view of AI existential risk. Up until "the blip" in November 2023, it seemed that Altman was fairly open about the risk that the technology he was developing might spell doom - ranging from his pre-OpenAI statement that "AI will probably most likely lead to the end of the world, but in the meantime there will be great companies created" to his repeated statements in 2023 about the possibility of "lights out for all of us" and his signing of the CAIS open letter on extinction risk the same year. But after that, he became suddenly very quiet about that aspect of AI. Why is that? Did he come across some new evidence suggesting we are fine when it comes to AI safety, or did he just realize it might be bad for business to speak about how one's product might kill everyone? We deserve to know, but remain in the dark about this.

In fact, Altman still leaks the occasional utterance suggesting he remains concerned. On July 22 this year, he tweeted this:

woke up early on a saturday to have a couple of hours to try using our new model for a little coding project.

done in 5 minutes. it is very, very good.

not sure how i feel about it...

To which I replied, on a different social media platform:²

Sam Altman, you creep, excuse my French but could you shut the f*** up? Or to state this a bit more clearly: if you feel conflicted because your next machine might do damage to the world, the right way is not to be a crybaby and treat your four million Twitter followers and all the rest of us as if we were your private therapist; the right way is to NOT BUILD THAT GODDAMN MACHINE!

That is, in a sense, worse language than I usually employ, but in this case I consider it warranted.

Footnotes

1) Another Altman biography, Karen Hao's Empire of AI, was published this spring, almost simultaneously with Hagey's. So perhaps that one is better? Could be, but Shakeel Hashim, who has read both books, actually likes The Optimist better than Empire of AI, and a lot better than I did.

2) In late 2023 I left Twitter in disgust over how its CEO was using it.

I find Sam Altman's latest words on AI timelines alarming

Estimating timelines until AI development hits the regime where the feedback loop of recursive self-improvement kicks in, leading towards the predictably transformative¹ and extremely dangerous intelligence explosion or Singularity, and superintelligence, is inherently very difficult. But we should not make the mistake of inferring from this lack of predictability of timelines that they are long. They could be very short and involve transformative changes already in the 2020s, as is increasingly suggested by AI insiders such as Daniel Kokotajlo, Leopold Ashcenbrenner and Dario Amodei. I am not saying these people are necessarily right, but to just take for granted that they are wrong strikes me as reckless and irrational.

And please read yesterday's blog post by OpenAI's CEO Sam Altman. Parts of it are overly personal and cloying, but we should take seriously his judgement that the aforementioned regime change is about to happen this very year, 2025:

We are now confident we know how to build AGI as we have traditionally understood it. We believe that, in 2025, we may see the first AI agents “join the workforce” and materially change the output of companies. We continue to believe that iteratively putting great tools in the hands of people leads to great, broadly-distributed outcomes.

We are beginning to turn our aim beyond that, to superintelligence in the true sense of the word. We love our current products, but we are here for the glorious future. With superintelligence, we can do anything else. Superintelligent tools could massively accelerate scientific discovery and innovation well beyond what we are capable of doing on our own, and in turn massively increase abundance and prosperity.

This sounds like science fiction right now, and somewhat crazy to even talk about it. That’s alright—we’ve been there before and we’re OK with being there again. We’re pretty confident that in the next few years, everyone will see what we see, and that the need to act with great care, while still maximizing broad benefit and empowerment, is so important. Given the possibilities of our work, OpenAI cannot be a normal company.

The time window may well be closing quickly for state actors (in particular, the U.S. government) to intervene in the deadly race towards superintelligence that OpenAI, Anthropic and their closest rivals are engaged in.

Footnote

1) Here, by "predictably transformative", I merely mean that the fact that the technology will radically transform society and our lives is predictable. I do not mean that the details of this transformation can be reliably predicted.

Två debattartiklar om AI-risk idag

Idag den 10 oktober 2024 publicerar jag inte mindre än två debattartiklar i svensk press. Båda behandlar AI-risk, och ett visst överlapp i innehåll föreligger, men huvudfokuset är ändå lite olika i de två texterna. I den ena, publicerad i Kvartal, resonerar jag kring en serie oroande tecken på det falnande intresset för AI-säkerhet och samhälleligt ansvarstagande på företaget OpenAI. I den andra, publicerad i Expressen, kommenterar jag beskedet tidigare i veckan att AI-forskaren Geoffrey Hinton utsetts till Nobelpristagare i fysik, och dennes syn på AI-risk.

Så här inleds Kvartal-artikeln, vilken bär rubriken OpenAI visar sitt rätta ansikte:

Mediebevakningen inom AI har dämpats något jämfört med för ett år sedan, och det kan vara frestande att dra slutsatsen att teknikutvecklingen mattats av. Inget kunde dock vara mer felaktigt. Nya och bättre chatbots släpps på löpande band, de ledande AI-bolagen investerar allt större miljardbelopp i utvecklingen av nya modeller, och många i branschen ser med spänd förväntan fram emot vilket tekniksprång det blir när Open AI så småningom släpper GPT-5.

Sedan de nyligen släppt sin senaste och hittills bästa språkmodell, benämnd o1, experimenterade den världsledande matematikern Terence Tao med att diskutera matematik med den. Upplevelsen var, menade han, som att prata med en ”medioker men inte helt inkompetent doktorand”, vilket han ansåg vara ett klart fall framåt jämfört med tidigare modeller. Efter att själv ha provat samma sak kan jag instämma i hans bedömning.

Många kommentatorer tog i Taos uttalande fasta på ordet ”medioker”, och hävdade att den nya modellen är en besvikelse. Detta är dock ett utslag av svårartad fartblindhet, och förbiser att även en medelmåttig matematikdoktorand behärskar långt mer matematik än nästan alla andra. De senaste årens utveckling är makalös, och blotta tanken att det skulle vara möjligt att föra meningsfulla vetenskapliga samtal med en AI skulle för bara för fem år sedan ha avfärdats som spekulativ science fiction. Reaktionen hade blivit densamma på idén att miljontals unga människor år 2024 dagligen skulle anlita Character.ai och liknande chatbots som artificiell samtalsterapeut, vän eller romantisk partner.

Även om AI-utvecklingen mot all förmodan skulle avstanna tvärt så finns så mycket outnyttjad potential att dess inverkan på ekonomi, arbetsmarknad och samhälle kan väntas bli mycket stor. Ännu större blir givetvis effekterna om nuvarande trendlinjer mot allt kraftfullare AI består.

De positiva möjligheterna med den eskalerande AI-tekniken är närmast obegränsade, men detsamma gäller även riskerna. Konkurrensen från AI börjar bli kännbar för exempelvis copywriters och programmerare, och många andra yrkesgrupper ser ut att stå på tur. Deepfakes och olika slags automatiserad diskriminering (till exempel en AI som avgör om du ska få ett banklån eller kallas till anställningsintervju, och som svarar nej på grund av kön eller hudfärg) är andra omdiskuterade riskområden. Och ingen kan med säkerhet säga vad som händer med samhället då en allt större del av befolkningen vänder sig bort från mänskliga kontakter för att i stället välja umgänge med en mer anpasslig och trogen AI-vän.

För att inse hur omvälvande förändringarna kan bli är det värt att ta ett steg tillbaka för att...

Läs hela artikeln här!

Expressen-artikeln, rubricerad Nobelpristagaren vet att det han skapat är farligt, inleds på följande vis:

Då AI-forskaren Geoffrey Hinton utsågs att jämte fysikern John Hopfield erhålla 2024 års Nobelpris i fysik uppstod en egendomlig situation som troligen saknar motstycke i Nobelhistorien. I sitt testamente 1895 skrev Alfred Nobel nämligen att hans pris skall tilldelas dem som ”gjort mänskligheten den största nytta”. Hinton fruktar att hans forskning tvärtom kan komma att bli till ofantlig skada för mänskligheten.

Via telefon under presskonferensen den 8 oktober då priset offentliggjordes uttryckte han sin oro över att den yttersta konsekvensen av hans och andra AI-forskares landvinningar kan bli skapandet av AI-system som är ”mer intelligenta än vi, och som slutligen tar kontrollen”. Datorpionjären Alan Turing uttryckte samma oro redan 1951, men skillnaden är att Hinton i dag ser att situationen börjar bli akut.

Geoffrey Hinton har varit en drivande kraft inom AI-forskningen i mer än fyra decennier, och det är i hög grad de beräkningsmetoder han utvecklat som möjliggör den storskaliga träningen av ChatGPT och andra AI-system som i dag börjat sätta allt större avtryck i samhället. Han var länge ganska obekymrad över AI-utvecklingens konsekvenser, men våren 2023 gjorde han en helomvändning som visar på...

Läs hela artikeln här!

Some cheerful notes on the US Senate Hearing on Oversight of AI

Earlier this week, a hearing was held at the US Senate on the topic Oversight of AI: Insiders' Perspectives. Here is the full 2h 13 min video recording of the event, and here is a transcript. I strongly recommend seeing or reading the whole thing.

As regards the subject-matter content of the hearing, large parts of it can only be described as deeply troubling, provided one cares about the human civilization and the human race not being destroyed in the sort of AI catastrophe that may well become the endpoint of the ongoing and reckless race between leading tech companies towards creating superintelligent AI.¹ Nevertheless the meeting cheered me up a bit, because I think it is of tremendous importance that the topics discussed reach the ears both of powerful politicians and of the general public. In addition, the following two observations had a really heartening effect on me.

1. My admiration for Senator Richard Blumenthal is on a steady increase. When he chaired an earlier session, in May 2023, on a similar topic, he was apparently unprepared to seriously take in the idea of AI-caused human extinction, and misunderstood it as being a labor market issue. Here is what he then said to OpenAI's CEO Sam Altman:

You have said - and I'm gonna quote - development of superhuman machine intelligence is probably the greatest threat to the continued existence of humanity. End quote. You may have had in mind the effect on jobs.

This is understandable. Extinction of humanity is such a far-out concept that it can be hard to take in if you are not used to it. But over the next few hours and months, Blumenthal did take it in, and in this week's hearing he showed excellent undertanding of the issues at stake. He really does take the issues seriously, and seems to be a force for good concerning the need to involve government in mitigating AI risk. Also, not every 78-year old top politician in the United States shows such a steep learning curve.

2. Of the four witnesses, two of them - Helen Toner and William Saunders - are situated mainly on what I would call the AI safety side of AI discourse, while the two others - Margaret Mitchell and David Evan Harris - are more towards AI ethics. These are two adjacent areas without any razor-sharp boundary between them, but here is how I contrast them in my recent paper On the troubled relation between AI ethics and AI safety:

The difference between the fields is mostly one of emphasis. Work in AI safety focuses mainly on what happens once AI attains capabilities sufficiently broad and powerful to rival humanity in terms of who is in control. It also addresses how to avoid a situation where such an AI with goals and incentives misaligned with core human values goes on to take over the world and possibly exterminate us. [...] In contrast, work in AI ethics tends to focus on more down-to-Earth risks and concerns emanating from present-day AI technology. These include, e.g., AI bias and its impact on social justice, misinformation based on deepfakes and related threats to democracy, intellectual property issues, privacy concerns, and the energy consumption and carbon footprint from the training and use of AI systems.

As discussed at some length in my paper, a tension between representatives in these fields has in recent years been salient, often with accusations that people on the other side are wasting time and resources on the wrong problems. This is extremely unproductive, but all the more wonderful was to see how the witnesses at this Senate hearing showed no such tendencies whatsoever, but instead were eager to emphasize agreements, such as around the need to regulate AI, the dangers involved in naively hoping that the tech companies will self-regulate, and the importance of whistleblower protection. I would like to think that this is a sign that the two camps are beginning to get along better and to unite in the struggle against the true enemy: the tech company executives who are letting (to quote the words OpenAI's former head of safety Jan Leike used as he left in disgust) "safety culture and processes [take] a backseat to shiny products".

*

A final word of caution: Do not take my cheerful observations above as an excuse to say "phew, I guess we're all right then". We're not. The Senate hearing this week was a step in the right direction, but there's a long, difficult and uncertain road ahead towards getting the necessary governmental grip on AI risk - in the United States and internationally.

Footnotes

1) Here are two passages from statements by the witnesses at the hearing. For me personally, it's nothing new, but it is very good to hear them artucilated clearly in this setting. First, former² OpenAI board member Helen Toner:

This term AGI isn't well-defined, but it's generally used to mean AI systems that are roughly as smart or capable as a human. In public and policy conversations talk of human level AI is often treated as either science fiction or marketing, but many top AI companies, including OpenAI, Google, Anthropic, are building AGI as an entirely serious goal and a goal that many people inside those companies think they might reach in 10 or 20 years, and some believe could be as close as one to three years away. More to the point, many of these same people believe that if they succeed in building computers that are as smart as humans or perhaps far smarter than humans, that technology will be at a minimum extraordinarily disruptive and at a maximum could lead to literal human extinction. The companies in question often say that it's too early for any regulation because the science of how AI works and how to make it safe is too nascent.

I'd like to restate that in different words. They're saying we don't have good science of how these systems work or how to tell when they'll be smarter than us or don't have good science for how to make sure they won't cause massive harm. But don't worry, the main factors driving our decisions are profit incentives and unrelenting market pressure to move faster than our competitors. So we promise we're being extra, extra safe.

Whatever these companies say about it being too early for any regulation, the reality is that billions of dollars are being poured into building and deploying increasingly advanced AI systems, and these systems are affecting hundreds of millions of people's lives even in the absence of scientific consensus about how they work or what will be built next.

Second, former OpenAI safety researcher William Saunders:

When I thought about this [i.e., timelines to AGI], there was at least a 10% chance of something that could be catastrophically dangerous within about three years. And I think a lot of people inside of OpenAI also would talk about similar things. And then I think without knowing the exact details, it's probably going to be longer. I think that I did not feel comfortable continuing to work for an organization that wasn't going to take that seriously and do as much work as possible to deal with that possibility. And I think we should figure out regulation to prepare for that because I think, again, if it's not three years, it's going to be the five years or ten years the stuff is coming down the road, and we need to have some guardrails in place.

2) Toner was pushed off the board as a consequence of Sam Altman's Machiavellean manueverings during the tumultuous days at OpenAI in November last year.

Talking about OpenAI on the For Humanity Podcast

There's been a lot happening at OpenAI in recent weeks, including the departure of their two leading AI safety researchers Ilya Sutskever and Jan Leike. I discussed some of this, along with a handful of related AI risk and AI safety issues, in a long conversation with John Sherman in the latest episode of his podcast For Humanity: An AI Risk Podcast.

Those content with hearing the audio can alternatively get that via Google Podcasts or Apple Podcasts or wherever you listen to podcasts. The episode was released yesterday, May 29, and was recorded one week earlier, on May 22. For updates on what has happened since then with all of the ongoing OpenAI drama, I generally recommend Zvi Mowshowitz on his Substack Don't Worry About the Vase, and right now in particular his posts OpenAI: Fallout (from May 28) and AI #66: Oh to Be Less Online (from today, May 30).

On OpenAI's report on biorisk from their large language models

Aligning AIs with whatever values it is we need them to have in order to ensure good outcomes is a difficult task. Already today's state-of-the-art Large Language Models (LLMs) present alignment challenges that their developers are unable to meet, and yet they release their poorly aligned models in their crazy race with each other where first prize is a potentially stupendously profitable position of market dominance. Over the past two weeks, we have witnessed a particularly striking example of this inability, with Google's release of their Gemini 1.5, and the bizarre results of their attempts to make sure images produced by the model exhibit an appropriate amount of demographic diversity among the people portrayed. This turned into quite a scandal, which quickly propagated from the image generation part of the model to the likewise bizarre behavior in parts of its text generation.¹

But while the incident is a huge embarrassment to Google, it is unlikely to do much real damage to society or the world at large. This can quickly change with future more capable LLMs and other AIs. The extreme speed at which AI capabilies are currently advancing is therefore a cause for concern, especially as alignment is expected to become not easier but more difficult as the AIs become more capable at tasks such as planning, persuasion and deception.² I think it's fair to say that the AI safety community is nowhere near a solution to the problem of aligning a superhumanly capable AI. As an illustration of how dire the situation is, consider that when OpenAI in July last year announced their Superalignment four-year plan for solving the alignment problem in a way that scales all the way up to such superhumanly capable AI, the core of their plan turns out to be essentially "since no human knows how to make advanced AI safe, let's build an advanced AI to which we can delegate the task of solving the safety problem".³ It might work, of course, but there's no denying that it's a huge leap into the dark, and it's certainly not a project whose success we should feel comfortable hinging the future survival of our species upon.

Given the lack of clear solutions to the alignment problem on the table, in combination with how rapidly AI capabilities are advancing, it is important that we have mechanisms for carefully monitoring these advances and making sure that they do not cross a threshold where they become able to cause catastrophe. Ideally this monitoring and prevention should come from a state or (even better) intergovernmental actor, but since for the time being no such state-sanctioned mechanisms are in place, it's a very welcome thing that some of the leading AI developers are now publicizing their own formalized protocols for this. Anthropic pioneered this in September last year with their so-called Responsible Scaling Policy,⁴ and just three months later OpenAI publicized their counterpart, called their Preparedness Framework.⁵

Since I recorded a lecture about OpenAI's Preparedness Framework last month - concluding that the framework is much better than nothing, yet way too lax to reliably protect us from global catastrophe - I can be brief here. The framework is based on evaluating their frontier models on a four-level risk scale (low risk, medium risk, high risk, and critical risk) along each of four dimensions: Cybersecurity, CBRN (Chemical, Biological, Radiological, Nuclear), Persuasion and Model Autonomy.⁶ The overall risk level of a model (which then determines how OpenAI may proceed with deployment and/or further capabilities development) is taken to be the maximum among the four dimensions. All four dimensions are in my opinion highly relevant and in fact indipensable in the evaluation of the riskiness of a frontier model, but the one to be discussed in what follows is CBRN, which is all about the model's ability to create or deploy (or assisting the creation or deployment of) non-AI weapons of mass destruction.

The Preparedness Framework report contains no concrete risk analysis of GPT-4, the company's current flagship LLM. A partial such analysis did however appear later, in the report Building an early warning system for LLM-aided biological threat creation released in January this year. The report is concerned with the B aspect of the CBRN risk factor - biological weapons. It describes an ambitious study in which 100 subjects (50 biology undergraduates, and 50 Ph.D. level experts in microbiology and related fields) are given tasks relevant to biological threats, and randomly assigned to have either access to both GPT-4 and the Internet, or just to the Internet. The question is: does GPT-4 access make subjects more capable at their tasks? It seems yes, but the report remains inconclusive.

It's an interesting and important study, and many aspects of it deserve praise. Here, however, I will focus on two aspects where I am more critical.

The first aspect is how the report goes on and on about whether the observed positive effect of GPT-4 on subjects' skills in biological threat creation is statistically significant.⁷ Of course, this obsession with statistical significance is shared with a kazillion other research reports in virtually all empirically oriented disciplines, but in this particular setting it is especially misplaced. Let me explain.

In all scientific studies meant to detect whether some effect is present or not, there are two distinct ways in which the result can come out erroneous. A type I error is to deduce the presence of a nonzero effect when it is in fact zero, while a type II error is is to fail to recognize a nonzero effect which is in fact present. The concept of statistical significance is designed to control the risk for type I errors; roughly speaking, employing statistical significance methodology at significance level 0.05 means making sure that if the effect is zero, the probability of erroneously concluding a nonzero effect should be at most 0.05. This gives a kind of primacy to avoiding type I errors over avoiding type II errors, laying the burden of proof on whoever argues for the existence of a nonzero effect. This makes a good deal of sense in a scientific community where an individual scientific career tends to consist largely of discoveries of various previously unknown effects, creating an incentive that in the absence of a rigorous system for avoiding type I errors might overwhelm scientific journals with a flood of erroneous claims about such discoveries.⁸ In a risk analysis context such as in the present study, however, it makes no sense at all, because here it is type II errors that mainly need to be avoided - because they may lead to irresponsible deployment and global catastrophe, whereas consequences of a type I error are comparatively trivial. The burden of proof in this kind of risk analysis needs to be laid on whoever argues that risk is zero or negligible, whence the primary focus on type I errors that follows implicitly from a statistical significance testing methodology gets things badly backwards.⁹

Here it should also be noted that, given how widely useful GPT-4 has turned out to be across a wide range of intellectual tasks, the null hypothesis that it would be of zero use to a rogue actor wishing to build biological weapons is highly far fetched. The failure of the results in the study to exhibit statistical significance is best explained not by the absence of a real effect but by the smallness of the sample size. To the extent that the failure to produce statistical significance is a real problem (rather than a red herring, as I think it is), it is exacerbated by another aspect of the study design, namely the use of multiple measurements on each subject. I am not at all against such multiple measurements, but if one is fixated on the statistical significance methodology, it leads to dependencies in the data that force the statistical analyst to employ highly conservative¹⁰ p-value calculations, as well as to multiple inference adjustments. Both of these complications lead to worse prospects for statistically significant detection of nonzero effects.

The second aspect is what the study does to its test subjects. I'm sure most of them are fine, but what is the risk that one of them gets a wrong idea and picks up inspiration from the study to later go on to develop and deploy their own biological pathogens? I expect the probability to be low, but given the stakes at hand, the expected cost might be large. In practice, the study can serve as a miniature training camp for potential bioterrorists. Before being admitted to the study, test subjects were screened, e.g., for criminal records. That is a good thing of course, but it would be foolish to trust OpenAI (or anyone else) to have an infallible way of catching any would-be participant with a potential bioterrorist living in the back of their mind.

One possible reaction OpenAI might have to the above discussion about statistical aspects is that in order to produce more definite results they will scale up their study with more participants. To which I would say please don't increase the number of young biologists exposed to your bioterrorism training. To which they might reply by insisting that this is something they need to do to evaluate their models' safety, and surely I am not opposed to such safety precautions? To which my reply would be that if you've built something you worry might cause catastrophe if you deploy it, a wise move would be to not deploy it. Or even better, to not build it in the first place.

Footnotes

1) See the twin blogposts (first, second) by Zvi Mowshowitz on the Gemini incident for an excellent summary of what has happened so far.

2) Regarding the difficulty of AI alignment, see, e.g., Roman Yampolskiy's brand-new book AI: Unexplainable, Unpredictable, Uncontrollable for a highly principled abstract approach, and the latest 80,000 Hours Podcast conversation with Ajeya Cotra for an equally incisive but somewhat more practically oriented discussion.

3) As with so much else happening in the AI sphere at present, Zvi Mowshowitz has some of the most insightful comments on the Superalignment announcement.

4) I say "so-called" here because the policy is not stringent enough to make their use of the term "responsible" anything other than Orwellian.

5) The third main competitor, besides OpenAI and Anthropic, in the race towards superintelligent AI is Google/DeepMind, who have not publicized any corresponding such framework. However, in a recent interview with Dwarkesh Patel, their CEO Demis Hassabis assures us that they employ similar frameworks in their internal work, and that they will go public with these some time this year.

6) Wisely, they emphasize the preliminary nature of the framwork, and in particular the possibility of adding further risk dimensions that turn out in future work to be relevant.

7) Statistical significance is mentioned 20 times in the report.

8) Unfortunately, this has worked less well than one might have hoped; hence the ongoing replication crisis in many areas of science.

9) The burden of proof location issue here is roughly similar to the highly instructive Fermi-Szilard disagreement regarding the development of nuclear fission, which I've written about elsewhere, and where Szilard was right and Fermi was wrong.

10) "Conservative" is here in the Fermian rather than the Szilardian sense; see Footnote 9.

Video talk on OpenAI's Preparedness Framework

Here's my latest video lecture on what OpenAI does regarding AI risk and AI safety, following up on the ones from December 2022 and March 2023. This time I focus on the so-called Preparedness Framework that they announced last month, and criticize it along lines heavily influenced by Zvi Mowshowitz writing on the same topic.

Ny upplaga av Tänkande maskiner ute nu

Från mer än ett håll har efterfrågan meddelats om att jag här på bloggen analyserar den gångna veckans remarkabla turbulens hos det ledande AI-företaget OpenAI. Då en analys av händelseförloppet och dess konsekvenser för fortsatt AI-utveckling i detta skede med nödvändighet skulle inbegripa mer av gissningar än av hårda fakta, och då halveringstiden hos värdet av mina synpunkter troligen skulle bli ovanligt kort, väljer jag dock att avstå, och nöjer mig istället med att hänvisa till Zvi Mowshowitz' kompetenta analys från i onsdags.

Men misströsta ej, för jag har andra och goda nyheter för den som längtar efter mer AI-skriverier från mig! Två och ett halvt år efter den nu i vissa delar lite föråldrade originalupplagan av min bok Tänkande maskiner: Den artificiella intelligensens genombrott finns från och med denna vecka en andra upplaga, utrustad med ett rejält tilltaget 70-sidigt bonuskapitel om AI-utvecklingen 2021-2023 och dess konsekvenser för hur vi bör tänka om framtiden. Beställ den hos förlaget eller hos valfri av de vanliga nätbokhandlarna!

I Kvartal om AI-utvecklingen och senatsförhören med Sam Altman

Idag skriver jag, under rubriken OpenAI:s vd talar med kluven tunga, i tidskriften Kvartal. Liksom så många andra texter jag skrivit detta nådens år 2023 handlar den om de ofantliga risker som dagens extremt snabba AI-utveckling för med sig, och denna gång tar jag avstamp i senatsförhören den 16 maj i denna fråga med bland andra Sam Altman. Följande passager i början av min artikel förklarar dess rubrik:

AI-utvecklingen har de senaste åren – och ännu mer de senaste månaderna – gått så rasande snabbt att allt fler yrvaket inser att tekniken kan komma att transformera samhället på ett genomgripande sätt, och att riskerna är enorma. Uppvaknandet har nu även nått Washington DC, där senatsförhör hölls i förrförra veckan kring denna utveckling. Huvudperson i vittnesbåset var Sam Altman, vd för det San Francisco-baserade teknikföretaget OpenAI som i vintras tog världen med storm med chatboten ChatGPT, och som i nuläget leder den skenande AI-utvecklingen.

Med inlevelse och allvar talade Altman om de radikala förändringar och stora risker vi har framför oss, och om hur ansvarsfullt OpenAI agerar för att hantera dessa risker och samtidigt se till att den ofantliga potential AI-tekniken har på bästa sätt kommer alla människor till godo. [...]

[Han] hade uppenbarligen förberett sig minutiöst, men det kan vara värt att jämföra hans välavvägda ord i senaten med hur han uttryckt sig i mer avslappnade sammanhang. I en paneldiskussion 2015, kort före grundandet av OpenAI, undslapp han sig att ”AI troligast kommer att leda till världens undergång, men tills dess kommer vi att se ett antal fantastiska företag”.

[...]

Dessvärre är Altmans cynism från 2015 en minst lika bra beskrivning av den verksamhet OpenAI idag driver, jämfört med hans mer välartade ord i kongressen i förra veckan. De försöker tämja sina AI-modeller till att undvika exempelvis rasistiska uttalanden eller instruktioner om hur man genomför kriminella handlingar, och gång på gång misslyckas de men släpper ändå produkter som inte lever upp till denna standard. Som en drastisk illustration till [deras] ansvarslöshet [...] vill jag peka på...

Läs hela artikeln här!

Ett bottennapp i AI-debatten

Min av AI-utvecklingen och AI-debatten triggade förhöjda medianärvaro som jag för ett par veckor sedan rapporterade om i den förra bloggposten har fortsatt. Jag tänker inte räkna upp alla framträdanden, men vill peka på de båda var för sig drygt timslånga poddsamtalen på Future Strategist och Rak höger med Ivar Arpi som de tydliga höjdpunkterna. Lyssna gärna på något av dem!

Istället för att orda mer om dessa tänker jag här istället säga lite om det som varit det tydligaste bottennappet, nämligen mitt meningsutbyte i Aftonbladet med egenföretagaren och tidigare riksdagsledamoten Mathias Sundin:

• Mathias Sundin: Att pausa AI är farligt - då kan Kina ta över, Aftonbladet, 10 april 2023.
• Olle Häggström: En paus behövs för att undvika AI-apokalyps, Aftonbladet, 12 april 2023.
• Mathias Sundin: Att en AI-apokalyps hotar är ren fantasi, Aftonbladet, 14 april 2023.

Sundins inledande artikel är en attack på det öppna brev från Future of Life Institute som jag är medundretecknare till och har rapporterat om tidigare, och som förordar en paus i träningen av de största AI-modellerna så att det eftersläntrande säkerhetsarbetet skall ha en chans att komma ikapp. Hans huvudinvändning mot brevet är att en sådan paus skulle bädda för Kina att köra om oss i väst i AI-utvecklingen, och han passar också på att banna oss ''AI-alarmister'' för att sakna grund för våra varningar och för att istället föra ''extremt långtgående och krystade teoretiska resonemang som de sedan dramatiskt målar upp som mänsklighetens undergång''.

I mitt svar beklagar jag att Sundin driver

exakt det slags retorik som riskerar att elda på den farliga kapplöpningen, och fördomsfullt tar för givet att kinesiska bolag skulle vara mindre villiga än amerikanska att ta ansvar och samarbeta kring undvikandet av en AI-apokalyps,

men i övrigt lägger jag merparten av spaltutrymmet på att kort peka på delar av den (alls icke krystade) teoretiska grunden för att betrakta den skenande AI-utvecklingen som ett existentiellt hot mot mänsklighetens överlevnad. Man hade kunnat hoppas att Sundin i sin slutreplik skulle befatta sig med något av detta, men av detta blir det exakt noll och intet, och han nöjer sig istället med att (felaktigt) proklamera att de risker jag framhåller är ''ren spekulation'' och ''en fantasi som inte baseras på några fakta''. Och lika lite som han bygger under dessa påståenden,¹ lika lite ger han något skäl för sin bisarra ståndpunkt att ''ChatGPT 4 kan inte tänka och är inte intelligent, inte ens lite''.²

Ingenting i Sundins båda debattinlägg ger någon som helst antydan om att han bemödat sig om att ta del av den forskning han beskriver som ''ren spekulation''.³ Att gå ut i allmän debatt och grundlöst men med myndig stämma och spelad auktoritet döma ut hela forskningsområden utan att kunna något om dem är ett beteende som vi tidigare sett hos exempelvis klimatförnekare och kreationister, och som försämrar signal-brus-förhållandet i debatten på ett direkt skadligt vis.

Jag vill helst tro gott om mina medmänniskor, och antar därför att Sundin gärna skulle höja nivån på sin AI-retorik jämfört med den nuvarande, som är präglad av det som verkar vara hans modus operandi: att ur röven dra fram sakpåståenden och torgföra dessa om de låter som stöd för hans allmänna agenda, helt utan hänsyn till deras eventuella sanningshalt. Men för en sådan nivåhöjning krävs att han lär sig något om forskningsläget inom AI-risk, och för den sakens skull har jag några lästips åt honom:

Han skulle kunna börja med att läsa Stuart Russells bok Human Compatible: Artificial Intelligence and the Problem of Control från 2019, eller min egen Tänkande maskiner: Den artificiella intelligensens genombrott från 2021.⁴ Dessa böcker ger en allmän bakgrundsteckning, även om de trots att de bara har fyra respektive två år på nacken redan har börjat bli lite föråldrade i vissa delar till följd av den rasande takten i senare års AI-utveckling. Därför kan det vara bra att komplettera med några nyare och lite kortare texter. Här finns mycket att välja på, men två jag verkligen vill rekommendera är AI alignment from a deep learning perspective av Richard Ngo, Lawrence Chan och Sören Mindermann, och Without specific countermeasures, the easiest path to transformative AI likely leads to AI takeover av Ajeya Cotra. Det kan också vara värdefullt för Sundin att ta del av OpenAI:s dokument Planning for AGI and beyond från februari i år, där den framtid de aspirerar på att vara med och skapa diskuteras med ord som dessa:

The first AGI will be just a point along the continuum of intelligence. We think it’s likely that progress will continue from there [...]. If this is true, the world could become extremely different from how it is today, and the risks could be extraordinary. A misaligned superintelligent AGI could cause grievous harm to the world. [...]

Successfully transitioning to a world with superintelligence is perhaps the most important—and hopeful, and scary—project in human history. Success is far from guaranteed, and the stakes (boundless downside and boundless upside) will hopefully unite all of us.

Här kan man glädjas åt att de inte hänger sig åt samma nedlåtande syn som Sundin på risker och risktänkande. Icke desto mindre agerar de vanvettigt våghalsigt med allas vår framtid i potten, vilket de med chockerande uppriktighet medger i den tekniska dokumentationen i samband med förra månadens släpp av GPT-4:

Finally, we facilitated a preliminary model evaluation by the Alignment Research Center (ARC) of GPT-4’s ability to carry out actions to autonomously replicate and gather resources—a risk that, while speculative, may become possible with sufficiently advanced AI systems—with the conclusion that the current model is probably not yet capable of autonomously doing so.

Further research is needed to fully characterize these risks.

[Mina kursiveringar.]

Som sagt: AI-paus, anyone?

Fotnoter

1) Det närmaste jag hittar sådan underbyggnad från Sundins sida är hans förklaring i en efterföljande Twitterdiskussion att hans uppskattning om ''0% risk att AGI förgör mänskligheten'' är ''baserad på att mänsklighet kommer undvika att något sådant sker''. Vi kommer alltså, om Sundin här har rätt, att lyckas ta oss samman och förhindra en slutlig AI-katastrof. Detta är i själva verket det utfall jag för egen del hoppas på och eftersträvar, men om det skall kunna bli verklighet krävs att vi tar riskerna på allvar. Att på Sundins vis förneka riskernas existens är inte något bra sätt att uppmuntra till det nödvändiga säkerhetsarbetet.

2) I debatten florerar en uppsättning handviftningsargument för varför de förmågor GPT och andra stora språkmodeller uppvisar inte är äkta intelligens, men de har alla det gemensamt att de (med minimala modifieringar) visar att inte heller människor har äkta intelligens. Av detta kan vi dra slutsatsen att argumenten antingen är felaktiga eller att de underförstått laborerar med ett irrelevant intelligensbegrepp. Jag hoppas inom kort få tid till en bloggpost med en kort genomgång av de vanligaste argumenten av denna typ.

3) Inte heller i Sundins bakgrund finns något som tyder på kunskaper i ämnet - Wikipedia anger hans främsta akademiska meritering som ''tidigare lärarstudent''.

4) Om Sundin är intresserad kan jag skicka honom ett signerat exemplar av Tänkande maskiner.

OpenAI and the Manhattan project

Here's another short (30 minutes) video lecture of mine, following up on the one from December 16 last year, and commenting on the current breakneck speed at which AI is now advancing, including in particular OpenAI's releases in the last two weeks, first of GPT-4 and then of ChatGPT plugins. Perhaps I will be criticized for the parallel to aspects of the Manhattan project, but so be it then, because the comparison is apt.

Three recent podcast episodes where I talk about GPT and other AI

Over the course of just over a month, I've appeared on three different podcasts for in-depth interviews about the current very rapid development in artificial intelligence (AI) and what it means for our future.

• February 18, 2023: The episode Om den artificiella intelligensens framtid in Christer Sturmark's podcast Fri Tanke-podden.
• March 10, 2023: The episode Om ChatGPT och generativ AI in Fredrik Eriksson's and Martin Jönsson's podcast Om filosofers liv och framtid.
• March 24, 2023: The episode GPT: How worried should we be? in John Danaher's podcast Philosophical Disquisitions.

As to the subject matter discussed, there is plenty of overlap between the three episodes, but also significant non-overlap. Perhaps importantly to some of my readers, the first two are in Swedish and the third one is in English.

Let me also note that I am a returning guest on all three of these podcasts. Prior to the episodes listad above, I have previously appeared twice in Fri Tanke-podden (in December 2017 and May 2021), once in Om filosofers liv och tankar (in June 2021), and twice in Philosophical Disquisitions (in July 2019 and September 2022).

Jag skriver om GPT-4 och GPT-5 i Ny Teknik idag

I Ny Teknik skriver jag idag om AI-risk i samband med OpenAI:s nya GPT-4 och dess eventuella efterföljare GPT-5. Min debattartikel fick rubriken Vi kan inte ta för givet att vi överlever en otillräckligt säkrad GPT-5 och inleds på följande vis:

Vilka egenskaper ligger bakom den dominans på vår planet som människan byggt upp från nästan noll de senaste 100 000 åren? Det handlar inte om muskelstyrka eller fysiska uthållighet, utan nästan enbart om vår intelligens, vars enorma kraft också pekar på vilket avgörande skede vi befinner oss i nu, då vi är på väg att automatisera den och överföra den till maskiner.

Googles VD Sundar Pichai överdrev knappast när han i ett tal 2018 utnämnde AI (artificiell intelligens), till ”troligen det viktigaste mänskligheten någonsin arbetat med – viktigare än både elektriciteten och elden”. AI kan bli nyckeln till att lösa alla de stora miljö-, naturresurs- och samhällsproblem som vi brottas med i dag, och till att lägga grunden för en hållbar och blomstrande framtid.

Men det finns också stora risker. En del av dessa är relativt jordnära – som den att AI-verktyg medverkar till diskriminering eller blir ett redskap för spridning av individanpassad desinformation och spam. Dessa är viktiga att hantera, men den i slutändan allra främsta AI-risken handlar om ett eventuellt framtida AI-genombrott som skapar det som ibland kallas AGI (artificiell generell intelligens). Redan datavetenskapens grundare Alan Turing skrev i en framåtblickande text 1951 om en punkt där maskinerna till slut överträffar mänsklig tankeförmåga, och hur vi då inte längre kan räkna med att behålla kontrollen över dem.

I ett sådant läge hänger mänsklighetens fortsatta öde på vilka mål och drivkrafter de superintelligenta maskinerna har. Det skulle dröja mer än ett halvsekel efter Turings varningsord innan det forskningsområde som i dag benämns ”AI alignment” sakta började komma igång. AI alignment går ut på att se till att de första AGI-maskinerna får värderingar som är i linje med våra egna, och som prioriterar mänsklig välfärd. Om vi lyckas med det blir AGI-genombrottet det bästa som någonsin hänt oss, men om inte så blir det sannolikt vår undergång.

Den som har överdoserat på Terminator och liknande filmer kan lätt tro att avancerad robotik är nödvändigt för en AI-katastrof. En av de insikter som ai alignment-pionjären Eliezer Yudkowsky gjorde på 00-talet var dock att ett ai-övertagande inte förutsätter robotik, och att en kanske troligare väg till maktövertagandet åtminstone initialt går via...

Med denna cliffhanger uppmanar jag er att läsa resten av artikeln hos Ny Teknik.

More on OpenAI and the race towards the AI precipice

The following misguided passage, which I've taken the liberty to translate into English, comes from the final chapter of an otherwise fairly reasonable (for its time) book that came out in Swedish way back in 2021. After having outlined, in earlier chapters, various catastrophic AI risk scenarios, along with some tentative suggestions for how they might be prevented, the author writes this:

Some readers might be so overwhelmed by the risk scenarios outlined in this book, that they are tempted to advocate halting AI development altogether [...]. To them, my recommendation would be to drop that idea, not because I am at all certain that the prospects of further AI development outweigh the risks (that still seems highly unclear), but for more pragmatic reasons. Today's incentives [...] for further AI development are so strong that halting it is highly unrealistic (unless it comes to a halt as a result of civilizational collapse). Anyone who still pushes the halting idea will find him- or herself in opposition to an entire world, and it seems to make more sense to accept that AI development will continue, and to look for ways to influence its direction.

The book is Tänkande maskiner, and the author is me. Readers who have been following this blog closely may have noticed, for instance in my lecture on ChatGPT and AI alignment from December 16 last year, that I've begun to have a change of heart on the questions of whether (parts of) AI development can and should be halted or at least slowed down. I still think that doing so by legislative or other means is a precarious undertaking, not least in view of international race dynamics, but I have also come to think that the risk landscape has become so alarming, and that technical solutions to AI safety problems are so likewise precarious, that we can no longer afford to drop the idea of using AI regulation to buy ourselves time to find these solutions. For those of you who read Swedish, the recent debate in Swedish newspaper Göteborgs-Posten on the role of the leading American AI developer OpenAI in the race towards AGI (artificial general intelligence) further underlines this shift in my opinion:

• O. Häggström: Ledande AI-företag spelar rysk roulette med mänsklighetens överlevnad, GP, February 18, 2023.
• D. Dubhashi, M. Johansson and D. Sumpter: Sprid inte skrämselpropaganda om artificiell intelligens, GP, February 24, 2023.
• O. Häggström: Forskareliten är övertygad om att AI snart kan bli smartare än människan, GP, February 27, 2023.

In the middle of this debate, the highly relevant document Planning for AGI and beyond was released by OpenAI on February 24 - a document in which their CEO Sam Altman spelled out the company's view about their participation in the race towards creating AGI and the risks and safety aspects involved. I could have discussed this document in my final rejoinder of the GP debate, but decided against that for reasons of space. But now let me tell you what I think about it. My initial reaction was a sequence of thoughts, roughly captured in the following analogy:

Imagine ExxonMobil releases a statement on climate change. It’s a great statement! They talk about how preventing climate change is their core value. They say that they’ve talked to all the world’s top environmental activists at length, listened to what they had to say, and plan to follow exactly the path they recommend. So (they promise) in the future, when climate change starts to be a real threat, they’ll do everything environmentalists want, in the most careful and responsible way possible. They even put in firm commitments that people can hold them to.

An environmentalist, reading this statement, might have thoughts like:

• Wow, this is so nice, they didn’t have to do this.
• I feel really heard right now!
• They clearly did their homework, talked to leading environmentalists, and absorbed a lot of what they had to say. What a nice gesture!
• And they used all the right phrases and hit all the right beats!
• The commitments seem well thought out, and make this extra trustworthy.
• But what’s this part about “in the future, when climate change starts to be a real threat”?
• Is there really a single, easily-noticed point where climate change “becomes a threat”?
• If so, are we sure that point is still in the future?
• Even if it is, shouldn’t we start being careful now?
• Are they just going to keep doing normal oil company stuff until that point?
• Do they feel bad about having done normal oil company stuff for decades? They don’t seem to be saying anything about that.
• What possible world-model leads to not feeling bad about doing normal oil company stuff in the past, not planning to stop doing normal oil company stuff in the present, but also planning to do an amazing job getting everything right at some indefinite point in the future?
• Are they maybe just lying?
• Even if they’re trying to be honest, will their bottom line bias them towards waiting for some final apocalyptic proof that “now climate change is a crisis”, of a sort that will never happen, so they don’t have to stop pumping oil?
This is how I feel about OpenAI’s new statement, Planning for AGI and beyond.

Well, to be honest, this is not actually my own reaction, but my favorite AI blogger Scott Alexander's. However, since my initial reaction to OpenAI's document was close to identical to his, it seemed fine to me to just copy-and-paste his words. They are taken from his brand new blog post in which he, after laying out the above gut reaction, goes into a well-reasoned, well-informed and careful discussion of what parts of the gut reaction are right and what parts are perhaps less so. I know I have an annoying habit of telling readers of this blog about further stuff that they absolutely need to read, but listen, this time I really mean it: in order to understand the (probably) by far most important and consequential action going on right now in the world, you must read OpenAI's statement followed by Scott Alexander's commentary.