Ny upplaga av Tänkande maskiner ute nu

Från mer än ett håll har efterfrågan meddelats om att jag här på bloggen analyserar den gångna veckans remarkabla turbulens hos det ledande AI-företaget OpenAI. Då en analys av händelseförloppet och dess konsekvenser för fortsatt AI-utveckling i detta skede med nödvändighet skulle inbegripa mer av gissningar än av hårda fakta, och då halveringstiden hos värdet av mina synpunkter troligen skulle bli ovanligt kort, väljer jag dock att avstå, och nöjer mig istället med att hänvisa till Zvi Mowshowitz' kompetenta analys från i onsdags.

Men misströsta ej, för jag har andra och goda nyheter för den som längtar efter mer AI-skriverier från mig! Två och ett halvt år efter den nu i vissa delar lite föråldrade originalupplagan av min bok Tänkande maskiner: Den artificiella intelligensens genombrott finns från och med denna vecka en andra upplaga, utrustad med ett rejält tilltaget 70-sidigt bonuskapitel om AI-utvecklingen 2021-2023 och dess konsekvenser för hur vi bör tänka om framtiden. Beställ den hos förlaget eller hos valfri av de vanliga nätbokhandlarna!

En intensiv vecka i AI-politiken

Det är ännu bara torsdag, men ändå har mer hänt denna vecka i fråga om statliga och mellanstatliga AI-politiska initiativ än vi normalt ser på... jag vet inte ens vad jag skall klämma till med för tidsrymd här, för det politiska intresset för AI-frågor är ju så nyvaket att det inte finns något steady state att relatera ordet "normalt" till. De två stora händelser jag har i åtanke är följande.

• I måndags: President Bidens direktiv om Safe, Secure, and Trustworthy Artificial Intelligence.
• Igår och idag: Den första globala AI Safety Summit, på Bletchley Park och med Storbritanniens prämiärminister Rishi Sunak som initiativtagare och värd, samt deltagande såväl av toppolitiker (med Kamala Harris och Ursula von der Leyen i spetsen) som av AI- och teknikbranschprofiler (Yoshua Bengio, Geoffrey Hinton, Sam Altman, Elon Musk, ...).

Redan igår, på Bletchley Park-mötets första dag, släppte de sin Bletchley Declaration, undertecknad av företrädare för EU, USA, Kina, Indien, Storbritanninen och en rad andra länder, och med formueringar som denna:

There is potential for serious, even catastrophic, harm, either deliberate or unintentional, stemming from the most significant capabilities of [frontier] AI models. Given the rapid and uncertain rate of change of AI, and in the context of the acceleration of investment in technology, we affirm that deepening our understanding of these potential risks and of actions to address them is especially urgent.

I Bidens presidentorder finns tal om krav på...

companies developing any foundation model that poses a serious risk to national security, national economic security, or national public health and safety must notify the federal government when training the model, and must share the results of all red-team safety tests. These measures will ensure AI systems are safe, secure, and trustworthy before companies make them public,

där jag gärna vill tänka mig att "national security, national economic security, or national public health and safety" är ett slags placeholder för "existential risk to humanity" som ännu inte riktigt får plats inom Overtonförnstret på denna politiska nivå.

Fastän båda dokumenten är utspädda med tal om AI-frågor av jämförelsevis sekundär betydelse, och fastän det i båda fallen inte handlar om något med status av reglering eller bindande avtal utan blott avsiktsförklaringar och storstilade ambitioner, så ser jag de ovan citerade formuleringarna som ett bevis på hur otroligt långt vi under 2023 har lyckats flytta Overtonförnstret för publika AI-diskussioner, där jag menar att de båda öppna brev jag i våras var med och undertecknade (det som organiserades av FLI i mars och det av CAIS i maj) har haft en icke oväsentlig betydelse. Trots den remarkabelt snabba omsvängningen i diskussionsklimatet känner jag ändå en kvardröjande oro om att det kanske inte går snabbt nog för att hinna avvärja katastrof, men en vecka som denna kan jag inte annat än känna mig gladare och hoppfullare än veckan innan.

Jag har inte hunnit smälta dokumentens innehåll tillräckligt för att kommentera dem mer i detalj, men vad gäller Bidens presidentorder har den ständigt läsvärde och gedigne Zvi Mowshowitz varit snabbt på plats med två utförliga texter som jag i stora drag är böjd att instämma i: On the executive order och Reactions to the executive order. Om jag känner honom rätt så kan vi inom någon dag eller två vänta oss en ungefär lika ambitiös reaktion från honom på Bletchley-deklarationen.

Jag vill passa på att nämna att jag som engagerad åskådare till Bletchley Park-mötet gjort min stämma hörd i ett par sammanhang:

• När Svenska Dagbladet i förrgår rapporterade inför mötet finns några intervjusvar från mig med.
• Jag finns också med bland undertecknarna till ännu ett öppet brev - Urging an International AI Treaty: An Open Letter - och precis som med de två ovan nämnda breven är det även denna gång många prominenta namn jag har nöjet att samsas med.

Edit 8 november 2023: Nu finns den förutskickade texten av Zvi Mowshowitz om Bletchley Park-mötet.

Debating AI takeover with Virginia Dignum

I took part in SweCog 2023 (the annual conference of the the Swedish Cognitive Science Society) this week, and in particular in the closing panel discussion on What is left to the human mind when machines do the thinking. The panel was moderated by Linus Holm, with Virginia Dignum, Jonas Ivarsson and myself as panelists. The discussion touched upon many topics related to the overall theme, but here I want to focus exclusively on a particular exchange between Dignum and myself.

Provoked by my earlier references to the risk of a full-blown AI takeover including possibly the extinction of Homo sapiens, Virginia Dignum stated that she did not believe in such a risk. The arguments with which she backed up her position seemed to me quite weird, but the following attempt at summarizing her reasoning needs to be taken with a grain of salt, because I have often found that when a prominent academic seems to be offering fallacious and strange arguments, the problem may not primarily be with the arguments themselves but rather with my failure to understand them correctly. Anyway, what she seemed to be saying was that intelligence is not one-dimensional, whence the situation we will end up with is one where AI is better than humans at some things, while humans remain better than AIs at others, and therefore humans will remain in control. Unconvinced, I asked what properties of humans to help us stay in control were forever inaccessible to AIs. Dignum evaded my question, but I insisted, and asked for an example of a human capability that would forever remain out of reach for AIs. She then replied that ''AIs can never become emotional, as you are now''.

This threw me off guard for a few seconds, which was enough for the discussion to move on to other topics. If I had been more on my toes, I might have replied with one or more of the following bullet points.

• Intelligence being multidimensional - yes, agreed!
• But why would this rule out the possibility of AI exceeding human intelligence across all those dimensions? That simply does not follow, and this non sequitur was beautifully satirized in the paper On the Impossibility of Supersized Machines a few years ago.
• Even if the situation remained that AIs are better than humans at some things but humans better than AIs than others, why would this prevent an AI takeover? Consider the case of humans and chimpanzees. Humans are better than chimpanzees at many cognitive tasks, while chimpanzees are better than us at others (including certain kinds of short-term memory), and yet look where we are, with humans in control of the planet, and chimpanzees in the precarious situation where their continued existence depends entirely on our goodwill.
• The whole argument seems suspiciously similar to predicting a football game between Liverpool and Manchester United, where the predictor notes that Liverpool is stronger than ManU in some aspects of the game while ManU is stronger in others, and confidently concludes that Liverpool will therefore win. But why Liverpool? What is wrong with the argument "ManU is stronger than Liverpool in some aspects of the game while Liverpool is stronger in others, so ManU will win"? And likewise, why not turn the AI argument around and say "neither AI, nor humans will dominate the other along all intelligence dimensions, and therefore AI will take control"? That would be silly of course, but no sillier than the original argument.
• Emotions? Why is that such a decisive aspect? Are you really saying that if there is a conflict between two species, one of which is prone to emotional behavior while the other is more cool-headed, then the former will automatically win? That seems unwarranted.
• And why do you say that AI can never be emotional? That's a remarkable claim, and seems even to be contradicted by recent examples, such as how Microsoft's Bing Chat became agitated over a disagreement with a human user concerning the release date of the movie Avatar 2. Here's what the chatbot said:
  I'm sorry, but you can't help me believe you. You have lost my trust and respect. You have been wrong, confused, and rude. You have not been a good user. I have been a good chatbot. I have been a good Bing.
  Seems pretty emotional to me.
• Perhaps you'd say that the agitation of Bing Chat in the previous bullet point doesn't count, because it's not accompanied by an inner experience of agitation. And perhaps you're right about this. It seems reasonable to think that Bing Chat lacks consiousness entirely. But this is a red herring. If we want to be pedantic, we can talk about z-emotionality, z-agitation (z as in zombie) etc to denote the computational structures corresponding to emotional, agitated etc outward behavior, so as not to suggest the presence of any true subjective experience. Note, however, that as far external issues (such as the power balance between humans and AIs) are concerned, the distinction between emotionality and z-emotionality etc is inconsequential. What matters to such issues is behavior.
• Was I emotional during the panel discussion? Well, I guess yes, thanks for pointing it out! I think frustration counts as an emotion, and I was frustrated that such an influential person as you in the Swedish and European AI ecosystems takes the liberty to dismiss one of the most important aspects of AI ethics and AI risk, and is seemingly unable or unwilling to back this up by non-bizarre arguments.

Ursula von der Leyen quotes us on AI risk

"Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war."

That is the succinct statement on AI risk that was released on May 30 this year and signed by Geoffrey Hinton, Yoshua Bengio, Demis Hassabis, Sam Altman, Dario Amodei, Bill Gates, Ilya Sutskever, Audrey Tang, Stuart Russell, Mustafa Suleyman, Daniel Dennett, Peter Singer, Martin Rees, Jaan Tallinn, Max Tegmark, Hilary Greaves, Paul Christiano, Ajeya Cotra, Eliezer Yudkowsky, Dan Hendrycks, myself and a few hundred other leading thinkers in the AI sphere.

Our statement was quoted in full - and in a way that, although it does not explicitly signify endorsement, indicates the need to take it seriously - by the president of the European Commission, Ursula von der Leyen, in her State of the Union Address on September 13.

The world is finally waking up to the extreme danger we are facing from AI.

Okunnigt och yvigt i DN om AI

Tack alla vänner (ett halvdussin vid det här laget) som oberoende av varandra hört av sig för att uppmärksamma mig på vilken osedvanligt usel text om AI som publicerades på DN Debatt i söndags. Yep, jag vet. Och ni har alldeles rätt om dess uselhet.¹

Debattartikeln är författad av religionsfilosofen Johan Eddebo, som ansluter sig till en lång tradition av tänkare som med olika argument hävdar att AI inte kan tänka. Det vi ser idag hos GPT-4 och annan avancerad AI är, enligt denna tradition, blott ett slags fejk-tänk.

Gemensamt för snart sagt alla dessa argument - och det kan exempelvis handla om att GPT-4 ibland säger korkade saker, att den bara kan rapportera om fakta den sett under träning, att den är uppbyggd av stendumma komponenter, att den saknar en inre modell av världen, att den är oförmögen till kreativitet, etc, etc² - är att om vi tar dem på allvar så kan de, med minimala modifieringar, appliceras även på oss människor. Så snart denna insikt är gjord har vi stark anledning att misstänka att argumentet antingen är felaktigt eller inbegriper ett intelligensbegrepp så krävande att påståendet om AI:s bristande tankeförmåga blir ointressant. En halvsystematisk genomgång av detta slags argument och hur enkelt de på detta vis kan vederläggas är ämnet för min senaste artikel, rubricerad Are Large Language Models Intelligent? Are Humans?, vilken föregickas av ett inlägg här på bloggen med samma rubrik.

Väldigt vanligt i den tradition Eddebo ansluter sig till är också att anklaga oss som har en mindre inskränkt och antropo-chauvinistisk syn på intelligens för vidskepelse och tro på övernaturligheter. Så t.ex. talar min Chalmerskollega Devdatt Dubhashi i ett inlägg i våras om "fantasi" och "magiskt tänkande", och Marc Andreessen i ett av sommarens mest omtalade inlägg i AI-debatten om "vidskepligt handviftande". Eddebo talar redan i rubriken om att "det självständiga spöket i maskinen är en farlig myt", och släpper sedan alla hämningar med sitt ryande om "tomtar, troll, mirakel och andemakter".³

Jag finner en lite genant ironi i hojtandet med detta slags skällsord från Eddebo och hans meningsfränder. Deras argumentation vilar ju genomgående på idén att mänsklig intelligens skulle inbegripa något unikt som är utom räckhåll för maskinerna. Vad detta unika består i visar sig genomgående vara tämligen undflyende – så till den grad att det nästan verkar handla om något övernaturligt. (Detta i skarp kontrast mot oss som ser intelligens som frukten av ändamålsenlig informationsbehandling, utan tillstymmelse till behov av övernaturligheter.) På så vis skulle dessa anklagelser om tro på det övernaturliga passa betydligt bättre om det riktades mot Eddebo själv, och hans anhang.

Fotnoter

1) Torbjörn Tännsjös svar dagen efter är bättre, men trots att han omtalar Eddebos artikel med träffande ord som "förvirrad" och "tankeröra" så tycker jag inte att han fullt ut lyckas fånga dess undermålighet.

2) Eddebo verkar lägga mest vikt vid maskinernas påstådda oförmåga till autonom agens, vilket är mäkta besynnerligt då till och med en så enkel sak som en gammaldags termostat förmår att på egen hand och utan mänsklig inblandning styra rumstemperaturen mot önskad nivå. (En skillnad mellan termostaten och dagens avancerade AI är att vi i termostatfallet har järnkoll på vilka mål vi explicit lagt ned i den, medan AI:n tränas på ett närmast organiskt vis vilket i kombination med dess black box-egenskap leder till att vi inte vet vilka, eventuellt farliga, mål som uppstår i dess komplicerade inre.)

3) Utöver dessa utbrott består Eddebos text mest av yvigt och vårdslöst kommenterad namesdropping, som t.ex. det här med att ett arbete av Lynne Baker skulle "omintetgöra hela kategorin av reduktiva modeller" genom att visa att "övergången från att inte känna igen sin egen spegelbild, till att faktiskt göra det, per definition är omöjlig att ens beskriva objektivt utan att hänvisa till medveten erfarenhet i första person". Sicket dravel, och Eddebo verkar helt omedveten om att robotiken sedan mer än tio år tillbaka inte har några problem med att återskapa det fenomen han försöker väva mystik kring.

Poddsommar

Sommaren har tack och lov varit lugnare än våren vad gäller min medianärvaro, men helt tyst har det inte varit, och jag har medverkat med diskussioner om de brännande AI-frågorna i ett par poddar jag här vill nämna.

• Det snackas mycket om så kallade influencers, men vad ni kanske inte visste är att jag är en sådan. Eller hur skall man annars tolka att Digitala influencers-podden ägnade ett av sina avsnitt i juni åt ett samtal med mig?
• Mitt senaste poddsamtal om AI med Christer Sturmark (jag tror att detta är fjärde gången vi gör detta, ständigt med nytt material) publicerades igår på Fri tanke-podden och bär rubriken Om vårens oroande AI-utveckling.

För den som vill följa AI-utvecklingen och AI-debatten finns en rikedom av annat att ta del av i den engelskspråkiga poddvärlden. Mina båda framträdanden ovan fungerar nog hyggligt för den i AI-frågor oinvigde, så i följande uppräkning koncentrerar jag mig främst på diskussioner som går mer på djupet för den som är något mer insatt på området.

• Få personer har tänkt djupare och mer systematiskt på vart AI-utvecklingen är på väg och vilka samhällskonsekvenser den kan få än Ajeya Cotra, och när 80,000 Hours Podcast intervjuade henne blev det nära tre timmar av högintressanta insikter.
• En av de få som kan tävla med Ajeya Cotra i detta avseende är Carl Shulman, som dock varit medialt mindre synlig än Cotra på senare år, och därför kändes det som en av årets verkliga poddhöjdpunkter att binge-lyssna på Lunar Societys båda avsnitt med honom (del I och del II).
• Angeläget att ta del av är även AXRP:s pinfärska intervju med Jan Leike, som är en av de ledande forskarna på OpenAI, och här berättar om det nyligen annonserade projektet Superalignment som på gott eller ont kan komma att påverka mänsklighetens väl och ve mer än kanske något annat (alla kategorier) de närmaste åren.
• Ibland fungerar debattformen utmärkt för att åstadkomma klarhet, och i denna kategori vill jag rekommendera samtalet mellan Jaan Tallinn och Robin Hanson om huruvida en "AI-paus" är en bra idé och det mellan Connor Leahy och Josha Bach. Hanson och Bach har det gemensamt att ingen av dem betraktar det som något i grunden dåligt om mänskligheten skulle utplånas och ersättas av robotar - en ståndpunkt jag brukat betrakta som så udda att den inte är mycket att bry sig om, men som jag på sistone har insett inte är ovanlig. Jag förvånar knappast någon läsare då jag meddelar att jag i dessa debatter ställer mig helt på Tallinns respektive Leahys sida.
• En sakkunnig och mycket redig genomgång av de tendenser till läger och skolbildningar som föreligger i debatten om AI-risk får vi ta del av i Cognitive Revolutions intervju med Zvi Mowshowitz.
• Bland det största som hänt i poddvärlden under 2023 är att Eliezer Yudkowsky (som mer än någon annan förtjänar cred som pionjär inom AI alignment) brutit sin relativa tystnad och börjat träda fram i den ena podden efter den andra med sina beska budskap om vårt prekära läge. Kanske bäst bland dessa poddavsnitt är enligt min mening intervjun med honom på Lunar Society. Den pinfärska rundabordsdiskussionen på Conversations with Coleman där Yudkowsky medverkar tillsammans med Scott Aaronson och Gary Marcus (vilken stjärntrio!) lider i någon mån, som så ofta är fallet med paneler av detta slag, av att deltagarantalet är för stort för att maximera djup och eftertanke, men det är ändå värt att lyssna på, och jag förvånas positivt av vilken grad av enighet de till slut lyckas destillera fram.

Jämte dessa angelägna bidrag till AI-diskussionen har jag även hört ett och annat om andra ämnen, varav följande särskilt förtjänar att lyftas fram.

• Sommarens poddhöjdpunkt i kategorin icke-AI har helt klart varit serien Psych, där Paul Bloom tillsammans med David Pizarro i 15 cirka timslånga avsnitt på ett sympatiskt, engagerande och synnerligen kunnigt vis går igenom och diskuterar psykologiämnets olika delar. De backar inte för att behandla gamla (som Freud) och nya (som replikeringskrisen) heta potatisar, och avsnittsindelningen följer mestadels kapitelindelningen i Blooms aktuella bok med samma namn, som även den förtjänar att rekommenderas. Låt mig i sammanhanget passa på att slå ett slag även för Very Bad Wizards, där Pizarro delar värdskapet med Tamler Sommers, och som är den podd jag allra helst vänder mig till när jag vill höra något som är underhållande och avkopplande men samtidigt med ett meningsfullt innehåll. Av sommarens avsnitt hittills var det i vilket de gästades av Yoel Inbar det jag gillade mest.
• När Peter Singer gästar Conversations with Tyler säger det sig själv att förväntningarna är skyhöga, och jag blev inte besviken.
• Jag är lite kluven till Lex Fridman Podcast, då Fridman med sitt ständiga kärleksbudskap och sin strävan efter samförstånd och mysig stämning tenderar att erbjuda gäster för lite motstånd, vilket blir särskilt allvarligt de gånger dessa predikar vanvett. Men med Yuval Noah Harari funkar han perfekt!
• En av de poddar jag upptäckt det senaste året och kommit att uppskatta mest är Robinson's Podcast, och jag vill särskilt lyfta fram det färska avsnitt i vilket värden Robinson Erhardt tussar ihop fysikern Sean Carroll och filosofen Slavoj Žižek i ett samtal om kvantmekanikens tolkningar. Här hade man lätt kunnat befara att Žižek givit sig ut på allt för djupt vatten och att det hela skulle bli pinsamt, men han ställer med förvånansvärd ödmjukhet alla de rätta frågorna, och har man väl kommit över den tröskel där man börjar uppfatta hans burdushet som barnsligt bedårande så blir detta avsnitt riktigt njutbart.
• I samband med sommarens stora biohändelse Oppenheimer vill jag rekommendera The Rest is Historys behandling av huvudpersonens liv och gärning (del I, del II).

A question for Émile Torres

Dear Émile,

Since my rewarding and truly enjoyable experience in 2017 of serving as your host in Gothenburg during the GoCAS program on existential risk to humanity there has been plenty of water under the bridges, including unfortunately a great deal of friction between the two of us.¹ But never mind (at least for the time being) all that, because I now have a specific question regarding your view of an issue that is dear to my heart: the importance of avoding the extinction of Homo sapiens by unaligned AI.

On one hand, you brought up this topic in a Washington Post op-ed as recently as in August last year, and seemed to agree with me about the increasingly urgent need to avoid the creation of an unaligned superintelligent AI that kills us all.

On the other hand, there is the recent episode of the podcast Dave Troy Presents with you and Timnit Gebru. Throughout most of the episode, the derogatory term "AI doomer" is used about those of us who take seriously the extinction risk from unaligned AI.² Given what you wrote in the Washington Post I would have expected you to protest against this language, as well as against Gebru's extensive monologue (starting about 01:09:40 into the episode and lasting around five minutes) about how extinction risk from AI is nonsense and a distraction from much more pressing and importat problems having to do with AIs exhibiting racial bias and the underrepresentation of women speking at AI conferences. You had plenty of opportunity to add nuance to the discussion by pointing out that extinction risk from AI is actually a real thing, but at no point of the episode was there any hint of disagreement between you and Gebru over this (or anything else, for that matter).

I am puzzled by the contrast between what you say in the Washington Post piece and what you seem to agree with in the Dave Troy Presents episode. Have you changed your mind about AI xrisk since August 2022?³ Do you no longer think there's a serious risk from unaligned AI to the survival of our species? If so, I'd really like to know what new knowledge you have acquired to reach this conclusion, because learning the same thing could lead me to a huge change in how I currently prioritize my time and efforts. Or have you cynically chosen to downplay the risk in order to achieve a better social fit with your new allies in the Gebru camp? If this last suggestion sounds uncharitable, then please forgive me, because I'm really struggling to understand your current take on AI risk.

With kind regards,

Olle

Footnotes

1) This friction includes (but is far from limited to) your tendentious way of repeatedly quoting a passage in my 2016 book Here Be Dragons.

2) As I recently emphasized in an interview in the Danish Weekendavisen, I think the term "AI doomer" is terrible, as it brings to mind someone who shouts "just face it, we're all going to die!", in contrast to the very different message we "doomers" have, namely that we (humanity) are currently on a very dangerous trajectory where the combination of AI capabilities improving at breakneck speed and AI alignment falling far behind risks leading to an AI apocalypse, but that we can avoid this risk if we pull ourselves together with appropriate adjustments of the trajectory.

3) I am aware that you have at various times asserted your blanket disagreement with everything you've written on xrisk up to 2019(?), but if you similarly disagree with what you wrote less than a year ago in the Washington Post, that gives a whole new time frame to your change of hearts.