Bra debatt om AI-risk: tre exempel

Jag är rädd att jag i min bloggpost Debatten om AI-risk behöver en rejäl uppryckning tidigare denna höst, och i den YouTube-föreläsning bloggposten hade som huvudsyfte att uppmärksamma, kan ha givit ett lite väl onyanserat budskap om AI-riskdebattlandskapets allmänna dålighet. Det är förvisso sant att såväl lägstanivån som genomsnittsnivån i detta debattlandskap är tämligen risiga, men i den mån mitt val i föreläsningen att fördjupa mig i en serie debattinlägg hemmahörande i det spannet (ihop med bloggpostens braskande rubrik) ger intrycket att all debatt på detta område är dålig, vill jag härmed korrigera budskapet. Riktigt så illa är det faktiskt inte, och i synnerhet om vi lämnar den svenska ankdammen och rör oss ut i den engelskspråkiga världen går det att hitta exempel på riktigt bra debatt om AI-risk. Jag vill här bjuda på tre exempel som alla rekommenderas varmt:

• Beskedet Eliezer Yudkowsky och Nate Soares ger i titeln till sin aktuella bok If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All har fått många kommentatorer (inklusive yours truly) att trots allmänt positiva tongångar om boken framhålla att de inte delar författarnas tvärsäkerhet rörande hur illa det skulle gå om vi i någorlunda närtid byggde superintelligent AI. Bland dessa kommentatorer sticker Joe Carlsmith ut genom att i sin essä How human-like do safe AI motivations need to be diskutera frågan mer detaljerat och mer nyanserat än kanske någon annan. Visserligen medger han att ett alltför skyndsamt skapande av superintelligent AI medför enorma faror, men han framhåller samtidigt en rad omständighter som han menar erbjuder större hopp om att överleva en sådant tingest jämfört med bedömningarna i boken. Bland annat hävdar han att den AI alignment-strategi som kallas korrigerbarhet inte är fullt så dödsdömd som Yudkowsky och Soares menar. Den som väljer att läsa först boken och sedan Carlsmiths essä får sig till dels två olika perspektiv - båda intressanta och välargumenterade men noga taget oförenliga - på exakt hur bekymmersamt läget är om de ledande AI-företagen fortsätter sin nuvarande kapplöpning mot superintelligens.
• Hur snabbt kan vi vänta oss superintelligent AI om denna kapplöpning fortsätter obehindrat? Vi vet inte, säger Daniel Kokotajlo och hans medförfattare till den uppmärksammade rapporten AI 2027 från i våras, men understryker att det mycket väl kan komma att inträffa inom ett par-tre år. Stört omöjligt, hävdar Arvind Narayanan och Sayash Kapoor i sin rapport AI as Normal Technology som kom nästan samtidigt. Personligen finner jag Kokotajlo-gängets argumentation mer övertygande, men oavsett detta är det ett faktum att stora delar av AI-debatten urartat i ett slags skyttegravskrig kring just denna fråga, och just därför finner jag det glädjande och beundransvärt att företrädare för båda författarkollektiven gått samman om en text rubricerad Common Ground between AI 2027 & AI as Normal Technology, där de noggrant går igenom hur överraskande mycket de trots allt är eniga om. På så vis bidrar de inte bara till ett förbättrat debattklimat utan även till att zooma in på vari de återstående knäckfrågorna består.
• Två inflytelserika röster i amerikansk AI-debatt är Max Tegmark och Dean Ball. Den förstnämnde ligger bakom det aktuella uppropet Statement on Superintelligence som kräver ett förbud mot utveckling av superintelligent AI, medan Ball tillhör den falang som ser reglering av ny teknik som mestadels skadlig för innovation och ekonomi, och som därför tenderar att motsätta sig även reglering av AI. I ett aktuellt avsnitt av Liron Shapiras podcast Doom Debates möts de i en diskussion om AI-reglering som visar sig inte bara saklig och respektfull utan faktiskt också riktigt klargörande.

En liten åtgärd (eller två) som alla kan bidra med i arbetet mot AI-risk

De frågor om AI-risk jag brukar dryfta här på bloggen kan kännas så stora och svåra att man som individ kan drabbas av hopplöshet, eller i alla fall ställa sig frågan "men vad kan lilla jag göra åt detta"? Jag får frågan såpass ofta att det kan vara värt att reprisera följande svar från en bloggpost jag skrev för två år sedan:

Det handlar om det vanliga batteriet av åtgärder när en politisk omorientering är av nöden: prata med folk, i fikarum, mingelbarer, skolsalar och sammanträdesrum; gå ut på gatan (helst i grupp) och skandera slagord; kontakta en riksdagsledamot, en EU-parlamentariker, eller en ledamot i Kristerssons nya AI-kommission; skriv en insändare, en bloggpost, ett Facebookinlägg eller varför inte en bok; starta en aktionsgrupp eller en studiecirkel; gå med i ett politiskt parti och driv frågan där; ring P1; etc, etc.

Diverse ursäkter finns i vanlig ordning till hands för den som vill slippa engagera sig. Låt mig nämna en av dem - den som handlar om att inte spelar det väl någon roll vad vi i Sverige gör? På vilket mitt svar blir att det gör det visst. Det behöver skapas ett politiskt momentum och en global konsensus kring idén att det inte är ok att de ledande kaliforniska AI-företagen i sin interna kapplöpning mot AI-herravälde spelar rysk roulette med mänsklighetens överlevnad. Att Sverige skulle stå vid sidan om denna rörelse duger inte. Vi kan och vi skall bidra på olika vis, inklusive via organisationer som FN, EU och NATO, jämte ett otal mer informella nätverk och sammanhang. Kasta en blick över Atlanten och betrakta den politiska situationen därborta: inte fan kan vi överlåta åt USA att ensamt bestämma mänsklighetens öde?

Alla de åtgärder jag räknar upp, så när som på det där med Kristerssons AI-kommission, är fortsatt aktuella. Ändå kanske det kan vara svårt att veta var man skall börja, men för den som hamnat i sådan tvekan har jag nu ett konkret förslag om en mycket enkel och snabb åtgärd som kan vara en bra början: skriv på någon av följande båda namninsamlingar, eller helst båda!

Den ena är brevet Statement on superintelligence, organiserat av amerikanska Future of Life Institute. Det släpptes i oktober i år och har i skrivande stund (25 november) mer än 126 000 underskrifter. Dess korta text är som följer:

We call for a prohibition on the development of superintelligence, not lifted before there is

1. broad scientific consensus that it will be done safely and controllably, and

2. strong public buy-in.

Skriv på här!

Den andra namninsamlingen är specifikt svensk och har i dagsläget betydligt färre underskrifter, bland annat för att den släpptes först idag, av organisationen PauseAI Sverige. Även denna appell är kort och koncis:

Till: Regeringen

Ta riskerna med AI på allvar!

Politikerna behöver ta riskerna med avancerad AI på allvar.

Sverige behöver trycka på i både FN och EU för att skärpa säkerhetskraven.

Varför är det viktigt?

Utvecklingen av AI går med stormsteg. Ledande AI-forskare som Nobelpristagaren Geoffrey Hinton varnar för att det innebär risk att vi tappar kontrollen.

Samtidigt slarvar AI-företagen med säkerheten i kapplöpningen om att bli först med riktigt avancerad AI.

Allt fler inser att superintelligens kan vara farligt. Nu behöver politiken gå in och ställa krav på säkerhet.

Vi ställer oss bakom kravet att superintelligens inte ska utvecklas förrän vetenskapen är tydlig om att det går att göra säkert!

Mer information: https://pauseai.se/

Skriv på här!

AI:s black box-egenskap debatterad i Dagens Industri

Delade meningar kring de moderna AI-systemens så kallade black box-egenskap (deras brist på transparens, som gör att inte ens AI-utvecklarna själva begriper varför systemen beter sig som de gör) har de senaste veckorna torgförts på debattsidan i Dagens Industri. Det började med en text den 29/10 med rubriken AI är obegripligt - kejsaren är naken av Emma Engström från Institutet för Framtidsstudier. Därpå följde en replik den 3/11 rubricerad Förenklad slutsats om AI och kunskap av Mathias Sundin, känd bland annat från regeringens AI-kommission 2023-2024 och för sin förmåga att provocera fram vresigheter från yours truly. Och till slut tog även jag till orda, med min replik Dags att dra i handbromsen¹ som publicerades idag. Så här inleder jag min text:

Dagens AI-utveckling domineras av så kallad deep learning, där AI-systemens kärna utgörs av stora och komplexa neurala nätverk, där inte ens AI-utvecklarna själva begriper funktionen hos de mönster av neuronaktiveringar som får systemen att bete sig som de gör. Detta fenomen – att vi inte lyckats förstå vad som händer där inne – kallas för AI-systemens black box-egenskap, och behandlas av Emma Engström i DI den 29/10.

De försök som görs att öppna den svarta lådan är än så länge blott skrap på ytan där någon klar väg fram till mer genomgripande förståelse inte kan skönjas, vare sig i den tradition av mekanistisk interpreterbarhet som Engström pekar på, eller i tolkandet av det interna anteckningsblock som de ledande språkmodellerna från 2024 och framåt besitter. Situationen är problematisk, i synnerhet i fråga om tillämpningar där viktiga beslut överlåts till AI. Ändå är fenomenet på sätt och vis inte helt nytt, då vi till följd av den mänskliga hjärnans black box-egenskap står inför motsvarande problematik varje gång vi delegerar ett beslut till en människa.

Med stöd i ekonomihistoriska insikter om att ”förklarande kunskap [...] är avgörande för att främja vetenskapliga genombrott och innovationer på ett självförstärkande och ihållande sätt” framhåller Engström den svarta lådan som ett avgörande hinder för fortsatt AI-utveckling. Men denna utveckling avviker från traditionellt ingenjörsmässigt byggande och är mer att jämföra med odling och avel. Som motargument till Engströms utvecklingspessimism kan man därför peka på hur människan i årtusenden kunnat fortsätta avla fram hundar och andra husdjur utan att begripa (eller ens känna till existensen av) de DNA-sekvenser som bär på djurens genetiska material.

En viktig skillnad är dock...

Med denna cliffhanger manar jag läsekretsen att klicka vidare till min text i Dagens Industri för att få reda på inte bara vari den viktiga skillnaden består och hur mina resonemang sedan fortsätter, utan också huruvida jag, när jag så småningom kommer in på att kommentera Mathias Sundins inlägg, lyckas tygla mitt humör lite bättre än vid våra tidigare konfrontationer.

Fotnot

1) Det första jag tänkte då jag såg rubriken var "Ojdå, har jag råkat skriva handbroms istället för nödbroms?", men en titt i brödtexten ger vid handen att att ordet jag använde i mitt artikelmanus var nödbroms och inget annat. Vad som fick redigeraren att istället välja handbroms i rubriken vet jag inte.

Crunch Time for Humanity: my new Substack

As an experiment in trying to reach new audiences, I have launched a second blog, called Crunch Time for Humanity, over at Substack. I intend it to be more narrowly focused on AI risk and AI safety compared to the present blog. Also, unlike Häggström hävdar, it will be purely in English. Since the lauch last week, I've already produced three blog posts:

• Announcing "Crunch Time for Humanity": A new blog
• On model weight preservation: Anthropic's new initiative
• But how would an AI take over? The Sam Altman way

Do check them out, and don't forget to hit the subscribe button!¹

What, then, will happen to Häggström hävdar? Friends of this blog need not worry: I am not giving it up! All that might happen to it as a consequence of my launch of Crunch Time for Humanity is a slight shift of focus towards more non-AI issues and perhaps also towards issues that are mainly of interest to my Swedish compatriots. Stay tuned for new blog posts coming to a browser near you!

Footnote

1) There is also an "About" page, which currently reads as follows:

I am a professor of mathematical statistics who decided mid-career that while proving obscure theorems in probability theory had been a fun and rewarding way to carve out a corner for myself in academia, it was no longer enough to motivate me. I wanted to do something with a more clearcut relevance to the real world. Audaciously, I aimed to maximize relevance by addressing the most crucial issues facing humanity. An early result of my attempts to figure out what these issues were is my 2016 book Here Be Dragons: Science, Technology and the Future of Humanity, covering a smorgasbord of technologies with the potential to radically transform society and our lives.

At that time, I was still agnostic as to which of these technologies would turn out most crucial, and the issue of transformative AI still seemed to me somewhat abstract, due to my belief that the great AI transition was most likely at least decades away. But I’ve changed my mind. From about 2019 onwards my AI timelines gradually shrank, and when I came in contact with Daniel Kokotajlo (who was then at OpenAI) in early 2023 I finally realized the need to take seriously timelines measured in years, not decades. Here at Crunch Time for Humanity, I write about what this means for the challenges we (as a species and a civilization) are facing, what is at stake, and how we might go about to make things go well.

I also blog about a broader range of issues (mostly in Swedish) at Häggström hävdar. For more about me, see my homepage at Chalmers University of Technology in Gothenburg, Sweden.