Fortsatt diskussion om AI-risker i Göteborgs-Posten

Det är glädjande att fler forskare än jag ser behovet av publik diskussion om artificiell intelligens (AI), om dess risker och möjligheter, och om allas vår framtid. Specifikt välkomnar jag att mina Chalmerskollegor Devdatt Dubhashi och Moa Johansson tillsammans med (den här på bloggen välkände) David Sumpter från Uppsala universitet tar upp dessa saker i dagens GP. Deras debattartikel bär rubriken Sprid inte skrämselpropaganda om artificiell intelligens, och är ett svar på min GP-artikel från förra veckan med rubriken Ledande AI-företag spelar rysk roulette med mänsklighetens överlevnad (vilken jag rapporterade om i min förra bloggpost). Dessvärre brister deras artikel i framför allt ett par avseenden: dels slarvig läsning av vad jag skrivit, dels torgförandet av en polariserande falsk dikotomi.¹ Låt mig behandla dessa i tur och ordning.

1. Slarvig läsning

Det mest iögonfallande exemplet på så slarvig läsning att den nästan ser illvillig ut är Devdatts, Moas och Davids påstående att jag skulle "utmåla ChatGPT som ett direkt hot mot mänsklighetens överlevnad". Har ni hört så dumt? Om jag någonsin skulle beslås med ett sådant påstående om ChatGPT:s förmågor skulle jag naturligtvis rodna av skam. Det jag säger i min GP-artikel är emellertid något helt annat, nämligen att OpenAI:s ambition att utveckla artificiell generell intelligens (AGI) i kombination med deras otåliga och kapplöpningsinfluerade benägenhet att släppa produkter vilkas ofarlighet ännu inte ordentligt säkerställts utgör ett hot mot mänsklighetens överlevnad. Deras release av ChatGPT illustrerar denna benägenhet, men det är som sagt något helt annat än att ChatGPT i sig skulle utgöra ett sådant hot.

En annan mening som sticker ut är den där Devdatt, Moa och David hävdar att "Häggströms åsikt [är] att vi inom 10–20 år kommer ha självförbättrande, medveten och illvillig [...] AGI". Detta är en förvanskning av min position på så många plan att jag knappt vet var jag skall börja, men i alla fall:

• Den påstådda tidtabellen bygger på min GP-formulering "på sistone har allt fler bedömare pekat på 10-20 år fram i tiden som en fullt möjlig tidtabell [för AGI]". Här har finns alltså en glidning både från vad som är fullt möjligt till vad som faktiskt kommer att ske, och från vad "allt fler bedömare" anser till vad jag själv skulle anse. I själva verket vet åtminstone David (både från min bok Tänkande maskiner och från våra årliga debatter på Chalmers) att min subjektiva sannolikhetsfördelning för när ett AGI-genombrott är att vänta är väldigt mycket mer utspridd än så.
• Om vi hamnar i en situation med en "självförbättrande, medveten och illvillig AGI" är vi med all sannolikhet rökta, men tvärtemot den ståndpunkt Devdatt, Moa och David tillskriver mig så förutspår jag inte att så kommer att inträffa, utan alla mina debattinlägg på detta område syftar till att vi bör undvika att hamna i den situationen.
• Vadå "medveten"? Jag säger inte ett knyst om medvetande i min GP-artikel, och åter vill jag hänvisa till Tänkande maskiner, där jag ägnar ett helt kapitel (som jag bara inte begriper hur David kan ha missat) åt att förklara dels varför jag är agnostisk i frågan om huruvida AI-medvetande överhuvudtaget är möjligt, dels varför den frågan i själva verket har på sin höjd perifer betydelse för risken att vi går under i en AI-apokalyps.
• Det här med att AGI:n skulle vara "illvillig" är också ett misstförstånd. Jag ser det som tämligen osannolikt att vi drabbas av en superintelligent AGI som verkligen vill oss illa. Desto större är risken (om vi inte sköter våra kort väl när det gäller AI alignment) att en sådan AGI har en målsättning för vilken mänskligheten rätt och slätt är irrelevant och som aktualiserar det default-scenario jag i min GP-artikel lånade av Eliezer Yudkowsky: "AI:n varken hatar dig eller älskar dig, men du är gjord av atomer som den kan ha annan användning för".

2. Polariserande falsk dikotomi

I min ovan nämnda Tänkande maskiner från 2021 behandlar jag en bred uppsättning viktiga framtidsfrågor i samband med AI, vilka jag (lite grovt) delar upp i de jordnära och de högtflygande. De jordnära handlar om risker och möjligheter med AI-teknologier som antingen redan finns eller uppenbart står för dörren, medan de högtflygande handlar om AGI-genombrott, Singulariteter och liknande. Båda dessa kategorier av framtidsfrågor är väldigt viktiga, men tyvärr finns en tendens hos forskare och debattörer att ställa dem mot varandra. I ett föredrag i november förra året som jag tidigare uppmärksammat här på bloggen ger den amerikanske datalogen Scott Aaronson förljande tillspetsade men inte helt felaktiga beskrivning av läget:

To an outsider hearing the terms ''AI safety,'' ''AI ethics,'' ''AI alignment,'' they all sound like kind of synonyms, right? It turns out, and this was one of the things I had to learn going into this, that AI ethics and AI alignment are two communities that despise each other. It’s like the People’s Front of Judea versus the Judean People’s Front from Monty Python.

Tyvärr spelar Devdatt, Moa och David rakt in i denna polariserande och kontraproduktiva dynamik när de beskriver problemet med min GP-artikel som att tal om AGI "riskerar att förflytta uppmärksamheten från många viktiga utmaningar som verkligen behöver adresseras här och nu". Men vi behöver inte välja mellan de jordnära och de högtflygande AI-frågorna! Båda är viktiga! Vi kan ta båda på allvar! Och som bloggaren Scott Alexander skrev i en reaktion på ChatGPT i december:

[T]he people who want less racist AI now, and the people who want to not be killed by murderbots in twenty years, need to get on the same side right away. The problem isn't that we have so many great AI alignment solutions that we should squabble over who gets to implement theirs first. The problem is that the world's leading AI companies do not know how to control their AIs. Until we solve this, nobody is getting what they want. [kursivering i original]

Fotnot

1) Utöver detta ogillar jag artikelförfattarnas anklagelser om att jag skulle ägna mig åt "skrämselpropaganda" och "sensationslystna påståenden". Som jag förklarade mer utförligt i en bloggpost från 2017 rubricerad Killer robots and the meaning of sensationalism är det inte alla varningsord om extrema och fruktansvärda framtidsscenarier som förtjänar dylika stämplar, utan det hänger på om de risker som påtalas är reella eller påhittade. Troligtvis håller Devdatt, Moa och David med om detta i princip, men de trampar i så fall alldeles fel när de placerar mina varningsord i den senare kategorin.

* * *

Edit 27 februari 2023: När jag fick se debattinlägget av Devdatt, Moa och David bestämde jag mig omedelbart för att deras kritik mot min ursprungsartikel inte var substantiell nog att förtjäna ett bemötande i GP. Denna bloggpost kunde gott räcka, tänkte jag. Efter påstötning från GP:s debattredaktion om att en slutreplik trots allt var önskvärd så gick jag till slut med på att skriva en sådan. Den är nu publicerad, med rubriken Forskareliten är övertygad om att AI snart kan bli smartare än människan.