OpenAI and the Manhattan project

Here's another short (30 minutes) video lecture of mine, following up on the one from December 16 last year, and commenting on the current breakneck speed at which AI is now advancing, including in particular OpenAI's releases in the last two weeks, first of GPT-4 and then of ChatGPT plugins. Perhaps I will be criticized for the parallel to aspects of the Manhattan project, but so be it then, because the comparison is apt.

Three recent podcast episodes where I talk about GPT and other AI

Over the course of just over a month, I've appeared on three different podcasts for in-depth interviews about the current very rapid development in artificial intelligence (AI) and what it means for our future.

• February 18, 2023: The episode Om den artificiella intelligensens framtid in Christer Sturmark's podcast Fri Tanke-podden.
• March 10, 2023: The episode Om ChatGPT och generativ AI in Fredrik Eriksson's and Martin Jönsson's podcast Om filosofers liv och framtid.
• March 24, 2023: The episode GPT: How worried should we be? in John Danaher's podcast Philosophical Disquisitions.

As to the subject matter discussed, there is plenty of overlap between the three episodes, but also significant non-overlap. Perhaps importantly to some of my readers, the first two are in Swedish and the third one is in English.

Let me also note that I am a returning guest on all three of these podcasts. Prior to the episodes listad above, I have previously appeared twice in Fri Tanke-podden (in December 2017 and May 2021), once in Om filosofers liv och tankar (in June 2021), and twice in Philosophical Disquisitions (in July 2019 and September 2022).

Jag skriver om GPT-4 och GPT-5 i Ny Teknik idag

I Ny Teknik skriver jag idag om AI-risk i samband med OpenAI:s nya GPT-4 och dess eventuella efterföljare GPT-5. Min debattartikel fick rubriken Vi kan inte ta för givet att vi överlever en otillräckligt säkrad GPT-5 och inleds på följande vis:

Vilka egenskaper ligger bakom den dominans på vår planet som människan byggt upp från nästan noll de senaste 100 000 åren? Det handlar inte om muskelstyrka eller fysiska uthållighet, utan nästan enbart om vår intelligens, vars enorma kraft också pekar på vilket avgörande skede vi befinner oss i nu, då vi är på väg att automatisera den och överföra den till maskiner.

Googles VD Sundar Pichai överdrev knappast när han i ett tal 2018 utnämnde AI (artificiell intelligens), till ”troligen det viktigaste mänskligheten någonsin arbetat med – viktigare än både elektriciteten och elden”. AI kan bli nyckeln till att lösa alla de stora miljö-, naturresurs- och samhällsproblem som vi brottas med i dag, och till att lägga grunden för en hållbar och blomstrande framtid.

Men det finns också stora risker. En del av dessa är relativt jordnära – som den att AI-verktyg medverkar till diskriminering eller blir ett redskap för spridning av individanpassad desinformation och spam. Dessa är viktiga att hantera, men den i slutändan allra främsta AI-risken handlar om ett eventuellt framtida AI-genombrott som skapar det som ibland kallas AGI (artificiell generell intelligens). Redan datavetenskapens grundare Alan Turing skrev i en framåtblickande text 1951 om en punkt där maskinerna till slut överträffar mänsklig tankeförmåga, och hur vi då inte längre kan räkna med att behålla kontrollen över dem.

I ett sådant läge hänger mänsklighetens fortsatta öde på vilka mål och drivkrafter de superintelligenta maskinerna har. Det skulle dröja mer än ett halvsekel efter Turings varningsord innan det forskningsområde som i dag benämns ”AI alignment” sakta började komma igång. AI alignment går ut på att se till att de första AGI-maskinerna får värderingar som är i linje med våra egna, och som prioriterar mänsklig välfärd. Om vi lyckas med det blir AGI-genombrottet det bästa som någonsin hänt oss, men om inte så blir det sannolikt vår undergång.

Den som har överdoserat på Terminator och liknande filmer kan lätt tro att avancerad robotik är nödvändigt för en AI-katastrof. En av de insikter som ai alignment-pionjären Eliezer Yudkowsky gjorde på 00-talet var dock att ett ai-övertagande inte förutsätter robotik, och att en kanske troligare väg till maktövertagandet åtminstone initialt går via...

Med denna cliffhanger uppmanar jag er att läsa resten av artikeln hos Ny Teknik.

AI och den högre utbildningens framtid: ett halvdagsseminarium

I torsdags, den 2 mars 2023, anordnade CHAIR (Chalmers AI Research Centre) ett halvdagsseminarium med rubriken Artificiell intelligens och den högre utbildningens framtid. Det välbesökta mötet finns nu möjlighet att ta del av via CHAIR:s YouTube-kanal. Det inleddes med ett föredrag av mig rubricerat AI före och efter 2022 – tekniken och dess samhällskonsekvenser, varefter Thore Husfeldt talade över ämnet Hur påverkar generativ artificiell intelligens högre utbildning:

Efter fikapausminglet återupptogs mötet med Jenny de Fine Lichts föredrag Möjligheter och utmaningar med AI-teknik inom samhällsvetenskaplig utbildning, följt av en avslutande paneldiskussion modererad av Elin Götmark och med talartrion förstärkt av Thomas Hillman:

More on OpenAI and the race towards the AI precipice

The following misguided passage, which I've taken the liberty to translate into English, comes from the final chapter of an otherwise fairly reasonable (for its time) book that came out in Swedish way back in 2021. After having outlined, in earlier chapters, various catastrophic AI risk scenarios, along with some tentative suggestions for how they might be prevented, the author writes this:

Some readers might be so overwhelmed by the risk scenarios outlined in this book, that they are tempted to advocate halting AI development altogether [...]. To them, my recommendation would be to drop that idea, not because I am at all certain that the prospects of further AI development outweigh the risks (that still seems highly unclear), but for more pragmatic reasons. Today's incentives [...] for further AI development are so strong that halting it is highly unrealistic (unless it comes to a halt as a result of civilizational collapse). Anyone who still pushes the halting idea will find him- or herself in opposition to an entire world, and it seems to make more sense to accept that AI development will continue, and to look for ways to influence its direction.

The book is Tänkande maskiner, and the author is me. Readers who have been following this blog closely may have noticed, for instance in my lecture on ChatGPT and AI alignment from December 16 last year, that I've begun to have a change of heart on the questions of whether (parts of) AI development can and should be halted or at least slowed down. I still think that doing so by legislative or other means is a precarious undertaking, not least in view of international race dynamics, but I have also come to think that the risk landscape has become so alarming, and that technical solutions to AI safety problems are so likewise precarious, that we can no longer afford to drop the idea of using AI regulation to buy ourselves time to find these solutions. For those of you who read Swedish, the recent debate in Swedish newspaper Göteborgs-Posten on the role of the leading American AI developer OpenAI in the race towards AGI (artificial general intelligence) further underlines this shift in my opinion:

• O. Häggström: Ledande AI-företag spelar rysk roulette med mänsklighetens överlevnad, GP, February 18, 2023.
• D. Dubhashi, M. Johansson and D. Sumpter: Sprid inte skrämselpropaganda om artificiell intelligens, GP, February 24, 2023.
• O. Häggström: Forskareliten är övertygad om att AI snart kan bli smartare än människan, GP, February 27, 2023.

In the middle of this debate, the highly relevant document Planning for AGI and beyond was released by OpenAI on February 24 - a document in which their CEO Sam Altman spelled out the company's view about their participation in the race towards creating AGI and the risks and safety aspects involved. I could have discussed this document in my final rejoinder of the GP debate, but decided against that for reasons of space. But now let me tell you what I think about it. My initial reaction was a sequence of thoughts, roughly captured in the following analogy:

Imagine ExxonMobil releases a statement on climate change. It’s a great statement! They talk about how preventing climate change is their core value. They say that they’ve talked to all the world’s top environmental activists at length, listened to what they had to say, and plan to follow exactly the path they recommend. So (they promise) in the future, when climate change starts to be a real threat, they’ll do everything environmentalists want, in the most careful and responsible way possible. They even put in firm commitments that people can hold them to.

An environmentalist, reading this statement, might have thoughts like:

• Wow, this is so nice, they didn’t have to do this.
• I feel really heard right now!
• They clearly did their homework, talked to leading environmentalists, and absorbed a lot of what they had to say. What a nice gesture!
• And they used all the right phrases and hit all the right beats!
• The commitments seem well thought out, and make this extra trustworthy.
• But what’s this part about “in the future, when climate change starts to be a real threat”?
• Is there really a single, easily-noticed point where climate change “becomes a threat”?
• If so, are we sure that point is still in the future?
• Even if it is, shouldn’t we start being careful now?
• Are they just going to keep doing normal oil company stuff until that point?
• Do they feel bad about having done normal oil company stuff for decades? They don’t seem to be saying anything about that.
• What possible world-model leads to not feeling bad about doing normal oil company stuff in the past, not planning to stop doing normal oil company stuff in the present, but also planning to do an amazing job getting everything right at some indefinite point in the future?
• Are they maybe just lying?
• Even if they’re trying to be honest, will their bottom line bias them towards waiting for some final apocalyptic proof that “now climate change is a crisis”, of a sort that will never happen, so they don’t have to stop pumping oil?
This is how I feel about OpenAI’s new statement, Planning for AGI and beyond.

Well, to be honest, this is not actually my own reaction, but my favorite AI blogger Scott Alexander's. However, since my initial reaction to OpenAI's document was close to identical to his, it seemed fine to me to just copy-and-paste his words. They are taken from his brand new blog post in which he, after laying out the above gut reaction, goes into a well-reasoned, well-informed and careful discussion of what parts of the gut reaction are right and what parts are perhaps less so. I know I have an annoying habit of telling readers of this blog about further stuff that they absolutely need to read, but listen, this time I really mean it: in order to understand the (probably) by far most important and consequential action going on right now in the world, you must read OpenAI's statement followed by Scott Alexander's commentary.

Fortsatt diskussion om AI-risker i Göteborgs-Posten

Det är glädjande att fler forskare än jag ser behovet av publik diskussion om artificiell intelligens (AI), om dess risker och möjligheter, och om allas vår framtid. Specifikt välkomnar jag att mina Chalmerskollegor Devdatt Dubhashi och Moa Johansson tillsammans med (den här på bloggen välkände) David Sumpter från Uppsala universitet tar upp dessa saker i dagens GP. Deras debattartikel bär rubriken Sprid inte skrämselpropaganda om artificiell intelligens, och är ett svar på min GP-artikel från förra veckan med rubriken Ledande AI-företag spelar rysk roulette med mänsklighetens överlevnad (vilken jag rapporterade om i min förra bloggpost). Dessvärre brister deras artikel i framför allt ett par avseenden: dels slarvig läsning av vad jag skrivit, dels torgförandet av en polariserande falsk dikotomi.¹ Låt mig behandla dessa i tur och ordning.

1. Slarvig läsning

Det mest iögonfallande exemplet på så slarvig läsning att den nästan ser illvillig ut är Devdatts, Moas och Davids påstående att jag skulle "utmåla ChatGPT som ett direkt hot mot mänsklighetens överlevnad". Har ni hört så dumt? Om jag någonsin skulle beslås med ett sådant påstående om ChatGPT:s förmågor skulle jag naturligtvis rodna av skam. Det jag säger i min GP-artikel är emellertid något helt annat, nämligen att OpenAI:s ambition att utveckla artificiell generell intelligens (AGI) i kombination med deras otåliga och kapplöpningsinfluerade benägenhet att släppa produkter vilkas ofarlighet ännu inte ordentligt säkerställts utgör ett hot mot mänsklighetens överlevnad. Deras release av ChatGPT illustrerar denna benägenhet, men det är som sagt något helt annat än att ChatGPT i sig skulle utgöra ett sådant hot.

En annan mening som sticker ut är den där Devdatt, Moa och David hävdar att "Häggströms åsikt [är] att vi inom 10–20 år kommer ha självförbättrande, medveten och illvillig [...] AGI". Detta är en förvanskning av min position på så många plan att jag knappt vet var jag skall börja, men i alla fall:

• Den påstådda tidtabellen bygger på min GP-formulering "på sistone har allt fler bedömare pekat på 10-20 år fram i tiden som en fullt möjlig tidtabell [för AGI]". Här har finns alltså en glidning både från vad som är fullt möjligt till vad som faktiskt kommer att ske, och från vad "allt fler bedömare" anser till vad jag själv skulle anse. I själva verket vet åtminstone David (både från min bok Tänkande maskiner och från våra årliga debatter på Chalmers) att min subjektiva sannolikhetsfördelning för när ett AGI-genombrott är att vänta är väldigt mycket mer utspridd än så.
• Om vi hamnar i en situation med en "självförbättrande, medveten och illvillig AGI" är vi med all sannolikhet rökta, men tvärtemot den ståndpunkt Devdatt, Moa och David tillskriver mig så förutspår jag inte att så kommer att inträffa, utan alla mina debattinlägg på detta område syftar till att vi bör undvika att hamna i den situationen.
• Vadå "medveten"? Jag säger inte ett knyst om medvetande i min GP-artikel, och åter vill jag hänvisa till Tänkande maskiner, där jag ägnar ett helt kapitel (som jag bara inte begriper hur David kan ha missat) åt att förklara dels varför jag är agnostisk i frågan om huruvida AI-medvetande överhuvudtaget är möjligt, dels varför den frågan i själva verket har på sin höjd perifer betydelse för risken att vi går under i en AI-apokalyps.
• Det här med att AGI:n skulle vara "illvillig" är också ett misstförstånd. Jag ser det som tämligen osannolikt att vi drabbas av en superintelligent AGI som verkligen vill oss illa. Desto större är risken (om vi inte sköter våra kort väl när det gäller AI alignment) att en sådan AGI har en målsättning för vilken mänskligheten rätt och slätt är irrelevant och som aktualiserar det default-scenario jag i min GP-artikel lånade av Eliezer Yudkowsky: "AI:n varken hatar dig eller älskar dig, men du är gjord av atomer som den kan ha annan användning för".

2. Polariserande falsk dikotomi

I min ovan nämnda Tänkande maskiner från 2021 behandlar jag en bred uppsättning viktiga framtidsfrågor i samband med AI, vilka jag (lite grovt) delar upp i de jordnära och de högtflygande. De jordnära handlar om risker och möjligheter med AI-teknologier som antingen redan finns eller uppenbart står för dörren, medan de högtflygande handlar om AGI-genombrott, Singulariteter och liknande. Båda dessa kategorier av framtidsfrågor är väldigt viktiga, men tyvärr finns en tendens hos forskare och debattörer att ställa dem mot varandra. I ett föredrag i november förra året som jag tidigare uppmärksammat här på bloggen ger den amerikanske datalogen Scott Aaronson förljande tillspetsade men inte helt felaktiga beskrivning av läget:

To an outsider hearing the terms ''AI safety,'' ''AI ethics,'' ''AI alignment,'' they all sound like kind of synonyms, right? It turns out, and this was one of the things I had to learn going into this, that AI ethics and AI alignment are two communities that despise each other. It’s like the People’s Front of Judea versus the Judean People’s Front from Monty Python.

Tyvärr spelar Devdatt, Moa och David rakt in i denna polariserande och kontraproduktiva dynamik när de beskriver problemet med min GP-artikel som att tal om AGI "riskerar att förflytta uppmärksamheten från många viktiga utmaningar som verkligen behöver adresseras här och nu". Men vi behöver inte välja mellan de jordnära och de högtflygande AI-frågorna! Båda är viktiga! Vi kan ta båda på allvar! Och som bloggaren Scott Alexander skrev i en reaktion på ChatGPT i december:

[T]he people who want less racist AI now, and the people who want to not be killed by murderbots in twenty years, need to get on the same side right away. The problem isn't that we have so many great AI alignment solutions that we should squabble over who gets to implement theirs first. The problem is that the world's leading AI companies do not know how to control their AIs. Until we solve this, nobody is getting what they want. [kursivering i original]

Fotnot

1) Utöver detta ogillar jag artikelförfattarnas anklagelser om att jag skulle ägna mig åt "skrämselpropaganda" och "sensationslystna påståenden". Som jag förklarade mer utförligt i en bloggpost från 2017 rubricerad Killer robots and the meaning of sensationalism är det inte alla varningsord om extrema och fruktansvärda framtidsscenarier som förtjänar dylika stämplar, utan det hänger på om de risker som påtalas är reella eller påhittade. Troligtvis håller Devdatt, Moa och David med om detta i princip, men de trampar i så fall alldeles fel när de placerar mina varningsord i den senare kategorin.

* * *

Edit 27 februari 2023: När jag fick se debattinlägget av Devdatt, Moa och David bestämde jag mig omedelbart för att deras kritik mot min ursprungsartikel inte var substantiell nog att förtjäna ett bemötande i GP. Denna bloggpost kunde gott räcka, tänkte jag. Efter påstötning från GP:s debattredaktion om att en slutreplik trots allt var önskvärd så gick jag till slut med på att skriva en sådan. Den är nu publicerad, med rubriken Forskareliten är övertygad om att AI snart kan bli smartare än människan.

Två mediaframträdanden idag rörande techbolagens vanvettiga kapplöpning mot undergången

Just idag förekommer jag på två håll i medialandskapet med uttalanden om den (för hela mänskligheten) dödligt farliga kapplöpning som pågår på AI-området. Dels har vi det timslånga samtal, rubricerat Om den artificiella intelligensens framtid, med Christer Sturmark i hans Fri Tanke-podden. Dels har vi den artikel i Göteborgs-Posten som bär rubriken Ledande AI-företag spelar rysk roulette med mänsklighetens överlevnad och följande ingress:

Redan 1951 formulerade datavetenskapens grundare Alan Turing en vision om hur en tillräckligt avancerad AI kan börja förbättra sig själv utan fortsatt mänsklig inblandning, och hur det kan leda vidare till ett läge där den tar över makten. Vi människor hamnar då i samma slags prekära situation som gorillor befinner sig i idag, och mänsklighetens öde kommer att hänga på vad maskinerna har för mål och drivkrafter, skriver Olle Häggström, professor i matematisk statistik vid Chalmers.

Läs hela artikeln här!

Minnesgoda läsare av denna blogg kan notera att jag i den nya artikeln återanvänder en del tankegångar från den som refuserades av DN förra månaden, men att jag denna gång valde lite andra aktualitetskrokar att anknyta till, inklusive den bioaktuella M3GAN, som enligt min mening är (trots klassiska föregångare som 2001 - ett rymdäventyr, Terminator och Ex Machina) Hollywoods bästa beskrivningen hittills av den centrala problematiken inom existentiell AI-risk.

Låt mig tillägga att AI-utvecklingen just nu går så rasande snabbt att både poddsamtalet och GP-artikeln redan hunnit bli delvis inaktuella trots att de spelades in respektive författades för blott en vecka sedan. Vad som därefter framför allt hänt är uppståndelsen kring Microsofts nya och kraftfulla men också (som det visat sig) psykopatiska AI-produkt Bing chat. Jag kan få anledning att återkomma till denna, men låt mig tills vidare bara nämna att det inträffade understryker vad jag säger i podden och i GP-artikeln om de stora AI-utvecklarnas livsfarligt bristande kontroll över sina produkter, och i övrigt hänvisa till Evan Hubingers och Erik Hoels kommentarer om saken.