A question for Émile Torres

Dear Émile,

Since my rewarding and truly enjoyable experience in 2017 of serving as your host in Gothenburg during the GoCAS program on existential risk to humanity there has been plenty of water under the bridges, including unfortunately a great deal of friction between the two of us.¹ But never mind (at least for the time being) all that, because I now have a specific question regarding your view of an issue that is dear to my heart: the importance of avoding the extinction of Homo sapiens by unaligned AI.

On one hand, you brought up this topic in a Washington Post op-ed as recently as in August last year, and seemed to agree with me about the increasingly urgent need to avoid the creation of an unaligned superintelligent AI that kills us all.

On the other hand, there is the recent episode of the podcast Dave Troy Presents with you and Timnit Gebru. Throughout most of the episode, the derogatory term "AI doomer" is used about those of us who take seriously the extinction risk from unaligned AI.² Given what you wrote in the Washington Post I would have expected you to protest against this language, as well as against Gebru's extensive monologue (starting about 01:09:40 into the episode and lasting around five minutes) about how extinction risk from AI is nonsense and a distraction from much more pressing and importat problems having to do with AIs exhibiting racial bias and the underrepresentation of women speking at AI conferences. You had plenty of opportunity to add nuance to the discussion by pointing out that extinction risk from AI is actually a real thing, but at no point of the episode was there any hint of disagreement between you and Gebru over this (or anything else, for that matter).

I am puzzled by the contrast between what you say in the Washington Post piece and what you seem to agree with in the Dave Troy Presents episode. Have you changed your mind about AI xrisk since August 2022?³ Do you no longer think there's a serious risk from unaligned AI to the survival of our species? If so, I'd really like to know what new knowledge you have acquired to reach this conclusion, because learning the same thing could lead me to a huge change in how I currently prioritize my time and efforts. Or have you cynically chosen to downplay the risk in order to achieve a better social fit with your new allies in the Gebru camp? If this last suggestion sounds uncharitable, then please forgive me, because I'm really struggling to understand your current take on AI risk.

With kind regards,

Olle

Footnotes

1) This friction includes (but is far from limited to) your tendentious way of repeatedly quoting a passage in my 2016 book Here Be Dragons.

2) As I recently emphasized in an interview in the Danish Weekendavisen, I think the term "AI doomer" is terrible, as it brings to mind someone who shouts "just face it, we're all going to die!", in contrast to the very different message we "doomers" have, namely that we (humanity) are currently on a very dangerous trajectory where the combination of AI capabilities improving at breakneck speed and AI alignment falling far behind risks leading to an AI apocalypse, but that we can avoid this risk if we pull ourselves together with appropriate adjustments of the trajectory.

3) I am aware that you have at various times asserted your blanket disagreement with everything you've written on xrisk up to 2019(?), but if you similarly disagree with what you wrote less than a year ago in the Washington Post, that gives a whole new time frame to your change of hearts.

Föredragning vid Backåkraseminariet

Vid det så kallade Backåkraseminariet vid Dag Hammarskjölds gamla lantställe utanför Ystad ombads jag igår hålla en kort föredragning om AI, vilken jag självklart inte vill undanhålla er som inte var där. Så här löd den, frånsett ett antal spontana mindre avvikelser:

AI-utvecklingen vi upplever nu är dramatisk, och kommer att få konsekvenser, snabbare än de flesta anar. I universitetsvärlden har vi alltsedan lanseringen av ChatGPT för ett halvår sedan haft intensiva diskussioner om hur vi kan anpassa oss till en situation där studenter kan delegera stora delar av sitt hemarbete på AI. Men att bara fokusera på det vore att skrapa på ytan, och för den som följer AI-utvecklingen noggrant känns det inte som någon vågad gissning att AI kommer att förändra samhället mer genomgripande de kommande fem åren än Internet och mobiltelefoni gjort de senaste 25.

På gott eller ont? Eller både och? Svårt att säga. AI kan bli nyckeln till att lösa alla våra stora samhällsproblem kring klimat, naturresurser, global hälsa, fattigdom, geopolitiska konflikter, etc. Potentialen är på sikt obegränsad. Men det finns också ofantliga risker. Huruvida nettot hamnar på plus eller minus kan ingen veta idag, men det jag vågar säga säkert är att för att kunna skörda de stora frukter som utlovas behöver vi se riskerna i vitögat och hantera dem.

Och riskerna är av många slag.

En klass av risker har att göra med arbetsmarknadskonsekvenser av AI-driven automatisering. Jag menar såklart inte att lönearbete är livets mening, utan tvärtom att det kan bli en befrielse att till slut göra oss av med. Men vägen dit kan bli besvärlig. Automatisering är inget nytt, men de senaste årens AI-utveckling vänder gamla föreställningar på ända. Tidigare har tagits för givet att fysiska och manuella arbetsuppgifter blir dem automatiseras först, medan de intellektuella och kreativa kommer långt senare, men tack vare de nya språkmodellernas rasande framsteg samtidigt som robotiken släpar efter ser det nu ut att bli tvärtom. Mjukvarubranschen känner redan av stora förändringar som följd av modellernas programmeringskompetens. Alla yrkesgrupper där skrivande och kommunikation är det centrala kan stå på tur. Min rörmokare har i detta perspektiv antagligen större anställningstrygghet än någon av oss i detta rum.

Ni har såklart hört om hur AI (åtminstone i reklambranschen) börjat konkurrera ut bildkonstnärer, och inom författarskrået talas med oro om en liknande utveckling. Och musik såklart. Allt tal om att det finns något unikt mänskligt som gör att AI inte kommer att kunna konkurra med bättre romaner, vackrare bilder och skönare musik ser jag som rent önsketänkande. Men det kan ändå finnas en räddning för dessa branscher i form av vår diskriminerande preferens för mänsklig autenticitet. Jag spelade tävlingsschack i 30 år men nöjer mig nu med att följa eliten via Internetsändningar. För att få se de objektivt sett allra bästa schackpartierna borde jag egentligen se på mästerskapsmatcher mellan de ledande schackdatorerna, men det väljer jag bort, för att istället följa Magnus Carlsen och hans stormästarkollegor, och deras svettiga pannor och psykologiska berg-och-dalbanor. Det mänskliga. Jag är inte ensam om detta, utan schackfans världen över gör samma prioritering som jag. Och om denna preferens generaliserar som jag tror, från schacket och vidare till litteraturen och de övriga stora konsterna, så tror jag att de konstnärliga sektorerna kan komma att överleva (om än inte opåverkade av AI-utvecklingen).

En annan klass av risker handlar om automatiserad desinformation och ett Internet som svämmar över av individanpassad spam, en farlig utveckling inte minst genom att den riskerar att spela rakt i händerna på fascistoida krafter för vilka en nihilistisk upplösning av sant och falskt är ett centralt moment i maktövertagandet (läs Orwell, och läs Timothy Snyder). Och filosofen Daniel Dennett varnade nyligen i en uppmärksammad artikel i The Atlantic för ”counterfeit people” – AI-botar som lurar oss genom att uppge sig vara människor, och hur detta hotar att slå sönder den sociala tilliten. Jag ser framför mig en sannolik kapprustning mellan alltmer sofistikerad förfalskning och lika sofistikerade algoritmer för automatiserad klassificering av människor kontra maskiner.

Sen har vi det största perspektivet av dem alla, och som jag envisas med att lyfta trots att det tenderar att skapa förstämning. På bara 100 000 år har vi gått från att vara en djurart bland många på savannen, till att ha tagit kontrollen över planeten. Denna enorma framgångssaga har i princip inget att göra med vår muskelstyrka och fysiska uthållighet, utan handlar om intelligens – den kanske starkaste kraften i universum. Nu har vi kommit till ett kritiskt skede i och med att vi alltmer börjat automatisera och delegera denna förmåga till maskiner. Till slut – om vi fortsätter på denna väg – kan vi nå den punkt som Alan Turing varnade för redan 1951, då vi inte längre är etta på planetens topplista över intelligenta varelser. Då hänger allt på om vi i tid lyckats med det svåra projekt som kallas AI Alignment – att få maskinerna att dela våra värderingar. Om vi inte lyckas med det kommer vi antagligen att sluta som mammuten och grottbjörnen, och hela biosfären kan väntas stryka med på kuppen.

Och avgörandets ögonblick kan vara närmare än många anar: ju närmare man rör sig Silicon Valley och San Francisco där allting händer, desto större osäkerhet uttrycker branschfolk kring om vi kan vänta oss att överleva nästa decennium, eller till och med det innevarande. Det är till stor del därför jag varit med och skrivit på vårens två stora upprop av AI-experter och andra som kräver åtgärder mot den vansinneskapplöpning mot avgrunden som just nu pågår.