If Anyone Builds It, Everyone Dies: my review

In the mathematics community, there is a popular joke about inflation in recommendation letters that goes as follows. A professor is happy about his PhD student, whom we may call Alex, and writes in a recommendation letter that Alex is arguably the most talented mathematician since Gauss. The next year, the professor has another PhD student, Robin, and writes in an even more enthusiastic letter that even though Alex is good, Robin is much better.

I am reminded about this as I now set out to review Eliezer Yudkowsky's and Nate Soares' new book If Anyone Builds It, Everyone Dies (henceforth, IABIED), and think back about my review of Nick Bostrom's 2014 book Superintelligence back when that book had just come out. The final sentence of that review reads "If this book gets the reception that it deserves, it may turn out the most important alarm bell since Rachel Carson's Silent Spring from 1962, or ever". Those are strong words, and I stand by them, and yet now I am tempted to announce that IABIED is better and more important than Bostrom's book.

Max Tegmark's praise for the book is more measured and restrained than mine.

The comparison is, however, unfair to Bostrom in two ways. First, Bostrom's book was written during the dawn of the deep learning revolution when it was not yet clear that it was about to become the paradigm that allowed AI development to really take off, and several years before the enormous breakthrough of large language models and other generative AI; while Yudkowsky's and Soares' book is jam-packed with insights coming from those recent developments, Bostrom's is obviously not. Second, while Superintelligence mostly exhibits a terse, academic style, IABIED is written with a broader audience in mind.

This last point should not be read as a disrecommendation of IABIED for AI researchers. Despite its popular style, the book argues quite forcefully and with a good deal of rigor for its central claims that (a) we seem to be on track to create superhumanly capable AIs within one or (at most) two decades, and that (b) with the current rush and consequent neglect of the safety aspect, creation of such AIs will likely spell the end of the human race. To the many AI researchers who are still unfamiliar with the central arguments for these claims and who in many cases simply deny the risk,¹ the book is potentially a very valuable read to get them more on board with the state-of-the-art in AI risk. And to those of us who are already on board with the central message, the book is valuable for a different reason, in that it offers a wealth of pedagogical devices that we can use when we explain AI risk to other audiences.

The authors are highly qualified in the field of AI safety, which Yudkowsky pioneered in the 00s.^2,3 Soares came later into the playing field, but is nevertheless one of its veterans, and currently the president of Machine Intelligence Research Institute (MIRI) that Yudkowsky co-founded in 2000 and still works at. They have both worked for many years on the so-called Al alignment problem - that of making sure that the first really powerful AIs have goals that are aligned with ours - but most of the fruits of this labor have been not blueprints for aligning AIs, but negative results, indicating how difficult the problem is, and how creating superintelligent AI without first having solved AI alignment spells disaster. This, unfortunately, reflects the situation that the entire field is facing.

In recent years (most visibly since 2021, but I suspect the insight goes back a bit further), Yudkowsky and Soares have converged on the conclusion that with the shortening of timelines until the creation of superintelligence (a time span increasingly often estimated in a single-digit number of years rather than in decades), we are very unlikely to solve AI alignment in time to avert existential catastrophe. Hence the stark book title If Anyone Builds It, Everyone Dies. They really mean it - and to emphasize this, one of the recurrent slogans during their book promotion work has been "We wish we were exaggerating". I mostly buy their message, albeit with less certainty than the authors; if I hade written the book, a more suitable title would have been If Anyone Builds It, Probably Everyone Dies. But of course, they are right to present their true judgements without softening or downplaying them, and to gesture towards what they think is the only viable solution: to pull the brakes, via binding international agreements, on frontier AI development. They are under no illusion that achieving this is easy, but insist that if we firmly decide to save our species from obliteration, it can be done.

The book is remarkably easy to read, and I have been very happy to put it in the hands of a number of non-expert friends, and to urge them to read it. The authors' most consistently recurrent pedagogical device is the use of colorful analogies and metaphors. One of my favorite passages of the book is a detailed description of how a nuclear energy plant works and what went wrong in the Chernobyl 1986 disaster. A comparison between this and advanced AI development reveals far-reaching similarities, but also differences in that the engineers at Chernobyl had a far better grasp of the principles underlying the nuclear reactions and how to stay safe - in particular by knowing the exact critical fraction of released neutrons triggering another fission event that is needed for a runaway chain reaction, along with the time frames involved - compared to present-day AI researchers who can at most make educated guesses about the corresponding runaway AI dynamics.

The authors' favorite source of analogies is not nuclear physics, however, but biological evolution. Early in the book (on p 17-18) we are treated to the following lovely illustration of the virtually unlimited powers of intelligence:

Imagine [...] that biological life on Earth had been the result of a game between gods. That there was a tiger-god that had made tigers, and a redwood-god that had made redwood trees. Imagine that there were gods for kinds of fish and kinds of bacteria. Imagine these game-players competed to attain dominion for the family of species that they sponsored, as life-forms roamed the planet below. Imagine that, some two million years before our present day, an obscure ape-god looked over their vast, planet-sized gameboard.

"It's going to take me a few more moves," said the hominid-god, "but I think I've got this game in the bag."

There was a confused silence, as many gods looked over the gameboard trying to see what they had missed. The scorpion-god said, “How? Your ‘hominid’ family has no armor, no claws, no poison.”

“Their brain,” said the hominid-god.

“I infect them and they die,” said the smallpox-god.

“For now,” said the hominid-god. “Your end will come quickly, Smallpox, once their brains learn how to fight you.”

“They don’t even have the largest brains around!” said the whale-god.

“It’s not all about size,” said the hominid-god. “The design of their brain has something to do with it too. Give it two million years and they will walk upon their planet’s moon.”

“I am really not seeing where the rocket fuel gets produced inside this creature’s metabolism,” said the redwood-god. “You can’t just think your way into orbit. At some point, your species needs to evolve metabolisms that purify rocket fuel—and also become quite large, ideally tall and narrow—with a hard outer shell, so it doesn’t puff up and die in the vacuum of space. No matter how hard your ape thinks, it will just be stuck on the ground, thinking very hard.”

“Some of us have been playing this game for billions of years,” a bacteria-god said with a sideways look at the hominid-god. “Brains have not been that much of an advantage up until now.”

“And yet,” said the hominid-god.

The book has dozens and dozens of similarly quotable gems. I love it, and I want everyone to read it.

Many other reviews of IABIED have been written. Those that resonate best with me include one by Scott Alexander, and one by Zvi Mowshowitz, who also offers a broad annotated collection of (positive as well as negative) reactions from others.

Footnotes

1) Indeed, there is still plently of such ignorance or even denialism around in the AI research community. As an illustrative example, Swedish readers may have look at the denialism pushed in public debate in August this year by a group of colleagues of mine at the Chalmers University of Technology.

2) Nick Bostrom's 2014 book can to no small extent be said to be conceived on top of Yudkowsky's shoulders.

3) Hostile critics sometimes counter this with the claim that Yudkowsky's highest academic merit is that of being a high-school dropout, which is formally true but conveys a lack of understanding of the importance of distinguishing between the social game of formal qualifications and the reality of actual competence.

Inte mycket om AI, utan mer av debatten om debatten, på DN Debatt

Informatikprofessorerna Jonas Ivarsson och Johan Magnusson vid Göteborgs universitet ondgör sig, under rubriken AI-debatten sitter fast i valet mellan utopi och dystopi på DN Debatt i lördags, över den "farliga och destruktiva snedvridningen av debatten kring [...] AI i Sverige". Att AI-debatten i Sverige är riktigt dålig håller jag med dem om, men dessvärre är deras egen text på DN Debatt ett praktexempel på denna dålighet.

Som sig bör inleder Ivarsson och Magnusson med en kort beskrivning det debattlandskap de kritiserar. Detta består, menar de, huvudsakligen av två läger, vilka de kallar "konservativ dystopi" respektive "progressiv utopi". Den första av dessa ser diverse ofantliga problem med AI-tekniken, inklusive massarbetslöshet och i extremfallet utplåning av Homo sapiens, medan den andra ser likaledes ofantliga möjligheter. Som gemensam nämnare för dessa båda läger identifierar författarna "en underförstådd teknikdeterminism där tekniken i sig själv bär på en inneboende kraft vilken kommer att leda samhället i endera riktningen". Det är framför allt denna teknikdeterminism de vänder sig emot, då de förespråkar en tredje mer nyanserad linje de kallar "visionsledd pragmatism".

Gott så - vem kan väl vara emot visioner och pragmatism? Problemet är bara att den beskrivning Ivarsson och Magnusson ger av debattlandskapet är en så grotesk karikatyr att den bara nätt och jämnt går att koppla till verkligheten. Det är dock tydligt, trots att mitt namn inte nämns i deras artikel, att de räknar mig till de konservativa dystopikerna. Jag skall därför här koncentrera mig på deras beskrivning av det lägret, som jag i det följande av humoristiska skäl tänker benämna med förkortningen KD.¹

Den enda KD-anhängare (eller AI-debattör överhuvudtaget) de pekar ut med namn är Max Tegmark. Det är förvisso sant att denne varit högröstad i sina varningar för att ett alltför hastigt och illa planerat AI-genombrott kan föra med sig mänsklighetens undergång, men vad Ivarsson och Magnusson försummar att nämna är att Tegmark i nästan allt han skriver i detta sammanhang - alltifrån hans bok Life 3.0 från 2017 via hans beryktade Time Magazine-artikel förra året till hans kritik i förra veckan mot Anthropics VD Dario Amodeis så kallade entente-strategi för aggressivt nykolonial amerikansk AI-politik - är noga med att framhålla vilka enorma fördelar AI-tekniken kan ge oss om vi hanterar den rätt.² Detta är så långt från teknikdeterminism man kan komma, och när Ivarsson och Magnusson associerar honom med ett KD-läger som de menar har ett "tongivande arv [från] ludditrörelsen" och "eftersträvar [...] status quo", så kan jag inte dra någon annan slutsats än att de överhuvudtaget inte har läst Tegmark i original, eller ens hört honom tala i Sveriges Radios Sommar. Troligare är att de låtit sig luras av AI-lobbyisten och tidigare riksdagsledamoten Mathias Sundins blåljugande för en engelskspråkig publik om vad Tegmark sade på svenska i sagda Sommar-program i augusti 2023.

En annan möjlig förklaring till Ivarssons och Magnussons vrångbild skulle kunna vara att de snappat upp den benämning AI doomer som i den engelskspråkiga världen de senaste åren kommit att användas om oss som varnar för existentiell AI-risk mot arten Homo sapiens (liksom mot biosfären som helhet), men att de försummat att reflektera över hur missvisande denna beteckning är. Domedagspredikanter har i alla tider hävdat att undergången är nära, medan så gott som alla vi som fått stämpeln AI doomer, inklusive Tegmark, ivrigt framhåller hur vi (mänskligheten) kan undvika undergången om blott vi tar oss samman. Tvärtemot vad Ivarsson och Magnusson verkar föreställa sig är det snarare regel än undantag i denna grupp att argumentera utifrån samma utpräglat icke-deterministiska dikotomi som Tegmark angående AI-teknikens möjliga katastrofala kontra extremt välståndsbringande följder, och vikten av att vi navigerar rätt i det avgörande läge vi nu befinner oss i.

Ett slående exempel finner vi i den svenskfödde Oxfordfilosofen Nick Bostrom, vars bok Superintelligence från 2014 gjort mer än kanske någon annan för att skapa ett uppvaknande kring AI-risk, och vars uppföljare Deep Utopia utkommen i våras behandlar frågan om vad vi meningsfullt kan ägna våra liv åt i ett läge där superintelligent AI löst alla våra praktiska problem. Den drastiska skillnaden i tema mellan de två böckerna skall inte ses som en omsvängning från KD-lägret till det Ivarsson och Magnusson kallar progressiv utopism, då både dystopiska och utopiska framtider hela tiden har legat långt fram i Bostroms tänkande på ett sätt som är typiskt för oss AI doomers.

*

Nåväl, det må vara hur det vill med exakt hur Ivarsson och Magnusson tillägnat sig sin snedvridna uppfattning om hur AI-debattlandskapet ser ut. Oavsett hur det står till med det står det klart att de gärna skulle se att vi som blåser i visselpipan rörande den existentiella risk för mänskligheten som uppstår till följd av de ledande AI-företagens vansinneskapplöpning mot AGI (artificiell generell intelligens) valde att tagga ned en smula, eftersom vi med våra varningsord bidrar till "en farlig och destruktiv snedvridning av debatten".

Borde vi göra det? Tagga ned alltså. Den frågan kan inte rimligtvis besvaras med mindre än att ta ställning till huruvida en sådan risk verkar vara en realitet, givet rådande evidensläge:

• Om existentiell AI-risk är en realitet, så bör vi givetvis inte tagga ned, och därmed bidra till att sopa risken under mattan och därigenom öka risken att mänskligheten sömngångaraktigt fortsätter sin färd mot en eventuell AI-apoklyps. Hur mycket Ivarsson och Magnusson än önskar sig det förändrade debattlandskap som en sådan nedtaggning skulle resultera i, kan vi inte ta på våra samveten att genom att gå dem till mötes bidra till en ökad risk för mänsklighetens undergång.
• Om däremot existentiell AI-risk inte är en realitet, så bör vi givetvis upphöra med att tjata om saken. Mänskligheten står inför tillräckligt många allvarliga utmaningar ändå, att vi inte bör ödsla tid och kraft på att diskutera risker som inte är på riktigt. Duh.

För egen del gör jag bedömningen att existentiell AI-risk är en realitet, något jag redogjort och argumenterat för utförligt på annat håll, som t.ex. i min bok Tänkande maskiner. Men vad anser Ivarsson och Magnusson om saken?

Detta säger de inget explicit om, då deras debattartikel egentligen inte handlar om AI i sak. De debatterar på ett metaplan - en debatt om debatten, där eventuella kopplingar till verkligar sakförhållanden lämnas underförstådda. Vi får ändå hoppas att de gör bedömningen att existentiell AI-risk inte är en realitet, ty i annat fall vore ju deras plädering för nedtaggning av diskussion om saken moraliskt monstruös.

Det finns även en del ordval i Ivarssons och Magnussons artikel som tyder på att de gör den bedömningen. De hävdar exempelvis att Max Tegmarks tal om existentiell AI-risk bottnar i en "sciencefictionkultur". Trots att jag känner stor sympati med Yuval Noah Hararis yttrande i SVT:s Babel häromdagen att science fiction är "den viktigaste litterära genren i vår tid" genom dess "försök att varna oss för farorna och att spekulera i hur vi kan bygga bättre samhällen", så är det uppenbart att Ivarssons och Magnussons bruk av begreppet är tänkt som ett okvädningsord, ämnat att diskreditera Tegmarks idéer.³

En annan antydan i samma riktning finner vi i deras stämpling av begreppet superintelligens som "vetenskapligt irrelevant". Detta gör de i största förbigående, men jag tycker ändå att det kan vara motiverat att fråga sig vad de menar med detta påstående om vetenskaplig irrelevans. En första gissning skulle kunna vara att avsikten är att göra en vetenskapssociologisk observation - ett värdeneutralt påpekande om att begreppet superintelligens inte används i den vetenskapliga litteraturen. Men påståendet kan i så fall raskt vederläggas, då ju en Google Scholar-sökning på ordet "superintelligence" ger hundratals träffar, och då samma databas anger att Nick Bostroms ovannämnda bok Superintelligence har mer än 6000 citeringar.

Ett annat förslag till vad de menar är att de är inne på samma linje som min matematikerkollega David Sumpter då denne förordar ett vetenskapsteoretiskt synsätt som sätter så snäva gränser för vad som legitimt kan studeras med vetenskapliga metoder att de exkluderar fenomen som ligger tillräckligt långt utanför det hittills kända. Sumpter tar explicit upp superintelligent AI (jämte ett par andra exempel, inklusive den eventuella existensen av utomjordiska civilisationer) såsom varande out-of-bounds för vetenskapliga studier. Den sortens invändning mot superintelligensbegreppet har jag väldigt lite till övers för, av det enkla skälet att verkligheten inte på detta vis låter sig styras av vetenskapsteoretiska gränsdragningar och andra sociala normer. Om superintelligent AI ligger inom räckhåll för dagens AI-utveckling så gör den det, oavsett vilka regler vetenskapsteoretikerna sätter upp för vad som får lov att förekomma i anständig vetenskaplig diskurs. Och med tanke på de samhälleliga värden som står på spel har vi all anledning att försöka utröna huruvida så är fallet, oaktat dessa inskränkta vetenskapsteoretikers klagomål.

Men jag vet som sagt inte vad Ivarsson och Magnusson menar med sitt påstående om vetenskaplig irrelevans, och det troligaste är måhända att det inte menar så mycket i sak alls, utan mer använder uttrycket som ännu ett okvädningsord. Särskilt mycket klokare tror jag hur som helst inte att vare sig jag eller någon annan DN-läsare blev av att se det i deras text.

*

Det finns ett käckt tankeredskap jag nyligen lärt mig om och som är användbart för att resonera mer strukturerat kring framtida AI, nämligen Nate Silvers Teknologiska Richterskala (TRS), som lånat halva namnet och sin (approximativt) logaritmiska struktur från den mer kända seismologiska Richterskalan med vilken vi anger jordbävningars storlek. En teknologi på nivå TRS=1 är en som poppat upp som idé i uppfinnarens huvud när denne står i duschen men därefter glömts bort. Därifrån ökar teknologins avtryck i världen, med t.ex. kommersialisering och patent, successivt, och vid nivå TRS=6 handlar det om en seriös kandidat till titeln "årets teknologiska genombrott". Nivåerna 7, 8 och 9 svarar på samma sätt mot årtiondets, århundradets och årtusendets genombrott, medan nivå 10 är reserverad för genombrott så genomgripande att de saknar motstycke i historien och skapar en helt ny era för planeten vi bor på.

Ett bra sätt att strukturera sitt tänkande kring framtiden med AI är att tänka igenom på vilken TRS-nivå AI landar, samt på vilken nivå av det vi kan kalla "braighet" - hur lyckat utfallet blir för mänskligheten på en 5-gradig skala från "katastrofalt" till "extremt positivt". Var och en med ett uns av epistemisk ödmjukhet inser att vi inte kan veta säkert var AI landar i denna tvådimensionella matris, och att det därför är bättre att beskriva sin gissning i termer av en sannolikhetsfördelning snarare än att tvärsäkert peka ut en enda av matrisens celler. Så här ser Nate Silvers egen sannolikhtesfördelning ut, så som han presenterar den i On the Edge; var och en av de små hexagonerna i diagrammet svarar mot 1% av Silvers subjektiva sannolikhetsmassa.

Det är flera saker jag gillar med Silvers fördelning. Först och främst är det bra att den är rejält utspridd över matrisen, då det visar att Silver inser vidden av den osäkerhet det här handlar om, och inte fastnat i någon specifik teknikdeterministisk tankegång. Klokt är också att ju högre upp vi går på TRS-skalan desto tydligare bimodal (tvåpucklig) och polariserad blir braighetsfördelningen (den som tror att AI landar på TRS-nivå 10 men ändå insisterar på att braigheten hamnar någonstans i mitten har nog inte tänkt igenom ordentligt hur radikalt världen skulle förändras av en TRS 10-teknologi).

Ändå skulle inte min sannolikhetsfördelning, om jag tvingades att precisera den i detalj, se ut exakt som Silvers. Framför allt skulle min fördelning förskjutas en bit uppåt längs TRS-skalan jämfört med hans, och det av två skäl. Det ena är att vi har så mycket outnyttjad potential i den AI-utveckling vi redan sett, att jag bedömer att vi är mycket nära att ha TRS-nivå 8 inom räckhåll via bättre utnyttjande av denna potential även om AI-utvecklingen i sig mot all förmodan skulle göra tvärstopp. Det andra är att intelligens är en så flexibelt användbar och självförstärkande kraft att det blir lite komplicerat att tänka sig att utvecklingen skulle stanna på nivå 8 eller 9 istället för att fortsätta uppåt, och därför lägger jag betydligt mer sannolikhetsmassa än Silver på nivå 10 (varav nästan allt hamnar i något av de båda övre hörnen, svarande på ett ungefär mot huvudscenarierna i Nick Bostroms båda böcker Deep Utopia och Superintelligence). Dock lägger jag långtifrån all sannolikhet på nivå 10, för vi kan ju trots allt stanna på nivå 8 eller 9, antingen genom att något oväntat hinder för fortsatt AI-utveckling dyker upp, eller att vi blir tillräckligt bekymrade över riskerna med fortsatt utveckling att vi kollektivt lyckas ta oss samman och avbryta den.

Jag vill verkligen rekommendera läsaren att som en nyttig övning tänka igenom hur hens sannolikhetsfördelning skulle se ut - och varför. Och det vore ytterst intressant att se var Ivarsson och Magnusson skulle hamna i en sådan övning. Självklart behöver de inte vara helt överens inbördes. Men av deras förklenande tal om science fiction och av deras artikel mer allmänt får jag intrycket att båda två helt skulle avvisa möjligheten att nå TRS-nivå 10, och att de istället skulle fördela sina respektive sannolikheter över nivåerna 7 och 8 (och möjligen även 9). Om jag har rätt i denna gissning om hur de tänker så står de inför ett lite besvärligt val rörande vad de tänker sig skall hindra AI-utvecklingen från att nå nivå 10. Antingen tänker de sig att det helt enkelt är omöjligt att AI skall nå nivå 10, något som förvisso skulle kunna vara fallet fastän det är svårt att se konkret vad det i så fall skulle bero på, och det är hur som helst epistemiskt omdömeslöst att vara bombsäker på något sådant. Den andra möjligheten är om de tänker sig att stoppet på en lägre TRS-nivå än 10 kan komma att bero åtmistone till en del på att vi väljer att avsiktligt stoppa utvecklingen till följd av att de stora risker som bedöms föreligga på högre nivåer, men den tanken rimmar lite illa med deras i DN-artikeln uttryckta önskemål om att få tyst på den sortens riskdiskussion.

Fotnoter

1) Populärkulturellt bevandrade läsare lägger här givetvis märke till min blinkning till Sveriges Televisions TV-serie Babels hus från 1981, baserad på PC Jersilds roman med samma namn, där det gigantiska sjukhus i de södra delarna av Storstockholm som spelade en av huvudrollerna höll sig med en regelbundet återkommande guidad rundtur för nyanställda, benämnd KDS (Känn Ditt Sjukhus).

2) Så t.ex. heter det i Tegmarks Time-artikel att superintelligent AI...

...might solve disease, poverty and sustainability and help humanity flourish like never before, not only for the next election cycle, but for billions of years, and not merely on Earth but throughout much of our beautiful cosmos,

och hans Amodei-kritik i vilken han pläderar för att dra i nödbromsen för den skenande AGI-utvecklingen kan vi ta del av följande avslutningsmening:

If humanity needs to wait another couple of decades for beneficial AGI, it will be worth the wait – and in the meantime, we can all enjoy the remarkable health and sustainable prosperity that tool AI can deliver.

3) Samma science fiction-retorik använde Magnusson i Ny Teknik i vintras, och han verkar inte ha tagit någon större notis om hur jag med följande ord läxade upp honom för det:

Just science fiction-retoriken tycker jag är hög tid att kasta på sophögen. Någon som 1920 hade fått besked om 1960-talets Apollo-program och månlandningen hade garanterat utropat ”science fiction!”, och detsamma hade gällt den som 1980 fått höra om våra liv idag med internet och smarttelefoner, liksom för övrigt den som 2017 hade fått chansen att samtala med GPT-4. Science fiction, science fiction! Men allt detta har besannats, så vi lever redan i en science fiction-värld.

Aschenbrenner, Bostrom, Carlsmith

För första gången sedan hösten 2018 innehåller det nya numret av Förbundet Humanisternas medlemstidning Humanisten en artikel jag författat.¹ Denna gång bär min artikel rubriken AI-debattens ABC, där ABC står för de tre ledande AI-tänkarna Leopold Aschenbrenner, Nick Bostrom och Joe Carlsmith, vilka alla under 2024 utkommit med viktiga böcker eller boklånga essäer. Så här inleds min text:

När detta skrivs i augusti 2024 är en av de stora snackisarna inom AI – artificiell intelligens – den pinfärska forskningsrapporten The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery, vars författarkollektiv kommer från företaget Sanaka AI och ett par olika universitet. De har kommit långt i att automatisera vetenskaplig forskning, inklusive avgörande steg som brainstorming, hypotesgenerering, försöksplanering, datavisualisering och rapportförfattande. Lite i förbigående nämner de hur deras AI i en viss tillämpning hindrades av en restriktion i hur länge dess beräkningar kunde exekveras, och hur AI:n då gick in och försökte redigera sin egen programkod i syfte att eliminera denna restriktion. För oss som kan vår AI-historik är det omöjligt att inte associera till Alan Turings spekulationer i en berömd föreläsning 1951, om hur tillräckligt intelligenta maskiner skulle kunna nå en tröskel där de kan börja förbättra sig själva utan vidare mänsklig inblandning, och hur en sådan utveckling kan väntas leda till att vi till slut förlorar kontrollen över maskinerna.

Turing brukar med rätta framhållas som en av 1900-talets mest banbrytande tänkare och som den största AI-pionjären av alla. Det sistnämnda alltså trots att han dog redan 1954 (för egen hand, till följd av det brittiska rättssystemets på den tiden barbariska syn på homosexualitet), ännu inte 42 år fyllda, och därmed inte fick uppleva det som numera räknas som AI-forskningens egentliga startskott två år senare, sommaren 1956. Då samlades ett antal av USA:s ledande matematiker för en sommarkonferens vid Dartmouth College i New Hampshire kring den ambitiösa idén att skapa datorprogram med förmågor som vi dittills hade sett som unikt mänskliga: språkanvändning, skapande av abstraktioner, lärande och självförbättring. Mötet kom att sätta stark prägel på decennier av fortsatt arbete, och de utmaningar som då formulerades står än idag i centrum för AI-forskningen. De höga förväntningarna var tidvis svåra att leva upp till, så till den grad att området kom att genomgå ett par perioder av så kallad AI-vinter, och det var först på 2010-talet som den exponentiellt ökande tillgången till datorkraft och datamängder gjorde att gamla neurala nätverksidéer började bära frukt på allvar och ge stora framgångar inom så olika tillämpningar som bildigenkänning, brädspel och autonoma fordon.

För den breda allmänheten är det de senaste årens utvecklingen av så kallade språkmodeller som blivit mest synlig: marknadsledande här är OpenAI, vars lansering av ChatGPT i november 2022 för första gången gjorde det möjligt för gemene man att föra samtal med en till synes intelligent AI. Under de knappa två år som sedan förflutit har utvecklingen fortsatt i rasande takt, och ovan nämnda produkt från Sanaka är bara ett av många dramatiska framsteg som alltmer pekar mot att vi närmar oss det som kallas AGI – artificiell generell intelligens – och den kritiska punkt som Turing talade om i sina varningsord från 1951. Att AI-utvecklingen radikalt kommer att transformera många samhällssektorer och även samhället som helhet blir alltmer uppenbart, och även om teknikens potential att skapa ekonomiskt välstånd är i det närmaste obegränsad finns också risken att ett slarvigt genomfört AI-genombrott leder till vår undergång.

Detta slags farhågor har det senaste decenniet lett till ökade satsningar på det som kommit att kallas AI Alignment – AI-forskning specifikt inriktad på att se till att de första i fråga om allmänintelligens övermänskligt kapabla AI-systemen har mål och drivkrafter som prioriterar mänsklig välfärd och mer allmänt är i linje med mänskliga värderingar. Detta har dock visat sig vara lättare sagt än gjort, satsningarna på AI Alignment är ännu små (i förhållande till AI-utvecklingen som helhet), och vi verkar idag vara mycket långt ifrån en lösning. Härav de senaste årens diskurs från tänkare som Eliezer Yudkowsky och Max Tegmark som de senaste åren varnat för att satsningar på AI Alignment kanske inte räcker till, och att vi därför behöver dra i nödbromsen för utvecklingen av de allra mest kraftfulla AI-systemen; även jag har alltmer kommit att ansluta mig till denna tankegång.

Samtidigt finns det de som hävdar att allt tal om existentiell AI-risk är grundlös science fiction och som stämplar oss som lyfter dessa farhågor som domedagspredikanter. I spetsen för denna motdebatt finns kända namn som IT-entreprenören Marc Andreessen och Metas AI-forskningschef Yann LeCun, men för att försvara deras position behöver man anta antingen att AI-utvecklingen automatiskt kommer att avstanna innan den nått övermänsklig allmänintelligens, eller att en övermänskligt intelligent AI på något sätt automatiskt skulle anamma en för mänskligheten gynnsam uppsättning värderingar. Den första av dessa linjer tenderar att implicit postulera någon närmast magisk förmåga hos den mänskliga hjärnan, något som är svårt att passa in i en ickereligiös naturalistisk världsbild, och den andra har visat sig ungefär lika ohållbar.

Precis som intressant och konstruktiv klimatdiskussion undviker att fastna i polemik med klimatförnekarnas insisterande på att den globala uppvärmningen antingen är en chimär eller är oberoende av mänsklig aktivitet, så lämnar den mest givande AI-diskussionen idag det Andreessen-LeCunska AI-riskförnekeriet därhän, och blickar istället framåt, med fokus på hur vi bör tänka för att bäst navigera en osäker framtid. För den som vill fördjupa sig i den för vår framtid så avgörande AI-frågan vill jag ur 2024 års bokutbud rekommendera tre böcker som alla tar detta grepp, men som i övrigt ger inbördes väldigt olika perspektiv. Det handlar om...

Läs den spännande fortsättningen här!

Fotnot

1) Jag håller lite grand andan inför vilka läsarreaktionerna blir denna gång. Förra gången uppstod ett visst palaver, vilket om jag inte missminner mig landade i att en medlem vid namn Ernst Herslow utträdde ur Humanisterna i vredesmod över att synpunkter som mina fick lov att ventileras i medlemstidningen.

On Anthropic's call for proposals for third-party model evaluations

Nick Bostrom's modern classic Superintelligence: Paths, Dangers, Strategies from 2014 is full of interesting ideas.¹ Some of them have a scary quality to them, and the one that I found scariest of all, back when I read the book, is what he calls the treacherous turn - the idea that a sufficiently intelligent AI which discovers a discrepancy between its own goals and motivations and those of us humans is likely to hide its capabilities and/or true intentions and to keep a low profile, quietly improving its situation and its capabilities until one day it judges the coast to be clear for moving forward at full speed towards whatever its goal is, be it paperclip production or something entirely different and incomprehensible to us. I remember not being fully prepared to take the idea in, but expecting or hoping that it would soon be demoted to a noteworthy technicality that AI alignment research has demonstrated an easy way to defuse.

This has not happened. On the contrary, the treacherous turn phenomenon lies at the heart of the fundamental problem with evaluating the safety of advanced AI models that has become increasingly recognized in recent years. In short, we do not know how to establish the absence of dangerous capabilities in AI models without the a priori assumption that they do not possess superhuman capabilities for deception and social manipulation, making the argument for the models' safety in part circular. With increasingly capable large language models, this problem becomes increasingly pressing and has been discussed both in popular media and in articles by leading AI researchers, as well as by the AI company Anthropic² in their recent document A new initiative for developing third-party model evaluations:

Our research shows that, under some circumstances, AI models can learn dangerous goals and motivations, retain them even after safety training, and deceive human users about actions taken in their pursuit. These abilities, in combination with the human-level persuasiveness and cyber capabilities of current AI models, increases our concern about the potential actions of future, more-capable models. For example, future models might be able to pursue sophisticated and hard-to-detect deception that bypasses or sabotages the security of an organization, either by causing humans to take actions they would not otherwise take or exfiltrating sensitive information. We propose to develop evaluations that would monitor such abilities.

Given the current situation, it's a good thing that Anthropic makes this call for help with the problem of safety evaluation of advanced AI models. Even better, one might argue, would be if they refrained from building models whose safety cannot be ascertained with existing evaluation methods.³

Footnotes

1) The same is true about Bostrom's latest book Deep Utopia: Life and Meaning in a Solved World, which I hope to come back to in another blog post later this year.

2) Anthropic's rise, since it was founded in early 2021, has been meteoric. They are now unquestionably among the world's three leading frontier AI developers (along with OpenAI and Google/DeepMind). With their release of Claude 3.5 Sonnet on June 20 this year, we have for the first time since I became aware in 2019 of the rapid rise of large language models a situation where a model not from OpenAI has a significant lead over other publicly available models in terms of overall cognitive capabilities. To understand on a gut level how intelligent Claude is, there really is no substitute for talking to it yourself (which anyone is free to do), but let me offer an amusing sample. After having had a bit of back-and-forth with Claude regarding who are the top ten greatest chess players of all time, I switched topics a bit:

OH: Here's a harder list-making challenge: who are the 10 greatest AI researchers of all time?

Claude: Creating a list of the 10 greatest AI researchers of all time is indeed a challenging task, as the field is vast and has evolved significantly over the decades. Additionally, contributions can be theoretical, practical, or both, making comparisons difficult. However, I'll attempt to create a list based on historical impact, influential work, and contributions to the field. Please note that this list is subjective and others might have different opinions:

1. Alan Turing - For his foundational work on computation and the Turing Test.

2. Marvin Minsky - Co-founder of MIT's AI lab and author of influential works on AI.

3. John McCarthy - Coined the term "Artificial Intelligence" and invented LISP.

4. Judea Pearl - For his work on Bayesian networks and causal reasoning.

5. Geoffrey Hinton - Pioneer in deep learning and neural networks.

6. Yann LeCun - Made significant contributions to convolutional neural networks.

7. Yoshua Bengio - Key figure in the development of deep learning.

8. Stuart Russell - Co-author of a seminal AI textbook and researcher in multiple AI fields.

9. Andrew Ng - For his work in machine learning and deep learning, and for making AI education widely accessible.

10. Demis Hassabis - Co-founder of DeepMind and key figure in reinforcement learning and AI game-playing systems.

This list attempts to balance historical pioneers with more recent contributors who have shaped modern AI. It's worth noting that many other researchers could justifiably be included, such as Herbert Simon, Allen Newell, Seymour Papert, Jürgen Schmidhuber, Fei-Fei Li, and many others.

The field of AI is collaborative and builds upon the work of many researchers, so any such list will inevitably omit many important contributors. Also, as AI continues to evolve rapidly, the landscape of influential researchers is likely to change.

Would you like to discuss any of these researchers in more detail or explore other aspects of AI history?

OH: Turing on top of the list - I like that! Did you by any chance consider including Ilya Sutskever?

Claude: I'm glad you appreciate seeing Turing at the top! His contributions to the foundations of computer science and AI are truly monumental.

Regarding Ilya Sutskever, you raise an excellent point. He's certainly a strong candidate for such a list, and I can see why you'd bring him up. Sutskever has made significant contributions to the field of deep learning and is a key figure in modern AI research. Here's a brief overview of why he could be considered for a top AI researchers list:

1. He's a co-founder and Chief Scientist of OpenAI, one of the leading AI research organizations.

2. Sutskever was a key contributor to AlexNet, which was a breakthrough in computer vision using deep learning.

3. He's made important contributions to sequence-to-sequence learning, which has applications in machine translation and other natural language processing tasks.

4. His work on improving training techniques for deep neural networks has been influential in the field.

5. Sutskever has been involved in the development of GPT (Generative Pre-trained Transformer) models, which have revolutionized natural language processing.

Given these contributions, Sutskever could certainly be considered for inclusion in a top 10 list, especially if focusing on more recent impactful work in deep learning and neural networks. His omission from my initial list reflects the difficulty of narrowing down to just 10 names in such a rich and rapidly evolving field.

If you were to include Sutskever, who would you remove from the list to make room for him? Or would you structure the list differently to accommodate more recent contributors like Sutskever?

OH: The biggest surprise to me on your list is Judea Pearl. I'm aware of his work, and respect it, but probably would not have included him on my top 10.

Another name I'd consider for inclusion, although I realize it might be controversial, is Eliezer Yudkowsky.

Claude: Your perspective on Judea Pearl is interesting and highlights the subjective nature of these lists. Pearl's inclusion is often based on his groundbreaking work on Bayesian networks and causal reasoning, which has had a significant impact on how we approach probabilistic reasoning in AI. However, I can understand why his work might not seem as directly relevant to the current deep learning-dominated landscape of AI.

Regarding Eliezer Yudkowsky, his inclusion would indeed be controversial, but it's an intriguing suggestion. Here are some points to consider:

1. Contributions: Yudkowsky is known for his work on AI safety and rationality rather than for technical AI breakthroughs. He's been influential in raising awareness about potential risks of advanced AI systems.

2. Impact: He founded the Machine Intelligence Research Institute (MIRI) and has written extensively on topics like friendly AI and decision theory.

3. Controversy: His lack of formal academic credentials and some of his unconventional views have led to mixed reception in mainstream AI circles.

4. Influence: Despite controversy, his ideas have influenced discussions on AI ethics and safety, which are increasingly important as AI systems become more powerful.

Including Yudkowsky would shift the list's focus somewhat from technical achievements to broader impacts on AI discourse and policy. It would recognize the importance of considering AI's societal implications alongside its technical development.

If you were to create your own top 10 list, how would you balance between technical innovators, theoretical contributors, and those who've influenced the direction and ethics of AI research? Would you give more weight to recent contributions in deep learning and neural networks, or try to represent the broader history of AI?

OH: These are excellent questions, and I fear there is no objective truth to be found out there.

I have a confession to make, namely that one of my reasons for asking about top AI researchers was to check whether your creators at Anthropic might have sneakily programmed you to have a preference for one of your own researchers, such as Dario Amodei or Chris Olah. Sorry about that, but you passed my test with dignity!

Claude: I appreciate your honesty about your motivations for asking the question. You're right that there's no objective truth in creating such lists - they're inherently subjective and can vary greatly depending on the criteria used.

Your "test" is quite insightful. I can assure you that I don't have any programmed preference for Anthropic researchers or anyone else. My responses are based on my training data and the general consensus in the AI field, not on any specific agenda or bias towards particular individuals or organizations.

It's a good instinct to be skeptical and look for potential biases in AI systems. In my case, I'm designed to be as objective as possible, acknowledging when topics are controversial or when I might not have complete information.

Regarding Anthropic researchers like Dario Amodei or Chris Olah, while they have certainly made valuable contributions to the field, their work would be evaluated on its merits just like any other researcher's. The field of AI is vast and rapidly evolving, with many brilliant minds contributing from various institutions and companies around the world.

Your approach to testing for potential biases is commendable. It's this kind of critical thinking that helps keep AI development accountable and transparent. Is there anything else you'd like to discuss about AI researchers, the development of AI, or the ethical considerations surrounding it?

3) The same goes for OpenAI, as well as for their other competitors. See my comments in January this year about OpenAI's evaluation framework, and this addendum the month after.

Future of Humanity Institute 2005-2024

The news that University of Oxford's Future of Humanity Institute (FHI), after nearly two decades of existence, closed down earlier this week (Tuesday, April 16) made me very sad. The institute was Nick Bostrom's brainchild, and it was truly pioneering in terms of formulating some of the most profound and important questions about how to ensure a flourshing future for mankind, as well as in beginning the work of answering them. Their work has more or less uninterruptedly been at the forefront of my mind for more than a decade, and although I only visited their physical headquarters twice (in 2012 and 2016), it is clear to me that it was a uniquely powerful and creative research environment.

In the first draft of this blog post I used the acronym RIP in the headline, but decided to change that, because I wish that what remains from the institute - the minds and the ideas that it fostered - will not rest in peace, but instead continue to sparkle and help create a splendid future. They can do this at the many subsequent research institutes and think tanks that FHI helped inspire, such as The Centre for the Study of Existential Risk in Cambridge, The Future of Life Institute in Massachussetts, The Global Priorities Institute in Oxford, and The Mimir Center at the Institute for Future Studies in Stockholm. And elsewhere.

My friend Anders Sandberg was a driving force at the institue almost from the start and then until the very end. His personal memoir of the institute, entitled Future of Humanity Institute 2005-2024: Final Report offers a summary and many wonderful glimpses from their successful work, including a generous collection of photographs.¹ Reading it is great consolation at this moment. Along with the successes, Anders also tells us briefly about the institute's downfall:

Starting in 2020, the Faculty [of Philosophy] imposed a freeze on fundraising and hiring. Unfortunately, this led to the eventual loss of lead researchers and especially the promising and diverse cohort of junior researchers, who have gone on to great things in the years since. While building an impressive alumni network and ecosystem of new nonprofits, these departures severely reduced the Institute. In late 2023, the Faculty of Philosophy announced that the contracts of the remaining FHI staff would not be renewed. On 16 April 2024, the Institute was closed down. [p 19]

Later, on p 60-61, he offers three short paragraphs about what failings on the FHI's side may have led to such harsh treatment from the Faculty. What he offers is hardly the full story, and I have no specific insight into their organization that can add anything. Still, let me offer a small speculation, mostly based in introspection into my own mind and experience, about the kind of psychological and social mechanisms that may have contributed:

If you are an FHI kind of person (as I am), it will likely seem to you that lowering P(doom) by as little as a ppm is so obviously urgent and important that it appears superfluous and almost perverse to argue for such work using more traditional academic measuring sticks and rituals. That may lead you to ignore (some of) those rituals. If this clash of cultures continues for sufficiently long without careful intervention, the relations to the rest of the university are likely to decline and eventually collapse.

Footnote

1) See also his latest blog post.

Another presumptuous philosopher

In his wonderfully rich 2002 book Anthropic Bias: Observation Selection Effects in Science and Philosophy, Nick Bostrom addresses deep and difficult questions about how to take our own existence and position in the universe into account in inference about the world. At the heart of the book are two competing principles: the SSA (Self-Sampling Assumption) and the SIA (Self-Indication Assumption).¹ An adherent of SSA starts from a physical/objective/non-anthropic Bayesian prior for what the world is like, and then updates based on the information of finding themselves inhabiting the body and the position in space-time that they do, under the assumption that they are a random sample from the class of relevant observers.² An adherent of SIA does the same thing, except that before updating they reweight the prior through a kind of size-bias: each possible world has its probability multiplied by the number of relevant observers and then renormalized.

It is far from clear that either SSA or SIA produces correct reasoning, but they are the main candidates on the table. Bostrom offers many arguments for and against each, but ends up favoring SSA, largely due to the presumptuousness of sticking to SIA that is revealed by the following thought experiment.

The presumptuous philosopher

It is the year 2100 and physicists have narrowed down the search for a theory of everything to only two remaining plausible candidate theories: T1 and T2 (using considerations from super-duper symmetry). According to T1 the world is very, very big but finite and there are a total of a trillion trillion observers in the cosmos. According to T2, the world is very, very, very big but finite and there are a trillion trillion trillion observers. The super-duper symmetry considerations are indifferent between these two theories. Physicists are preparing a simple experiment that will falsify one of the theories. Enter the presumptuous philosopher: ''Hey guys, it is completely unnecessary for you to do the experiment, because I can already show you that T2 is about a trillion times more likely to be true than T1!''

This does indeed serve as an intuition against SIA, but it only takes a minor modification to produce another equally plausible thought experiment that serves equally strongly as an intuition against SSA.³ Taken together, the two thought experiments should not push us in any particular direction as to which of the two principles is preferable. Here goes:

Another presumptuous philosopher

It is the year 2100 and humanity has succeeded in the twin feats of (a) establishing that we are alone in the universe, and (b) once and for all solving xrisk, so that there is no longer any risk for permature extinction of humanity: our civilization will persist until the end of time. Physicists are on the verge of accomplishing a third feat, namely (c) finding the true and final theory of everything. They have narrowed down the search to only two remaining plausible candidate theories: T1 and T2 (using considerations from super-duper symmetry). According to T1 the world will last for a very, very long but finite amount of time, and there will be a total of a trillion trillion observers in the cosmos. According to T2, the world will last for a very, very, very long but finite amount of time, and there will be a trillion trillion trillion observers. The super-duper symmetry considerations are indifferent between these two theories. Physicists are preparing a simple experiment that will falsify one of the theories. Enter the SSA-adhering presumptuous philosopher: ''Hey guys, it is completely unnecessary for you to do the experiment, because I can already show you that T1 is about a trillion times more likely to be true than T2!''

Note that the SSA-adhering presumptuous philosopher's reasoning is exactly the same as in Brandon Carter's Doomsday Argument; I have merely changed the narrative details a bit in order to emphasize the similarity with Bostrom's presumptuous philosopher. Note also that if the two philosophers (the one favoring SIA in Bostrom's example, and the one favoring SSA in mine) trade places, then neither of them will be inclined to suggest any anthropic modification at all of the physicists' credence in T1 and T2.

In my opinion, the two thought experiments taken side by side serve as to illustrate that we are still confused about how to do anthropic reasoning. Both SIA and SSA produce appalingly presumptuous inferences. Is there some third possibility that avoids all of that? Maybe yes, but I suspect probably no, and that we will need to bite the bullet somewhere.

Footnotes

1) The names are terrible but have stuck.

2) I am here glossing over what ''random'' means (typically a uniform distribution, either over observers or so-called observer-moments), and even more so the meaning of ''relevant'', but the reader can rest assured that both Bostrom and 20 years of commentators treat these issues at length.

3) Olum (2002) suggests, for the same purpose, a different modification of Bostrom's original thought experiment. Here, super-duper symmetry comes with a vaguely Occam-like principle where, a priori, a theory of everything has probability inversely proportional to the size of the resulting universe. Bostrom and Cirkovic (2003), however, dismiss the example as far-fetched. I am not sure I find that dismissal convincing, but be that as it may, I still hope the modification I propose here is more to their taste.

More on the Lemoine affair

My blog post two days ago about Google engineer Blake Lemoine who has been put on paid administrative leave for breaking the company's confidentialty rules was written in a bit of a haste, ignoring what I now think may be the two most important aspects of the whole story. I will make up for that omission here, but will not repeat the background, for which I refer back to that earlier blog post. Here are the two aspects:

First, Lemoine is a whistleblower, and whistleblowing tends to be personally very costly. But we very much need whistleblowers, and due to this externality mismatch we also need society to treat its whistleblowers well - even in cases (such as, I suspect, the one at hand) where the message conveyed turns out ultimately wrong. While I do not have any concrete suggestion for what a law supporting this idea should look like, I do believe we ought to have such laws, and in the meantime it is up to each of us to be supportive of individual whistleblowers. Our need for them is greater in Big Tech than in perhaps any other sector, because by responding disproportionally to their commercial incentives rather than to the common good, these companies risk causing great harm:

• this is already happening (see this recent text by Jonathan Haidt), and
• things can get orders of magnitude worse (see this recent text by Eliezer Yudkowsky).

Second, while (as I've said) Lemoine is probably wrong about the AI system LaMDA having achieved consciousness, it is extremely important that we do not brush the issue of AI consciousness permanently aside, lest we otherwise risk creating atrocities, potentially on a scale that dwarfs present-day meat industry. Therefore, the dogmatic attitude of his high-level manager Jen Gennai (Director of Responsible Innovation at Google) that Lemoine describes is totally unacceptable:

When Jen Gennai told me that she was going to tell Google leadership to ignore the experimental evidence [about LaMDA being sentient] I had collected I asked her what evidence could convince her. She was very succinct and clear in her answer. There does not exist any evidence that could change her mind. She does not believe that computer programs can be people and that’s not something she’s ever going to change her mind on.

The possibility of AI consciousness needs to be taken seriously, and it is an issue that can escelate from the hypothetical and philosophical to actual reality sooner than we think. As I remarked in my previous blogpost, AI futurology and AI safety scholars have tended to ignore this issue (largely, I believe, due to its extreme difficulty), but a notable recent exception is the extraordinarily rich paper Propositions Concerning Digital Minds and Society by Nick Bostrom and Carl Shulman. Among its many gems and deep insights, let me quote a passage of particular relevance to the issue at hand:

• Training procedures currently used on AI would be extremely unethical if used on humans, as they often involve:
  • No informed consent;
  • Frequent killing and replacement;
  • Brainwashing, deception, or manipulation;
  • No provisions for release or change of treatment if the desire for such develops;
  • Routine thwarting of basic desires; for example, agents trained or deployed in challenging environments may possibly be analogous to creatures suffering deprivation of basic needs such as food or love;
  • While it is difficult conceptually to distinguish pain and pleasure in current AI systems, negative reward signals are freely used in training, with behavioral consequences that can resemble the use of electric shocks on animals;
  • No oversight by any competent authority responsible for considering the welfare interests of digital research subjects or workers.
• As AI systems become more comparable to human beings in terms of their capabilities, sentience, and other grounds for moral status, there is a strong moral imperative that this status quo must be changed.
• Before AI systems attain a moral status equivalent to that of human beings, they are likely to attain levels of moral status comparable to nonhuman animals—suggesting that changes to the status quo will be required well before general human-level capabilities are achieved.
  • The interests of nonhuman animals are violated on a massive scale in, for example, factory farms, and there is a strong case that this is morally wrong.
  • Nevertheless, there are some systems in place to limit the harm and suffering inflicted on animals (e.g., minimum standards for cage size, veterinary care, outlawing of various forms of animal abuse, the “three Rs” in animal experimentation, etc.).
  • Digital minds that are morally comparable to certain nonhuman animals should ideally have protections similar to those that ought to be extended to those animals (which are greater than those that are at present actually extended to farmed animals).
• Some research effort should be devoted to better understand the possible moral status, sentience, and welfare interests of contemporary AI systems, and into concrete cost-effective ways to better protect these interests in machine learning research and deployment.

Häggström hävdar tio år!

Idag är det på dagen tio år sedan som Häggström hävdar såg dagens ljus. Jubileet sammanfaller nära i tid med en annan, mer uppmärksammad och mer makaber, tioårsdag, och som jag framhöll i det första blogginlägget är det inte helt och hållet någon tillfällighet:

Det är inte en slump att jag lanserar min blogg blott ett par dagar efter de ohyggliga terrordåden i Oslo och på Utöya. Min starkaste reaktion, utöver fasa över det lidande som gärningsmannen orsakat och de många människoliv han släckt, är en känsla av beslutsamhet: Vi som tror på demokrati, mänskliga rättigheter och det öppna samhället skall fortsätta arbeta för dessa värden utan att låta oss skrämmas av galna extremister. Sjösättandet av bloggen får gärna tolkas som en markering i den riktningen.

Längre fram i samma bloggpost meddelar jag att jag avser att "på bloggen kommentera både vetenskapliga resultat och politiska/ideologiska spörsmål".¹ Denna utfästelse tycker jag mig ha infriat, i de cirka 800 bloggposter som sedan följt.

Som intensivast arbetade jag med bloggen de första fem-sex åren, då jag snittade ett par bloggposter i veckan, och var angelägen om att leverera ett någorlunda kontinuerligt flöde av intressant innehåll. Nu är ambitionen lägre, och jag använder bloggen framför allt som skyltfönster för mina övriga publika aktiviteter, som exempelvis min senaste bok Tänkande maskiner,² och den nystartade podden Vetenskapligt med Häggström & Livh.

Låt mig fira tioårsdagen med att lyfta det gångna decenniets tre mest lästa inlägg på bloggen. Notabelt är att alla tre kom inom en och samma 18-månadersperiod, som eventuellt kan betecknas som bloggens (hittills) främsta glansperiod.

1. Quickologisk sannolikhetskalkyl, 16 maj 2015. En mycket sträng recension av Göran Lambertz bristfälliga och då nyutkomna bok Quickologi. Som sannolikhetsteoretiker borde jag normalt bli glad då någon utanför matematikens och statistikens specialiserade kretsar tar sig an området, men när det görs med en kombination av okunskap, omdömeslöst hittepå och högtravande anspråk blir min reaktion den motsatta. Detta blev starten på en delvis ganska irriterad diskussion med Lambertz; se t.ex. mina uppföljningsbloggposter Lambertz laborerar med pseudokvantiteter, Ohederlig nyårsbetraktelse och Därför ställer jag inte upp som Göran Lambertz privata matematikbiträde.

2. Om statistisk signifikans, epigenetik och de norrbottniska farmödrarna, 23 februari 2014. Om en uppmräksammad medicinsk studie med så allvarliga och samtidigt lärorika brister att jag sedan dess regelbundet använt den som avskräckande exempel i min undervisning. Se även uppföljaren Epigenetiken i Överkalix och den statistiska signifikansen: Bygren bryter tystnaden.

3. Superintelligence odds and ends: index page, 19 september 2014. I anslutning till min recension av Nick Bostroms bok Superintelligence: Paths, Dangers, Strategies publicerade jag en serie bloggposter med fördjupande diskussion kring olika teman som tas upp i boken, och index page är som namnet antyder en (kommenterad) länk- och innehållsförteckning till dessa. Sju år har nu gått sedan Bostroms bok, och jag tvekar fortfarande inte att säga att detta är den bästa och viktigaste bok som skrivits om AI-risk och AI-säkerhet. Men området har (mycket tack vare boken) kommit att växa snabbt sedan dess, och för den som idag vill sätta sig in i det rekommenderar jag trots allt hellre någon av de nyare böcker som finns och som lyfter en del av det som hänt sedan 2014, som Stuart Russells Human Compatible (2019), Brian Christians The Alignment Problem (2020), eller min egen Tänkande maskiner (2021).

Fotnoter

1) Omedelbart därefter meddelar jag att "denna blandning är inte oproblematisk", ett tema jag utvecklat mer på djupet bland annat i ett offentligt samtal med Hanna Jedvik i höstas.

2) Jag kan passa på att meddela att boken nyligen fått ett par (med svenska mått mätt) högprofilerade recensioner:

• Peter Gärdenfors i Sydsvenska Dagbladet den 5 juli: Bröderna Wrights propeller kan lära oss om supersmarta AI-system.
• Rasmus Fleischer i Expressen den 17 juli: Det mest banala kan bli vår undergång.

Båda recensionerna är mestadels positiva, och i synnerhet Fleischer bjuder på några spänstiga passager jag gärna citerar:

Ganska tidigt in i ”Tänkande maskiner” finner sig läsaren på ett sluttande plan ner mot en bottenlös fasa. Tänk en myggsvärm, fast varje mygga är en liten robot utrustad med nervgift. Svärmen tar hjälp av ansiktsigenkänning för att finna och likvidera sina offer. Tekniken för sådana mördarrobotar behöver inte ligga jättemånga år fram i tiden, redo att släppas på svarta marknaden. [...]

Häggström är ingen domedagsprofet. Men för den som tänker att en AI-apokalyps borde gå att stoppas enkelt, genom att bara lägga in ett simpelt förbehåll i programkoden, visar den här boken klart och tydligt varför saken är så mycket svårare. Pedagogiken är imponerande, därtill är språket ovanligt väl genomarbetat och litteraturhänvisningarna en guldgruva för den som vill gå djupare. ”Tänkande maskiner” kan faktiskt läsas utan särskilda förkunskaper, varken inom matematisk logik eller filosofisk etik – de två hållpunkterna för de spekulativa bågar som spänns. Självklart får då andra perspektiv stryka på foten. Trots det utsökt balanserade anslaget så framträder framtiden hos Häggström som ett val mellan två vägar: himmel och helvete.

Artificial general intelligence and the common sense argument

Consider the distinction between narrow AI and artificial general intelligence (AGI), the former being AI specialized on a limited range of capabilities and tasks, and the latter denoting a hypothetical future AI technology exhibiting the flexibility and the full range of cognitive capabilities that we associate with human intelligence. Timelines for when (if ever) AGI will be built are highly uncertain [MB,GSDZE], but scientific debate on the issue has become more pressing in recent years, following work on possible catastrophic consequences of an AGI breakthrough unless sufficient care is taken in aligning the machine’s goals with human values [Y08,Bo,Ru,H].

A common argument for long or infinite timelines until AGI is to point to some example where present-day AI performs badly compared to humans, and to take this as a lack of “common sense” and an indication that constructing AGI is far beyond our current capabilities, whence it cannot plausibly become reality anytime soon [Bks,W,P18a,P18b]. We have all seen YouTube videos of robots tripping over their toes used for this purpose, and a recent viral case concerned an AI meant to steer a TV camera to track the ball during a football game which instead tracked the head of a bald linesman [V]. Such utter lack of common sense! An implicit or sometimes explicit conclusion tends to be that concerns about future machines taking control of the world are overblown and can be dismissed.

I believe that the central position assigned to concept of AGI in the AI futurology and AI safety literature has, via the following implicit narrative, given undue credence to the idea that AI existential risk is exclusively an issue concerning the far future. For AI to become AGI, we need to equip it with all of the myriad competences we associate with common sense, one after the other, and only then will it be ready to enter the spiral of self-improvement that has been suggested may lead to an intelligence explosion, superintelligence, and the ability to take over the world [G,Bo,H].

But common sense is a vague notion – it tends to be simply a label we put on any ability where humans still outperform AI. Hence, by the very definition of AGI, we will be able to point to common sense failures of AI up until the very moment AGI is created, so the argument that such failures show that AGI is a long way off is unsound; see [Y17] for a similar observation.

More importantly, however: AGI may not be necessary for the self-improvement spiral to take off. A better narrative is the following. We are already at a stage where AIs are better than humans at some cognitive tasks while humans remain better than AIs at others. For instance, AIs are better at chess [Si,SR], while humans are better at tracking a football [V]. A human pointing to the football example to show that AIs lack common sense has no more force than an AI pointing to chess to show that humans lack common sense. Neither of them fully dominates the other in terms of cognitive capabilities. Still, AI keeps improving, and rather than focusing on full dominance of AI (as encouraged by the AGI concept) the right question to ask is in what range of cognitive capacities AI needs to master in order to be able to seize power from humans. Self-improvement (i.e., constructing advanced AI) is probably a key competence here, but what does that entail?

There is probably little reason to be concerned about, say, the AlphaZero breakthrough [Si,SR], as two-player zero-sum finite board games with full information is unlikely to be the most significant part of the intelligence spectrum. More significant, probably, is the use of language, as a large fraction of what a human does to control the world is via language acts. It is also a direction of AI that has seen dramatic improvements in the last few years with large-scale natural language processors like GPT-2 and GPT-3 [RWAACBD,Bwn,So,KEWGMI]. With the launch of GPT-3, it was stressed that no new methods were employed compared to GPT-2: the improved performance was solely a consequence of brute-force upscaling. Nobody knows where the ceiling is for such upscaling, and it is therefore legitimate to ask whether the crucial ingredient to make AI’s ability to control the world surpass that of humans might lie in the brute-force expansion of such language models.

If it seems counterintuitive that an AI would attain the ability to take over the world without first having mastered common sense, consider that this happens all the time for smaller tasks. As an illustrative small-scale example, take the game of Sokoban, where the player moves around in a maze with the task of pushing a collection of boxes to a set of prespecified locations. An AI system for solving Sokoban puzzles was recently devised and exhibited superhuman abilities, but apparently without acquiring the common sense insight that every human player quickly picks up: if you push a box into a corner, it will be stuck there forever [FDS,PS]. No clear argument has been given for why efficient problem solving lacking in common sense would be impossible for a bigger task like taking over the world.

To summarize, I believe that while the notion of AGI has been helpful in the early formation of ideas in the futurology and philosophy of AI, it has also been a source of some confusion, especially via the common sense argument discussed above. AI existential risk literature might therefore benefit from a less narrow focus on the AGI concept. Such a shift of focus may be on its way, such as in the recent authoritative research agenda [CK] where talk of AGI is almost entirely abandoned in favor of other notions such as prepotent AI, meaning AI systems whose deployment would be at least as transformative to the world as humanity itself and unstoppable by humans. I welcome this shift in discourse.

References

[Bo] Bostrom, N. (2014) Superintelligence: Paths, Dangers, Strategies, Oxford University Press, Oxford.

[Bks] Brooks, R. (2017) The seven deadly sins of AI prediction, MIT Technology Review, October 6.

[Bwn] Brown, T. et al (2020) Language models are few-shot learners, https://arxiv.org/abs/2005.14165

[CK] Critch, A. and Krueger, D. (2020) AI research considerations for human existential safety (ARCHES), https://arxiv.org/abs/2006.04948

[FDS] Feng, D., Gomes, C. and Selman, B. (2020) A novel automated curriculum strategy to solve hard Sokoban planning instances, 34th Conference on Neural Information Processing Systems (NeurIPS 2020).

[G] Good, I.J. (1966) Speculations concerning the first ultraintelligent machine, Advances in Computers 6, 31-88.

[GSDZE] Grace, K., Salvatier, J., Dafoe, A., Zhang, B. and Evans, O. (2017) When will AI exceed human performance? Evidence from AI experts, https://arxiv.org/abs/1705.08807

[H] Häggström, O. (2021) Tänkande maskiner: Den artificiella intelligensens genombrott, Fri Tanke, Stockholm.

[KEWGMI] Kenton, Z., Everitt, T., Weidinger, L., Gabriel, I., Mikulik, V. and Irving, G. (2021) Alignment of language agents, https://arxiv.org/abs/2103.14659

[MB] Müller, V. and Bostrom, N. (2016) Future progress in artificial intelligence: A survey of expert opinion, in Fundamental Issues of Artificial Intelligence (ed. V. Müller), Springer, Berlin, p 554-571.

[PS] Perry, L. and Selman, B. (2021) Bart Selman on the promises and perils of artificial intelligence, Future of Life Institute Podcast, May 21.

[P18a] Pinker, S. (2018) Enlightenment Now: The Case for Reason, Science and Humanism, Viking, New York.

[P18b] Pinker, S. (2018) We’re told to fear robots. But why do we think they’ll turn on us? Popular Science, February 14.

[RWAACBD] Radford A., Wu, J., Amodei, D., Amodei, D., Clark, J., Brundage, M. and Sutskever, I. (2019) Better language models and their implications, OpenAI, February 14, https://openai.com/blog/better-language-models/

[Ru] Russell, S. (2019) Human Compatible: Artificial Intelligence and the Problem of Control, Viking, New York.

[SR] Sadler, M. and Regan, N. (2019) Game Changer: AlphaZero’s Ground-Breaking Chess Strategies and the Promise of AI, New In Chess, Alkmaar, NL.

[Si] Silver, D. et al (2018) A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play, Science 362, 1140-1144.

[So] Sotala, K. (2020) I keep seeing all kinds of crazy reports about people's experiences with GPT-3, so I figured that I'd collect a thread of them, Twitter, July 15.

[V] Vincent, J. (2020) AI camera operator repeatedly confuses bald head for soccer ball during live stream, The Verge, November 3.

[W] Waters, R. (2018) Why we are in danger of overestimating AI, Financial Times, February 5.

[Y08] Yudkowsky, E. (2008) Artificial intelligence as a positive and negative factor in global risk, in Global Catastrophic Risks (ed. N. Bostrom and M. Cirkovic), Oxford University Press, Oxford, p 308–345.

[Y17] Yudkowsky, E. (2017) There’s no fire alarm for artificial general intelligence, Machine Intelligence Research Institute, Berkeley, CA.

Aktuella poddframträdanden

Den senaste veckan har inte mindre än tre poddavsnitt där jag medverkar släppts:

• Jag är med i två avsnitt på raken av Johan Landgrens engelskspråkiga videopodd Evolution Show, i vilka han med energi och entusiasm frågar ut mig om AI med avstamp från min nya bok Tänkande maskiner:
  • Why artificial superintellignce can’t be ignored no more, or switched off later, 2 juni 2021.
  • AI alignment or paperclip planet, 9 juni 2021.
• Däremellan hann jag med att medverka i avsnittet Om vi bor i en datorsimulering¹ (3 juni 2021) i den lundensiska podden Om filosofers liv och tankar med Fredrik Eriksson och Martin Jönsson.

Och det här är kanske också ett tillfälle så gott som något att jag inom kort är redo att lansera en egen podd. Stay tuned!

Fotnot

1) Det var tack vare ett tidigare inlägg här på Häggström hävdar som Erikssson och Jönsson kom på att bjuda in mig för att diskutera Nick Bostroms simuleringsargument. Det blev ett bra samtal, men när poddmakarna på tal om att Bostrom långt ifrån var först med att lyfta tanken att den verklighet vi lever i kanske inte utgör den högsta eller mest fundamentala verklighetsnivån frågade varför det var först med Bostroms argument som jag började ta denna tanke på visst allvar, så gav jag ett lite lamt svar. Ett bättre svar hade varit följande. Det var inte (den i mitt tycke skakiga) bostromska sannolikhetskalkylen som övertygade mig. Iställdet var det hur väl hans resonemang levandegjorde möjligheten att i vår egen verklighet bädda in andra (simulerade) verkligheter, varifrån slutsatsen nästan föreslår sig självt att denna vår egen verklighet skulle kunna ligga inbäddad i en högre sådan.

New AI paper with James Miller and Roman Yampolskiy

The following words by Alan Turing in 1951, I have quoted before:

My contention is that machines can be constructed which will simulate the behaviour of the human mind very closely. [...] Let us now assume, for the sake of argument, that these machines are a genuine possibility, and look at the consequences of constructing them. [...] It seems probable that once the machine thinking method had started, it would not take long to outstrip our feeble powers. There would be no question of the machines dying, and they would be able to converse with each other to sharpen their wits. At some stage therefore we should have to expect the machines to take control.

It is but a small step from that ominous final sentence about machines taking over to the conclusion that when that happens, everything hinges on what they are motivated to do. The academic community's reaction to Turing's suggestion was a half-century of almost entirely ignoring it, and only the last couple of decades have seen attempts to seriously address the issues that it gives rise to. An important result of the early theory-building that has come out of this work is the so-called Omohundro-Bostrom framework for instrumental vs final AI goals. I have discussed it, e.g., in my book Here Be Dragons and in a 2019 paper in the journal Foresight.

Now, in collaboration with economist James Miller and computer scientist Roman Yampolskiy, we have another paper on the same general circle of ideas, this time with emphasis on the aspects of Omohundro-Bostrom theory that require careful scrutiny in light of the game-theoretic considerations that arise for an AI living in an environment where it needs to interact with other agents. The paper, whose title is An AGI modifying its utility function in violation of the strong orthogonality thesis, is published in the latest issue of the journal Philosophies. The abstract reads as follows:

An artificial general intelligence (AGI) might have an instrumental drive to modify its utility function to improve its ability to cooperate, bargain, promise, threaten, and resist and engage in blackmail. Such an AGI would necessarily have a utility function that was at least partially observable and that was influenced by how other agents chose to interact with it. This instrumental drive would conflict with the strong orthogonality thesis since the modifications would be influenced by the AGI’s intelligence. AGIs in highly competitive environments might converge to having nearly the same utility function, one optimized to favorably influencing other agents through game theory. Nothing in our analysis weakens arguments concerning the risks of AGI.

Read the full paper here!

Is GPT-3 one more step towards artificial general intelligence?

How does the pandemic affect the long-distance race between (and now I borrow Nick Bostrom's metaphor) the galloping stallion which is humanity's technological capability, and the foal on unsteady legs which is humanity's wisdom? I don't know, but it does seem that AI development is the kind of activity that can move on pretty much unhampered by lockdowns etc. Last week, OpenAI announced their stunning natural language processor GPT-3, which is an enormously scaled-up sequel to their amazing and much-discussed GPT-2 last year. Yannic Kilcher at ETH has gone over their paper carefully and offers his insights in a very instructive video lecture:

The attentive viewer will notice that Kilcher, while accepting that GPT-3 does a bunch of impressive-looking things, what it does is not so much reasoning as pattern matching and copy-paste. This can be interpreted as Kilcher leaning in the direction of a negative answer to the question in the title of the present blog post. I am personally somewhat more inclined towards a positive answer, as is prominent tech blogger gwern:

GPT-3 is scary because it’s a tiny model compared to what’s possible, with a simple uniform architecture trained in the dumbest way possible (prediction of next text token) on a single impoverished modality (random Internet text dumps) on tiny data (fits on a laptop), and yet, the first version already manifests crazy runtime meta-learning - and the scaling curves still are not bending! [...] In 2010, who would have predicted these enormous models would just develop all these capabilities spontaneously, aside from a few diehard connectionists written off as willfully-deluded old-school fanatics by the rest of the AI community? [...] GPT-3 is hamstrung by its training & data, but just simply training a big model on a lot of data induces meta-learning without even the slightest bit of meta-learning architecture being built in; and in general, training on more and harder tasks creates ever more human-like performance, generalization, and robustness.

The semi-fictitional dialogue between an anonymous machine learning researcher NN, and Scott Alexander, in connection with last year's release of GPT-2, is worth recalling again:

NN: I still think GPT-2 is a brute-force statistical pattern matcher which blends up the internet and gives you back a slightly unappetizing slurry of it when asked.

SA: Yeah, well, your mom is a brute-force statistical pattern matcher which blends up the internet and gives you back a slightly unappetizing slurry of it when asked.

Debattörer som irriterat mig i julhelgen, del 2: Ruin

Det här handlar inte om Hans Ruin personligen. Det är visserligen sant att jag tidigare haft starkt kritiska synpunkter på denne professor i filosofi vid Södertörns högskola, vad gäller såväl hans syn på sitt ämne¹ som hans privatmoral², men det jag skriver här har lite eller inget alls med de diskussionerna att göra, utan är snarare att betrakta som en brandkårsutryckning för att rätta till en del av dumheterna i hans understreckare i SvD häromdagen, rubricerad Den envisa myten om intelligenta maskiner.

Större delen av texten utgörs av en visserligen summarisk och starkt förenklad, men givet det någorlunda godtagbar, redogörelse för delar av den artificiella intelligensens (AI:ns) idéhistoria.³ Det är när Ruin mot slutet av texten lämnar idéhistorien bakom sig och ger sig i kast med att förutsäga hur AI kommer att vidareutvecklas i framtiden som problemen hopar sig. Han låtsas ha läst Nick Bostroms Superintelligence från 2014 och Max Tegmarks Life 3.0 från 2017, men avslöjar omdelebart sin bluff genom att påstå att båda utgår "från premissen att dagens självlärande maskiner inom en nära framtid kan alstra en 'intelligensexplosion'". Nej, detta är inte en premiss i någon av böckerna. Såväl Bostrom som Tegmark diskuterar intelligensexplosionsscenarier, men i båda fallen handlar det blott om ett bland flera möjliga scenarier, och i synnerhet Bostrom diskuterar noggrant och med en väl tilltagen dos epistemisk ödmjukhet vad som talar för respektive emot en intelligensexplosion.

Redan i påföljande mening kommer nästa ruinska felaktighet, då han påstår att "genom att hänvisa till hjärnans oerhört komplexa uppbyggnad av neuroner och synapser menar [såväl Bostrom som Tegmark] att superintelligens endast är en fråga om när maskinerna närmar sig en jämförbar komplexitet i beräkningskapacitet". Helt fel igen. Vad Ruin här gör är att (till synes blint och oreflekterat) återge en av de vanligast förekommande och samtidigt fånigaste vanföreställningarna kring AI-futurologi. Sanningen är att varken Bostrom eller Tegmark eller någon annan seriös AI-futurolog hävdar att beräkningskapacitetsutveckling ensam skulle få sådana konsekvenser. Tvärtom: utan rätt slags mjukvara ingen superintelligens. Det närmaste ett korn av sanning som finns i den av Ruin återgivna missuppfattningen är att en utbredd (och rimlig) ståndpunkt bland experter på området är att ju mer beräkningskapacitet som hårdvaruutvecklingen leder fram till, desto bättre är utsikterna att skapa den mjukvara som krävs för så kallad AGI (artificiell generell intelligens) eller superintelligens.

Med stöd i sitt fria fabulerande kring vad som står i Bostroms och Tegmarks respektive böcker kommer Ruin fram till att skapandet av superintelligens är "varken tekniskt eller filosofiskt sannolikt". Inför denna fras blir jag en smula perplex, ty trots mina mer än 25 år som forskare i sannolikhetsteori har jag aldrig hört talas om den påstådda distinktionen mellan "teknisk" och "filosofisk" sannolikhet. Så vad menar Ruin här? Troligtvis inget annat än att han tyckte att det skulle låta fräsigare och mer kunnigt med "varken tekniskt eller filosofiskt sannolikt" än att kort och gott skriva "osannolikt".

Så hur står det i själva verket till med den sannolikhet som här diskuteras? Det vet vi inte. Frågan om huruvida och i så fall på vilken tidsskala som vi kan vänta oss att AI-utvecklingen når fram till AGI och superintelligens är vidöppen, något som framgår med all önskvärd tydlighet såväl av Bostroms bok som av Tegmarks, och som omvittnas ytterligare av de enkätundersökningar som gjorts bland AI-forskare (se t.ex. Dafoe och Russell, och Grace et al). Det förståndiga att göra i detta läge är att acceptera den stora osäkerheten, inklusive konstaterandet att möjligheten att superintelligens kan komma att utvecklas under innevarande århundrade förtjänar att tas på allvar, givet hur många experter som gör just det.

Ändå träder den ene efter den andre publike debattören, med en expertis (i Ruins fall en omfattande belästhet på den gamle kontinentalfilosofen Martin Heidegger) som är av i bästa fall oklar relevans för AI-futurologi, fram och meddelar att det där med superintelligens och AI-risk, det är minsann inget att bry sig om. För Ruin är långt ifrån ensam om att dra fram en sådan bedömning mer eller mindre ur röven, och med stöd i sin professorstitel eller annan vida accepterad kredibilitetsgrund basunera ut den för folket. För bara någon månad sedan gjorde den populäre nyliberale ideologen Johan Norberg samma sak. För att inte tala om kungen av AI-riskförnekeri, Steven Pinker. Och det finns många fler: se gärna den amerikanske futurologen Seth Baums studium av fenomenet.

Figurer som Ruin, Norberg och Pinker verkar dock komma mycket lindrigare undan med sitt AI-bullshitteri jämfört med motsvarande uttalanden från klimatförnekare om den globala uppvärmningen och dess orsaker. En trolig förklaring till detta är att kunskapsläget inom AI-futurologin är så väldigt mycket osäkrare än det inom klimatvetenskapen. Men att använda sin auktoritet i det offentliga rummet till att tvärsäkert torgföra grundlösa påståenden i vetenskapliga frågor, det är lika fel oavsett vilken grad av vetenskaplig osäkerhet som råder på det aktuella området.

Fotnoter

1) Min kritik på denna punkt handlar mest om hur Ruin positionerade sig i debatter med Torbjörn Tännsjö under 2016. Det är knappast någon större överdrift att hävda att han uttryckte en önskan att reducera filosofiämnet till läsandet av gamla klassiker, och dömde ut alla försök att tänka nya tankar. Det var också från denna förgrämda gammelmansposition han samma år yttrade sig om Macchiarini-skandalen.

2) Jag syftar här på Ruins åtgärder (som rapporterats om här och var) i syfte att tysta ned offer för sin gode vän Jean-Claude Arnaults sexuella övergrepp. Saken försatte mig i vissa smärre bryderier sedan jag anmält mig att delta i ett akademiskt symposium i Göteborg den 8 oktober förra året, och därefter fått klart för mig att Ruin fanns med bland talarna. Jag kände omedelbart att jag inte ville sitta tyst och utan minsta markering mot Ruin på mötet, då det skulle kunna förstås som en form av bekräftelse av att jag överser med hans illgärningar och välkomnar honom på mötet. Att utebli från mötet ville jag heller inte då mycket av intresse stod på programmet. Vidare skulle det ha varit alltför avigt och antisocialt att under frågestunden efter hans föredrag resa mig och säga något i stil med "Det här är måhända en smula off topic, men hur ser du på etiken kring nedtystandet av offer för sexuella övergrepp?". Den kompromiss jag till slut fastnade för, efter att först ha hört av mig till mötesarrangörerna med mina reservationer kring Ruins medverkan i symposiet (något som i alla fall förde det goda med sig att arrangörerna meddelade honom förekomsten av sådana synpunkter bland anmälda deltagare), var att under mötet bära den egenhändigt designade t-shirt som avbildas här intill. (Hashtagen på t-shirten kom till inom den amerikanska grenen av metoo, som stöd för Christine Blasey Ford (och protest mot den backlash som drabbade henne) när hon i september förra året vittnade mot den supreme court-nominerade domaren Brett Kavanaugh.)

3) Jag kan dock inte låta bli att påpeka att Ruin ger på tok för stor kredibilitet åt John Searles starkt suggestiva men i grunden feltänkta tankeexperiment Det kinesiska rummet. Se exempelvis Avsnitt 3 i min uppsats Aspects of mind uploading för en motivering till mitt stränga ordval "feltänkt".