Inte mycket om AI, utan mer av debatten om debatten, på DN Debatt

Informatikprofessorerna Jonas Ivarsson och Johan Magnusson vid Göteborgs universitet ondgör sig, under rubriken AI-debatten sitter fast i valet mellan utopi och dystopi på DN Debatt i lördags, över den "farliga och destruktiva snedvridningen av debatten kring [...] AI i Sverige". Att AI-debatten i Sverige är riktigt dålig håller jag med dem om, men dessvärre är deras egen text på DN Debatt ett praktexempel på denna dålighet.

Som sig bör inleder Ivarsson och Magnusson med en kort beskrivning det debattlandskap de kritiserar. Detta består, menar de, huvudsakligen av två läger, vilka de kallar "konservativ dystopi" respektive "progressiv utopi". Den första av dessa ser diverse ofantliga problem med AI-tekniken, inklusive massarbetslöshet och i extremfallet utplåning av Homo sapiens, medan den andra ser likaledes ofantliga möjligheter. Som gemensam nämnare för dessa båda läger identifierar författarna "en underförstådd teknikdeterminism där tekniken i sig själv bär på en inneboende kraft vilken kommer att leda samhället i endera riktningen". Det är framför allt denna teknikdeterminism de vänder sig emot, då de förespråkar en tredje mer nyanserad linje de kallar "visionsledd pragmatism".

Gott så - vem kan väl vara emot visioner och pragmatism? Problemet är bara att den beskrivning Ivarsson och Magnusson ger av debattlandskapet är en så grotesk karikatyr att den bara nätt och jämnt går att koppla till verkligheten. Det är dock tydligt, trots att mitt namn inte nämns i deras artikel, att de räknar mig till de konservativa dystopikerna. Jag skall därför här koncentrera mig på deras beskrivning av det lägret, som jag i det följande av humoristiska skäl tänker benämna med förkortningen KD.¹

Den enda KD-anhängare (eller AI-debattör överhuvudtaget) de pekar ut med namn är Max Tegmark. Det är förvisso sant att denne varit högröstad i sina varningar för att ett alltför hastigt och illa planerat AI-genombrott kan föra med sig mänsklighetens undergång, men vad Ivarsson och Magnusson försummar att nämna är att Tegmark i nästan allt han skriver i detta sammanhang - alltifrån hans bok Life 3.0 från 2017 via hans beryktade Time Magazine-artikel förra året till hans kritik i förra veckan mot Anthropics VD Dario Amodeis så kallade entente-strategi för aggressivt nykolonial amerikansk AI-politik - är noga med att framhålla vilka enorma fördelar AI-tekniken kan ge oss om vi hanterar den rätt.² Detta är så långt från teknikdeterminism man kan komma, och när Ivarsson och Magnusson associerar honom med ett KD-läger som de menar har ett "tongivande arv [från] ludditrörelsen" och "eftersträvar [...] status quo", så kan jag inte dra någon annan slutsats än att de överhuvudtaget inte har läst Tegmark i original, eller ens hört honom tala i Sveriges Radios Sommar. Troligare är att de låtit sig luras av AI-lobbyisten och tidigare riksdagsledamoten Mathias Sundins blåljugande för en engelskspråkig publik om vad Tegmark sade på svenska i sagda Sommar-program i augusti 2023.

En annan möjlig förklaring till Ivarssons och Magnussons vrångbild skulle kunna vara att de snappat upp den benämning AI doomer som i den engelskspråkiga världen de senaste åren kommit att användas om oss som varnar för existentiell AI-risk mot arten Homo sapiens (liksom mot biosfären som helhet), men att de försummat att reflektera över hur missvisande denna beteckning är. Domedagspredikanter har i alla tider hävdat att undergången är nära, medan så gott som alla vi som fått stämpeln AI doomer, inklusive Tegmark, ivrigt framhåller hur vi (mänskligheten) kan undvika undergången om blott vi tar oss samman. Tvärtemot vad Ivarsson och Magnusson verkar föreställa sig är det snarare regel än undantag i denna grupp att argumentera utifrån samma utpräglat icke-deterministiska dikotomi som Tegmark angående AI-teknikens möjliga katastrofala kontra extremt välståndsbringande följder, och vikten av att vi navigerar rätt i det avgörande läge vi nu befinner oss i.

Ett slående exempel finner vi i den svenskfödde Oxfordfilosofen Nick Bostrom, vars bok Superintelligence från 2014 gjort mer än kanske någon annan för att skapa ett uppvaknande kring AI-risk, och vars uppföljare Deep Utopia utkommen i våras behandlar frågan om vad vi meningsfullt kan ägna våra liv åt i ett läge där superintelligent AI löst alla våra praktiska problem. Den drastiska skillnaden i tema mellan de två böckerna skall inte ses som en omsvängning från KD-lägret till det Ivarsson och Magnusson kallar progressiv utopism, då både dystopiska och utopiska framtider hela tiden har legat långt fram i Bostroms tänkande på ett sätt som är typiskt för oss AI doomers.

*

Nåväl, det må vara hur det vill med exakt hur Ivarsson och Magnusson tillägnat sig sin snedvridna uppfattning om hur AI-debattlandskapet ser ut. Oavsett hur det står till med det står det klart att de gärna skulle se att vi som blåser i visselpipan rörande den existentiella risk för mänskligheten som uppstår till följd av de ledande AI-företagens vansinneskapplöpning mot AGI (artificiell generell intelligens) valde att tagga ned en smula, eftersom vi med våra varningsord bidrar till "en farlig och destruktiv snedvridning av debatten".

Borde vi göra det? Tagga ned alltså. Den frågan kan inte rimligtvis besvaras med mindre än att ta ställning till huruvida en sådan risk verkar vara en realitet, givet rådande evidensläge:

• Om existentiell AI-risk är en realitet, så bör vi givetvis inte tagga ned, och därmed bidra till att sopa risken under mattan och därigenom öka risken att mänskligheten sömngångaraktigt fortsätter sin färd mot en eventuell AI-apoklyps. Hur mycket Ivarsson och Magnusson än önskar sig det förändrade debattlandskap som en sådan nedtaggning skulle resultera i, kan vi inte ta på våra samveten att genom att gå dem till mötes bidra till en ökad risk för mänsklighetens undergång.
• Om däremot existentiell AI-risk inte är en realitet, så bör vi givetvis upphöra med att tjata om saken. Mänskligheten står inför tillräckligt många allvarliga utmaningar ändå, att vi inte bör ödsla tid och kraft på att diskutera risker som inte är på riktigt. Duh.

För egen del gör jag bedömningen att existentiell AI-risk är en realitet, något jag redogjort och argumenterat för utförligt på annat håll, som t.ex. i min bok Tänkande maskiner. Men vad anser Ivarsson och Magnusson om saken?

Detta säger de inget explicit om, då deras debattartikel egentligen inte handlar om AI i sak. De debatterar på ett metaplan - en debatt om debatten, där eventuella kopplingar till verkligar sakförhållanden lämnas underförstådda. Vi får ändå hoppas att de gör bedömningen att existentiell AI-risk inte är en realitet, ty i annat fall vore ju deras plädering för nedtaggning av diskussion om saken moraliskt monstruös.

Det finns även en del ordval i Ivarssons och Magnussons artikel som tyder på att de gör den bedömningen. De hävdar exempelvis att Max Tegmarks tal om existentiell AI-risk bottnar i en "sciencefictionkultur". Trots att jag känner stor sympati med Yuval Noah Hararis yttrande i SVT:s Babel häromdagen att science fiction är "den viktigaste litterära genren i vår tid" genom dess "försök att varna oss för farorna och att spekulera i hur vi kan bygga bättre samhällen", så är det uppenbart att Ivarssons och Magnussons bruk av begreppet är tänkt som ett okvädningsord, ämnat att diskreditera Tegmarks idéer.³

En annan antydan i samma riktning finner vi i deras stämpling av begreppet superintelligens som "vetenskapligt irrelevant". Detta gör de i största förbigående, men jag tycker ändå att det kan vara motiverat att fråga sig vad de menar med detta påstående om vetenskaplig irrelevans. En första gissning skulle kunna vara att avsikten är att göra en vetenskapssociologisk observation - ett värdeneutralt påpekande om att begreppet superintelligens inte används i den vetenskapliga litteraturen. Men påståendet kan i så fall raskt vederläggas, då ju en Google Scholar-sökning på ordet "superintelligence" ger hundratals träffar, och då samma databas anger att Nick Bostroms ovannämnda bok Superintelligence har mer än 6000 citeringar.

Ett annat förslag till vad de menar är att de är inne på samma linje som min matematikerkollega David Sumpter då denne förordar ett vetenskapsteoretiskt synsätt som sätter så snäva gränser för vad som legitimt kan studeras med vetenskapliga metoder att de exkluderar fenomen som ligger tillräckligt långt utanför det hittills kända. Sumpter tar explicit upp superintelligent AI (jämte ett par andra exempel, inklusive den eventuella existensen av utomjordiska civilisationer) såsom varande out-of-bounds för vetenskapliga studier. Den sortens invändning mot superintelligensbegreppet har jag väldigt lite till övers för, av det enkla skälet att verkligheten inte på detta vis låter sig styras av vetenskapsteoretiska gränsdragningar och andra sociala normer. Om superintelligent AI ligger inom räckhåll för dagens AI-utveckling så gör den det, oavsett vilka regler vetenskapsteoretikerna sätter upp för vad som får lov att förekomma i anständig vetenskaplig diskurs. Och med tanke på de samhälleliga värden som står på spel har vi all anledning att försöka utröna huruvida så är fallet, oaktat dessa inskränkta vetenskapsteoretikers klagomål.

Men jag vet som sagt inte vad Ivarsson och Magnusson menar med sitt påstående om vetenskaplig irrelevans, och det troligaste är måhända att det inte menar så mycket i sak alls, utan mer använder uttrycket som ännu ett okvädningsord. Särskilt mycket klokare tror jag hur som helst inte att vare sig jag eller någon annan DN-läsare blev av att se det i deras text.

*

Det finns ett käckt tankeredskap jag nyligen lärt mig om och som är användbart för att resonera mer strukturerat kring framtida AI, nämligen Nate Silvers Teknologiska Richterskala (TRS), som lånat halva namnet och sin (approximativt) logaritmiska struktur från den mer kända seismologiska Richterskalan med vilken vi anger jordbävningars storlek. En teknologi på nivå TRS=1 är en som poppat upp som idé i uppfinnarens huvud när denne står i duschen men därefter glömts bort. Därifrån ökar teknologins avtryck i världen, med t.ex. kommersialisering och patent, successivt, och vid nivå TRS=6 handlar det om en seriös kandidat till titeln "årets teknologiska genombrott". Nivåerna 7, 8 och 9 svarar på samma sätt mot årtiondets, århundradets och årtusendets genombrott, medan nivå 10 är reserverad för genombrott så genomgripande att de saknar motstycke i historien och skapar en helt ny era för planeten vi bor på.

Ett bra sätt att strukturera sitt tänkande kring framtiden med AI är att tänka igenom på vilken TRS-nivå AI landar, samt på vilken nivå av det vi kan kalla "braighet" - hur lyckat utfallet blir för mänskligheten på en 5-gradig skala från "katastrofalt" till "extremt positivt". Var och en med ett uns av epistemisk ödmjukhet inser att vi inte kan veta säkert var AI landar i denna tvådimensionella matris, och att det därför är bättre att beskriva sin gissning i termer av en sannolikhetsfördelning snarare än att tvärsäkert peka ut en enda av matrisens celler. Så här ser Nate Silvers egen sannolikhtesfördelning ut, så som han presenterar den i On the Edge; var och en av de små hexagonerna i diagrammet svarar mot 1% av Silvers subjektiva sannolikhetsmassa.

Det är flera saker jag gillar med Silvers fördelning. Först och främst är det bra att den är rejält utspridd över matrisen, då det visar att Silver inser vidden av den osäkerhet det här handlar om, och inte fastnat i någon specifik teknikdeterministisk tankegång. Klokt är också att ju högre upp vi går på TRS-skalan desto tydligare bimodal (tvåpucklig) och polariserad blir braighetsfördelningen (den som tror att AI landar på TRS-nivå 10 men ändå insisterar på att braigheten hamnar någonstans i mitten har nog inte tänkt igenom ordentligt hur radikalt världen skulle förändras av en TRS 10-teknologi).

Ändå skulle inte min sannolikhetsfördelning, om jag tvingades att precisera den i detalj, se ut exakt som Silvers. Framför allt skulle min fördelning förskjutas en bit uppåt längs TRS-skalan jämfört med hans, och det av två skäl. Det ena är att vi har så mycket outnyttjad potential i den AI-utveckling vi redan sett, att jag bedömer att vi är mycket nära att ha TRS-nivå 8 inom räckhåll via bättre utnyttjande av denna potential även om AI-utvecklingen i sig mot all förmodan skulle göra tvärstopp. Det andra är att intelligens är en så flexibelt användbar och självförstärkande kraft att det blir lite komplicerat att tänka sig att utvecklingen skulle stanna på nivå 8 eller 9 istället för att fortsätta uppåt, och därför lägger jag betydligt mer sannolikhetsmassa än Silver på nivå 10 (varav nästan allt hamnar i något av de båda övre hörnen, svarande på ett ungefär mot huvudscenarierna i Nick Bostroms båda böcker Deep Utopia och Superintelligence). Dock lägger jag långtifrån all sannolikhet på nivå 10, för vi kan ju trots allt stanna på nivå 8 eller 9, antingen genom att något oväntat hinder för fortsatt AI-utveckling dyker upp, eller att vi blir tillräckligt bekymrade över riskerna med fortsatt utveckling att vi kollektivt lyckas ta oss samman och avbryta den.

Jag vill verkligen rekommendera läsaren att som en nyttig övning tänka igenom hur hens sannolikhetsfördelning skulle se ut - och varför. Och det vore ytterst intressant att se var Ivarsson och Magnusson skulle hamna i en sådan övning. Självklart behöver de inte vara helt överens inbördes. Men av deras förklenande tal om science fiction och av deras artikel mer allmänt får jag intrycket att båda två helt skulle avvisa möjligheten att nå TRS-nivå 10, och att de istället skulle fördela sina respektive sannolikheter över nivåerna 7 och 8 (och möjligen även 9). Om jag har rätt i denna gissning om hur de tänker så står de inför ett lite besvärligt val rörande vad de tänker sig skall hindra AI-utvecklingen från att nå nivå 10. Antingen tänker de sig att det helt enkelt är omöjligt att AI skall nå nivå 10, något som förvisso skulle kunna vara fallet fastän det är svårt att se konkret vad det i så fall skulle bero på, och det är hur som helst epistemiskt omdömeslöst att vara bombsäker på något sådant. Den andra möjligheten är om de tänker sig att stoppet på en lägre TRS-nivå än 10 kan komma att bero åtmistone till en del på att vi väljer att avsiktligt stoppa utvecklingen till följd av att de stora risker som bedöms föreligga på högre nivåer, men den tanken rimmar lite illa med deras i DN-artikeln uttryckta önskemål om att få tyst på den sortens riskdiskussion.

Fotnoter

1) Populärkulturellt bevandrade läsare lägger här givetvis märke till min blinkning till Sveriges Televisions TV-serie Babels hus från 1981, baserad på PC Jersilds roman med samma namn, där det gigantiska sjukhus i de södra delarna av Storstockholm som spelade en av huvudrollerna höll sig med en regelbundet återkommande guidad rundtur för nyanställda, benämnd KDS (Känn Ditt Sjukhus).

2) Så t.ex. heter det i Tegmarks Time-artikel att superintelligent AI...

...might solve disease, poverty and sustainability and help humanity flourish like never before, not only for the next election cycle, but for billions of years, and not merely on Earth but throughout much of our beautiful cosmos,

och hans Amodei-kritik i vilken han pläderar för att dra i nödbromsen för den skenande AGI-utvecklingen kan vi ta del av följande avslutningsmening:

If humanity needs to wait another couple of decades for beneficial AGI, it will be worth the wait – and in the meantime, we can all enjoy the remarkable health and sustainable prosperity that tool AI can deliver.

3) Samma science fiction-retorik använde Magnusson i Ny Teknik i vintras, och han verkar inte ha tagit någon större notis om hur jag med följande ord läxade upp honom för det:

Just science fiction-retoriken tycker jag är hög tid att kasta på sophögen. Någon som 1920 hade fått besked om 1960-talets Apollo-program och månlandningen hade garanterat utropat ”science fiction!”, och detsamma hade gällt den som 1980 fått höra om våra liv idag med internet och smarttelefoner, liksom för övrigt den som 2017 hade fått chansen att samtala med GPT-4. Science fiction, science fiction! Men allt detta har besannats, så vi lever redan i en science fiction-värld.

Två debattartiklar om AI-risk idag

Idag den 10 oktober 2024 publicerar jag inte mindre än två debattartiklar i svensk press. Båda behandlar AI-risk, och ett visst överlapp i innehåll föreligger, men huvudfokuset är ändå lite olika i de två texterna. I den ena, publicerad i Kvartal, resonerar jag kring en serie oroande tecken på det falnande intresset för AI-säkerhet och samhälleligt ansvarstagande på företaget OpenAI. I den andra, publicerad i Expressen, kommenterar jag beskedet tidigare i veckan att AI-forskaren Geoffrey Hinton utsetts till Nobelpristagare i fysik, och dennes syn på AI-risk.

Så här inleds Kvartal-artikeln, vilken bär rubriken OpenAI visar sitt rätta ansikte:

Mediebevakningen inom AI har dämpats något jämfört med för ett år sedan, och det kan vara frestande att dra slutsatsen att teknikutvecklingen mattats av. Inget kunde dock vara mer felaktigt. Nya och bättre chatbots släpps på löpande band, de ledande AI-bolagen investerar allt större miljardbelopp i utvecklingen av nya modeller, och många i branschen ser med spänd förväntan fram emot vilket tekniksprång det blir när Open AI så småningom släpper GPT-5.

Sedan de nyligen släppt sin senaste och hittills bästa språkmodell, benämnd o1, experimenterade den världsledande matematikern Terence Tao med att diskutera matematik med den. Upplevelsen var, menade han, som att prata med en ”medioker men inte helt inkompetent doktorand”, vilket han ansåg vara ett klart fall framåt jämfört med tidigare modeller. Efter att själv ha provat samma sak kan jag instämma i hans bedömning.

Många kommentatorer tog i Taos uttalande fasta på ordet ”medioker”, och hävdade att den nya modellen är en besvikelse. Detta är dock ett utslag av svårartad fartblindhet, och förbiser att även en medelmåttig matematikdoktorand behärskar långt mer matematik än nästan alla andra. De senaste årens utveckling är makalös, och blotta tanken att det skulle vara möjligt att föra meningsfulla vetenskapliga samtal med en AI skulle för bara för fem år sedan ha avfärdats som spekulativ science fiction. Reaktionen hade blivit densamma på idén att miljontals unga människor år 2024 dagligen skulle anlita Character.ai och liknande chatbots som artificiell samtalsterapeut, vän eller romantisk partner.

Även om AI-utvecklingen mot all förmodan skulle avstanna tvärt så finns så mycket outnyttjad potential att dess inverkan på ekonomi, arbetsmarknad och samhälle kan väntas bli mycket stor. Ännu större blir givetvis effekterna om nuvarande trendlinjer mot allt kraftfullare AI består.

De positiva möjligheterna med den eskalerande AI-tekniken är närmast obegränsade, men detsamma gäller även riskerna. Konkurrensen från AI börjar bli kännbar för exempelvis copywriters och programmerare, och många andra yrkesgrupper ser ut att stå på tur. Deepfakes och olika slags automatiserad diskriminering (till exempel en AI som avgör om du ska få ett banklån eller kallas till anställningsintervju, och som svarar nej på grund av kön eller hudfärg) är andra omdiskuterade riskområden. Och ingen kan med säkerhet säga vad som händer med samhället då en allt större del av befolkningen vänder sig bort från mänskliga kontakter för att i stället välja umgänge med en mer anpasslig och trogen AI-vän.

För att inse hur omvälvande förändringarna kan bli är det värt att ta ett steg tillbaka för att...

Läs hela artikeln här!

Expressen-artikeln, rubricerad Nobelpristagaren vet att det han skapat är farligt, inleds på följande vis:

Då AI-forskaren Geoffrey Hinton utsågs att jämte fysikern John Hopfield erhålla 2024 års Nobelpris i fysik uppstod en egendomlig situation som troligen saknar motstycke i Nobelhistorien. I sitt testamente 1895 skrev Alfred Nobel nämligen att hans pris skall tilldelas dem som ”gjort mänskligheten den största nytta”. Hinton fruktar att hans forskning tvärtom kan komma att bli till ofantlig skada för mänskligheten.

Via telefon under presskonferensen den 8 oktober då priset offentliggjordes uttryckte han sin oro över att den yttersta konsekvensen av hans och andra AI-forskares landvinningar kan bli skapandet av AI-system som är ”mer intelligenta än vi, och som slutligen tar kontrollen”. Datorpionjären Alan Turing uttryckte samma oro redan 1951, men skillnaden är att Hinton i dag ser att situationen börjar bli akut.

Geoffrey Hinton har varit en drivande kraft inom AI-forskningen i mer än fyra decennier, och det är i hög grad de beräkningsmetoder han utvecklat som möjliggör den storskaliga träningen av ChatGPT och andra AI-system som i dag börjat sätta allt större avtryck i samhället. Han var länge ganska obekymrad över AI-utvecklingens konsekvenser, men våren 2023 gjorde han en helomvändning som visar på...

Läs hela artikeln här!

Some cheerful notes on the US Senate Hearing on Oversight of AI

Earlier this week, a hearing was held at the US Senate on the topic Oversight of AI: Insiders' Perspectives. Here is the full 2h 13 min video recording of the event, and here is a transcript. I strongly recommend seeing or reading the whole thing.

As regards the subject-matter content of the hearing, large parts of it can only be described as deeply troubling, provided one cares about the human civilization and the human race not being destroyed in the sort of AI catastrophe that may well become the endpoint of the ongoing and reckless race between leading tech companies towards creating superintelligent AI.¹ Nevertheless the meeting cheered me up a bit, because I think it is of tremendous importance that the topics discussed reach the ears both of powerful politicians and of the general public. In addition, the following two observations had a really heartening effect on me.

1. My admiration for Senator Richard Blumenthal is on a steady increase. When he chaired an earlier session, in May 2023, on a similar topic, he was apparently unprepared to seriously take in the idea of AI-caused human extinction, and misunderstood it as being a labor market issue. Here is what he then said to OpenAI's CEO Sam Altman:

You have said - and I'm gonna quote - development of superhuman machine intelligence is probably the greatest threat to the continued existence of humanity. End quote. You may have had in mind the effect on jobs.

This is understandable. Extinction of humanity is such a far-out concept that it can be hard to take in if you are not used to it. But over the next few hours and months, Blumenthal did take it in, and in this week's hearing he showed excellent undertanding of the issues at stake. He really does take the issues seriously, and seems to be a force for good concerning the need to involve government in mitigating AI risk. Also, not every 78-year old top politician in the United States shows such a steep learning curve.

2. Of the four witnesses, two of them - Helen Toner and William Saunders - are situated mainly on what I would call the AI safety side of AI discourse, while the two others - Margaret Mitchell and David Evan Harris - are more towards AI ethics. These are two adjacent areas without any razor-sharp boundary between them, but here is how I contrast them in my recent paper On the troubled relation between AI ethics and AI safety:

The difference between the fields is mostly one of emphasis. Work in AI safety focuses mainly on what happens once AI attains capabilities sufficiently broad and powerful to rival humanity in terms of who is in control. It also addresses how to avoid a situation where such an AI with goals and incentives misaligned with core human values goes on to take over the world and possibly exterminate us. [...] In contrast, work in AI ethics tends to focus on more down-to-Earth risks and concerns emanating from present-day AI technology. These include, e.g., AI bias and its impact on social justice, misinformation based on deepfakes and related threats to democracy, intellectual property issues, privacy concerns, and the energy consumption and carbon footprint from the training and use of AI systems.

As discussed at some length in my paper, a tension between representatives in these fields has in recent years been salient, often with accusations that people on the other side are wasting time and resources on the wrong problems. This is extremely unproductive, but all the more wonderful was to see how the witnesses at this Senate hearing showed no such tendencies whatsoever, but instead were eager to emphasize agreements, such as around the need to regulate AI, the dangers involved in naively hoping that the tech companies will self-regulate, and the importance of whistleblower protection. I would like to think that this is a sign that the two camps are beginning to get along better and to unite in the struggle against the true enemy: the tech company executives who are letting (to quote the words OpenAI's former head of safety Jan Leike used as he left in disgust) "safety culture and processes [take] a backseat to shiny products".

*

A final word of caution: Do not take my cheerful observations above as an excuse to say "phew, I guess we're all right then". We're not. The Senate hearing this week was a step in the right direction, but there's a long, difficult and uncertain road ahead towards getting the necessary governmental grip on AI risk - in the United States and internationally.

Footnotes

1) Here are two passages from statements by the witnesses at the hearing. For me personally, it's nothing new, but it is very good to hear them artucilated clearly in this setting. First, former² OpenAI board member Helen Toner:

This term AGI isn't well-defined, but it's generally used to mean AI systems that are roughly as smart or capable as a human. In public and policy conversations talk of human level AI is often treated as either science fiction or marketing, but many top AI companies, including OpenAI, Google, Anthropic, are building AGI as an entirely serious goal and a goal that many people inside those companies think they might reach in 10 or 20 years, and some believe could be as close as one to three years away. More to the point, many of these same people believe that if they succeed in building computers that are as smart as humans or perhaps far smarter than humans, that technology will be at a minimum extraordinarily disruptive and at a maximum could lead to literal human extinction. The companies in question often say that it's too early for any regulation because the science of how AI works and how to make it safe is too nascent.

I'd like to restate that in different words. They're saying we don't have good science of how these systems work or how to tell when they'll be smarter than us or don't have good science for how to make sure they won't cause massive harm. But don't worry, the main factors driving our decisions are profit incentives and unrelenting market pressure to move faster than our competitors. So we promise we're being extra, extra safe.

Whatever these companies say about it being too early for any regulation, the reality is that billions of dollars are being poured into building and deploying increasingly advanced AI systems, and these systems are affecting hundreds of millions of people's lives even in the absence of scientific consensus about how they work or what will be built next.

Second, former OpenAI safety researcher William Saunders:

When I thought about this [i.e., timelines to AGI], there was at least a 10% chance of something that could be catastrophically dangerous within about three years. And I think a lot of people inside of OpenAI also would talk about similar things. And then I think without knowing the exact details, it's probably going to be longer. I think that I did not feel comfortable continuing to work for an organization that wasn't going to take that seriously and do as much work as possible to deal with that possibility. And I think we should figure out regulation to prepare for that because I think, again, if it's not three years, it's going to be the five years or ten years the stuff is coming down the road, and we need to have some guardrails in place.

2) Toner was pushed off the board as a consequence of Sam Altman's Machiavellean manueverings during the tumultuous days at OpenAI in November last year.

Aschenbrenner, Bostrom, Carlsmith

För första gången sedan hösten 2018 innehåller det nya numret av Förbundet Humanisternas medlemstidning Humanisten en artikel jag författat.¹ Denna gång bär min artikel rubriken AI-debattens ABC, där ABC står för de tre ledande AI-tänkarna Leopold Aschenbrenner, Nick Bostrom och Joe Carlsmith, vilka alla under 2024 utkommit med viktiga böcker eller boklånga essäer. Så här inleds min text:

När detta skrivs i augusti 2024 är en av de stora snackisarna inom AI – artificiell intelligens – den pinfärska forskningsrapporten The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery, vars författarkollektiv kommer från företaget Sanaka AI och ett par olika universitet. De har kommit långt i att automatisera vetenskaplig forskning, inklusive avgörande steg som brainstorming, hypotesgenerering, försöksplanering, datavisualisering och rapportförfattande. Lite i förbigående nämner de hur deras AI i en viss tillämpning hindrades av en restriktion i hur länge dess beräkningar kunde exekveras, och hur AI:n då gick in och försökte redigera sin egen programkod i syfte att eliminera denna restriktion. För oss som kan vår AI-historik är det omöjligt att inte associera till Alan Turings spekulationer i en berömd föreläsning 1951, om hur tillräckligt intelligenta maskiner skulle kunna nå en tröskel där de kan börja förbättra sig själva utan vidare mänsklig inblandning, och hur en sådan utveckling kan väntas leda till att vi till slut förlorar kontrollen över maskinerna.

Turing brukar med rätta framhållas som en av 1900-talets mest banbrytande tänkare och som den största AI-pionjären av alla. Det sistnämnda alltså trots att han dog redan 1954 (för egen hand, till följd av det brittiska rättssystemets på den tiden barbariska syn på homosexualitet), ännu inte 42 år fyllda, och därmed inte fick uppleva det som numera räknas som AI-forskningens egentliga startskott två år senare, sommaren 1956. Då samlades ett antal av USA:s ledande matematiker för en sommarkonferens vid Dartmouth College i New Hampshire kring den ambitiösa idén att skapa datorprogram med förmågor som vi dittills hade sett som unikt mänskliga: språkanvändning, skapande av abstraktioner, lärande och självförbättring. Mötet kom att sätta stark prägel på decennier av fortsatt arbete, och de utmaningar som då formulerades står än idag i centrum för AI-forskningen. De höga förväntningarna var tidvis svåra att leva upp till, så till den grad att området kom att genomgå ett par perioder av så kallad AI-vinter, och det var först på 2010-talet som den exponentiellt ökande tillgången till datorkraft och datamängder gjorde att gamla neurala nätverksidéer började bära frukt på allvar och ge stora framgångar inom så olika tillämpningar som bildigenkänning, brädspel och autonoma fordon.

För den breda allmänheten är det de senaste årens utvecklingen av så kallade språkmodeller som blivit mest synlig: marknadsledande här är OpenAI, vars lansering av ChatGPT i november 2022 för första gången gjorde det möjligt för gemene man att föra samtal med en till synes intelligent AI. Under de knappa två år som sedan förflutit har utvecklingen fortsatt i rasande takt, och ovan nämnda produkt från Sanaka är bara ett av många dramatiska framsteg som alltmer pekar mot att vi närmar oss det som kallas AGI – artificiell generell intelligens – och den kritiska punkt som Turing talade om i sina varningsord från 1951. Att AI-utvecklingen radikalt kommer att transformera många samhällssektorer och även samhället som helhet blir alltmer uppenbart, och även om teknikens potential att skapa ekonomiskt välstånd är i det närmaste obegränsad finns också risken att ett slarvigt genomfört AI-genombrott leder till vår undergång.

Detta slags farhågor har det senaste decenniet lett till ökade satsningar på det som kommit att kallas AI Alignment – AI-forskning specifikt inriktad på att se till att de första i fråga om allmänintelligens övermänskligt kapabla AI-systemen har mål och drivkrafter som prioriterar mänsklig välfärd och mer allmänt är i linje med mänskliga värderingar. Detta har dock visat sig vara lättare sagt än gjort, satsningarna på AI Alignment är ännu små (i förhållande till AI-utvecklingen som helhet), och vi verkar idag vara mycket långt ifrån en lösning. Härav de senaste årens diskurs från tänkare som Eliezer Yudkowsky och Max Tegmark som de senaste åren varnat för att satsningar på AI Alignment kanske inte räcker till, och att vi därför behöver dra i nödbromsen för utvecklingen av de allra mest kraftfulla AI-systemen; även jag har alltmer kommit att ansluta mig till denna tankegång.

Samtidigt finns det de som hävdar att allt tal om existentiell AI-risk är grundlös science fiction och som stämplar oss som lyfter dessa farhågor som domedagspredikanter. I spetsen för denna motdebatt finns kända namn som IT-entreprenören Marc Andreessen och Metas AI-forskningschef Yann LeCun, men för att försvara deras position behöver man anta antingen att AI-utvecklingen automatiskt kommer att avstanna innan den nått övermänsklig allmänintelligens, eller att en övermänskligt intelligent AI på något sätt automatiskt skulle anamma en för mänskligheten gynnsam uppsättning värderingar. Den första av dessa linjer tenderar att implicit postulera någon närmast magisk förmåga hos den mänskliga hjärnan, något som är svårt att passa in i en ickereligiös naturalistisk världsbild, och den andra har visat sig ungefär lika ohållbar.

Precis som intressant och konstruktiv klimatdiskussion undviker att fastna i polemik med klimatförnekarnas insisterande på att den globala uppvärmningen antingen är en chimär eller är oberoende av mänsklig aktivitet, så lämnar den mest givande AI-diskussionen idag det Andreessen-LeCunska AI-riskförnekeriet därhän, och blickar istället framåt, med fokus på hur vi bör tänka för att bäst navigera en osäker framtid. För den som vill fördjupa sig i den för vår framtid så avgörande AI-frågan vill jag ur 2024 års bokutbud rekommendera tre böcker som alla tar detta grepp, men som i övrigt ger inbördes väldigt olika perspektiv. Det handlar om...

Läs den spännande fortsättningen här!

Fotnot

1) Jag håller lite grand andan inför vilka läsarreaktionerna blir denna gång. Förra gången uppstod ett visst palaver, vilket om jag inte missminner mig landade i att en medlem vid namn Ernst Herslow utträdde ur Humanisterna i vredesmod över att synpunkter som mina fick lov att ventileras i medlemstidningen.

En höstsäsong späckad med AI-föredrag

Min höst ser ut att bli relativt späckad vad gäller att hålla föredrag om AI-tekniken, dess konsekvenser och hur vi kan hantera de härmed förknippade stora riskerna. En del av mina framträdanden är öppna för allmänheten, inklusive följande, vilket kanske framför allt kan glädja hugade åhörare från trakterna kring Stockholm, Göteborg, Linköping, Jönköping, Uddevalla och Dublin samt cyberrymden. Observera dock att det i vissa fall krävs föranmälan och/eller inträdesavgift.

• Onsdagen den 18 september talar jag över ämnet AI and the human civilization at a crossroads på Cloud AI Summit i Dublin.
• Torsdagen den 19 september klockan 12.00 framträder jag på hemmaplan - sal SB-H1 på Chalmers - med ett lunchföredrag med samma rubrik som dagen innan: AI and the human civilization at a crossroads. Det hela är ett arrangemang av den ideella föreningen AI Safety Gothenburg.
• Därifrån skyndar jag mig raskt vidare till Uddevalla där jag senare samma dag (torsdagen den 19 september klockan 18.00) talar om ämnet Vår framtid med AI: stora möjligheter och stora risker på Dalabergs bibliotek.
• Lördagen den 28 september klockan 15:30 medverkar jag tillsammans med Peter Gärdenfors och Christer Sturmark i ett samtal rubricerat Kan AI tänka? på Bokmässan i Göteborg.
• Torsdagen den 3 oktober arrangerar Vetenskapesrådet ett heldagsmöte i Stockholm rubricerat Ethics Arena 2024: AI and research ethics, i vilket jag medverkar med föredraget The ongoing AI transformation: what is at stake och efterföljande panelsamtal.
• Torsdagen den 17 oktober medverkar jag med ett föredrag på konferensen KVIT 2024: The human behind AI i Linköping. (Förkortningen KVIT verkar stå för kognitionsvetenskap och informationsteknologi.)
• Tisdagen den 22 oktober håller Statistikfrämjandet sitt digitala höstmöte, vilket i år har rubriken Framtiden för statistiker. Mer information följer längre fram, men redan nu kan avslöjas att jag klockan 10.30 kommer att ge ett föredrag med (surprise, surprise!) visst AI-fokus. [Edit: Här är programmet.]
• Tisdagen den 5 november äger årets upplaga av konferensen Forskningsbaserad undervisning – teori och praktik i samverkan rum på den högskola i Småland som valt att kalla sig Jönköping University. Temat i år är AI och digitalisering, och jag kommer att medverka med föredraget AI-utvecklingen och den brytningstid vi lever i.
• Samma rubrik - AI-utvecklingen och den brytningstid vi lever i - använder jag då jag tisdagen den 12 november klockan 18.30 talar i Linköpings domkyrka.

The urgent need for AI safety: three videos

Today I would like to recommend three videos highlighting the importance of AI safety from various perspectives.

First, Yoshua Bengio. He is a professor at the Université de Montréal and widely held as one of the world's two or three most respected AI researchers. Yesterday (September 2), he spoke at the Royal Swedish Acadamy of Engineering Sciences (IVA). Since early 2023, Bengio has been outspoken about the urgent need to address existential AI risk and AI safety, and this was also the focus of his talk yesterday:

The talk is nontechnical, very clearly laid out and quite crisp: it begins about 13:20 into the unedited video and goes on until about 36:10. After that follows a long and fairly enlightening discussion with Fredrik Heintz, who is a bit of a key player in the Swedish AI ecosystem, being a professor at Linköping University, a long-time preident of the Swedish AI Society, and a member of the AI commission launched by the Swedish government in December last year. I've had a number of interactions with Fredrik over the last few years, in media and elsewhere, and on these occasions he never came across as particularly interested in the need to save humanity from AI catastrophe. This time, however, he engaged so seriously with what Bengio had to say about the topic that I take it as a highly welcome shift in his position towards a better appreciation of AI safety concerns. Well done, Fredrik!

While Bengio's talk works well as a first introduction for a beginner to the fields of AI risk and AI safety, I feel that an even better such introduction may be Robert Miles' recent video AI ruined my year. Unlike Bengio, Miles is not primarily an AI researcher but a very skilled communicator and popularizer of some of the field's key ideas. The video is a summary of the past year's dramatic unfolding of some key AI events, and a touchingly personal recollection of how these have forced him into some pretty deep soul searching:¹

Finally, here's a third video - please bear with me, because it's just 11 seconds long - where a famous clip with Gary Oldman in the movie Léon is efficiently exploited in order to make a key point to US presidential candidate Kamala Harris:

Footnote

1) These are the key qualities for which I recommend Miles' video. The fact that my name is visible in it for a split second plays little or no role in this.

Om opinionsläget rörande AI-utvecklingen

För oss som arbetar med AI-riskfrågor, och som gärna vill väcka opinion för att hejda den pågående vansinneskapplöpning mot AI-avgrunden, kan det kännas uppmuntrande att se resultaten av opinionsundersökningar vilkas resultat tyder på att vi redan har folket med oss. Så till exempel redovisade Time Magazine i veckan en amerikansk sådan undersökning och meddelade följande:

According to the poll, 75% of Democrats and 75% of Republicans believe that “taking a careful controlled approach” to AI—by preventing the release of tools that terrorists and foreign adversaries could use against the U.S.—is preferable to “moving forward on AI as fast as possible to be the first country to get extremely powerful AI.”

Och här hemma i Sverige kunde vi nyligen ta del av den senaste SOM-undersökningen, vars AI-avsnitt bland annat meddelar att endast 12% av de svarande ger svaret "mycket stort" eller "ganska stort" på frågan "Hur stort förtroende har du för att teknikföretagen som utvecklar AI gör det ansvarsfullt?", och att 56% ställer sig positiva till ökad reglering av AI. Ytterst glädjande!

Eller? Jag är i själva verket ganska skeptisk till vilka slutsatser om allmänhetens syn på AI som kan dras av detta slags undersökningar. Det stora flertalet har tänkt mycket lite eller inget alls på AI-utvecklingen och dess samhällskonsekvenser, och har därför inga särskilda uppfattningar om saken, så att svaren när de plötsligt avkrävs sådana blir lite vad som helst. Kanske allra tydligast syns detta fenomen i den stora undersökning av AI-forskares uppfattningar om AI-futorologiska spörsmål som utförts av en grupp med Katja Grace i spetsen. Som jag diskuterat utförligt i ett videoföredrag postat tidigare i år här på bloggen så är ett av de tydligaste resultaten av denna undersökning hur internt inkonsistenta och känsliga för framing-effekter AI-forskarnas svar är. Och om inte ens AI-forskarna själva har tänkt igenom AI-teknikens framtid tillräckligt för att ge koherenta svar, vad skall man då tro om allmänheten?

Nämnda SOM-studie är inte utformad för att medge avläsning av framing-effekter på samma direkta vis som den av Grace et al, men jag skall ändå tillåta mig en försiktig spekulation om en specifik siffra i resultaten som kan ha påverkats av framing. Av SOM-studien framgår nämligen att endast 9% av de tillfrågande betecknar påståendet "AI är ett hot mot mänskligheten" som "helt riktigt", en siffra som är uppseendeväckande låg med tanke på att påståendet (enligt både min och många ledande AI-forskares uppfattning) är helt riktigt. Men tidigare i undersökningen förekommer frågan "Om du tänker på de kommande 30 åren, tror du att jobb likt ditt främst kommer att utföras av människor eller robotar/AI?", på vilken de enda svarsalternativen (utöver "vet ej") är "människor" och "robotar/AI". Detta binära val verkar förutsätta att mänskligheten inte utplånas av AI de närmaste 30 åren, ty utan existensen av människor blir ju jobb som exempelvis socialsekreterare, gymnasielärare, narkossköterska eller telefonförsäljare tämligen meningslösa och kommer knappast att utföras vare sig av människor eller av robotar/AI. Genom denna begränsning har de svarande därmed fått en indirekt signal om att AI-genererad utplåning av mänskligheten nog inte är att räkna med, åtminstone inte de närmaste 30 åren, något som (om de inte har en sedan tidigare genomtänkt position i AI-frågor) nog kan tänkas göra dem mer benägna att reagera skeptiskt när de senare i undersökningen ombeds ta ställning till påståendet "AI är ett hot mot mänskligheten". (Jag tror inte för ett ögonblick att SOM-undersökarna gjort detta med avsikt att manipulera utfallet. Troligare är väl att de själva är så obekanta med den hotbild som faktiskt verkar föreligga att det helt enkelt inte föresvävade dem att ett tredje svarsalternativ på frågan om arbetsmarknaden på 30 års sikt kunde behövas.)

Oavsett hur det står till med just denna siffra menar jag dock att undersökningar om folks uppfattningar om framtida samhällskonsekvenser av AI behöver tas med en mycket stor nypa salt. Inte minst gäller detta de siffror som tyder på att vi som vill tygla AI-utvecklingen har folkets stöd. Ett mycket stort opinionsarbete återstår innan vi har något betydande folkligt politiskt momentum för åtgärder i den riktningen.