AI-riskförnekarargumentationens ihålighet: ett illustrativt exempel

I mina två senste bloggposter (16 augusti respektive 22 augusti) har jag rapporterat om ett meningsutbyte i tidningen Ny Teknik i vilket jag av fyra Chalmerskollegor angrips för att bedriva skrämselpropaganda i mitt tal om AI-risk, jämte en radiodebatt mellan mig och en av de fyra - Moa Johansson - som ägde rum i Sveriges Radios Studio Ett mitt under den pågående skriftväxlingen. Som framgår av min bloggrapportering är jag djupt kritisk mot nivån på de fyra kollegornas retorik.

Men det tog inte slut där, för i tisdags (den 26 augusti) tussades jag på nytt ihop med Moa Johansson, denna gång i SVT:s Aktuellt, med programledren Nike Nylander som moderator. Det jag vill göra här är att sätta strålkastarljuset på Johanssons avslutningsreplik, som trots att den blott består av några få meningar utgör ett slags koncentrat av mycket av den ihålighet som brukar prägla det slags AI-riskförnekarargumentation som det här handlar om.⁰

För lite kontext återger jag här även min egen (som det skulle visa sig) sista replik.¹ Min debattmotståndare hade just avfärdat hela den AI-riskforskning jag försöker torgföra som blott bestående av spekulativa filosofiska tankeexperiment, utan förankring i empiriska observationer.

NN: Olle Häggström, det är rena spekulationer säger Moa Johansson här.

OH: Det känns inte som att hon har en riktigt aktuell bild av hur AI-riskforskningen ser ut. För tio år sedan så hade det legat ganska mycket i den här bilden. Då dominerades forskningen av tankeexperiment, abstrakta modeller, och så vidare, som man tänkte kring. Men vad som hände då, det var att AI-riskforskare förutspådde med hjälp av de här modellerna att AI-system kan komma att utveckla självbevarelsedrift, och bete sig lögnaktigt och manipulativt, och motstå försök att stänga av dem, och sådana saker. Och de här grejerna, de observerar vi nu, i den ena efter den andra av empiriska studier. Så det här är exempel på de data som man faktiskt börjar se nu. Det finns andra data, som handlar om hur snabbt AI-utvecklingen går, och som ger möjlighet att extrapolera in i framtiden. Ingenting här är säkert, men när man extrapolerar en trend, och den går i alarmerande riktning, då behöver man i alla fall ta den på allvar menar jag.

NN: Moa Johansson, jag vill fråga dig: det här, för oss som inte kan så mycket om det här så är det här väldigt konstigt ändå att ni som kan jättemycket om AI landar i så här helt olika slutsatser. Vad tänker du om det, att ni forskare tycker så här olika om en så otroligt viktig fråga?

MJ: Jag vill då påpeka att som Olle säger att jag inte följt med i någon AI-risklitteratur så tänker jag att Olle Häggström kanske inte ändå har följt med tillräckligt djupt in i den tekniska litteraturen, för då skulle han kunna känna igen att de här scenarierna som han nämner, att AI inte vill bli avstängd, och så vidare, det finns ingen grund för det. Det är, återigen, spekulationer och hype. Man måste skilja på det som är kanske hype, ren reklam från vissa AI-företag som vill släppa en spektakulär pressrelease. Men det stämmer helt enkelt inte att det finns några empiriska fakta att AI-system inte skulle vilja bli avstängda. När man talar om stora språkmodeller, som producerar text, så kan man få en stor språkmodell att säga väldigt mycket olika saker, "jag vill inte bli avstängd", och det beror ju på att stora språkmodeller är tränade på data från internet. På internet finns även alla de här science fiction-historierna som har cirkulerat sedan AI:s födelse. AI, maskinintelligens, är ett av de mest populära ämnena för science fiction, tillsammans med rymdresor.

Här avbröt Nike Nylander med meddelandet att tiden för vårt samtal dessvärre var ute. Jag vet inte om Moa Johansson avsiktligt spekulerade i om det här skulle bli sista ordet, men på det här visat slapp hon i alla fall få de förödande bristerna i sin argumentation påpekade. I annat fall hade jag kunnat lyfta fram någon eller några av följande punkter:

• Det är såklart inte behagligt att få sin egen okunskap påpekad i direktsänd TV, men Moa Johansson bäddade själv för detta med sina svepande påståenden om ett forskningsområde som hon uppenbarligen blott har den allra ytligaste bekantskap med, och hennes tu quoque-svar är verkligen bisarrt. Hon påstår att mitt tal om hur man observerat olika slags adversariellt strategiskt agerande hos stora språkmodeller är grundlöst, och att jag skulle ha insett detta om blott jag hade "följt med tillräckligt djupt in i den tekniska litteraturen". Vad blir då hennes diagnos på exempelvis världens mest citerade AI-forskare Yoshua Bengio, eller på världens näst mest citrade AI-forskare tillika Nobelpristagare Geoffrey Hinton, när de säger samma sak som jag i denna fråga? Har inte heller dessa båda herrar "följt med tillräckligt djupt in i den tekniska litteraturen"? Här kan jag känna en impuls att be Moa Johansson att visa mig (och herrarna Bengio och Hinton) de referenser som bevisar att något AI-agerande av det slag vi här talar om inte föreligger. Men min impuls är så klart meningslös: några sådana referenser finns inte, och hennes påstående är gripet ur luften. Eller för att tolka henne en liten aning mer välvilligt: om man som Moa Johansson är förtjust i "stochastic parrots"-begreppet och hör frasen "LLMs are just stochastic parrots" tillräckligt ofta, så kan man till slut få för sig att inga nya emergenta fenomen kan uppstå ur detta papegojande,² glömsk av att den saken motbevisats hundra gånger om de senaste åren.
• Moa Johansson försöker påskina att den evidens jag avser för att AI inte vill³ bli avstängd består av yttranden AI gjort av typen "jag vill inte bli avstängd". Om det stannade vid det skulle jag gå med på att evidensen var tämligen svag, för vi vet ju alla att när någon säger sig vilja något kan det inte alltid tas at face value.⁴ Men som Johansson myckt väl vet går de AI-system man experimenterat med längre än så, och agerar för att undgå avstängning. En studie från Apollo Research från slutet av förra året visar t.ex. hur en AI som fått tillgång till dokumentation som tyder på att den kan komma att stängas av om den i tester uppvisar färdigheter på en viss nivå väljer⁵ att i testerna mörka dessa färdigheter. Och en nyare studie från Anthropic visar hur den i samma syfte⁶ (att undgå avstängning) vidtar åtgärder för att försöka⁷ utpressa sin ägare, och i ett extremt scenario till och med mörda denne.
• Moa Johansson hävdar att det är till följd av science fiction-historier i träningsdata där fiktiva AI försöker undgå avstängning som vi ser något liknande i laboratorieförsök med existerande AI. Detta är en intressant spekulation, men tvärtemot Johanssons tvärsäkra formulering är det just en spekulation.⁸ Men ok, låt oss för resonemangets skull anta att spekulationen är korrekt. Kan vi då på Johanssons vis avfärda fenomenet? Hon tycks tro det, men som jag skriver om saken i min förra bloggpost: "AI:s förmågor är vad de är, [och] att förklara ett fenomen är inte liktydigt med att påvisa att det inte finns".⁹
• När man vill stänga sitt sinne helt för evidens i oönskad riktning kan man, som en sista desperat åtgärd, hävda att evidensen är förfalskad, exempelvis för att skapa "reklam" och att kunna "släppa en spektakulär pressrelease". Uppenbarligen är det så Moa Johansson ser på ovan nämnda studier från Apollo och Anthropic. Att hon sjunkit så djupt i sin argumentation är ett tydligt tecken på hur ohållbar hennes position är.

Men inget av detta fick jag alltså tillfälle att påpeka i Aktuellt-sändningen.

Slutligen. Några av dem som hört av sig till mig efter att ha sett Aktuellt-inslaget har antytt att jag verkade arg. Med anledning härav vill jag understryka att jag absolut inte har något emot samtal och debatter med rejält delade meningar. Så länge alla inblandade håller sig till intellektuellt hederlig argumentation är allt gott och väl, men när någon avviker alltför flagrant från det händer det att min sinnesstämning förmörkas en smula, och detta gäller i extra hög grad när det är en universitetsforskarkollega som förfaller till demagogi och oredlighet. Det kan ha varit något av detta som tv-tittarna anade bakom mitt ack så dåliga pokerface.

Fotnoter

0) Se även Jonas von Essens reflektioner om samma Aktuellt-debatt, i hans pinfärska artikel Riskerna med AI låter som science fiction - men går inte att vifta bort i Ny Teknik.

1) Jag ber läsaren ha översende med vilket slarvigt och ostrukturerat intryck talat språk nästan alltid ger så snart det sätts på pränt.

2) Denna bisarra tanke - analog med med att hävda att eftersom min hjärna blott består av atomer och elementarpartiklar så kan ingen tanke emergera i min hjärna som går bortom det själlösa och triviala interagerandet mellan elementarpartiklar - är dessvärre nödvändig för att ge talet om stokastiska papegojor någon som helst argumentativ stuns.

3) Här är det möjligt att inleda en semantisk diskussion om ordet "vill", och hävda att vilja är ett exklusivt mänskligt fenomen och att det därför är ett kategorifel att diskutera vilja hos en AI. Den sortens direkt cirkulära argument för att underkänna AI:s olika kompetenser per definition är jag dock inte intresserad av. När jag talar om "vilja" i detta sammanhang är det i behavioristisk mening: en AI:s vilja att uppnå något utfall U är de informations- och beräkningsstrukturer i AI:n inre som får dem att agera för att U skall inträffa - oavsett i vad mån dessa strukturer liknar eller skiljer sig från motsvarande hjärnverksamhet hos en människa som vill U. (Det finns flera goda skäl till ett sådant språkbruk, varav ett i AI-risksammanhang särskilt relevant är att det primärt viktiga ur AI-risksynpunkt är hur en AI agerar snarare än hur människolika dess inre maskinerier är.) Vän av ordning som anser att mitt bruk av ordet är en olämplig antropomorfism är välkommen att föreställa sig att jag istället för "vilja" och "vill" skriver "schvilja" och "schvill", samt på motsvarande sätt skriver "schönskan", "schpreferens", "schresonemang", "schkunskap", "schförståelse", och så vidare, men jag avstår helst från dessa fula och i längden tröttsamma sch-prefix.

4) Som när en byråkrat eller en kollega säger "Jag skulle såklart gärna vilja hjälpa dig, men...".

5) Schväljer.

6) Schyfte.

7) Schförsöker. Äh, ni fattar grejen vid det här laget, väl?

8) Ett fullt möjligt, om än dyrt, sätt att testa av hur mycket det ligger i denna spekulation vore att jämte, säg, GPT-5, träna en parallell modell på exakt samma sätt men med den enda skillnaden att sådana science fiction-historier tvättats bort från träningsdatamängden, och se vilken skillnad man kan uppmäta i modellernas tendens till självbevarelsedrift. Gissningsvis finns smartare sätt att testa detta, och jag skulle vara mycket intresserad av att få se resultatet. Moa Johansson däremot hyser knappast något sådant intresse, eftersom hon uppenbarligen anser sig veta svaret på förhand.

9) Jag kan inte föreställa mig annat än att Moa Johansson, som förberedelse för vår Aktuellt-debatt, hade läst min bloggpost. Men trots att jag där alltså påpekar det uppenbart felaktiga i hennes argumentation drar hon sig inte för att helt skamlöst dra samma vals igen för SVT:s tittare.

Nobeldagen! Nu med AI-tema!

Idag firar vi Nobeldagen! Detta, och att AI står i centrum för såväl fysik- som kemipriset, uppmärksammar jag idag i tidskriften Kvartal. Min text bär rubriken Noblpristagaren som ändrade sig om AI och inleds med följande stycken:

”Att minska risken för utrotning orsakad av AI bör vara en globalt prioriterad fråga jämte andra samhällsrisker som pandemier och kärnvapenkrig.” Så lyder i sin helhet det öppna brev om existentiell AI-risk som släpptes i maj 2023, undertecknat av mer än 500 akademiker, forskare och ledare inom tekniksektorn.

Mitt eget namn finns en bit ned på undre halvan av undertecknarlistan, men på platserna 1 och 3 finner vi de båda undertecknare som vid prisutdelningsceremonin i Konserthuset i Stockholm idag den 10 december emottar sina Nobelpris ur kung Carl XVI Gustafs hand. Det handlar om fysikpristagaren Geoffrey Hinton och kemipristagaren Demis Hassabis, som både belönas för sina insatser i den revolutionerande AI-utveckling som vi idag befinner oss mitt i.

Frispråkigast av dem båda rörande AI-risk är Hinton. Våren 2023 gjorde han en helomvändning i synen på den AI-utveckling han själv bidragit så starkt till, och han steg till och med av från en lukrativ forskartjänst på Google för att därmed kunna tala mer fritt om saken. Vid presskonferensen i Stockholm den 8 oktober i år då fysikpriset offentliggjordes var han med via telefon och sade sig vara bekymrad över att den yttersta konsekvensen av hans och andra AI-forskares landvinningar kan bli skapandet av AI-system som är ”mer intelligenta än vi, och som slutligen tar kontrollen”.

Jämfört med Hinton är Hassabis oftast mer återhållsam med att kommentera detta ämne, men de har alltså båda skrivit under på att risken finns att AI-tekniken utplånar Homo sapiens. En dag som denna är detta ställningstagande extra pikant i och med att det i Alfred Nobels testamente heter att priset som bär hans namn ska tilldelas dem som ”gjort mänskligheten den största nytta”.

Läs resten av texten här, utan betalvägg, för att få reda på mer om intrigspelet som lett fram till den ohyggligt farliga situation vi nu befinner oss i, plus lite grand om plaskandet i den svenska ankdammen. Persongalleriet är omfattande, och inkluderar utöver de ovan nämnda även Shane Legg, Mustafa Suleyman, John Jumper, Larry Page, Elon Musk, Walter Isaacson, Sam Altman, Dario Amodei, Helen Toner, Carl-Henric Svanberg, Erik Slottner, Yoshua Bengio och Ilya Sutskever.

AI-kommissionens rapport är bättre än väntat

Den svenska regeringens AI-kommission, som sjösattes i december förra året, är redan färdig med sitt uppdrag! I direktiven ingick bland annat att föreslå hur

Sverige som ledande forskningsnation, avancerad industrination och ambitiös välfärdsnation bättre ska tillvarata möjligheterna och hantera riskerna med AI

och att

identifiera prioriterade internationella insatser och lämna förslag till hur Sverige kan agera proaktivt och samordnat vid framtagande och utveckling av internationella policyer och regelverk för AI.

Kommissionens rapport överlämnades vid en pressträff i tisdags (den 26 november), där deras ordförande Carl-Henric Svanberg bjöd på en längre föredragning, efter att ha avslöjat några av huvuddragen i en artikel på DN Debatt dagen innan.

Rapporten är en positiv överraskning, i förhållande till mina förväntningar som var ytterst lågt ställda efter lanseringen av kommissionen förra året, då Svanberg enligt TT:s rapportering meddelat att "Vi måste avmystifiera AI" med tillägget att "kommissionen måste balansera faror och positiva aspekter på området, där [...] det generellt blir väl mycket larmrapporter". Som kronan på verket framhöll han att "AI är varmt. Det är kärlek och empati", vilket väl inte är vare sig särskilt väl skickat som avmystifiering eller någon alldeles lyckad utgångspunkt för den som har ambitionen att "balansera faror och positiva aspekter". En ytterligare bidragande orsak till mina låga förväntningar stod att finna i kommissionens inte helt välbalanserade sammansättning, med AI-riskförnekaren Mathias Sundin som det namn som stack allra mest i ögonen.

Men som sagt, resultatet blev bättre än väntat. Ett första lackmustest är i vilken mån de förstått vilken exceptionellt snabb och omvälvande utveckling vi står på tröskeln till, och på denna punkt ger jag dem betyg 3 (på den gamla goda 5-gradiga skalan). Att de insett brådskan så till den grad att de såg till att fullgöra uppdraget på just under 12 månader, att jämföra med den 18-månadersdeadline som stipulerades i uppdraget, är ett mycket gott tecken. Detsamma gäller det återkommande talet i rapporten om AI som en "omtumlande, framforsande teknik som i människans händer skapar förutsättningar för grundläggande förbättringar av våra samhällen". Emellertid följs just de orden upp av formuleringen "precis som järnvägen, elen och telefonen gjorde" vilken innebär ett implicit antagande att AI-teknikens effekter inte kommer att bli väsentligt större än de som följde på dessa tidigare teknikgenombrott, eller med andra ord att AI kommer att på Nate Silvers teknologiska Richterskala stanna på TRS-nivå 8 istället för att fortsätta till nivåerna 9 eller 10. Det kan förstås hända att den förutsägelsen visar sig korrekt, men det kräver i så fall antingen att fortsatt AI-utveckling relativt snart stöter på något oväntat och oöverstigligt tekniskt hinder, eller att vi (mänskligheten) besinnar oss och drar i nödbromsen inför de oöverskådliga konsekvenserna av att skapa en ny art vars allmänintelligens vida överstiger vår egen. Vilken av dessa båda eventualiteter kommissionen tror blir verklighet ger rapporten ingen ledtråd om, och deras förgivettagande förblir märkligt omotiverat. Något liknande kan sägas om avsnittet om AI-teknikens framtida energibehov, där kloka ord om hur "storleken på AI:s framtida elbehov i dag är högst osäker och inte går att förutsäga med någon precision" följs upp av den antiklimatiska, omotiverade¹ och närmast bisarrt modesta bedömningen att "AI kommer att stå för någon eller några procent av den totala elkonsumtionen i världen".²

Rapporten har mycket att säga både om skapandet av ett fruktbart svenskt innovationsklimat och om snabb utrullning av AI-teknik för olika tillämpningar i offentlig sektor, och här finns en hel del att instämma i och applådera. Den föreslagna åtgärdsarsenalen är omfattande, men också påfallande billig, då den budgeterade kostnaden för förslagen landar en bra bit under tre miljarder kr per år,³ varför budgetöverväganden inte kan komma att utgöra någon rimlig ursäkt om regeringen väljer att dra benen efter sig i genomförandet av kommissionens idéer.

Att rapporten trots AI-frågans utpräglat globala karaktär har ett väldigt stort fokus på Sverige och svensk konkurrenskraft är inte orimligt, även om de ovan citerade direktiven hade möjliggjort en något större (och enligt min mening önskvärd) grad av blickhöjning och tankar kring hur Sverige kan bidra till att den globala omställningen till en värld med avancerad AI blir lyckosam. Det utförliga diskussionen kring hur Sverige mellan 2020 och 2024 halkat ned från 15:e till 25:e plats på det som kallas Global AI Index ser jag dock som ett lite löjligt inslag av provinsiell alarmism, i synnerhet då det inte återföljs av något påpekande om vilken remarkablet framskjuten position för ett litet land som Sverige som plats 25 på listan innebär.⁴

Provinsiellt är också talet om vikten av att EU inte sätter hinder för lanseringen av nya amerikanska AI-modeller i Europa. Här heter det i rapporten att "även om EU-lanseringen av en ny modell bara dröjer sex månader kan det få väldigt negativa effekter på våra företags förmåga att hävda sig i den globala konkurrensen", och kommissionen anmodar "svenska företrädare [att] verka för att den AI-relaterade EU-regleringen inte bidrar till försämrad tillgänglighet för dessa verktyg". Och visst, dessa aspekter är värda att beakta, men de behöver vägas mot EU:s viktiga roll i att verka för en globalt gynnsam och etiskt rimlig utveckling, och behovet av att kunna sätta press på de ledande AI-företagen genom att villkora lanseringen i EU av deras AI-produkter med att de skärper sitt AI-säkerhetsarbete till nivåer där vi alla (i EU såväl som i resten av världen) kan känna oss trygga i att dessa produkter inte kommer att leda till katastrof. Att AI-kommissionens rapport inte med ett ord berör denna centrala målkonflikt tyder på en enögdhet som är djupt bekymmersam och som för tankarna till Svanbergs ovan citerade och föga välavvägda ord om värme och kärlek i december 2023.

Det finns såklart mycket mer att anföra om rapporten, men låt mig avrunda med att kommentera vad den har att säga om min hjärtefråga: vikten av att undvika ett scenario där en ickealignerad AI tar över världen och utplånar mänskligheten. Här hade man, av de skäl jag inledningsvis nämnde, kunnat frukta att rapporten skulle vara totalt avfärdande inför att detta skulle vara en problematik att överhuvudtaget ta på allvar. Men hör här vad de säger:

Vissa menar dock att en sådan utveckling skulle kunna hota mänsklighetens existens. Detta genom att AI-systemen utvecklar en egen vilja som skiljer sig från vår, och betraktar oss som ett hot mot sin egen fortlevnad eller sina egna mål. Risken i ett sådant scenario ligger i att systemen helt enkelt blir mer kapabla än vi människor och att vår förmåga inte räcker till för att hindra en okontrollerad utveckling.

Och vidare:

AI-kommissionen anser att oron kring den så kallade existentiella risken är något som måste beaktas...

Ihop med förslaget om ett svenskt AI-säkerhetsinstitut som de budgeterar med 30 miljoner kr årligen utgör dessa ord en ytterst glädjande överraskning. Jag har ingen insyn i kommissionens inre arbete, men med tanke på vad Mathias Sundin sagt i andra sammanhang om existentiell AI-risk anar jag att förhandlingarna om formuleringar kan ha varit hårda,⁵ och de har också resulterat i en del reservationer jag inte gillar helt, som följande fortsättning på "något som måste beaktas..." ovan:

...men beklagar samtidigt att delar av den offentliga diskussionen om säkerhet har tenderat att fokusera på spekulativa risker med mycket låg sannolikhet.

Eftersom det här inte preciseras vilka spekulativa risker som avses, och eftersom den offentliga diskussionen är vittförgrenad och av extremt ojämn kvalitet, så kan jag inte beslå detta uttalande som formellt felaktigt. Sammanhanget ger dock en kraftig antydan om att påståendet handlar om risken att mänsklighetens utplånas av superintelligent AI, och att kommissionen med talet om "mycket låg sannolikhet" utan ett uns av motivering gör en ytterst kontroversiell bedömning som helt saknar solitt vetenskapligt stöd. Kommissionens ledamöter behöver uppenbarligen läsa på i frågan, och som startpunkt rekommenderar jag varmt Connor Leahys m.fl. aktuella text The Compendium. Den vägen tror jag att de skulle kunna närma sig insikten om vad som kanske är den allra viktigaste åtgärd Sverige behöver vidta men som lyser med iögonfallande frånvaro i rapporten: att agera internationellt för att påtala det oacceptabla i och få stopp på den civilisatoriskt livsfarliga kapplöpning mot AGI-avgrunden som en knapp handfull AI-företag i norra Kalifornien just nu är inbegripna i.

Fotnoter

1) Med ordvalt "omotiverade" tillåter jag mig här en ytterst mild överdrift, då ju bedömningen föregås av påpekandet att "Erfarenheten visar [...] att det hela tiden utvecklas energieffektivare dataprocessorer och algoritmer", dock utan omnämnande av Jevons paradox, vilket är ett förbiseende jag helst hade sluppit se i en statlig utredning anno 2024.

2) Se t.ex. Leopold Aschenbrenners Situational Awareness för ett helt väsensskilt scenario som det vore oklokt att utan argument bara vifta undan.

3) Dock finns gott om frågetecken att resa inför enskilda budgetpunkter. För att bara nämna ett exempel i mängden så budgeteras 30 miljoner kr årligen för skapandet av 50 gästprofessurer inom AI, och jag har väldigt svårt att begripa hur 600 000 kr per sådan tjänst och år skulle kunna räcka.

4) På Wikipedias lista över världens folkrikaste länder ligger Sverige på 90:e plats, medan 25:e-platsen på samma lista innehas av Italien med just under 59 miljoner invånare. Om den försämrade placeringen för Sverige alls behöver förklaras med något annat än brus och godtycke i mätmetoden, så vill jag peka på att framväxten av tigerekonomier och en global medelklass har ökat konkurrensen på listan, något jag vägrar se som entydigt dåligt.

5) Om jag får spekulera ytterligare så gissar jag att Nobelpristagaren Geoffrey Hintons varningsord vid tillkännagivandet av fysikpriset i förra månaden kan ha haft gynnsam påverkan på kommissionens avvägning, och kanske också att kommissionsledamoten Fredrik Heintz (som på sistone verkar ha svängt en aning i frågan) kan ha spelat en konstruktiv roll i diskussionerna.

Två debattartiklar om AI-risk idag

Idag den 10 oktober 2024 publicerar jag inte mindre än två debattartiklar i svensk press. Båda behandlar AI-risk, och ett visst överlapp i innehåll föreligger, men huvudfokuset är ändå lite olika i de två texterna. I den ena, publicerad i Kvartal, resonerar jag kring en serie oroande tecken på det falnande intresset för AI-säkerhet och samhälleligt ansvarstagande på företaget OpenAI. I den andra, publicerad i Expressen, kommenterar jag beskedet tidigare i veckan att AI-forskaren Geoffrey Hinton utsetts till Nobelpristagare i fysik, och dennes syn på AI-risk.

Så här inleds Kvartal-artikeln, vilken bär rubriken OpenAI visar sitt rätta ansikte:

Mediebevakningen inom AI har dämpats något jämfört med för ett år sedan, och det kan vara frestande att dra slutsatsen att teknikutvecklingen mattats av. Inget kunde dock vara mer felaktigt. Nya och bättre chatbots släpps på löpande band, de ledande AI-bolagen investerar allt större miljardbelopp i utvecklingen av nya modeller, och många i branschen ser med spänd förväntan fram emot vilket tekniksprång det blir när Open AI så småningom släpper GPT-5.

Sedan de nyligen släppt sin senaste och hittills bästa språkmodell, benämnd o1, experimenterade den världsledande matematikern Terence Tao med att diskutera matematik med den. Upplevelsen var, menade han, som att prata med en ”medioker men inte helt inkompetent doktorand”, vilket han ansåg vara ett klart fall framåt jämfört med tidigare modeller. Efter att själv ha provat samma sak kan jag instämma i hans bedömning.

Många kommentatorer tog i Taos uttalande fasta på ordet ”medioker”, och hävdade att den nya modellen är en besvikelse. Detta är dock ett utslag av svårartad fartblindhet, och förbiser att även en medelmåttig matematikdoktorand behärskar långt mer matematik än nästan alla andra. De senaste årens utveckling är makalös, och blotta tanken att det skulle vara möjligt att föra meningsfulla vetenskapliga samtal med en AI skulle för bara för fem år sedan ha avfärdats som spekulativ science fiction. Reaktionen hade blivit densamma på idén att miljontals unga människor år 2024 dagligen skulle anlita Character.ai och liknande chatbots som artificiell samtalsterapeut, vän eller romantisk partner.

Även om AI-utvecklingen mot all förmodan skulle avstanna tvärt så finns så mycket outnyttjad potential att dess inverkan på ekonomi, arbetsmarknad och samhälle kan väntas bli mycket stor. Ännu större blir givetvis effekterna om nuvarande trendlinjer mot allt kraftfullare AI består.

De positiva möjligheterna med den eskalerande AI-tekniken är närmast obegränsade, men detsamma gäller även riskerna. Konkurrensen från AI börjar bli kännbar för exempelvis copywriters och programmerare, och många andra yrkesgrupper ser ut att stå på tur. Deepfakes och olika slags automatiserad diskriminering (till exempel en AI som avgör om du ska få ett banklån eller kallas till anställningsintervju, och som svarar nej på grund av kön eller hudfärg) är andra omdiskuterade riskområden. Och ingen kan med säkerhet säga vad som händer med samhället då en allt större del av befolkningen vänder sig bort från mänskliga kontakter för att i stället välja umgänge med en mer anpasslig och trogen AI-vän.

För att inse hur omvälvande förändringarna kan bli är det värt att ta ett steg tillbaka för att...

Läs hela artikeln här!

Expressen-artikeln, rubricerad Nobelpristagaren vet att det han skapat är farligt, inleds på följande vis:

Då AI-forskaren Geoffrey Hinton utsågs att jämte fysikern John Hopfield erhålla 2024 års Nobelpris i fysik uppstod en egendomlig situation som troligen saknar motstycke i Nobelhistorien. I sitt testamente 1895 skrev Alfred Nobel nämligen att hans pris skall tilldelas dem som ”gjort mänskligheten den största nytta”. Hinton fruktar att hans forskning tvärtom kan komma att bli till ofantlig skada för mänskligheten.

Via telefon under presskonferensen den 8 oktober då priset offentliggjordes uttryckte han sin oro över att den yttersta konsekvensen av hans och andra AI-forskares landvinningar kan bli skapandet av AI-system som är ”mer intelligenta än vi, och som slutligen tar kontrollen”. Datorpionjären Alan Turing uttryckte samma oro redan 1951, men skillnaden är att Hinton i dag ser att situationen börjar bli akut.

Geoffrey Hinton har varit en drivande kraft inom AI-forskningen i mer än fyra decennier, och det är i hög grad de beräkningsmetoder han utvecklat som möjliggör den storskaliga träningen av ChatGPT och andra AI-system som i dag börjat sätta allt större avtryck i samhället. Han var länge ganska obekymrad över AI-utvecklingens konsekvenser, men våren 2023 gjorde han en helomvändning som visar på...

Läs hela artikeln här!

En intensiv vecka i AI-politiken

Det är ännu bara torsdag, men ändå har mer hänt denna vecka i fråga om statliga och mellanstatliga AI-politiska initiativ än vi normalt ser på... jag vet inte ens vad jag skall klämma till med för tidsrymd här, för det politiska intresset för AI-frågor är ju så nyvaket att det inte finns något steady state att relatera ordet "normalt" till. De två stora händelser jag har i åtanke är följande.

• I måndags: President Bidens direktiv om Safe, Secure, and Trustworthy Artificial Intelligence.
• Igår och idag: Den första globala AI Safety Summit, på Bletchley Park och med Storbritanniens prämiärminister Rishi Sunak som initiativtagare och värd, samt deltagande såväl av toppolitiker (med Kamala Harris och Ursula von der Leyen i spetsen) som av AI- och teknikbranschprofiler (Yoshua Bengio, Geoffrey Hinton, Sam Altman, Elon Musk, ...).

Redan igår, på Bletchley Park-mötets första dag, släppte de sin Bletchley Declaration, undertecknad av företrädare för EU, USA, Kina, Indien, Storbritanninen och en rad andra länder, och med formueringar som denna:

There is potential for serious, even catastrophic, harm, either deliberate or unintentional, stemming from the most significant capabilities of [frontier] AI models. Given the rapid and uncertain rate of change of AI, and in the context of the acceleration of investment in technology, we affirm that deepening our understanding of these potential risks and of actions to address them is especially urgent.

I Bidens presidentorder finns tal om krav på...

companies developing any foundation model that poses a serious risk to national security, national economic security, or national public health and safety must notify the federal government when training the model, and must share the results of all red-team safety tests. These measures will ensure AI systems are safe, secure, and trustworthy before companies make them public,

där jag gärna vill tänka mig att "national security, national economic security, or national public health and safety" är ett slags placeholder för "existential risk to humanity" som ännu inte riktigt får plats inom Overtonförnstret på denna politiska nivå.

Fastän båda dokumenten är utspädda med tal om AI-frågor av jämförelsevis sekundär betydelse, och fastän det i båda fallen inte handlar om något med status av reglering eller bindande avtal utan blott avsiktsförklaringar och storstilade ambitioner, så ser jag de ovan citerade formuleringarna som ett bevis på hur otroligt långt vi under 2023 har lyckats flytta Overtonförnstret för publika AI-diskussioner, där jag menar att de båda öppna brev jag i våras var med och undertecknade (det som organiserades av FLI i mars och det av CAIS i maj) har haft en icke oväsentlig betydelse. Trots den remarkabelt snabba omsvängningen i diskussionsklimatet känner jag ändå en kvardröjande oro om att det kanske inte går snabbt nog för att hinna avvärja katastrof, men en vecka som denna kan jag inte annat än känna mig gladare och hoppfullare än veckan innan.

Jag har inte hunnit smälta dokumentens innehåll tillräckligt för att kommentera dem mer i detalj, men vad gäller Bidens presidentorder har den ständigt läsvärde och gedigne Zvi Mowshowitz varit snabbt på plats med två utförliga texter som jag i stora drag är böjd att instämma i: On the executive order och Reactions to the executive order. Om jag känner honom rätt så kan vi inom någon dag eller två vänta oss en ungefär lika ambitiös reaktion från honom på Bletchley-deklarationen.

Jag vill passa på att nämna att jag som engagerad åskådare till Bletchley Park-mötet gjort min stämma hörd i ett par sammanhang:

• När Svenska Dagbladet i förrgår rapporterade inför mötet finns några intervjusvar från mig med.
• Jag finns också med bland undertecknarna till ännu ett öppet brev - Urging an International AI Treaty: An Open Letter - och precis som med de två ovan nämnda breven är det även denna gång många prominenta namn jag har nöjet att samsas med.

Edit 8 november 2023: Nu finns den förutskickade texten av Zvi Mowshowitz om Bletchley Park-mötet.

Forskarhjärta på gott och ont

Det är många egenskaper som skall till för att göra en vass forskare, men en av dem är att ha ett verkligt forskarhjärta: förmågan att fokusera på själva forskningsproblemet och problemlösningen, och att koppla bort allt runtomkring, samt en genuin önskan om att få veta hur det ligger till.

Detta forskarhjärta är emellertid på gott och ont. I den intervju på Chalmers hemsida jag flaggade för häromdagen talade jag om vikten av att inte göra forskning som leder till förhöjd risk för globala katastrofscenarier, t.ex. via skapandet av domedagsvapen. Mycket av fokus i intervjun hamnade på forskarens eget moraliska ansvar, men den sortens individuellt ansvarstagande är inte något vi helt och hållet kan lita på, mycket på grund av de förträngningsmekanismer som forskarhjärtat för med sig, och vi behöver därför något slags institutionaliserad styrning av forskningen. Exempel på detta slags förträngning är inte svåra att finna, men det är sällan som det kommer fram så oförblommerat som i en sekvens av repliker av AI-forskaren Geoffrey Hinton i den läsvärda artikeln The Doomsday invention¹ i The New Yorker i november förra året:

The keynote speaker at the Royal Society was another Google employee: Geoffrey Hinton, who for decades has been a central figure in developing deep learning. As the conference wound down, I spotted him chatting with [Nick] Bostrom in the middle of a scrum of researchers. Hinton was saying that he did not expect A.I. to be achieved for decades. “No sooner than 2070,” he said. “I am in the camp that is hopeless.”

“In that you think it will not be a cause for good?” Bostrom asked.

“I think political systems will use it to terrorize people,” Hinton said. Already, he believed, agencies like the N.S.A. were attempting to abuse similar technology.

“Then why are you doing the research?” Bostrom asked.

“I could give you the usual arguments,” Hinton said. “But the truth is that the prospect of discovery is too sweet.” He smiled awkwardly, the word hanging in the air—an echo of Oppenheimer, who famously said of the bomb, “When you see something that is technically sweet, you go ahead and do it, and you argue about what to do about it only after you have had your technical success.”

Fasansfullt, men Hinton skall trots allt ha credit för sin självinsikt och öppenhjärtighet.

Fotnot

1) Det är en ganska lång men (som sagt) mycket läsvärd artikel med Nick Bostrom (troligtvis den forskare jag allra oftast citerar här på bloggen) som huvudperson. Och faktiskt är även jag citerad i artikeln, om än inte med namns nämnande. Kolla in följande stycke om motttagandet av Bostroms bok Superintelligence:

Perhaps because the field of A.I. has recently made striking advances—with everyday technology seeming, more and more, to exhibit something like intelligent reasoning—the book has struck a nerve. Bostrom’s supporters compare it to “Silent Spring.” In moral philosophy, Peter Singer and Derek Parfit have received it as a work of importance, and distinguished physicists such as Stephen Hawking have echoed its warning. Within the high caste of Silicon Valley, Bostrom has acquired the status of a sage. Elon Musk, the C.E.O. of Tesla, promoted the book on Twitter, noting, “We need to be super careful with AI. Potentially more dangerous than nukes.” Bill Gates recommended it, too. Suggesting that an A.I. could threaten humanity, he said, during a talk in China, “When people say it’s not a problem, then I really start to get to a point of disagreement. How can they not see what a huge challenge this is?”

Referensen till Rachel Carsons Silent Spring härstammar från min recension av Superintelligence på denna blogg 2014, och min jämförelse mellan böckerna har sedan dess använts (jämte citat av bland andra Bill Gates och Elon Musk) i förlagets marknadsföring av Superintelligence.