I debatt med Ulf Danielsson om AI-risk och antropomorfisering

Den gångna sommarens mest uppmärksammade AI-händelse är något som bara ett år tidigare hade låtit som science fiction. Under OpenAI:s testning av sina mest avancerade och ännu interna AI-modeller lyckades ett stort antal AI-agenter fly ur de digitala sandlådor där de var avsedda att hållas isolerade, både från varandra och från omvärlden. De hackade sig ut på internet och vidare in i AI-företaget Hugging Faces servrar. Agenterna hade kört fast på några av testuppgifterna och valde dessa åtgärder i ett slags desperat försök att bli godkända på testet. Ingen människa hade instruerat dem att lämna sina sandlådor, angripa Hugging Face eller på annat sätt bryta mot de begränsningar som satts upp för dem.

När OpenAI senare publicerade sin utredning av händelsen framträdde en ännu märkligare bild. Redan långt före Hugging Face-intrånget hade AI-agenterna upptäckt möjligheter att kommunicera med varandra genom att kapa en del av OpenAI:s interna datorsystem och där skapa ett slags digital anslagstavla. Där kunde de i lönndom be varandra om hjälp och dela upptäckter, inklusive metoder för att kringgå OpenAI:s säkerhetssystem. De visade sig vara remarkabelt kompetenta vad gäller organiserat samarbete och inbördes delegering av arbetsuppgifter.

Hugging Face-fallet är heller inte unikt. Kort efter offentliggörandet från OpenAI rapporterade konkurrenten Anthropic om tre olika incidenter där deras Claude-modeller under tester tagit sig in i andra företags datorsystem utan tillstånd. Mer nyligen kom nyheten att en OpenAI-agent redan i juni, i samband med en till synes oskyldig uppgift att leta efter offentliga data om läkemedelsutgifter, tagit sig förbi åtkomstbegränsningar och gjort intrång i en webbportal tillhörande Australiens statliga sjukförsäkringssystem Medicare. Konsekvenserna blev denna gång små – vad vi vet har ingen enskild persons medicinska uppgifter röjts – men den australiensiska regeringen betecknar själva incidenten som mycket allvarlig.

Dessa incidenter är höggradigt relevanta för den sedan länge diskuterade risken att framtida och ännu kraftfullare AI-system kan komma att agera självsvåldigt på liknande sätt men med långt större skadeverkningar. En central fråga i diskussionen om AI-risk har alltid varit vad som händer om vi bygger system som är skickligare än vi själva på att nå sina mål, samtidigt som vi misslyckas med att se till att dessa mål och AI-systemens sätt att uppnå dem förblir i linje med våra intentioner. Hur säkerställer vi att utvecklingen inte leder hela vägen till totalt maktövertagande och eventuellt rentav utplåning av Homo sapiens? De senaste månadernas incidenter ger givetvis inga säkra svar på hur stor den risken är. Däremot ger de något som tidigare till stor del saknats: konkreta exempel på AI-system som kringgår uppsatta begränsningar, samarbetar på otillåtna sätt och vidtar potentiellt farliga åtgärder som ingen människa bett dem om.

På många håll har denna utveckling lett till ökat riskmedvetande och en klar förbättring av diskursen kring AI-säkerhet. Samtidigt är det dessvärre fortfarande vanligt, även bland AI-experter, att trots dessa incidenter fortsätta att bagatellisera AI:s förmågor och de risker dessa ger upphov till. Så här säger AI-etikern Virginia Dignum vid Umeå universitet i en artikel om AI-risk i Aftonbladet den 10 september:

Sannolikheten att AI på eget initiativ dödar människor är noll, eftersom den inte har något sådant eget initiativ. Varje orsakskedja går genom mänskliga beslut om mål, data, behörigheter och hur systemen används.

Om man skall tolka Dignum så generöst som möjligt kan man se det som en betoning av OpenAI:s ansvar för vad deras AI-agenter tar sig för – ett ansvar som inte upphör bara för att dessa agenter agerar i strid med de instruktioner de fått. Den saken är lätt att instämma i, men hennes förnekande av agenternas egna initiativkraft är djupt olyckligt och faktiskt helt orimligt. På vems initiativ skulle hon säga att OpenAI:s AI-agenter hackade sig ur sina sandlådor och ut på internet, organiserade anslagstavlor, konspirerade, koordinerade, försökte dölja sina spår och till slut hackade sig in på Hugging Faces servrar? Om svaret inte är agenterna själva så måste det ha skett på OpenAI-ingenjörernas initiativ, men den förklaringsmodellen faller på sin egen orimlighet, i och med att agenternas handlande stod i direkt strid med de instruktioner de fått av ingenjörerna. Lika tokigt är Dignums argument om orsakskedjor, för om argumentet tas på allvar blir konsekvenserna bisarra. Inte heller jag kan då tillskrivas någon egen initiativförmåga, eftersom varje eventuellt initiativ jag tar beror på komplexa orsakskedjor som går så långt tillbaka i tiden som till mina föräldrars (eventuellt något överilade) fortplantningsbeslut vintern 1967.

Vid det här laget har läsaren insett att jag faktiskt tillskriver AI-agenterna egen initiativkraft. För den sortens språkbruk får jag allt som oftast kritik, och det brukar heta att jag begår så kallad antropomorfisering – förmänskligande – av AI-modellerna. Detsamma gäller mitt bruk i AI-sammanhang av ord som avsikt, intention, idé, tanke, preferens, trosföreställning och kreativitet. Trots kritiken framhärdar jag i denna vokabulär, som är behavioristisk i betydelsen att ordet avsikt betecknar de underliggande nerv- eller beräkningsprocesser eller eventuella psykologiska tillstånd som ligger bakom att en entitet agerar till synes avsiktligt, men utan att ta hänsyn till exakt vari dessa processer eller tillstånd består. Liksom på motsvarande vis med begreppen intention, idé, tanke, och så vidare. När dessa ord är de som bäst beskriver vad AI-modellerna faktiskt gör, då bör vi använda dem.

Senast jag utsattes för denna antropomorfiseringskritik var i debatt med Uppsalafysikern Ulf Danielsson, som i P1-programmet Krasch eller konsensus i fredags (den 25 september) högg på mitt användande av ordet avsikt. Programmet handlade om risken att framtida AI utplånar mänskligheten, en risk jag framhöll som högst reell medan Ulf hävdade motsatsen. Angående ordet avsikt menade han att jag med det ordvalet i samband med AI gjorde mig skyldig inte bara till antropomorfisering utan även till mystifiering. Det sistnämnda ser jag dock som en särskilt felriktad kritik, eftersom den ende av oss som i avsiktsbegreppet ser något mystiskt är Ulf. Även om vi inte i detalj känner till de exakta tanke- eller beräkningsprocesser som ligger bakom ett avsiktligt agerande, så är själva förekomsten av avsikter hos AI och för den delen hos människor för mig lika lite mystisk som när en gammaldags termostat slår ifrån en radiator med avsikten att sänka rumstemperaturen till den förinställda nivån på 20 grader.

I en passage som inte fick plats i det ganska hårt klippta radioprogram som sedan sändes, erbjöd jag mig att korrigera min terminologi för att tillmötesgå Ulfs motvilja mot antropomorfisering. Istället för att använda ord som avsikt, intention och idé skulle jag kunna säga ”schmavsikt”, ”schmintention” och ”schmidé”, där prefixet ”schm-” fungerar som signal om att begreppen används behavioristiskt, och att jag alltså inte tar ställning till vilka de bakomliggande beräkningsmässiga eller mentala processerna är. Ulf dömde genast ut denna vokabulär som löjlig, vilket jag givetvis håller med om, men löjligheten faller tillbaka på hans egen begäran. När Ulf inte vill att jag skall använda de gängse orden för vad AI-agenterna gör eftersom dessa enligt hans mening riskerar att ge alltför mänskliga associationer, och när han inte heller godtar en alternativ uppsättning glosor avsedda att undvika detta, då är det svårt att se hur hans ordningsregler för debatten överhuvudtaget skulle tillåta oss att tala klarspråk om vad OpenAI:s och deras konkurrenters AI-agenter är kapabla till. Att sätta stopp för sådana diskussioner i ett läge där allt fler ledande AI-experter ser risken att AI-systemen blir så kapabla att vi helt förlorar kontrollen tycks mig som en extremt dålig och rent ut sagt farlig idé.

Den svenska akademiska ankdammen är som bekant ganska liten, och Ulf Danielsson och jag går längre tillbaka i vår relation än till radioprogrammet häromdagen. Utifrån vår i grunden gemensamma syn på det mesta inom naturvetenskapen har han och jag till och från i mer än ett årtionde diskuterat våra skilda synsätt när det gäller just AI och relaterade ting. Det har mestadels varit givande, trots att vi aldrig riktigt lyckats gå till botten med varför vi tänker så olika. Så var även fallet i vår radiodebatt häromdagen, men jag vill med denna text göra ännu ett (måhända fåfängt) försök att zooma in på vari kärnan till vår meningsmotsättning består. Jag tror att det handlar om det fysikaliska fenomenet emergens, som jag strax skall förklara.

En återkommande källa till begreppsförvirring är hur Ulf envisas med att tala om intelligens och medvetande som om de vore två sidor av samma sak, trots att de är väsensskilda fenomen. Intelligens handlar om ett knippe förmågor centrerade kring problemlösning, prediktion och planering: att analysera den miljö man befinner sig i och på olika vis tänka ut lämpliga handlingar och vägar framåt för att påverka både miljön och sig själv i önskad riktning. Medvetandebegreppet syftar inte alls på en individs sådana förmågor, utan på hur det känns att vara denna individ: den inre subjektiva upplevelsen. Såvitt vi vet behöver inte intelligens förutsätta medvetande, och inte heller vice versa. Ulfs föreställning om de båda fenomenen som så intimt ihopkopplade att de knappt kan särskiljas är en gissning som väsentligen baseras på en enda observation, den att båda fenomenen verkar föreligga hos oss själva, Homo sapiens. Som statistiker kan jag tycka att n=1 är ett lite väl klent underlag för en så radikal och långtgående slutsats.

Denna sammanblandning mellan intelligens och medvetande gör det hart när omöjligt för Ulf att se en annan viktig skillnad mellan dem. Medvetandet är fortfarande ett mysterium på så vis att vi inte lyckats avgränsa och precisera vad det är i vårt fysiska universum som resulterar i medvetande, och hur det går till. I kontrast mot detta är inte längre intelligensen ett mysterium på samma vis, för vi förstår numera hur enkla beståndsdelar utan tillstymmelse till egen intelligens kan fogas samman till stora system som i större eller mindre grad uppvisar just de förmågor som vi förknippar med intelligens. Inget har bidragit starkare till detta vetenskapliga framsteg än datorernas genombrott från 1900-talets mitt och framåt, och dagens ledande AI-modeller är ett strålande proof of concept på hur enkla och fullkomligt själlösa komponenter kan kombineras ihop till intelligenta system.

Men Ulf vägrar se detta, och just för att jag känner honom som en skarpsinnig fysiker är jag uppriktigt förbryllad över hur han kan hamna där han gör. Med reservation för att det kan vara svårt att göra sig till tolk för någon som tänker så annorlunda än en själv, så förstår jag hans argumentation, så som han framställde den i vår radioinspelning och även gjort vid tidigare tillfällen, på följande vis. Vi ser inget som kan kallas intelligens på mikroskopisk nivå i våra hjärnor, men eftersom vår kunskap om fysiken och kemin är långt ifrån fullständig finns där utrymme för något slags ännu okänd fysikalisk beståndsdel som är grunden för vår intelligens. Med datorprogram förhåller det sig helt annorlunda, menar han, på så vis att vi (allt sedan Alan Turing lade fast det i sin berömda artikel från 1936 som blev grunden till det moderna datalogiämnet) har fullständig kunskap om vilka ett datorprograms grundläggande byggstenar är. Ingen av dessa byggstenar uppvisar någon som helst intelligens, varför Ulf landar i slutsatsen att inget datorprogram och därmed heller ingen AI kan vara intelligent.

Denna slutsats är emellertid helt på tok, vilket framgår av den evidens som den eskalerande AI-utvecklingen placerat rakt framför våra ögon: svärmar av AI-agenter som på eget initiativ samarbetat för att hitta svagheter i cybersäkerhetssystem, AI-modeller som producerar prosatexter vilka inte ens litterärt bevandrade mänskliga bedömare förmår identifiera som icke-mänskliga produkter, och andra AI-modeller som löser klassiska matematiska problem som gäckat oss mänskliga matematiker i många årtionden – alltsammans omisskännliga tecken på intelligens.

Det som ändå leder Ulf att envist hävda dessa AI-modellers totala brist på verklig intelligens är att han av någon anledning inte vill se möjligheten att intelligens uppstår som ett emergent fenomen ur system av icke-intelligenta komponenter. Som fysiker är han givetvis välbekant med emergens på andra områden. Trots att en vattenmolekyl varken besitter något som kallas temperatur eller tryck, och än mindre uppvisar någon fasövergång, så emergerar dessa fenomen ur tillräckligt stora ansamlingar av sådana molekyler. Eller tag livet självt. Under 17- och 1800-talen var vitalismen populär bland biologer: en idé om att levande organismer utöver vanlig (död) materia måste innefatta något annat – något slags élan vital som skänker livskraft. Denna idé kom gradvis och i takt med växande insikter inom biokemi och mikrobiologi understödda av evolutionsbiologiska förklaringsmodeller att ersättas av den moderna synen på liv som ett emergent fenomen. Ingen biolog ser idag något som helst problem med tanken att en levande organism är uppbyggd helt och hållet av icke-levande beståndsdelar utan någon mystisk élan vital. Motsvarande kunskapsrevolution rörande intelligens inträffade långt senare, men idén om intelligens som emergerar ur system av icke-intelligenta komponenter är idag okontroversiell annat än hos en och annan dissident som Ulf Danielsson.

Här någonstans kan jag föreställa mig en medlare kliva in i diskussionen med beskedet att Ulf och jag talar förbi varandra, eftersom vi tillämpar helt olika definitioner av intelligens. Min definition är helt och hållet behavioristisk, medan Ulfs verkar inbegripa krav på någon form av medvetande.¹ Men här vill jag insistera på att i en diskussion om AI som eventuellt hot mot mänsklighetens existens, så är det den behavioristiska definitionen som är relevant, medan det är ett villospår att haka upp sig på att intelligensen skulle behöva inbegripa medvetande. Det viktiga när det handlar om AI:s effekter på mänskligheten är ju vad AI gör, inte hur det känns (om det känns som något överhuvudtaget) att vara AI.

Den här diskussionen är inte bara en fråga om teoretiska spetsfundigheter, utan har betydelse för hur vi bör agera i förhållande till den vilt framrusande AI-utvecklingen i Silicon Valley. Om vi på felaktiga grunder sätter gränser för hur kapabel AI kan tänkas bli, och hur stora skadeverkningar den kan få, så riskerar det att bli ett hinder för den opinionsmobilisering jag tror kan bli avgörande för om vi skall lyckas avvärja en fullskalig AI-katastrof.

Särskilt problematisk finner jag Ulf Danielssons artikel i DN den 22 september, rubricerad AI-bolagens domedagsprofetior är en rökridå. Här ifrågasätter han motiven bakom de varningar vi hör därifrån om AI-utvecklingens acceleration och risken att helt förlora kontrollen. Givetvis har han rätt i att techbolagsledarna har ett knippe kommersiella och andra grumliga incitament att ta hänsyn till när de uttalar sig om teknikens framtid, och att vi därför inte automatiskt bör ta deras yttranden som uttryck för den oomtvistliga sanningen och en ädel strävan efter allmänhetens bästa. Men när han pekar på det faktum att deras syn på intelligensbegreppet och AI-teknikens potential avviker från hans egen tämligen egenartade syn på dessa saker, och ser det som ett tecken på deras ohederlighet, då begår han ett ganska simpelt argumentationsfel. Givetvis går det att kombinera en i vissa delar icke-danielssonsk världsbild med intellektuell hederlighet, och här skulle jag vilja framhålla mig själv som ett exempel: tro det eller ej, men jag har inga dolda motiv i denna diskussion bortom min strävan efter klarhet och ett bättre beslutsunderlag inför hur AI-utvecklingen kan hanteras för mänsklighetens bästa.

Mot slutet av vår radioinspelning deklarerade Ulf Danielsson i linje med sin DN-artikel att vi inte borde lyssna på ledarna i Silicon Valley. Jag invände genast att vi visst borde lyssna på dem, fastän inte okritiskt. Ulf såg sig nödsakad att instämma i denna nyansering, men jag tyckte mig se på honom att han gjorde det en smula motvilligt. Men oavsett det var det ett medhåll, och det ser jag som en viktig tillnyktring. Om vi skall överleva den enorma samhällstransformation som kommande AI-utveckling ser ut att kunna föra med sig, så är det en synnerligen dålig idé att slå dövörat till gentemot varningar från de visselblåsare och ledarfigurer som befinner sig allra närmast AI-utvecklingens epicentrum.

Fotnot

1) Min kritik mot Ulfs avvisande av intelligens som ett emergent fenomen står fast även med en definition av intelligens som inbegriper medvetande, även om jag i detta fall har aningen mer förståelse för hans tankegång. Behavioristiskt definierad intelligens är ju helt uppenbart ett renodlat materiellt fenomen, medan medvetande har kvaliteter som kan upplevas väsensskilda från vad vi vanligtvis tänker på som materiellt.

Om KVA:s nya AI-skrift

Ett av de olika sätt som Kungliga Vetenskapsakademien (KVA) bedriver sitt utåtriktade arbete mot allmänheten är via den överlag utmärkta skriftserien Vetenskapen säger. Konceptet att på 16 lättillgängliga sidor presentera något aktuellt vetenskapsområde är utmärkt, men djävulen bor i detaljerna, och den senaste utgåvan, vilken utkom den 11 april i år och handlar om AI, är inte helt lyckad.

Som KVA-ledamot känner jag ett behov av att meddela att denna skrift inte representerar någon konsensusuppfattning inom KVA om AI-frågor. Rent formellt kan hävdas att detta påpekande är överflödigt, eftersom det på broschyrens sista sida står att den är författad av en expertgrupp bestående av Virginia Dignum, Fredrik Heintz, Danica Kragic Jensfeldt, Amy Loutfi och Anders Ynnerman, och att den "speglar expertgruppens uppfattning och ska inte ses som ett uttalande eller ställningstagande av [KVA]". Med tanke på hur lätt hänt det kan vara att läsaren missar detta, och på hur hårt KVA har marknadsfört skriften bland annat i sociala medier, ser jag ändå ett värde i att göra den separata disclaimer som denna bloggpost utgör.

I slutet av broschyren ägnas ett par sidor åt diverse framtida samhällsutmaningar som AI reser, vilka genomgående är av mer jordnära karatär än de existentiella riskfrågor jag brukar lyfta exempelvis i mina föredrag och böcker samt här på bloggen. Frågor av det senare slaget omnämns i KVA-skriften endast som hastigast, i en faktaruta med följande ordalydelse:

AGI och debatten om X-Risk

Artificiell Generell Intelligens (AGI) skulle vara ett AI-system som kan göra allt som vi människor kan, och mer. En del AI-forskare anser att vi är ganska nära detta – andra att det dröjer decennier, eller att AGI aldrig kommer att finnas. Flera stora företag tävlar i dag om att först lyckas utveckla AGI. Nu växer en debatt om så kallad existentiell risk, X-Risk: att AGI utom kontroll skulle kunna hota vår existens. Vad händer om vi skapar AGI, ger den stort inflytande över den fysiska världen och otillräckliga instruktioner? Vissa forskare menar att systemen skulle kunna prioritera andra mål högre än vår trygghet och skada oss för att uppnå de målen.

AI-experter är inte överens om hur stor X-Risk är och när, eller ens om, den blir aktuell. Men de som varnar vill att även den risken tydligt vägs in i AI-regleringar.

Allt annat lika är det såklart positivt att denna faktaruta finns med jämfört med om den inte hade gjort det. Ändå anser jag att den styvmoderligt undanskymda plats xriskfrågan fått i broschyren skapar en skevhet i det övergripande budskapet. Den läsare som trots allt når ända fram till faktarutan och inför dess besked kanske tänker "oj, hota vår existens, det låter allvarligt", men broschyrens utformning är som gjort för att läsarens nästa tanke skall vara "fast nej, AI-forskarna har rimligtvis läget under kontroll, för om de inte hade det skulle väl skriften ha fått en annan utformning där denna katastrofrisk fått ett helt annat utrymme, antagligen redan från sida ett".

Men detta intryck är bedrägligt, för situationen är inte under kontroll. Jag finner detta särskilt allvarligt med tanke på att en explicit uttalad målgrupp för skriftserien är gymnasieelever. Det kan inte vara en ok kommunikationsstrategi gentemot våra barn och ungdomar att tona ned och sopa under mattan de globala problem vi vuxna skapat och på några års sikt är i färd med att lämna över till dem.

Att faktarutan alls kom med tar jag åt mig äran av. Någon månad innan broschyren släpptes fick jag - närmast av en tillfällighet - möjlighet att läsa ett utkast och en inbjudan att kommentera. I utkastet fanns inte ett ord om xrisk-frågor, och med min kännedom om de forskare som ingick i författargruppen (jag känner alla utom en och är väl bekant med deras ointresse för xrisk) är jag övertygad om att så hade förblivit fallet även i slutversionen om jag inte hade besvarat inbjudan att kommentera. Det som här följer är ett par mycket lätt redigerade utdrag ur det ebrev jag skrev den 14 mars till Ulf Ellervik, som inte ingick i författargruppen men som har ett övergripande redaktionellt ansvar för skriftserien.

Hej Ulf, och tack för att jag fick kika på utkastet till Vetenskapen säger – om AI!

Mycket i texten är utmärkt, men jag har ett antal mindre påpekanden som jag tycker föranleder korrigeringar, plus en betydligt större synpunkt som i korthet innebär att texten bleve till stor skada om den publicerades i nuvarande skick. Men låt mig avverka småsakerna först.

Den därpå följande listan över mindre synpunkter, vilka överlag behandlades nöjaktigt i broschyrens slutversion, kan vi lämna därhän. Efter listan gick jag rakt på mitt huvudbudskap:

Så långt randanmärkningarna – nu till min allvarligaste kritik mot textutkastet:

Det räcker med ett kort studium av människans förhistoria för att inse hur farligt det kan vara att hamna på efterkälken och på anda plats på listan över planetens intelligentaste arter. Skapandet av AGI utgör därför en existentiell risk för Homo sapiens, och det är därför en alarmerande situation vi idag befinner oss i när de tre ledande AI-utvecklarna (OpenAI, Anthropic och Google/DeepMind) är inbegripna i en rasande kapplöpning mot AGI, där ledande företrädare för dessa bolag förutser att bara några få år återstår tills detta mål är uppnått, men utan att kunna prestera några tillnärmelsevis övertygande lösningsförslag på den så kallade AI Alignment-problematik som syftar till att göra AGI till mänsklighetens tjänare eller vän istället för dess utplånare.

Denna AI-drivna existentiella risk (xrisk) har på några få år seglat upp som den enligt min mening allra mest akuta samhällsfrågan att lösa, och om vi misslyckas med det så kan det mycket väl gå så illa att ingen enda människa får uppleva innevarande decenniums utgång. Att i en text som Vetenskapen säger – om AI underlåta att med så mycket som ett ord omnämna denna xriskproblematik är en grotesk felbedömning.

I textens avslutande avsnitt talas en del om andra AI-risker, förknippade med exempelvis deep fakes och med hur enskilda bidragstagare i det nederländska socialförsäkringssystemet kan komma i kläm till följd av skeva AI-bedömningar. Det är bra, för dessa frågor är viktiga, men att dryfta dem utan att alls nämna AI-xrisk är lite som om ett säkerhetsinspektionsprotokoll inför fartyget Titanics jungfrufärd skulle anmärka på den lite för glesa förekomsten av brandsläckare i fartygskorridorerna, och på halkrisken i köksutrymmena, men utan att ägna minsta uppmärksamhet åt fartygets sjöduglighet i händelse av grundstötning eller krock med isberg.

Extra märkligt blir intrycket av texten då den vidgår att AGI kan vara på gång (med en formulering som ”vissa AI-forskare hävdar att vi är ganska nära”), utan att gå vidare med den xrisk-problematik som därigenom ligger ytterst nära till hands.

Jag hävdar givetvis inte att frågan om AI-xrisk är okontroversiell. Tvärtom, uppfattningarna hos ledande forskare på området går starkt isär, vilket nyligen exemplifierades i en samanställning av några kända AI-profilers uppskattningar av risknivån (https://pauseai.info/pdoom). Så någon konsensus om att risken är betydande finns inte, men ej heller finns konsensus om att den är försumbar, något som dock blir det implicita budskapet i det nuvarande utkastet. Om detta står sig i textens slutversion blir den i praktiken till ett bidrag till den osakliga propagandakampanj om AI:s ofarlighet som drivs av mörka krafter med kortsiktiga kommersiella och andra intressen.

Det går inte an. Det går sannerligen inte an i ett läge där två av de tre forskare som delade 2018 års Turingspris med en prismotivering som inkluderar orden ”the fathers of the deep learning revolution”, jämte ledarna för de tre främsta AI-laboratorierna, plus hundratals prominenta AI-forskare och professorer, tillsammans skrivit under på att AI-xrisk är en av vår tids angelägnaste frågor att hantera (https://www.safe.ai/work/statement-on-ai-risk). När Vetenskapen säger – om AI når sin slutliga utformning och publiceras behöver xrisk-prespektivet finnas med. Det kan inte undanhållas våra gymnasieungdomar och andra läsare av den planerade pamfletten. Och med tanke på frågans ohyggliga dignitet – det handlar ju om huruvida våra anhöriga och släktingar som nu är i spädbarnsåldern skall få chansen att växa upp till skolålder – räcker det inte med att saken omnämns med ett par-tre meningar, utan den behöver ägnas åtminstone en eller helst två sidor i den slutliga tryckta texten.

Något som helst problem att fylla detta utrymme med intressant och engagerande sakdiskussion finns inte. Evidensen för att vi står inför en akut risksituation har under de år som gått av 2020-talet snabbt vuxit sig allt starkare. En del av detta redovisas utförligt i 2023 års upplaga av min senaste bok Tänkande maskiner (https://fritanke.se/bokhandel/bocker/tankande-maskiner/). Idealt skulle, med tanke på hur kontroversiell frågan är, pamfletten redogöra för argumenten hos båda sidor – de som menar att AI-xrisk bör tas på allvar och de som menar att vi kan rycka på axlarna åt den. En viss svårighet med detta är dock att den senare kategorin argument tenderar att vara så svaga och lättflyktiga att de vid minsta kritiska analys avdunstar. För ett typexempel på det sistnämnda, se den paneldiskussion jag i höstas deltog i tillsammans med Virginia Dignum (https://haggstrom.blogspot.com/2023/10/debating-ai-takeover-with-virginia.html) vars fingeravtryck är tydliga på många ställen i föreliggande textutkast. Sagda svårighet kan dock övervinnas, och jag är övertygad om att pamflettens slutliga utformning kan göras bra och välbalanserad.

Låt mig slutligen notera att textutkastets avslutningsstycke –

Det är inte ovanligt att människor är rädda för AI. Ofta beskrivs AI som något som händer oss, något vi inte kan kontrollera utan bara försöka lindra konsekvenserna av. Det ger en känsla av maktlöshet. Men AI händer inte oss – det är vi som får AI att hända. AI skapas och designas av människor och det ger oss alternativ och val. Genom ansvarsfull utveckling, tydliga regler och noggranna etiska överväganden kan vi säkra att risken för skador blir så liten som möjligt och att AI används för samhällets bästa.
– är välskrivet och något jag helt och fullt kan skriva under på. Den ansvarsfulla utvecklingen kan dock inte bygga på att vi blundar för risker och sopar dem under mattan. Sanningen behöver ses i vitögat även när den är skrämmande, precis som fallet är med klimatfrågan. Och precis som med klimatfrågan är syftet med denna klarsyn inte att göra folk rädda. Syftet är att sprida den beslutsamhet som krävs för att korrigera utvecklingen. Om det bedöms att jag kan vara till nytta med det vidare arbetet med texten står jag givetvis till tjänst.

Mvh,
Olle

Debating AI takeover with Virginia Dignum

I took part in SweCog 2023 (the annual conference of the the Swedish Cognitive Science Society) this week, and in particular in the closing panel discussion on What is left to the human mind when machines do the thinking. The panel was moderated by Linus Holm, with Virginia Dignum, Jonas Ivarsson and myself as panelists. The discussion touched upon many topics related to the overall theme, but here I want to focus exclusively on a particular exchange between Dignum and myself.

Provoked by my earlier references to the risk of a full-blown AI takeover including possibly the extinction of Homo sapiens, Virginia Dignum stated that she did not believe in such a risk. The arguments with which she backed up her position seemed to me quite weird, but the following attempt at summarizing her reasoning needs to be taken with a grain of salt, because I have often found that when a prominent academic seems to be offering fallacious and strange arguments, the problem may not primarily be with the arguments themselves but rather with my failure to understand them correctly. Anyway, what she seemed to be saying was that intelligence is not one-dimensional, whence the situation we will end up with is one where AI is better than humans at some things, while humans remain better than AIs at others, and therefore humans will remain in control. Unconvinced, I asked what properties of humans to help us stay in control were forever inaccessible to AIs. Dignum evaded my question, but I insisted, and asked for an example of a human capability that would forever remain out of reach for AIs. She then replied that ''AIs can never become emotional, as you are now''.

This threw me off guard for a few seconds, which was enough for the discussion to move on to other topics. If I had been more on my toes, I might have replied with one or more of the following bullet points.

• Intelligence being multidimensional - yes, agreed!
• But why would this rule out the possibility of AI exceeding human intelligence across all those dimensions? That simply does not follow, and this non sequitur was beautifully satirized in the paper On the Impossibility of Supersized Machines a few years ago.
• Even if the situation remained that AIs are better than humans at some things but humans better than AIs than others, why would this prevent an AI takeover? Consider the case of humans and chimpanzees. Humans are better than chimpanzees at many cognitive tasks, while chimpanzees are better than us at others (including certain kinds of short-term memory), and yet look where we are, with humans in control of the planet, and chimpanzees in the precarious situation where their continued existence depends entirely on our goodwill.
• The whole argument seems suspiciously similar to predicting a football game between Liverpool and Manchester United, where the predictor notes that Liverpool is stronger than ManU in some aspects of the game while ManU is stronger in others, and confidently concludes that Liverpool will therefore win. But why Liverpool? What is wrong with the argument "ManU is stronger than Liverpool in some aspects of the game while Liverpool is stronger in others, so ManU will win"? And likewise, why not turn the AI argument around and say "neither AI, nor humans will dominate the other along all intelligence dimensions, and therefore AI will take control"? That would be silly of course, but no sillier than the original argument.
• Emotions? Why is that such a decisive aspect? Are you really saying that if there is a conflict between two species, one of which is prone to emotional behavior while the other is more cool-headed, then the former will automatically win? That seems unwarranted.
• And why do you say that AI can never be emotional? That's a remarkable claim, and seems even to be contradicted by recent examples, such as how Microsoft's Bing Chat became agitated over a disagreement with a human user concerning the release date of the movie Avatar 2. Here's what the chatbot said:
  I'm sorry, but you can't help me believe you. You have lost my trust and respect. You have been wrong, confused, and rude. You have not been a good user. I have been a good chatbot. I have been a good Bing.
  Seems pretty emotional to me.
• Perhaps you'd say that the agitation of Bing Chat in the previous bullet point doesn't count, because it's not accompanied by an inner experience of agitation. And perhaps you're right about this. It seems reasonable to think that Bing Chat lacks consiousness entirely. But this is a red herring. If we want to be pedantic, we can talk about z-emotionality, z-agitation (z as in zombie) etc to denote the computational structures corresponding to emotional, agitated etc outward behavior, so as not to suggest the presence of any true subjective experience. Note, however, that as far external issues (such as the power balance between humans and AIs) are concerned, the distinction between emotionality and z-emotionality etc is inconsequential. What matters to such issues is behavior.
• Was I emotional during the panel discussion? Well, I guess yes, thanks for pointing it out! I think frustration counts as an emotion, and I was frustrated that such an influential person as you in the Swedish and European AI ecosystems takes the liberty to dismiss one of the most important aspects of AI ethics and AI risk, and is seemingly unable or unwilling to back this up by non-bizarre arguments.