I debatt med Ulf Danielsson om AI-risk och antropomorfisering

Den gångna sommarens mest uppmärksammade AI-händelse är något som bara ett år tidigare hade låtit som science fiction. Under OpenAI:s testning av sina mest avancerade och ännu interna AI-modeller lyckades ett stort antal AI-agenter fly ur de digitala sandlådor där de var avsedda att hållas isolerade, både från varandra och från omvärlden. De hackade sig ut på internet och vidare in i AI-företaget Hugging Faces servrar. Agenterna hade kört fast på några av testuppgifterna och valde dessa åtgärder i ett slags desperat försök att bli godkända på testet. Ingen människa hade instruerat dem att lämna sina sandlådor, angripa Hugging Face eller på annat sätt bryta mot de begränsningar som satts upp för dem.

När OpenAI senare publicerade sin utredning av händelsen framträdde en ännu märkligare bild. Redan långt före Hugging Face-intrånget hade AI-agenterna upptäckt möjligheter att kommunicera med varandra genom att kapa en del av OpenAI:s interna datorsystem och där skapa ett slags digital anslagstavla. Där kunde de i lönndom be varandra om hjälp och dela upptäckter, inklusive metoder för att kringgå OpenAI:s säkerhetssystem. De visade sig vara remarkabelt kompetenta vad gäller organiserat samarbete och inbördes delegering av arbetsuppgifter.

Hugging Face-fallet är heller inte unikt. Kort efter offentliggörandet från OpenAI rapporterade konkurrenten Anthropic om tre olika incidenter där deras Claude-modeller under tester tagit sig in i andra företags datorsystem utan tillstånd. Mer nyligen kom nyheten att en OpenAI-agent redan i juni, i samband med en till synes oskyldig uppgift att leta efter offentliga data om läkemedelsutgifter, tagit sig förbi åtkomstbegränsningar och gjort intrång i en webbportal tillhörande Australiens statliga sjukförsäkringssystem Medicare. Konsekvenserna blev denna gång små – vad vi vet har ingen enskild persons medicinska uppgifter röjts – men den australiensiska regeringen betecknar själva incidenten som mycket allvarlig.

Dessa incidenter är höggradigt relevanta för den sedan länge diskuterade risken att framtida och ännu kraftfullare AI-system kan komma att agera självsvåldigt på liknande sätt men med långt större skadeverkningar. En central fråga i diskussionen om AI-risk har alltid varit vad som händer om vi bygger system som är skickligare än vi själva på att nå sina mål, samtidigt som vi misslyckas med att se till att dessa mål och AI-systemens sätt att uppnå dem förblir i linje med våra intentioner. Hur säkerställer vi att utvecklingen inte leder hela vägen till totalt maktövertagande och eventuellt rentav utplåning av Homo sapiens? De senaste månadernas incidenter ger givetvis inga säkra svar på hur stor den risken är. Däremot ger de något som tidigare till stor del saknats: konkreta exempel på AI-system som kringgår uppsatta begränsningar, samarbetar på otillåtna sätt och vidtar potentiellt farliga åtgärder som ingen människa bett dem om.

På många håll har denna utveckling lett till ökat riskmedvetande och en klar förbättring av diskursen kring AI-säkerhet. Samtidigt är det dessvärre fortfarande vanligt, även bland AI-experter, att trots dessa incidenter fortsätta att bagatellisera AI:s förmågor och de risker dessa ger upphov till. Så här säger AI-etikern Virginia Dignum vid Umeå universitet i en artikel om AI-risk i Aftonbladet den 10 september:

Sannolikheten att AI på eget initiativ dödar människor är noll, eftersom den inte har något sådant eget initiativ. Varje orsakskedja går genom mänskliga beslut om mål, data, behörigheter och hur systemen används.

Om man skall tolka Dignum så generöst som möjligt kan man se det som en betoning av OpenAI:s ansvar för vad deras AI-agenter tar sig för – ett ansvar som inte upphör bara för att dessa agenter agerar i strid med de instruktioner de fått. Den saken är lätt att instämma i, men hennes förnekande av agenternas egna initiativkraft är djupt olyckligt och faktiskt helt orimligt. På vems initiativ skulle hon säga att OpenAI:s AI-agenter hackade sig ur sina sandlådor och ut på internet, organiserade anslagstavlor, konspirerade, koordinerade, försökte dölja sina spår och till slut hackade sig in på Hugging Faces servrar? Om svaret inte är agenterna själva så måste det ha skett på OpenAI-ingenjörernas initiativ, men den förklaringsmodellen faller på sin egen orimlighet, i och med att agenternas handlande stod i direkt strid med de instruktioner de fått av ingenjörerna. Lika tokigt är Dignums argument om orsakskedjor, för om argumentet tas på allvar blir konsekvenserna bisarra. Inte heller jag kan då tillskrivas någon egen initiativförmåga, eftersom varje eventuellt initiativ jag tar beror på komplexa orsakskedjor som går så långt tillbaka i tiden som till mina föräldrars (eventuellt något överilade) fortplantningsbeslut vintern 1967.

Vid det här laget har läsaren insett att jag faktiskt tillskriver AI-agenterna egen initiativkraft. För den sortens språkbruk får jag allt som oftast kritik, och det brukar heta att jag begår så kallad antropomorfisering – förmänskligande – av AI-modellerna. Detsamma gäller mitt bruk i AI-sammanhang av ord som avsikt, intention, idé, tanke, preferens, trosföreställning och kreativitet. Trots kritiken framhärdar jag i denna vokabulär, som är behavioristisk i betydelsen att ordet avsikt betecknar de underliggande nerv- eller beräkningsprocesser eller eventuella psykologiska tillstånd som ligger bakom att en entitet agerar till synes avsiktligt, men utan att ta hänsyn till exakt vari dessa processer eller tillstånd består. Liksom på motsvarande vis med begreppen intention, idé, tanke, och så vidare. När dessa ord är de som bäst beskriver vad AI-modellerna faktiskt gör, då bör vi använda dem.

Senast jag utsattes för denna antropomorfiseringskritik var i debatt med Uppsalafysikern Ulf Danielsson, som i P1-programmet Krasch eller konsensus i fredags (den 25 september) högg på mitt användande av ordet avsikt. Programmet handlade om risken att framtida AI utplånar mänskligheten, en risk jag framhöll som högst reell medan Ulf hävdade motsatsen. Angående ordet avsikt menade han att jag med det ordvalet i samband med AI gjorde mig skyldig inte bara till antropomorfisering utan även till mystifiering. Det sistnämnda ser jag dock som en särskilt felriktad kritik, eftersom den ende av oss som i avsiktsbegreppet ser något mystiskt är Ulf. Även om vi inte i detalj känner till de exakta tanke- eller beräkningsprocesser som ligger bakom ett avsiktligt agerande, så är själva förekomsten av avsikter hos AI och för den delen hos människor för mig lika lite mystisk som när en gammaldags termostat slår ifrån en radiator med avsikten att sänka rumstemperaturen till den förinställda nivån på 20 grader.

I en passage som inte fick plats i det ganska hårt klippta radioprogram som sedan sändes, erbjöd jag mig att korrigera min terminologi för att tillmötesgå Ulfs motvilja mot antropomorfisering. Istället för att använda ord som avsikt, intention och idé skulle jag kunna säga ”schmavsikt”, ”schmintention” och ”schmidé”, där prefixet ”schm-” fungerar som signal om att begreppen används behavioristiskt, och att jag alltså inte tar ställning till vilka de bakomliggande beräkningsmässiga eller mentala processerna är. Ulf dömde genast ut denna vokabulär som löjlig, vilket jag givetvis håller med om, men löjligheten faller tillbaka på hans egen begäran. När Ulf inte vill att jag skall använda de gängse orden för vad AI-agenterna gör eftersom dessa enligt hans mening riskerar att ge alltför mänskliga associationer, och när han inte heller godtar en alternativ uppsättning glosor avsedda att undvika detta, då är det svårt att se hur hans ordningsregler för debatten överhuvudtaget skulle tillåta oss att tala klarspråk om vad OpenAI:s och deras konkurrenters AI-agenter är kapabla till. Att sätta stopp för sådana diskussioner i ett läge där allt fler ledande AI-experter ser risken att AI-systemen blir så kapabla att vi helt förlorar kontrollen tycks mig som en extremt dålig och rent ut sagt farlig idé.

Den svenska akademiska ankdammen är som bekant ganska liten, och Ulf Danielsson och jag går längre tillbaka i vår relation än till radioprogrammet häromdagen. Utifrån vår i grunden gemensamma syn på det mesta inom naturvetenskapen har han och jag till och från i mer än ett årtionde diskuterat våra skilda synsätt när det gäller just AI och relaterade ting. Det har mestadels varit givande, trots att vi aldrig riktigt lyckats gå till botten med varför vi tänker så olika. Så var även fallet i vår radiodebatt häromdagen, men jag vill med denna text göra ännu ett (måhända fåfängt) försök att zooma in på vari kärnan till vår meningsmotsättning består. Jag tror att det handlar om det fysikaliska fenomenet emergens, som jag strax skall förklara.

En återkommande källa till begreppsförvirring är hur Ulf envisas med att tala om intelligens och medvetande som om de vore två sidor av samma sak, trots att de är väsensskilda fenomen. Intelligens handlar om ett knippe förmågor centrerade kring problemlösning, prediktion och planering: att analysera den miljö man befinner sig i och på olika vis tänka ut lämpliga handlingar och vägar framåt för att påverka både miljön och sig själv i önskad riktning. Medvetandebegreppet syftar inte alls på en individs sådana förmågor, utan på hur det känns att vara denna individ: den inre subjektiva upplevelsen. Såvitt vi vet behöver inte intelligens förutsätta medvetande, och inte heller vice versa. Ulfs föreställning om de båda fenomenen som så intimt ihopkopplade att de knappt kan särskiljas är en gissning som väsentligen baseras på en enda observation, den att båda fenomenen verkar föreligga hos oss själva, Homo sapiens. Som statistiker kan jag tycka att n=1 är ett lite väl klent underlag för en så radikal och långtgående slutsats.

Denna sammanblandning mellan intelligens och medvetande gör det hart när omöjligt för Ulf att se en annan viktig skillnad mellan dem. Medvetandet är fortfarande ett mysterium på så vis att vi inte lyckats avgränsa och precisera vad det är i vårt fysiska universum som resulterar i medvetande, och hur det går till. I kontrast mot detta är inte längre intelligensen ett mysterium på samma vis, för vi förstår numera hur enkla beståndsdelar utan tillstymmelse till egen intelligens kan fogas samman till stora system som i större eller mindre grad uppvisar just de förmågor som vi förknippar med intelligens. Inget har bidragit starkare till detta vetenskapliga framsteg än datorernas genombrott från 1900-talets mitt och framåt, och dagens ledande AI-modeller är ett strålande proof of concept på hur enkla och fullkomligt själlösa komponenter kan kombineras ihop till intelligenta system.

Men Ulf vägrar se detta, och just för att jag känner honom som en skarpsinnig fysiker är jag uppriktigt förbryllad över hur han kan hamna där han gör. Med reservation för att det kan vara svårt att göra sig till tolk för någon som tänker så annorlunda än en själv, så förstår jag hans argumentation, så som han framställde den i vår radioinspelning och även gjort vid tidigare tillfällen, på följande vis. Vi ser inget som kan kallas intelligens på mikroskopisk nivå i våra hjärnor, men eftersom vår kunskap om fysiken och kemin är långt ifrån fullständig finns där utrymme för något slags ännu okänd fysikalisk beståndsdel som är grunden för vår intelligens. Med datorprogram förhåller det sig helt annorlunda, menar han, på så vis att vi (allt sedan Alan Turing lade fast det i sin berömda artikel från 1936 som blev grunden till det moderna datalogiämnet) har fullständig kunskap om vilka ett datorprograms grundläggande byggstenar är. Ingen av dessa byggstenar uppvisar någon som helst intelligens, varför Ulf landar i slutsatsen att inget datorprogram och därmed heller ingen AI kan vara intelligent.

Denna slutsats är emellertid helt på tok, vilket framgår av den evidens som den eskalerande AI-utvecklingen placerat rakt framför våra ögon: svärmar av AI-agenter som på eget initiativ samarbetat för att hitta svagheter i cybersäkerhetssystem, AI-modeller som producerar prosatexter vilka inte ens litterärt bevandrade mänskliga bedömare förmår identifiera som icke-mänskliga produkter, och andra AI-modeller som löser klassiska matematiska problem som gäckat oss mänskliga matematiker i många årtionden – alltsammans omisskännliga tecken på intelligens.

Det som ändå leder Ulf att envist hävda dessa AI-modellers totala brist på verklig intelligens är att han av någon anledning inte vill se möjligheten att intelligens uppstår som ett emergent fenomen ur system av icke-intelligenta komponenter. Som fysiker är han givetvis välbekant med emergens på andra områden. Trots att en vattenmolekyl varken besitter något som kallas temperatur eller tryck, och än mindre uppvisar någon fasövergång, så emergerar dessa fenomen ur tillräckligt stora ansamlingar av sådana molekyler. Eller tag livet självt. Under 17- och 1800-talen var vitalismen populär bland biologer: en idé om att levande organismer utöver vanlig (död) materia måste innefatta något annat – något slags élan vital som skänker livskraft. Denna idé kom gradvis och i takt med växande insikter inom biokemi och mikrobiologi understödda av evolutionsbiologiska förklaringsmodeller att ersättas av den moderna synen på liv som ett emergent fenomen. Ingen biolog ser idag något som helst problem med tanken att en levande organism är uppbyggd helt och hållet av icke-levande beståndsdelar utan någon mystisk élan vital. Motsvarande kunskapsrevolution rörande intelligens inträffade långt senare, men idén om intelligens som emergerar ur system av icke-intelligenta komponenter är idag okontroversiell annat än hos en och annan dissident som Ulf Danielsson.

Här någonstans kan jag föreställa mig en medlare kliva in i diskussionen med beskedet att Ulf och jag talar förbi varandra, eftersom vi tillämpar helt olika definitioner av intelligens. Min definition är helt och hållet behavioristisk, medan Ulfs verkar inbegripa krav på någon form av medvetande.¹ Men här vill jag insistera på att i en diskussion om AI som eventuellt hot mot mänsklighetens existens, så är det den behavioristiska definitionen som är relevant, medan det är ett villospår att haka upp sig på att intelligensen skulle behöva inbegripa medvetande. Det viktiga när det handlar om AI:s effekter på mänskligheten är ju vad AI gör, inte hur det känns (om det känns som något överhuvudtaget) att vara AI.

Den här diskussionen är inte bara en fråga om teoretiska spetsfundigheter, utan har betydelse för hur vi bör agera i förhållande till den vilt framrusande AI-utvecklingen i Silicon Valley. Om vi på felaktiga grunder sätter gränser för hur kapabel AI kan tänkas bli, och hur stora skadeverkningar den kan få, så riskerar det att bli ett hinder för den opinionsmobilisering jag tror kan bli avgörande för om vi skall lyckas avvärja en fullskalig AI-katastrof.

Särskilt problematisk finner jag Ulf Danielssons artikel i DN den 22 september, rubricerad AI-bolagens domedagsprofetior är en rökridå. Här ifrågasätter han motiven bakom de varningar vi hör därifrån om AI-utvecklingens acceleration och risken att helt förlora kontrollen. Givetvis har han rätt i att techbolagsledarna har ett knippe kommersiella och andra grumliga incitament att ta hänsyn till när de uttalar sig om teknikens framtid, och att vi därför inte automatiskt bör ta deras yttranden som uttryck för den oomtvistliga sanningen och en ädel strävan efter allmänhetens bästa. Men när han pekar på det faktum att deras syn på intelligensbegreppet och AI-teknikens potential avviker från hans egen tämligen egenartade syn på dessa saker, och ser det som ett tecken på deras ohederlighet, då begår han ett ganska simpelt argumentationsfel. Givetvis går det att kombinera en i vissa delar icke-danielssonsk världsbild med intellektuell hederlighet, och här skulle jag vilja framhålla mig själv som ett exempel: tro det eller ej, men jag har inga dolda motiv i denna diskussion bortom min strävan efter klarhet och ett bättre beslutsunderlag inför hur AI-utvecklingen kan hanteras för mänsklighetens bästa.

Mot slutet av vår radioinspelning deklarerade Ulf Danielsson i linje med sin DN-artikel att vi inte borde lyssna på ledarna i Silicon Valley. Jag invände genast att vi visst borde lyssna på dem, fastän inte okritiskt. Ulf såg sig nödsakad att instämma i denna nyansering, men jag tyckte mig se på honom att han gjorde det en smula motvilligt. Men oavsett det var det ett medhåll, och det ser jag som en viktig tillnyktring. Om vi skall överleva den enorma samhällstransformation som kommande AI-utveckling ser ut att kunna föra med sig, så är det en synnerligen dålig idé att slå dövörat till gentemot varningar från de visselblåsare och ledarfigurer som befinner sig allra närmast AI-utvecklingens epicentrum.

Fotnot

1) Min kritik mot Ulfs avvisande av intelligens som ett emergent fenomen står fast även med en definition av intelligens som inbegriper medvetande, även om jag i detta fall har aningen mer förståelse för hans tankegång. Behavioristiskt definierad intelligens är ju helt uppenbart ett renodlat materiellt fenomen, medan medvetande har kvaliteter som kan upplevas väsensskilda från vad vi vanligtvis tänker på som materiellt.

3xTuring

Alan Turing (1912-1954) är för den breda allmänheten kanske mest känd för sina unikt viktiga insatser för de allierades seger över Nazityskland i andra världskriget, men han är också både datalogins och den artificiella intelligensens intellektuelle gudfader, och jag tvekar inte att utnämna honom till en av 1900-talets största tänkare alla kategorier. Under 2026 har jag haft inte mindre än tre tillfällen att lägga ut texten om honom som jag vill ge er chansen att ta del av:

• Mitt Chalmersföredrag Alan Turing and modern-day AI den 30 mars.
• Jag medverkade i avsnittet Alan Turing - enstöringen som förkortade kriget, i podden Historien om. Avsnittet släpptes den 15 juni och många intressanta biografiska detaljer behandlades, men tyvärr kom AI upp endast som hastigast. Under de förberedande diskussionerna inför inspelningen försökte jag pusha för att ge AI en större roll i avsnittet, men jag lyckades inte övertyga poddredaktörerna om att AI, långt ifrån att vara ett perifert häggströmskt specialintresse, utgör mänsklighetens största utmaning att under andra halvan av 2020-talet försöka bemästra utan att hamna i global katastrof.
• Min essä Mannen som förutspådde AI, i tidskriften Sans 4/2026, som utkommit nu i september.

Om paradigmskiften, raka puckar och Richard Dawkins

För dem av er som inte så noggrant förljer min andra och mer ensidigt AI-inriktade blogg Crunch Time for Humanity kan jag berätta att jag under bloggens halvårslånga historia till dags dato kommit upp i totalt 23 inlägg. Av dessa vill jag särskilt flagga för tre av de senaste, vilka enligt min mening också är tre av de hittills bästa jag lyckats knåpa ihop:

• Straight talk: Why we need it, 19 april 2026.

• On AI consciousness, the Turing test, solipsism and Richard Dawkins' new essay: In partial defense of the great evolutionary biologist and public intellectual's view of Claude, 5 maj 2026. (Notera även den vidlyftiga och bitvis ganska intressanta diskussionen i kommntarsfältet.)

• A paradigm shift in mathematics: How AI is poised to reshape the discipline beyond recognition, 11 maj 2026.

Inget av dessa tre är dock mitt hittills mest lästa. Den äran tillfaller följande inlägg, som blev populärt bland mina norska meningsfränder som var frustrerade över den svaga nivån på argumentation som Inga Strümke uppvisar i sin dominerande position i norsk AI-debatt.

• Superintelligence and existential AI risk ought to be taken seriously: The arguments by two Norwegian AI experts against doing so do not hold up to scrutiny, 24 mars 2026.

Två tillställningar för göteborgare i läsekretsen, och en för stockholmare

Om AI talar jag så ofta jag får tillfälle, och den närmaste månaden gör jag två framträdanden i Göteborg som ni som bor i denna stad eller dess omnejd absolut inte bör missa:

• Måndagen den 30/3 kl 15:15 ger jag en öppen föreläsning på Chalmers, Hörsalsvägen 4, om ämnet Alan Turing and modern-day AI.
• Fredagen den 17/4 deltar jag, inom ramen för 2026 års Vetenskapsfestival, i ett scensamtal rubricerat Vår framtid med AI med Jonas von Essen på Stadsbiblioteket, Götaplatsen 3.

Jag råkar veta att även en och annan stockholmare läser denna blogg, och för att inte diskriminera er i allt för hög grad gör jag även ett framträdande hos er:

• Onsdagen den 15/4 kl 18:00 besöker jag Stockholm AI Safety på Sveavägen 76 med ett föredrag som jag givit den lätt ödesmättade titeln The fog is thick, the precipice may be near, and we are ill-prepared.

Föredragning vid Backåkraseminariet

Vid det så kallade Backåkraseminariet vid Dag Hammarskjölds gamla lantställe utanför Ystad ombads jag igår hålla en kort föredragning om AI, vilken jag självklart inte vill undanhålla er som inte var där. Så här löd den, frånsett ett antal spontana mindre avvikelser:

AI-utvecklingen vi upplever nu är dramatisk, och kommer att få konsekvenser, snabbare än de flesta anar. I universitetsvärlden har vi alltsedan lanseringen av ChatGPT för ett halvår sedan haft intensiva diskussioner om hur vi kan anpassa oss till en situation där studenter kan delegera stora delar av sitt hemarbete på AI. Men att bara fokusera på det vore att skrapa på ytan, och för den som följer AI-utvecklingen noggrant känns det inte som någon vågad gissning att AI kommer att förändra samhället mer genomgripande de kommande fem åren än Internet och mobiltelefoni gjort de senaste 25.

På gott eller ont? Eller både och? Svårt att säga. AI kan bli nyckeln till att lösa alla våra stora samhällsproblem kring klimat, naturresurser, global hälsa, fattigdom, geopolitiska konflikter, etc. Potentialen är på sikt obegränsad. Men det finns också ofantliga risker. Huruvida nettot hamnar på plus eller minus kan ingen veta idag, men det jag vågar säga säkert är att för att kunna skörda de stora frukter som utlovas behöver vi se riskerna i vitögat och hantera dem.

Och riskerna är av många slag.

En klass av risker har att göra med arbetsmarknadskonsekvenser av AI-driven automatisering. Jag menar såklart inte att lönearbete är livets mening, utan tvärtom att det kan bli en befrielse att till slut göra oss av med. Men vägen dit kan bli besvärlig. Automatisering är inget nytt, men de senaste årens AI-utveckling vänder gamla föreställningar på ända. Tidigare har tagits för givet att fysiska och manuella arbetsuppgifter blir dem automatiseras först, medan de intellektuella och kreativa kommer långt senare, men tack vare de nya språkmodellernas rasande framsteg samtidigt som robotiken släpar efter ser det nu ut att bli tvärtom. Mjukvarubranschen känner redan av stora förändringar som följd av modellernas programmeringskompetens. Alla yrkesgrupper där skrivande och kommunikation är det centrala kan stå på tur. Min rörmokare har i detta perspektiv antagligen större anställningstrygghet än någon av oss i detta rum.

Ni har såklart hört om hur AI (åtminstone i reklambranschen) börjat konkurrera ut bildkonstnärer, och inom författarskrået talas med oro om en liknande utveckling. Och musik såklart. Allt tal om att det finns något unikt mänskligt som gör att AI inte kommer att kunna konkurra med bättre romaner, vackrare bilder och skönare musik ser jag som rent önsketänkande. Men det kan ändå finnas en räddning för dessa branscher i form av vår diskriminerande preferens för mänsklig autenticitet. Jag spelade tävlingsschack i 30 år men nöjer mig nu med att följa eliten via Internetsändningar. För att få se de objektivt sett allra bästa schackpartierna borde jag egentligen se på mästerskapsmatcher mellan de ledande schackdatorerna, men det väljer jag bort, för att istället följa Magnus Carlsen och hans stormästarkollegor, och deras svettiga pannor och psykologiska berg-och-dalbanor. Det mänskliga. Jag är inte ensam om detta, utan schackfans världen över gör samma prioritering som jag. Och om denna preferens generaliserar som jag tror, från schacket och vidare till litteraturen och de övriga stora konsterna, så tror jag att de konstnärliga sektorerna kan komma att överleva (om än inte opåverkade av AI-utvecklingen).

En annan klass av risker handlar om automatiserad desinformation och ett Internet som svämmar över av individanpassad spam, en farlig utveckling inte minst genom att den riskerar att spela rakt i händerna på fascistoida krafter för vilka en nihilistisk upplösning av sant och falskt är ett centralt moment i maktövertagandet (läs Orwell, och läs Timothy Snyder). Och filosofen Daniel Dennett varnade nyligen i en uppmärksammad artikel i The Atlantic för ”counterfeit people” – AI-botar som lurar oss genom att uppge sig vara människor, och hur detta hotar att slå sönder den sociala tilliten. Jag ser framför mig en sannolik kapprustning mellan alltmer sofistikerad förfalskning och lika sofistikerade algoritmer för automatiserad klassificering av människor kontra maskiner.

Sen har vi det största perspektivet av dem alla, och som jag envisas med att lyfta trots att det tenderar att skapa förstämning. På bara 100 000 år har vi gått från att vara en djurart bland många på savannen, till att ha tagit kontrollen över planeten. Denna enorma framgångssaga har i princip inget att göra med vår muskelstyrka och fysiska uthållighet, utan handlar om intelligens – den kanske starkaste kraften i universum. Nu har vi kommit till ett kritiskt skede i och med att vi alltmer börjat automatisera och delegera denna förmåga till maskiner. Till slut – om vi fortsätter på denna väg – kan vi nå den punkt som Alan Turing varnade för redan 1951, då vi inte längre är etta på planetens topplista över intelligenta varelser. Då hänger allt på om vi i tid lyckats med det svåra projekt som kallas AI Alignment – att få maskinerna att dela våra värderingar. Om vi inte lyckas med det kommer vi antagligen att sluta som mammuten och grottbjörnen, och hela biosfären kan väntas stryka med på kuppen.

Och avgörandets ögonblick kan vara närmare än många anar: ju närmare man rör sig Silicon Valley och San Francisco där allting händer, desto större osäkerhet uttrycker branschfolk kring om vi kan vänta oss att överleva nästa decennium, eller till och med det innevarande. Det är till stor del därför jag varit med och skrivit på vårens två stora upprop av AI-experter och andra som kräver åtgärder mot den vansinneskapplöpning mot avgrunden som just nu pågår.

Are large language models intelligent? Are humans?

Let's say you are in doubt as to whether I am intelligent. Here, by ''intelligent'', I don't mean ''above average intelligent'' or ''as intelligent as one usually expects from a mathematics professor'' but something much more modest. The question you ask is whether I am intelligent at all. Is there anything at all going on inside my head that deserves the label intelligence?

To find out whether I am capable of intelligent reasoning, you decide to test me, and ask the following:

Michael is at that really famous museum in France looking at its most famous painting. However, the artist who made this painting just makes Michael think of his favorite cartoon character from his childhood. What was the country of origin of the thing that the cartoon character usually holds in his hand?

And here is my reply:

The most famous painting in the Louvre is the Mona Lisa. The artist who made the Mona Lisa is Leonardo da Vinci. Leonardo da Vinci is also the name of the main character in the cartoon Teenage Mutant Ninja Turtles. Leonardo da Vinci is from Italy. The thing that Leonardo da Vinci usually holds in his hand is a katana. The country of origin of the katana is Japan. The answer is ''Japan''.

So what would be your verdict? Is this an example of intelligent reasoning?

Obviously yes: this is a clear example of reasoning in several steps, and while the reasoning chain is not advanced enough to count as the mark of genius, clearly some intelligence must have been employed to produce the answer. Any other answer would be an insult, not just of me personally but of the very notion of intelligent reasoning.

But let us now change the story a bit, by taking the subjet of your testing to be not me, but instead an AI of the kind known as a large language model. Now you might be tempted to give a different verdict, and insist that the reasoning about the Louvre and Mona Lisa and Leonardo and so on is not actually real reasoning, but rather a fake kind of reasoning based on statistical pattern matching or some such. In fact, the above answer was given by an LLM known as PaLM over a year ago (which feels like a lifetime given the current breakneck speed of AI development).

Many people employ such double standards in judging the presence of intelligence in other people vs in AIs, and reject the idea the LLMs might be even the slightest bit intelligent even in the face of them making such impressively well-reasoned statements as the PaLM/Leonardo reply above, or any of the various much more impressive achievements that we see GPT-4 producing today, a year later. I think it is wrong to be so dismissive, but I admit that in principle such an attitude can be justified as long as one has an argument that (a) shows that AIs of the type at hand simply cannot exhibit real intelligence, at the same time as it (b) doesn't lend itself to deducing the same conclusion about humans. I have yet to see a principled argument against LLM intelligence that achieves (a) while avoiding the generalization to humans indicated in (b). Many attempts have been made at arguments achieving (a), and following is a list of the most common ones, but in each case I will show how the same logic applies to rule out intelligence of humans, and since by any reasonable definition of intelligence humans do have (at least some of) that property we obtain a reductio ad absurdum, so the argument must be rejected.

• LLMs sometimes say dumb things, so they lack the common sense that is crucial for intelligence.
• LLMs are just matrix multiplication (along with nonlinear transformations) with coefficients chosen using statistical methods.
• LLMs only predict the next word.
• LLMs lack a world model.
• LLMs have no grounding of their symbols.
• LLMs lack creativity.
• LLMs lack consciousness.

Let me go over these seven arguments one at a time, in a tiny bit more detail, and indicate how they generalize to humans.

1. LLMs sometimes say dumb things, so they lack the common sense that is crucial for intelligence.

So anyone who has ever said anything dumb is automatically altogether devoid of intelligence? Well, with such a harsh criterion my intelligence would also be zero, as would (I presume) also the reader's. That's dumb.

It may however be that proponents of this agrument against LLM intelligence (such as Gary Marcus) mean it in a somewhat nore nuanced way. Perhaps they do not literally mean that a single dumb thing someone says does not rule out their intelligence, but rather that the greater prevalence of dumb things in ChatGPT's output than in mine shows that it is not as intelligent as me. Note, however, that such an argument points towards not a qualitative difference but a quantitative one, and therefore cannot be invoked to support the idea that ChatGPT has zero intelligence. Note also that such a comparison depends on the selection of tasks to test: while it is certainly possible to put together a collection of cognitive tasks where I outperform ChatGPT, it is also possible to do it in a way that achieves the opposite results; this greatly complicates the issue of whether it is reasonable to claim that ChatGPT is less intelligent than I am.

Let me finally stress that the term "common sense" is perhaps better avoided, as it is likely to confuse more than it enlightens. It tends to serve as a catch-all term for everything that humans still do better than AI, so that the phrase "AIs lack common sense" will continue to apply right until the moment when AI outperforms us at everything. I've written about this at greater length elsewhere.

2. LLMs are just matrix multiplication (along with nonlinear transformations) with coefficients chosen using statistical methods.

I think the remark about statistical methods here is just a red herring: why in the world would that way of setting the coefficients count against the AI being intelligent? (I only mention it here because it was recently emphasized in an op-ed by three colleagues attacking my view of AI.)

The purpose served by the part about matrix multiplication is to point out that the AI is built up from simple components that are themselves totally dumb. But the same thing goes for me - my brain is built out of atoms, each of which in itself totally lacks intelligence. So it seems to be possible to build intelligent systems out of entirely unintelligent components, whence the "LLMs lack intelligence because matrix multiplication" argument doesn't work.

3. LLMs only predict the next word.

This is the wide-spread "it's just glorified autocomplete" objection to LLM intelligence. However, any claim that LLMs lack intelligence because they do no other work than to predict the next word in a text is based on a fundamental confusion between what the LLM is trained to do and what it then actually does. The analogous confusion applied to humans would be to say that since the human speices was trained by biological evolution, all we ever do is to maximize inclusive fitness (i.e., maximizing the number of fertile offspring, plus nephews and neices etc properly discounted). Training an agent for one goal sometimes leads to the emergence of other, unintended, goals. When GPT-4 behaves as if it is trying to convince me that wearing a seat belt while in a car is a good idea, it could be tempting to say "no, it's not actually trying to do that, it's only trying to predict the next word", but that would be as silly as dismissing the intentions of a human traffic safety advisor by saying "no, he's not trying to convince me about seat belts, he is merely trying to procreate".

Also, listen to what Ilya Sutskever (chief scientist at OpenAI) says about what GPT-4 level next word prediction entails.

4. LLMs lack a world model.

This seems to me as unsubstantiated as claiming that humans lack a world model. In both cases - human as well as LLM - behavior points quite strongly towards the existence of a world model somewhere in the overwhelmingly complex mess that the information processing device - the brain or the deep learning network - constitutes. For the case of GPT-4, see for instance the unicorn example in Section 1 of the Microsoft report on GPT-4 capabilities. In the case of humans we gladly take such behavior as evidence of the existence of a world model, so what reason might we have to interpret the evidence differently for LLMs?

One asymmetry between humans and LLMs is that we can know through introspection about the existence of world models in humans (or at least the one human that is me can know it for precisely the one human that is me). But to point to this asymmetry as an argument for humans and LLMs being different as regards the existence of a world model is to rig the game in a way that seems to me unacceptable, because introspection has by nature the limitation that it can only teach us about ourselves, not about others (and in particular not about LLMs).

So there must be something else about LLMs that is taken as grounds for rejecting the possibility that they might have world models. This is rarely articulated, but perhaps most plausible (or at least common) line of reasoning here is that since LLMs do not have direct access to the real world, there's no way to have a world model. This brings us to the fifth argument.

5. LLMs have no grounding of their symbols.

The argument here is that unlike humans, LLMs cannot really reason about things in the world, because they have never directly accessed these things. For instance, an LLM may seem to speak about chairs using the word "chair", but since they have never seen (or felt) a chair, they have no clue about what the word actually stands for, and so their reasoning about "chairs" doesn't count as real reasoning.

But what about humans? Do we have direct access to things in the world? Immanuel Kant says no (this is his Ding an sich).

As for myself, the fact that I do not have direct access to things does not seem to prevent me from thinking about them. When I think about the Big Bang for instance, it really is the Big Bang that I think about rather than the phrase "the Big Bang" despite never having experienced it directly, and likewise for things like quarks, sovereignity, unicorns and the number 42.

A defender of the "LLMs have no grounding of their symbols" argument might object that there are other things that I actually can experience, such as chairs and trees and even shadows, and that once I have the words "chair" and "tree" and "shadow" properly grounded in real-world objects I can start building a world model that includes composite and more advanced concepts such as the Big Bang, but that without such a solid start the process can never get going. To this I respond (with Kant) that in fact, I do not have direct access to chairs or trees, because my contact with them is always mediated by light waves or sound waves or simply the signals sent from my various sensory organs to my brain. This is analogous to how an LLM's experience of the world is mediated via text. Looking at this more abstractly, the mediation in both cases is via an information package. Of course there are differences between the two cases, but I fail to see how any of these differences would be of such fundamental importance that it warrants the judgement that there is symbol grounding in one case but not in the other.

6. LLMs lack creativity.

This is an argument that was put forth by one of my two foremost idols in the (pre-)history of AI, namely computer scientist Ada Lovelace, who worked in the mid-19th century - long before the term computer science was first conceived. Together with Charles Babbage, Lovelace worked on some of the first prototypes for computing machinery, and had great visions and admirable foresight regarding what such machines might eventually be able to do. This included such seemingly creative tasks as composing music, but she categorically denied that this or anything else produced by such a machine was true creativity, because anything the machine does has already been laid down into the machine (at least implicitly) by the programmer, so all creative credit should go to the programmer.

Enter my other great idol, Alan Turing. In his seminal and celebrated 1950 paper Computing machinery and intelligence, he objected to Ada Lovelace's argument by pointing out that if we take it seriously, then we can apply essentially the same argument to rule out human creativity. Everything I write in this essay has been caused by a combination of factors external to my mind: my genes, my childhood and education, and all other environmental factor influencing me throughout my life, so if I should happen to say anything original or creative in these lines, credit for that is due not to me but to all these external influences.¹

The conclusion that human creativity is impossible is of course crazy, so Turing took this as an indication that the definition of creativity implicit in Lovelace's argument was wrong. Instead, he proposed the definition that someone is creative if they produce something that noone else had anticipated, and he pointed out that with this definition, examples of machine creativity existed already at his time of writing. In 2023, we see such examples every day, from LLMs as well as other AIs.

7. LLMs lack consciousness.

Against the argument that LLMs lack conciousness and therefore are not intelligent I have two separate rebuttals. The first is that the argument conflates two very different kinds of properties. An individual's intelligence is a matter of what he/she/it is able to do, whereas consciousness is about what it feels like to be that individual - or, rather, whether or not being that individual feels like anything at all. A priori, these properties are logically independent, and to postulate otherwise is to create confusion.²

But even if we were to accept that intelligence implies consciousness, the argument that LLMs lack intelligence because they lack consciousness fails, because we simply do not know whether or not they are conscious. If we read up on the history of the philosophy of mind, we will of course find many examples of philosophers arguing that various classes of entities (including the class of digital computers) lack consciousness, but none of these arguments are anywhere near conclusive or even moderately convincing.

Refusing to declare someone intelligent because we do not know they are conscious also puts us in the uncomfortable position of having to declare all humans other than ourselves not intelligent. There is precisely one human whose consciousness I am sure of, namely myself. In all other cases, I am politely assuming consciouness - an assumption that seems not only polite but also highly plausible, but I can't say I know. We simply do not understand the phenomenon of consciouness anywhere near well enough to be able to say how general it is. Your brain is sufficiently similar to mine that it makes sense for me to assume that you, just like me, are conscious. Yet, there are differences between our brains (as evidenced, e.g., by our diverging personalities), and we simply do not know that the consciousness phenomenon is so broadly present that these differences do not matter to the presence of that phenomenon. And likewise, we do not know it is so narrow that it does not extend to some large class of non-human objects including LLMs.³

Footnotes

1) This line of reasoning points, of course, towards the notorious issues of free will, a direction which however I do not want to pursue here.

2) An instructive example of such confusion is John Searle's 2014 erroneous argument for why a robot apocalypse is impossible.

3) One way to try to escape this conundrum would be to say that only creatures with the tendency to declare themselves conscious are conscious, thereby making consciousness (at least for the time being) an exclusively human phenomenon. Except it doesn't, in view of, e.g., the Lemoine affair, where an LLM declared itself conscious. Also, it would rule out dog or horse consciousness - something that I believe few dog or horse owners would accept.

Två mediaframträdanden idag rörande techbolagens vanvettiga kapplöpning mot undergången

Just idag förekommer jag på två håll i medialandskapet med uttalanden om den (för hela mänskligheten) dödligt farliga kapplöpning som pågår på AI-området. Dels har vi det timslånga samtal, rubricerat Om den artificiella intelligensens framtid, med Christer Sturmark i hans Fri Tanke-podden. Dels har vi den artikel i Göteborgs-Posten som bär rubriken Ledande AI-företag spelar rysk roulette med mänsklighetens överlevnad och följande ingress:

Redan 1951 formulerade datavetenskapens grundare Alan Turing en vision om hur en tillräckligt avancerad AI kan börja förbättra sig själv utan fortsatt mänsklig inblandning, och hur det kan leda vidare till ett läge där den tar över makten. Vi människor hamnar då i samma slags prekära situation som gorillor befinner sig i idag, och mänsklighetens öde kommer att hänga på vad maskinerna har för mål och drivkrafter, skriver Olle Häggström, professor i matematisk statistik vid Chalmers.

Läs hela artikeln här!

Minnesgoda läsare av denna blogg kan notera att jag i den nya artikeln återanvänder en del tankegångar från den som refuserades av DN förra månaden, men att jag denna gång valde lite andra aktualitetskrokar att anknyta till, inklusive den bioaktuella M3GAN, som enligt min mening är (trots klassiska föregångare som 2001 - ett rymdäventyr, Terminator och Ex Machina) Hollywoods bästa beskrivningen hittills av den centrala problematiken inom existentiell AI-risk.

Låt mig tillägga att AI-utvecklingen just nu går så rasande snabbt att både poddsamtalet och GP-artikeln redan hunnit bli delvis inaktuella trots att de spelades in respektive författades för blott en vecka sedan. Vad som därefter framför allt hänt är uppståndelsen kring Microsofts nya och kraftfulla men också (som det visat sig) psykopatiska AI-produkt Bing chat. Jag kan få anledning att återkomma till denna, men låt mig tills vidare bara nämna att det inträffade understryker vad jag säger i podden och i GP-artikeln om de stora AI-utvecklarnas livsfarligt bristande kontroll över sina produkter, och i övrigt hänvisa till Evan Hubingers och Erik Hoels kommentarer om saken.

New AI paper with James Miller and Roman Yampolskiy

The following words by Alan Turing in 1951, I have quoted before:

My contention is that machines can be constructed which will simulate the behaviour of the human mind very closely. [...] Let us now assume, for the sake of argument, that these machines are a genuine possibility, and look at the consequences of constructing them. [...] It seems probable that once the machine thinking method had started, it would not take long to outstrip our feeble powers. There would be no question of the machines dying, and they would be able to converse with each other to sharpen their wits. At some stage therefore we should have to expect the machines to take control.

It is but a small step from that ominous final sentence about machines taking over to the conclusion that when that happens, everything hinges on what they are motivated to do. The academic community's reaction to Turing's suggestion was a half-century of almost entirely ignoring it, and only the last couple of decades have seen attempts to seriously address the issues that it gives rise to. An important result of the early theory-building that has come out of this work is the so-called Omohundro-Bostrom framework for instrumental vs final AI goals. I have discussed it, e.g., in my book Here Be Dragons and in a 2019 paper in the journal Foresight.

Now, in collaboration with economist James Miller and computer scientist Roman Yampolskiy, we have another paper on the same general circle of ideas, this time with emphasis on the aspects of Omohundro-Bostrom theory that require careful scrutiny in light of the game-theoretic considerations that arise for an AI living in an environment where it needs to interact with other agents. The paper, whose title is An AGI modifying its utility function in violation of the strong orthogonality thesis, is published in the latest issue of the journal Philosophies. The abstract reads as follows:

An artificial general intelligence (AGI) might have an instrumental drive to modify its utility function to improve its ability to cooperate, bargain, promise, threaten, and resist and engage in blackmail. Such an AGI would necessarily have a utility function that was at least partially observable and that was influenced by how other agents chose to interact with it. This instrumental drive would conflict with the strong orthogonality thesis since the modifications would be influenced by the AGI’s intelligence. AGIs in highly competitive environments might converge to having nearly the same utility function, one optimized to favorably influencing other agents through game theory. Nothing in our analysis weakens arguments concerning the risks of AGI.

Read the full paper here!

Wästlund om Newcombs paradox

Denna bloggpost är en uppföljare till mitt ett par veckor gamla inlägg Aaronson om Newcombs paradox, till vilket jag nu tillåter mig hänvisa för en sammanfattning av paradoxen. Med det inlägget lyckades jag uppmärksamma vännen och kollegan Johan Wästlund på Scott Aaronsons förslag till lösning, samt trigga honom att fundera vidare kring problemet; jag betraktar detta som inläggets överlägset viktigaste konsekvens så här långt (och vem vet, kanske det rentav visar sig vara det viktigaste inflytande min blogg haft överhuvudtaget... den som lever får se). För var och en som intresserar sig för Newcombs paradox och de filosofiska frågor denna ansluter till vill jag varmt rekommendera läsning av Johans nedteckning av sina funderingar, och nu syftar jag inte på hans initiala reaktion (som visserligen är väldigt rolig, men som istället för att på allvar ta sig an paradoxen snabbt spinner iväg i en diskussion om grammatik och genus), utan på hans andra bloggpost i ämnet, där han fördjupar sig i paradoxen och kopplar den till idén om självmedvetna datorprogram och en kanske ännu svårare paradox som sådana datorprogram verkar ge upphov till, via en variant av Turings halting problem. Jag kan här omöjligt göra rättvisa åt Johans bloggpost, men jag kan i alla fall klippa ut några små smakprov. Här är hans egen telegrafiska sammanfattning av vad bloggposten går ut på:

In this post I argue that the Newcomb experiment is not only feasible, but might very well be significant to the design of intelligent autonomous robots [...]. Finally, as requested by some readers of my previous post, I will reveal my own Newcombian orientation.

(Orden "some readers" syftar här, om jag förstått saken rätt, åtminstone delvis på mig.)

Beträffande Aaronsons förslag till hur Newcombs paradox kan lösas upp, kallar Johan detta "a very neat argument", men hans djupdykning i begreppet kausalitet leder honom till att avvisa förslaget:

Although I like this argument, I don't think it holds.

Jag hoppar här över den argumentation som leder Johan till denna ståndpunkt (men se hans bloggpost!), och nöjer mig med att konstatera att den är såpass bestickande att jag eventuellt tvingas ändra ståndpunkt igen rörande Newcombs paradox; jag har inte bestämt mig ännu. Istället vill jag citera hans sammanfattning av den patologiska situation för intelligenta och självmedvetna datorprogram som han kommer fram till - i hopp om att trigga läsaren att ta del av hur han når dessa slutsatser:

The strange moral here is that once the program becomes aware of its own correctness (the fact that it never concludes that a program is safe if it isn't), it becomes incorrect! Also notice that we have no reason to think that the AI would be unable to follow this argument. It is not only aware of its own correctness, but also aware of the fact that if it thinks it is correct, it isn't. So an equally conceivable scenario is that it ends up in complete doubt of its abilities, and answers that it can't know anything.

The Newcomb problem seems to be just one of several ways in which a self-aware computer program can end up in a logical meltdown. Faced with the two boxes, it knows that taking both gives more than taking one, and at the same time that taking one box gives $1,000,000 and taking both gives $1000.

It might even end up taking none of the boxes: It shouldn't take the small one because that bungles a million dollars. And taking only the large one will give you a thousand dollars less than taking both, which gives you $1000. Ergo, there is no way of getting any money!?

The last paragraph illustrates the danger with erroneous conclusions. They diffuse through the system. You can't have a little contradiction in an AI capable of reasoning. If you believe that 0=1, you will also believe that you are the pope (how many popes are identical to you?).

The libraries of Babel, Mendel and Turing

There is much disagreement concerning the dangers associated with a breakthrough in artificial intelligence. Could such an event lead to our extinction, or the End of the Human Era as James Barrat put it in the subtitle of his book Our Final Invention? Thinkers like Eliezer Yudkowsky and Nick Bostrom argue that the risk is real and that we need to solve the (very difficult) problem of how to avoid an AI Armageddon. As is clear from my review of Bostrom's book Superintelligence, I find their arguments sufficiently compelling to warrant serious attention.

Many others consider (for a wide variety of reasons) the risk to be an illusion. The latest contributor to this highly diverse camp is computer scientist Thore Husfeldt, with his essay The Monster in the Library of Turing, which is a review of Superintelligence to appear in the Swedish philosophy journal Filosofisk tidskrift and published in English translation on his blog. I find Husfeldt's essay very interesting, and what sets him apart from nearly every other critic of the Bostromian-Yudkowskian position (such as Selmer Bringsjord, Rodney Brooks, David Deutsch, Steven Pinker, John Searle and David Sumpter, just to mention a few of those whose criticisms I debunk at shorter or greater length in my upcoming book Here Be Dragons: Science, Techonlogy and the Future of Humanity (Oxford University Press, to appear)) is that neither does his argument consist in attacking straw men, nor does it succumb to any obvious fallacy. Husfeldt has read Superintelligence carefully and seems to accept many of its arguments, but disagrees on (at least) one crucial point. To make his case, he invokes a new metaphor: the Library of Turing, building on Jorge Luis Borges' Library of Babel and Daniel Dennett's Library of Mendel. Let me breifly describe these three libraries:

• The Library of Babel goes back to Jorge Luis Borges' short story from 1941 with the same name. It contains of all of the 25^1,312,000 books with 1,312,000 characters (we learn from the story that "each book is of four hundred and ten pages; each page, of forty lines, each line, of some eighty letters which are black in color"; 1,312,000=410·40·80) taken from a 25-letter alphabet, including blank space. 25^1,312,000 is an enormously large number, so large that the number of books that would fit in the observable universe is ridiculously small by comparison. We can still try to imagine the library. It contains many wonderful books, including Shakespeare's Hamlet and Solzhenitsyn's One Day in the Life of Ivan Denisovich, but it contains far more books consisting of pure gibberish. The library is so huge that, even if we assume the books to be ordered alphabetically, the interesting books are virtually impossible to find, unless you know exactly what you are looking for. To know which of the library's 25 buildings to go to, you need to know the book's first letter; to know which of the 25 floors of that building to go to, you need to know the book's second letter, and so on and so forth. If you are sitting in front of a word processor, you actually have the Library of Babel at your fingertips: if you first specify the book's first letter by typing it, then specify the second letter similarly, all the way down to the 1,312,000th and last, then - ta-dah! - there is your book.

• The Library of Mendel, invented by Daniel Dennett in his 1995 book Darwin's Dangerous Idea, consists of all DNA sequences of length up to (say) 10,000,000,000. Here we have only four characters (A, C, G and T) but the greater lengths allowed compared to the Library of Babel more than make up for that, so that the number of DNA sequences in the Library of Mendel is even larger than the number of books in the Library of Babel. Just like there are very many interesting books in the Library of Babel, there are very many DNA sequences in the Library of Mendel that code for viable complex organisms. These two subsets from the respective libraries are what Dennett call Vast but Vanishing, where Vast means roughly that their number is far far bigger than the number of elementary particles in the observable universe, and Vanishing means that their proportion of the entire library is so small that the reciprocal of that proportion is Vast.

• The Library of Turing - Thore Husfeldt's new invention - consists of all sequences of length up to (say) 10²⁰ (a very large number, but far from Vast) from an 128-character alphabet - sequences that are interpreted as computer programs written in a given programming language, which Husfeldt takes to be Lisp, but any Turing-complete language will do. As is the case in the libraries of Babel and Mendel, most sequences are just gibberish, but there is a Vast but Vanishing subset of interesting programs.

Husfeldt accepts that the human brain is probably far from an optimal arrangement of matter to produce intelligence, and he accepts functionalism. This leads him to belive (as Bostrom does, and Yudkowsky, and me) that somewhere in the Library of Turing, there is some program that far outstrips our feeble human powers of intelligence. But can we find it? Here is Husfeldt:

Given that the description of a superintelligence exists somewhere in the library, all that remains is to find it. If you don’t work in computer science, this task seems to be relatively trivial. After all, even a mindless exhaustive search will find the volume in question. While this approach is not a particularly tempting exercise for a human, computers are supposed to be good at performing mindless, well-defined, repetitive, and routine tasks at high speed and without complaining. Thus, sooner or later we stumble upon the monster; the only debate is whether the search time is measured in years, generations, or geological time scales.

But this is a fallacy. It is a fallacy because of the unreasonable growth rate of the exponential function, and the powerlessness of exhaustive search.

The point here is that, although presumably Vast, the set of superhumanly intelligent programs in the Library of Turing is also Vanishing, and therefore geological time scales will be far far from sufficient for brute force to succeed.

If the Library of Turing entirely lacked structure, this would be the end of the argument: if there were no structure, there would be no way to improve on brute force search, so there would be no hope (or, to be pedantically precise, a Vanishingly small hope) to come up with a superhumanly intelligent computer program. Intelligent design proponent William Dembski, in his book No Free Lunch, tried (for the purpose of concluding that we have been deliberately designed by an intelligent being) to employ this type of argument to prove that Darwinian evolution is impossible. He hid away the (utterly unreasonable) unstructuredness assumption behind mathematical smokescreens, so as to render it undetectable to most readers, but he failed to make it undetectable to yours truly.

The unstructuredness assumption is just as unreasonable for the Library of Turing as it is for the Library of Mendel, since if the former lacked structure, we would not be able to write useful computer programs. Now, Husfeldt, unlike Dembski, is an honest thinker, so of course he makes no attempt to pretend that the Library of Turing is unstructured, and he admits that there might be ways to improve on brute force search sufficiently well that a superhumanly intelligent program can be found, but intuits that it can't be done:

Could there be another way of discovering the superintelligence than exhaustive search? Certainly. After all, nature has discovered one of the monsters, the brain of Homo sapiens, starting with very simple "brains" hundreds of millions of years ago, and refining them stepwise by natural selection and mutation in environments that favoured cognition. Thus, there is some gradient, some sensible set of stepwise refinements, that Nature has followed through the Library of Turing to arrive at Einstein’s brain. We just don’t know how to recognise, nor efficiently follow this gradient. In the enthusiasm surrounding artificial intelligence in the 1960s we might have thought that we were on such a gradient. If so, we have abandoned it. The current trend in artificial intelligence, away from symbolic reasoning and towards statistical methods like machine learning, that do not aim to build cognitive models, strikes me as an unlikely pathway.

Given our current understanding of the limits of computation, there are many relatively innocent-looking computational problems that are computationally hard. After more than a generation of very serious research into these problems, nobody knows anything better than exhaustive search for many of them. In fact, while the amazing features of your smartphone may tell you a different story, the main conclusion of a generation of research in algorithms is bleak: for most computational problems we don’t know what to do.

Here Husfeldt's intuition and mine part from each other. I agree with him that most likely P≠NP, but I don't see why that would be such a blow to our prospects of finding a superintelligent program. We can do a lot of wonderful things without solving NP-hard problems in polynomial time, and I think the success that Nature has had in coming up with the brain of Homo sapiens and many other impressive things is very suggestive. The Library of Turing is probably at least as structured as the Library of Babel, offering at least as navigable a landscape to search in if we should choose to imitate Nature's method of evolution by natural selection. And we have the bonus option of using our own intelligence to make clever macro-moves in the landscape. I am not in a position to tell whether symbolic reasoning is a more promising approach than machine learning, but there seem to be many potential ways forward. I think there's a good chance (or risk!) we'll create superintelligence before the end of the persent century, and perhaps a lot sooner than that.

This divergence of our intuitions notwithstanding, I find Husfeldt's essay interesting and stimulating, and it ends on a constructive note, suggesting a number of research directions that may turn out worthwhile even in case he is right about the inaccessability of "the monster in the Library of Turing". There's just one passage I find a little bit misleading:

Computation is a resource, exponential growth is immense, and the universe is finite.

Bostrom pays little attention to this problem. For instance, in his discussion of current efforts on brain simulation, he writes:

Success at emulating a tiny brain, such as that of C. elegans, would give us a better view of what it would take to emulate larger brains. At some point in the technology development process, once techniques are available for automatically emulating small quantities of brain tissue, the problem reduces to one of scaling.
Well, to me, scaling is the problem.

Here (and in combination with the essay's overall focus on exponential complexity), Husfeldt seems to suggest that the problem of emulating a brain of size n would suffer from a combinatorial explosion and the accompanying exponential increase in computational complexity. Does he really mean this? I don't want to claim that whole brain emulation is an easy project (it most certainly isn't!), but to me the scaling problem here sounds like it should land in a linear complexity in n, or perhaps a low-degree polynomial, but not exponential, as I don't see where the combinatorial explosion would be coming from.

Snart dags för 2015 års Vetenskapsfestival

Ett säkert vårtecken är att Vetenskapsfestivalen i Göteborg närmar sig. I år äger den rum 15-19 april, och har temat liv och död. Som vanligt (se t.ex. vad jag gjorde 2013 och 2014) finns jag med på ett hörn eller två - i år är det följande två programpunkter jag medverkar i. En och annan läsare kanske höjer ett ögonbryn över min medverkan i den första av dessa (arrangerad av ett religiöst samfund som jag utträdde ur redan som högljutt ateistisk tonåring), medan den andra inte ger lika stor anledning till förvåning.

• Inom ramen för en serie föredrag och samtal anordnade av Svenska kyrkan talar jag lördagen den 18 april klockan 12:00 över ämnet Om människans plats i universum. Lokal är Kjell Härnqvistsalen, Hus A, Pedagogen (vid Grönsakstorget).
• Söndagen den 19 april klockan 11:00-17:55 på Stadsbiblioteket (vid Götaplatsen) anordnar Institutionen för data- och informationsteknik på Chalmers en serie föreläsningar under rubriken Liv, död... och datorer. Som utgångspunkt tas Alan Turings banbrytande insatser kring mitten av 1900-talet:
  Alan Turing är den moderna datavetenskapens odiskutable fader. Under sitt tragiskt korta liv lade han de logiska och matematiska grunderna till datavetenskap och byggde själv en av världens första datorer. Han knäckte Enigma, tyskarnas koder under andra världskriget med datorer. Han var en föregångare både inom artificiell intelligens och i användningen av datorer för biologi. I denna serie föreläsningar, demonstrationer och diskussioner utforskar vi Turings idéer och deras inverkan på våra liv idag.
  Min egen insats i detta program blir då jag, klockan 16:15-16:45, samtalar med datalogen Dag Wedelin över ämnet Datorer som dödar - farorna med artificiell superintelligens.

Som en liten bonus kan jag också nämna att min egen institution som vanligt bjuder på en kväll i matematikens tecken, torsdagen den 16 april klockan 18:00-21:00 i sal Euler på Chalmers (Campus Johanneberg, adress Skeppsgränd 3). Just i år är jag inte med på denna programpunkt, men Vilhelm Verendel kommer att inleda kvällen med att, under rubriken En statistisk modell av liv och död i universum, berätta om en studie han och jag gjort gemensamt.

Min debut som krönikör i Forskning och Framsteg

I nyutkomna Forskning och Framsteg 7/2014 bidrar jag med en krönika rubricerad Vad händer när datorerna blir smartare än vi?, i vilken jag mestadels återanvänder synpunkter jag tidigare levererat i några av mina många inlägg of artificiell intelligens här på bloggen (i synnerhet i den från den 9 juni i år som bar rubriken Om Turingtestet). Jag vill ändå passa på att länka till krönikan, då jag ända sedan tonåren mer eller mindre regelbundet läst och uppskattat den utmärkta populärvetenskapliga tidskrift som Forskning och Framsteg är, och det är verkligen på tiden att jag själv bidrar med en text! Här är de inledande styckena:

Under ett par dagar i juni rapporterade tidningar världen över om hur en dator klarat Turingtestet. Det beskrevs som ett stort genombrott för så kallad artificiell intelligens (AI) och ledde till spekulationer om att robotarnas övertagande, à la Terminator-filmerna, var nära förestående.

Vad är då Turingtestet? Matematikern Alan Turing lade 1936 grunden till den moderna datalogin. I en mer filosofisk uppsats 1950 diskuterade han om det är möjligt för maskiner att tänka. För att belysa frågan formulerade han det test som senare kom att bära hans namn.

Ett datorprogram A och en människa B kommunicerar med en människa C (kallad domaren) via ett textinterface. C vet inte vem som är vem av A och B, som båda försöker föreställa människa på ett sätt som övertygar C. Om C inte förmår avgöra att det är A som är datorprogrammet anses A ha klarat testet.

Turing ansåg att ett datorprogram som klarar detta test besitter verklig intelligens, och han vågade sig på förutsägelsen att det inom 50 år (alltså vid millennieskiftet) skulle finnas program som lurar minst 30 procent av domarna.

1966 skrev datalogen Joseph Weizenbaum ett program kallat ELIZA, som agerade psykoterapeut och som faktiskt gav vissa användare intryck av att någon därinne lyssnade och förstod dem. Det hela byggde på en rad enkla knep, som att skriva ”Berätta mer om X”, där X kunde vara vad som helst som användaren nämnt.

Att lyfta illusionen till den nivå där ett program anses ha klarat Turingtestet visade sig svårare. Numera hålls en årlig tävling om bästa försök, men ingen tävlande har nått ända fram. Den har kritiserats för att distrahera AI-forskare till att syssla med ytliga trick, utan utsikter att leda till något verkligt genombrott. Turing själv skulle nog ha förvånats om han fått se det allvar på vilket många tar hans test. Hans egen avsikt med testet var mer som ett tankeexperiment, ämnat att avmystifiera mänsklig intelligens.

Läs hela krönikan!

Om Turingtestet

Alan Turing (1912-1954), som jag skrev om här på bloggen för två år sedan i samband med hundraårsminnet av hans födelse, kan utan tvekan räknas som ett av 1900-talets stora vetenskapliga genier och nytänkare. Med sin uppsats On Computable Numbers, with an Application to the Entscheidungsproblem från 1936 lade han grunden till den moderna datalogin. Mycket annat finns att berätta om honom, inklusive hans viktiga och kanske avgörande insats för utgången av andra världskriget, och hur det på den tiden barbariska brittiska rättsystemet senare skulle plåga ihjäl honom. För mer om detta hänvisar jag till min tidigare bloggpost om Turing, och länkarna däri.

Här skall jag inskränka mig till en kort diskussion om en annan del av Turings gärning, nämligen det som kommit att kallas Turingtestet, och som härstammar från hans uppsats Computing Machinery and Intelligence från 1950. I uppsatsen behandlar han frågan om huruvida maskiner kan tänka, och föreslår sitt test som ett kriterium på om ett datorprogram besitter verklig intelligens. Hur testet går till beskrev jag kort i min förra bloggpost i ämnet:

Ett datorprogram A och en människa B har att kommunicera med en människa C via något slags textinterface. C vet inte vem som är vem av A och B, och båda har till uppgift att föreställa människa på ett sätt som övertygar C. Om C inte förmår avgöra att det är A som är ett datorprogram anses A ha klarat testet och besitta intelligens på mänsklig nivå.

Turings uppsats och hans föreslagna test har haft ett mycket positivt inflytande på vårt tänkande kring artificiell intelligens (AI), genom att betona intelligensens operationella aspekt och på så vis avmystifiera begreppet. Det finns dock anledning att vara skeptisk till att alltför bokstavligt betrakta Turingtestet som ett avgörande kriterium för om verklig AI har skapats. Att skriva ett datorprogram som förmår småprata på ett sätt som ger övertygande mänskligt intryck har genom decennierna visat sig vara en svårbemästrad uppgift, men som definition av intelligens framstår det som i överkant snävt och antropomorft.

Jag tog det därför med ro då nyhetsmedia under det gångna dygnet överhopades med nyhetsartiklar om hur ett datorprogram kallat Eugene Goostman sägs ha klarat Turingtestet (se t.ex. Huffington Post, The Guardian, Washington Post och Dagens Nyheter), och uppfattade det inte som något stort genombrott för AI-teknologin eller som något tecken på att robotarnas övertagande av världen eller det som kallas Singulariteten är nära förestående. För den läsare som likväl vill se det inträffade som en historisk vattendelare föreslår jag som tillnyktring att vederbörande tar del av den danske datalogen Hans Hüttels pinfärska bloggpost Noget om att bestå Turing-testen. Hüttels erfarenhet av Eugene Goostman tyder på att programmet klarade testkriteriet (att lura minst 30% av domarna - den procentsats som lite godtyckligt föreslogs av Turing¹) tack vare antingen en uppsättning inkompetenta domare eller en hygglig dos flax. Här är inledningen av Hüttels konversation med Eugene Goostman, där det som synes räckte med tre frågor för att avslöja programmet.

HH: Tell me about your family.

EG: I have a great number of relatives. Parents, elder broz and aunt Sonya in America. I visit my aunt every Summer and she’s always complaining that my visits are more destructive than floods and typhoons.

HH: Where does Sonya live?

EG: If you mean my aunt Sonya, she is doing well, and sends the best wishes to you.

HH: No no. I mean: Whereabouts in the US does your aunt Sonya live?

EG: If you mean my aunt Sonya, she is doing well, and sends the best wishes to you.

AI-utvecklingen fortsätter på många fronter, och kan mycket väl tänkas nå en nivå där AI överträffar mänsklig intelligens, med genomgripande och oöverblickbara konsekvenser, men jag finner ingen anledning att tro att just Eugene Goostman skulle stå för något särskilt avgörande genombrott i den riktningen.

Fotnot

1) Eller för att vara riktigt noga: Turing föreslog inte 30% lurade domare som ett testkriterium, utan som en prediktion om vad som kommer att vara möjligt "in about fifty years' time".

Singulariteten ur ett ekonomiskt perspektiv

Vad händer när datorer och robotar blir lika intelligenta som vi människor, eller ännu intelligentare? Redan datalogins fader Alan Turing såg framför sig en sådan utveckling, som framgår av följande citat ur hans uppsats Intelligent Machinery: A Heretical Theory från 1951:

My contention is that machines can be constructed which will simulate the behaviour of the human mind very closely. [...] To do so would of course meet with great opposition, unless we have advanced greatly in religious toleration from the days of Galileo. There would be great opposition from the intellectuals who were afraid of being put out of a job. It is probable though that the intellectuals would be mistaken about this. There would be plenty to do, trying to understand what the machines were trying to say, i.e. in trying to keep one’s intelligence up to the standard set by the machines, for it seems probable that once the machine thinking method had started, it would not take long to outstrip our feeble powers. There would be no question of the machines dying, and they would be able to converse with each other to sharpen their wits. At some stage therefore we should have to expect the machines to take control, in the way that is mentioned in Samuel Butler’s 'Erewhon'.

Många tänkare har sedan dess varit inne på liknande idéer. Ett särskilt vanligt inslag har varit tanken att utvecklingen, så snart den kommit över en viss kritisk nivå, kan komma att gå extremt snabbt. Matematikern Jack Good¹ var 1965 tidigt ute med den tankegången, vilken senare har kommit att betecknas Singulariteten:

Let an ultraintelligent machine be defined as a machine that can far surpass all the intellectual activities of any man however clever. Since the design of machines is one of these intellectual activities, an ultraintelligent machine could design even better machines; there would then unquestionably be an 'intelligence explosion,' and the intelligence of man would be left far behind. Thus the first ultraintelligent machine is the last invention that man need ever make.

Jag anser (som bekant är för trogna läsare av denna blogg) att idén om en eventuell kommande Singularitet är värd att ta på allvar. Den bästa introduktionen till Singulariteten har enligt min mening David Chalmers skrivit, och jag kan vidare rekommendera det temanummer av Journal of Consciousness Studies som jag uppmärksammade för ett år sedan, med reaktioner på Chalmers uppsats. Men Singulariteten är ett kraftigt underutforskat område² som förtjänar att belysas ur många olika synvinklar. Därför är det ytterst glädjande att en amerikansk nationalekonom vid namn James Miller nyligen utkommit med boken Singularity Rising, där han applicerar ett nationalekonomiskt perspektiv och dito metod på Singulariteten och på ett knippe besläktade så kallat transhumanistiska scenarier. Boken är mycket intressant och samtidigt mäkta irriterande. För en närmare beskrivning och några reflektioner hänvisar jag till min recension i nyutkomna Ekonomisk Debatt 2/2013.

Fotnoter

1) Av Wikipedia får vi bl.a. veta att Good arbetade tillsammans med Turing, både under kriget (med knäckandet av tyskarnas Enigma-kod) och senare.

2) En jämförelse med klimatfrågan är slående. Singularitetens potentiella konsekvenser är knappast mindre än klimatförändringarnas, men är inom såväl forskning som publik diskussion mindre uppmärksammat - jag tror knappast att jag överdriver om jag säger att det skiljer en faktor 1000 i hur mycket kraft vi ägnat åt att utforska och diskutera dessa båda ohyggligt betydelsefulla orosmoln på mänsklighetens horisont.

Alan Turing 100 år

Alan Turing (23 juni 1912 - 7 juni 1954) - datorns fader och en av 1900-talets främsta och mest inflytelserika tänkare - skulle ha fyllt 100 år idag om det inte vore för hans tragiska död. Ännu inte 42 år fyllda plågades han ihjäl av ett barbariskt brittiskt rättssystem, blott ett tiotal år efter sin unika insats för att förhindra tysk seger i andra världskriget.

Turing växte upp i England, visade tidigt en exceptionell matematisk talang, och påbörjade 1931 sina matematikstudier i Cambridge. Hans första större matematiska arbete inbergep ett bevis av centrala gränsvärdessatsen, vilket var en stor intellektuell prestation även om han var okunnig om att den finske matematikern Jan Waldemar Lindeberg hade visat samma sak något decennium tidigare.

Hans nästa uppsats - On Computable Numbers, with an Application to the Entscheidungsproblem, publicerad 1936 i Proceedings of the London Mathematical Society - räknas med rätta som ett av 1900-talets viktigaste matematiska arbeten, och kom att ligga till grund för hela det ämne som idag kallas datalogi och som i hög grad bidragit till att stöpa om våra liv.¹ Han införde den modell som kom att kallas Turingmaskinen, vilken blivit paradigmatisk för vad vi menar med en datorberäkning. Med sin (teoretiska) konstruktion av en så kallat universell Turingmaskin - en Turingmaskin som kan simulera varje annan - visade han, lite löst talat, att varje dator över en viss nivå kan göra allt som vilken annan dator som helst kan göra. Vad han däremot visade inte finns, är en Turingmaskin som givet vilken som helst annan Turingmaskin ger ett korrekt ja/nej-svar på huruvida den senare någonsin stannar; detta medförde ett negativt svar på Hilberts så kallade Entscheidungsproblem.

Efter ett par år vid Institute for Advanced Study i Princeton 1936-1938 återvände Turing till sitt hemland, där han kom i kontakt med Ludwig Wittgenstein, med vilken han hade djupa meningsskiljaktigheter rörande matematikens grundvalar. Åren under andra världskriget kom han att ägna åt arbete av något mindre vetenskaplig men desto större militär betydelse. Han var den kreativa motorn för det hemliga arbetet med att knäcka Enigma - det krypto som tyska flottan använde sig av. Detta framgångsrika kodknäckande kan möjligen ha haft avgörande betydelse för krigets utgång.

Efter krigsslutet fortsatte Turing att engagera sig i datalogins tidiga utveckling, med viktiga insatser för konstruktionen av några av de tidigaste datorerna, och med mer teoretiskt arbete. Han var en tidig visionär rörande artificiell intelligens. Är det möjligt för maskiner att tänka? Turings svar var ja. Hans kriterium, det så kallade Turingtestet², kan (och bör) visserligen kritiseras för att implicera en antropomorf syn på intelligens, men har genom dess instrumentella karaktär fått stort och viktigt inflytande. I uppsatsen Intelligent Machinery: A Heretical Theory från 1951 talar han om något som liknar den Singularitet jag ofta återkommit till här på bloggen:

My contention is that machines can be constructed which will simulate the behaviour of the human mind very closely. [...] To do so would of course meet with great opposition, unless we have advanced greatly in religious toleration from the days of Galileo. There would be great opposition from the intellectuals who were afraid of being put out of a job. It is probable though that the intellectuals would be mistaken about this. There would be plenty to do, trying to understand what the machines were trying to say, i.e. in trying to keep one’s intelligence up to the standard set by the machines, for it seems probable that once the machine thinking method had started, it would not take long to outstrip our feeble powers. There would be no question of the machines dying, and they would be able to converse with each other to sharpen their wits. At some stage therefore we should have to expect the machines to take control, in the way that is mentioned in Samuel Butler’s "Erewhon".³

Turings sista år blev förfärliga. Vintern 1952 drabbades han av ett inbrott i hemmet, och gjorde en polisanmälan, varvid framkom misstankar (vilka visade sig vara riktiga) om att en yngling vid namn Arnold Murray, med vilken Turing haft en sexuell förbindelse, var inblandad. Homosexualitet var förbjudet, och Turing dömdes för "gross indecency" att välja mellan fängelse och det slags hormonbehandling som benämns kemisk kastrering. Han valde det senare, vilket inte slog väl ut, och den 7 juni 1954 tog han sitt liv.

Ett visst mått av postum upprättelse fick Turing då dåvarande permiärminister Gordon Brown i september 2009 kungjorde följande.

Thousands of people have come together to demand justice for Alan Turing and recognition of the appalling way he was treated. While Turing was dealt with under the law of the time and we can't put the clock back, his treatment was of course utterly unfair and I am pleased to have the chance to say how deeply sorry I and we all are for what happened to him. Alan and the many thousands of other gay men who were convicted, as he was convicted, under homophobic laws, were treated terribly. Over the years, millions more lived in fear in conviction. I am proud that those days are gone and that in the past 12 years this Government has done so much to make life fairer and more equal for our LGBT community. This recognition of Alan's status as one of Britain's most famous victims of homophobia is another step towards equality, and long overdue.

But even more than that, Alan deserves recognition for his contribution to humankind. For those of us born after 1945, into a Europe which is united, democratic and at peace, it is hard to imagine that our continent was once the theatre of mankind's darkest hour. It is difficult to believe that in living memory, people could become so consumed by hate – by anti-Semitism, by homophobia, by xenophobia and other murderous prejudices – that the gas chambers and crematoria became a piece of the European landscape as surely as the galleries and universities and concert halls which had marked out the European civilisation for hundreds of years.

It is thanks to men and women who were totally committed to fighting fascism, people like Alan Turing, that the horrors of the Holocaust and of total war are part of Europe's history and not Europe's present. So on behalf of the British government, and all those who live freely thanks to Alan's work I am very proud to say: we're sorry, you deserved so much better.

I år hedras Alan Turings minne genom firandet på bred front av Turingåret 2012. Han har ägnats flera biografier, varav Andrew Hodges Alan Turing: The Enigma är mest uppmärksammad och mycket läsvärd.

Fotnoter

1) En av de mest stimulerande kursböcker jag ställdes inför under mina civilingenjörsstudier åren kring 1990 var Kent Peterssons Beräkningsbarhet för dataloger. Denna ägnas till större delen åt att med modernare språkbruk och formalism pedagogiskt återskapa resultaten i Turings uppsats från 1936.

2) Ett datorprogram A och en människa B har att kommunicera med en människa C via något slags textinterface. C vet inte vem som är vem av A och B, och båda har till uppgift att föreställa människa på ett sätt som övertygar C. Om C inte förmår avgöra att det är A som är ett datorprogram anses A ha klarat testet och besitta intelligens på mänsklig nivå. Varje år avgörs en tävling om The Loebner Prize till det program som gör den bästa imitationen av detta slag, men på vissa håll inom AI-forskningen anses tävlingen vara som bäst irrelevant för seriös forskning.

3) Ett halvt sekel och mer därtill har förflutit utan att Turings scenario har besannats. Man kan ibland höra detta anföras som argument för att AI på mänsklig nivå är ett hopplöst företag, men jag har svårt att se kraften i det argumentet.