Idag firar vi Nobeldagen! Detta, och att AI står i centrum för såväl fysik- som kemipriset, uppmärksammar jag idag i tidskriften Kvartal. Min text bär rubriken Noblpristagaren som ändrade sig om AI och inleds med följande stycken:
”Att minska risken för utrotning orsakad av AI bör vara en globalt prioriterad fråga jämte andra samhällsrisker som pandemier och kärnvapenkrig.” Så lyder i sin helhet det öppna brev om existentiell AI-risk som släpptes i maj 2023, undertecknat av mer än 500 akademiker, forskare och ledare inom tekniksektorn.
Mitt eget namn finns en bit ned på undre halvan av undertecknarlistan, men på platserna 1 och 3 finner vi de båda undertecknare som vid prisutdelningsceremonin i Konserthuset i Stockholm idag den 10 december emottar sina Nobelpris ur kung Carl XVI Gustafs hand. Det handlar om fysikpristagaren Geoffrey Hinton och kemipristagaren Demis Hassabis, som både belönas för sina insatser i den revolutionerande AI-utveckling som vi idag befinner oss mitt i.
Frispråkigast av dem båda rörande AI-risk är Hinton. Våren 2023 gjorde han en helomvändning i synen på den AI-utveckling han själv bidragit så starkt till, och han steg till och med av från en lukrativ forskartjänst på Google för att därmed kunna tala mer fritt om saken. Vid presskonferensen i Stockholm den 8 oktober i år då fysikpriset offentliggjordes var han med via telefon och sade sig vara bekymrad över att den yttersta konsekvensen av hans och andra AI-forskares landvinningar kan bli skapandet av AI-system som är ”mer intelligenta än vi, och som slutligen tar kontrollen”.
Jämfört med Hinton är Hassabis oftast mer återhållsam med att kommentera detta ämne, men de har alltså båda skrivit under på att risken finns att AI-tekniken utplånar Homo sapiens. En dag som denna är detta ställningstagande extra pikant i och med att det i Alfred Nobels testamente heter att priset som bär hans namn ska tilldelas dem som ”gjort mänskligheten den största nytta”.
Läs resten av texten här, utan betalvägg, för att få reda på mer om intrigspelet som lett fram till den ohyggligt farliga situation vi nu befinner oss i, plus lite grand om plaskandet i den svenska ankdammen. Persongalleriet är omfattande, och inkluderar utöver de ovan nämnda även Shane Legg, Mustafa Suleyman, John Jumper, Larry Page, Elon Musk, Walter Isaacson, Sam Altman, Dario Amodei, Helen Toner, Carl-Henric Svanberg, Erik Slottner, Yoshua Bengio och Ilya Sutskever.
Det är ännu bara torsdag, men ändå har mer hänt denna vecka i fråga om statliga och mellanstatliga AI-politiska initiativ än vi normalt ser på... jag vet inte ens vad jag skall klämma till med för tidsrymd här, för det politiska intresset för AI-frågor är ju så nyvaket att det inte finns något steady state att relatera ordet "normalt" till. De två stora händelser jag har i åtanke är följande.
Igår och idag: Den första globala AI Safety Summit, på Bletchley Park och med Storbritanniens prämiärminister Rishi Sunak som initiativtagare och värd, samt deltagande såväl av toppolitiker (med Kamala Harris och Ursula von der Leyen i spetsen) som av AI- och teknikbranschprofiler (Yoshua Bengio, Geoffrey Hinton, Sam Altman, Elon Musk, ...).
Redan igår, på Bletchley Park-mötets första dag, släppte de sin Bletchley Declaration, undertecknad av företrädare för EU, USA, Kina, Indien, Storbritanninen och en rad andra länder, och med formueringar som denna:
There is potential for serious, even catastrophic, harm, either deliberate or unintentional, stemming from the most significant capabilities of [frontier] AI models. Given the rapid and uncertain rate of change of AI, and in the context of the acceleration of investment in technology, we affirm that deepening our understanding of these potential risks and of actions to address them is especially urgent.
I Bidens presidentorder finns tal om krav på...
companies developing any foundation model that poses a serious risk to national security, national economic security, or national public health and safety must notify the federal government when training the model, and must share the results of all red-team safety tests. These measures will ensure AI systems are safe, secure, and trustworthy before companies make them public,
där jag gärna vill tänka mig att "national security, national economic security, or national public health and safety" är ett slags placeholder för "existential risk to humanity" som ännu inte riktigt får plats inom Overtonförnstret på denna politiska nivå.
Fastän båda dokumenten är utspädda med tal om AI-frågor av jämförelsevis sekundär betydelse, och fastän det i båda fallen inte handlar om något med status av reglering eller bindande avtal utan blott avsiktsförklaringar och storstilade ambitioner, så ser jag de ovan citerade formuleringarna som ett bevis på hur otroligt långt vi under 2023 har lyckats flytta Overtonförnstret för publika AI-diskussioner, där jag menar att de båda öppna brev jag i våras var med och undertecknade (det som organiserades av FLI i mars och det av CAIS i maj) har haft en icke oväsentlig betydelse. Trots den remarkabelt snabba omsvängningen i diskussionsklimatet känner jag ändå en kvardröjande oro om att det kanske inte går snabbt nog för att hinna avvärja katastrof, men en vecka som denna kan jag inte annat än känna mig gladare och hoppfullare än veckan innan.
Jag har inte hunnit smälta dokumentens innehåll tillräckligt för att kommentera dem mer i detalj, men vad gäller Bidens presidentorder har den ständigt läsvärde och gedigne Zvi Mowshowitz varit snabbt på plats med två utförliga texter som jag i stora drag är böjd att instämma i: On the executive order och Reactions to the executive order. Om jag känner honom rätt så kan vi inom någon dag eller två vänta oss en ungefär lika ambitiös reaktion från honom på Bletchley-deklarationen.
Jag vill passa på att nämna att jag som engagerad åskådare till Bletchley Park-mötet gjort min stämma hörd i ett par sammanhang:
Jag finns också med bland undertecknarna till ännu ett öppet brev - Urging an International AI Treaty: An Open Letter - och precis som med de två ovan nämnda breven är det även denna gång många prominenta namn jag har nöjet att samsas med.
I höstas besökte jag P4 Göteborgs förmiddagsprogram tregångerinom loppet av en månad. Därefter följde några månaders radiotystnad1 för min del, men idag var jag tillbaka i studion hos Stefan Livh; vårt samtal börjar vid pass 1:44:50 in i programmet och pågår till cirka 2:10:05.
Ämnet för dagen var AI (artificiell intelligens), och mer specifikt den AI-programvara kallad GPT-2 som i torsdags offentliggjordes av det San Francisco-baserade icke-kommersiella företaget OpenAI, vilket drogs igång 2015 med pengar från bl.a. Elon Musk, och har som uttalat mål att driva AI-utvecklingen i en riktning som gynnar mänskligheten som helhet. I huvudsak är GPT-2 ett generellt textgenereringsprogram som, givet en eller ett par korta inledningsfraser från användaren, fortsätter texten på egen hand. Dess häpnadsväckande förmåga att ansluta till genre, tonfall och sakinnehåll framgår av en rad konkreta exempel.
Lite på tvärs mot hur de tidigare brukat göra har OpenAI valt att inte släppa GPT-2 fri, av oro för hur den skulle kunna komma att användas för dåliga syften: den förefaller idealisk för massproduktion av fake news, och det är lätt att föreställa sig hur dess teknik kan kombineras med något i stil med Google Duplex för att skapa allt bedrägligare imitationer av människor. Genom att ändå offentliggöra sitt framsteg säger sig OpenAI skänka samhället åtminstone ett visst mått av förvarning och handlingsutrymme innan det troligtvis oundvikliga sker - att andra AI-utvecklare lanserar liknande program med motsvarande eller bättre prestanda. För min del tror jag att det är viktigt att inte stanna vid att diskutera vad dessa programvaror förmår göra idag. Vi bör försöka blicka lite längre än så, för det är knappast troligt att teknikutvecklingen nu hux flux skulle ha kommit till vägs ände.
Mer om GPT-2 kan läsas bland annat i Wired och The Guardian, men överlag är mediarapporteringen tunnare än väntat. I Sverige är det ännu så vitt jag kunnat finna bara Ny Teknik (och nu som sagt P4 Göteborg) som uppmärksammat genombrottet.
Med anledning av Elon Musks senaste utspel om hur artificiell intelligens (AI) kan utgöra ett hot mot mänskligheten sände Sveriges Radios Studio Ett idag ett knappt tolv minuter långt inslag om saken, med start cirka 1:18:45 in i programmet. Medverkade i inslaget gjorde jag och AI-forskaren Fredrik Heintz, som jag faktiskt uppträtt tillsammans med i P1 en gång tidigare.
En del blev sagt om behovet av att beakta säkerhet och risker, men inslaget hade kunnat bli betydligt bättre om programmakarna varit mer professionella såväl redaktionellt (diskussionen framstod som tämligen ostrukturerad och oförberedd från deras sida) som tekniskt (programteknikerna avböjde mitt förslag om att i förväg prova de olika möjligheter till uppkoppling jag har här ute i den obygd där jag just nu råkar befinna mig, ett beslut som fick uppenbara konsekvenser i programinslaget). Dessutom tycker jag att Fredrik avslutade det hela snudd på ovärdigt genom att reducera perspektivet på denna viktiga och för mänskligheten kanske avgörande fråga från det globala till ett snävt nationellt övervägande om att Sverige behöver skärpa sig för att hänga med i utvecklingen. Jag får trösta mig med att programledaren i alla fall gjorde lite relkam för min bok Here Be Dragons.
Det är något med den här bilden som håller mig kvar. Kanske kattens lugn och mjukhet i kontrast med astronautens brådska och raketens hårdhet. Men helt klart också bildens antydan om att den fysiska verklighet vi tycker oss leva i inte är den fundamentala, att det finns en högre verklignet vars invånare kan kika ned på oss som i en låda.
Idén är inte ny. Den dyker upp i många sammanhang, från de stora världsreligionerna till populärkulturella filmer som The Matrix och The Truman Show. Den har emellertid haft svårt att vinna acceptans såsom seriös hypotes värdig vetenskapligt studium.
Det sistnämnda har emellertid börjat luckras upp en liten smula på senare år, mest tack vare filosofen Nick Bostroms så kallade simuleringsargument, som han presenterade i sin uppsats Are you living in a computer simulation i tidskriften Philosophical Quarterly 2003, och som sedan dess tilldragit sig en del uppmärksamhet. Jag skriver mycket om Bostroms olika arbeten i min senaste bok Here Be Dragons: Science, Technology and the Future of Humanity, men just simuleringsargumentet tar jag inte upp annat än som allra hastigast, i en fotnot på sidan 151. I min föregående bok Riktig vetenskap och dåliga imitationer från 2008 ägnar jag däremot simuleringsargumentet en längre diskussion på sidorna 126-128:
Bostrom konstaterar [...] att om vi - den mänskliga civilisationen - överlever de faror som lurar det närmaste århundradet eller så, så kommer den teknologi vi (eller de robotar som eventuellt efterträder oss) då förfogar över att vara närmast ofattbart mer avancerad än den vi har idag. Bland annat kommer vi att ha tillgång till praktiskt taget outtömlig datorkraft. Framtidens historiker kan väntas vara mycket intresserade av vad som egentligen hände de där kritiska årtiondena som föregick "det stora teknologiska språnget". De kommer att använda delar av den enorma datorkraften till att göra omfattande och detaljerade datorsimuleringar av vad som egentligen hände då, och dessa simuleringar kommer att vara så verklighetstrogna att de virtuella människor som befolkar dem får medvetanden, så som vi själva. Men tack vare att så ofantligt många sådana datorsimuleringar genomförs, så överstiger det antal virtuella människor genom historien som tror sig leva år 2007 vida det antal om knappt 7 miljarder människor som verkligen upplevde (originalversionen av) 2007. Och därför är det långt troligare att vi hör till de virtuella människorna i dessa datorsimuleringar än att vi utgör originalen. Vi lever alltså i the Matrix.
Man kan spekulera vidare kring detta scenario. Varför skulle det vara förbehållet professionella historiker att köra dessa simuleringar?
Nog kunde det bli ett populärt nöje, åtminstone bland lagom nördigt inriktade personer, att i sina datorer upprepa historien, eller ännu hellre
se hur den hade utvecklats då förutsättningarna varieras på olika sätt? Kanske Gud egentligen är en pubertetsfinnig 15-åring anno 2243 som kommit att fundera över det otroligt jämna amerikanska presidentvalet år 2000 och över vad som egentligen hade kunnat hända om den där religiöse och halvt imbecille alkoholisten till motkandidat faktiskt hade vunnit?
[...]
Bostroms uppsats kan förstås som att han inte blott hävdar att det är möjligt att vi lever i the Matrix, utan rentav att det är ytterst troligt. Och även om jag inte kan slå fast att han har fel, så går det att peka på ett antal obevisade antaganden
som hans resonemang hänger på. (Av de följande pekar Bostrom själv på de första två, medan han däremot inte säger något om det tredje.)
För det första behöver det, som Bostrom själv påpekar, föreligga en icke-försumbar sannolikhet att vi - den mänskliga civilisationen - lyckas nå den tänkta teknologiska nivån innan vi förgör oss själva. Jag vill gärna tro att så är fallet, men om man skall vara realistisk så framstår
det som en vidöppen fråga. [...] För det andra förutsätter Bostroms argument den så kallade datorteorin för medvetande, som säger att fenomenet medvetande inte är beroende av något specifikt slags materiellt medium för att kunna uppstå, så att t.ex. kisel kan gå lika bra som kött och blod; detta behövs för att datorsimuleringarnas virtuella människor skall erhålla medvetanden. Åter har vi att göra med en vidöppen fråga. Och för det tredje bygger Bostroms sannolikhetsargument på det implicita antagandet att det existerar en mekanism enligt vilken "vi"
- de medvetna varelser du och jag råkar finna oss identiska med - väljs ut på måfå enligt likformig fördelning bland alla medvetanden i universum. Vad som skulle ligga bakom en sådan mekanism har jag svårt att se, men vem vet?
Under de år som passerat sedan jag skrev dessa rader har jag kommit att se något mer positivt på simuleringsargumentet och tanken att vi faktiskt bor i en datorsimulering. Ja, argumentet vilar alltjämt på obevisade premisser, men detta gör det inte irrelevant för frågan om världens yttersta beskaffenhet. Inte så att jag tror att vi bor i en datorsimulering, men idén synes mig långt ifrån orimlig. Den mer allmänna tanken att det skulle existera en högre verklighet än den fysiska som vi upplever, och att det skulle kunna finnas en skapare och en avsikt bakom vårt världsallt, ter sig därmed inte heller orimlig. Detta har lett till en förskjutning i min syn på religion. Tanken på en skapare går inte längre lika lätt att utan vidare avfärda, även om jag fortfarande finner andra delar av det kristna (för att nu nämna den religion jag råkar vara närmast bekant med) tankegodset lika orimligt som tidigare: evidentiellt ogrundade och fullkomligt godtyckliga bisarrerier om äpplen, ormar och jungfrufödslar, om en hämndlysten Gud som håller sig med detaljerade föreskrifter om vad samtyckande vuxna människor får lov att företa sig bak sovrummets dörrar, och om hur vår väg till evigt liv går via det bestialiska ihjältorterandet av en man i 30-årsåldern för snart 2000 år sedan.
Men är inte tanken på att vi kanske bor i en datorsimulering djupt oroande? Är det inte fasansfullt att tänka sig att hela det som vi uppfattar som vår värld och vår tillvaro bara är på låtsas? Njae, inte så farligt, har jag varit böjd att svara på dessa frågor, och ansluta mig till den uppfattning som David Chalmers försvarar i sin utomordentligt läsvärda uppsats The Matrix as metaphysics, att även om det skulle existera en högre verklighet relativt vilken vår tillvaro och vår värld spelar rollen av en datorsimulering, så ändrar inte den saken på det faktum att våra liv och vår värld är verkliga.
We need to ask what proportion of the conscious AIs (at least the ones relevantly epistemically indistinguishable from us) live in large, stable sims, and what proportion live in small or unstable sims?
I see no reason here for high levels of optimism. Maybe the best way for the beings at the base level of reality to create a sim is to evolve up billions or quadrillions of conscious entities in giant stable universes. But maybe it's just as easy, just as scientifically useful or fun, to cut and paste, splice and spawn, to run tiny sims of people in little offices reading and writing philosophy for thirty minutes, to run little sims of individual cities for a couple of hours before surprising everyone with Godzilla. It's highly speculative either way, of course! That speculativeness should undermine our confidence about which way it might be.
If we're in a sim, we probably can't know a whole lot about the motivations and computational constraints of the gods at the base level of reality. (Yes, "gods".) Maybe we should guess 50/50 large vs. small? 90/10? 99/1? (One reason to skew toward 99/1 is that if there are very large simulated universes, it will only take a few of them to have the sims inside them vastly outnumber the ones in billions of small universes. On the other hand, they might be very much more expensive to run!)
If you/I/we are in a small sim, then some version of radical skepticism seems to be warranted. The world might be only ten minutes old. The world might end in ten minutes. Only you and your city might exist, or only you in your room.
Detta snuddar vid den mardröm som benämns Boltzmannhjärnor, och som vore väldigt skön att kunna avfärda som overklig. Scott Aaronson, som i sin underbart infallsrika uppsats The ghost in the quantum Turing machine tar upp Bolzmannhjärneproblemet (som en bland en rad andra frågor av jämförbart bråddjup) utifrån ett perspektiv som påminner om Bostroms simuleringsargument, och föreslår en väg ut ur mardrömmen - en väg som jag dessvärre finner en smula långsökt och lam. Eller döm själva!
Elon Musk säger sig vara nästan bombsäker på att vi bor i en datorsimulering. Få andra uttrycker denna ståndpunkt så tvärsäkert, men frågan finns idag på den filosofiska och vetenskapliga agendan på ett helt annat sätt än för 15 år sedan. Dess ökade legitimitet manifesterades tidigare i år i hur den togs som tema för 2016 års upplaga av den så kallade Isaac Asimov Memorial Debate - en paneldiskussion på American Museum of Natural History i New York. Panelens samlade vetenskapliga kompetens var blytung, eller vad sägs om följande namn: David Chalmers, Zohreh Davoudi, James Gates, Lisa Randall, Max Tegmark och Neil deGrasse Tyson (moderator). Och diskussionen blev klart sevärd!
Elon Musk är inte vilken high tech-entreprenör och miljardär som helst. Hans unika inställning framgår av en intervju med TV-profilen Stephen Colbert för ett par år sedan:
Colbert: You recently made all the patents for Tesla available for everybody, basically saying you’re not going to prosecute people if they use your patented technology. Why are you giving away the store like that?
Musk: I’m not sure of the right analogy exactly but I sort of view it like this: If we’re all in a ship together and there’s some holes in the ship, and we’re bailing water out and we have a great design for a bucket, then even if we’re bailing water out way better than everybody else we should probably still share the bucket design... because we’re all going to sink.
When Musk announced in 2014 that Tesla would open-source all of its patents, analysts tried to decide whether this was a publicity stunt or if it hid an ulterior motive or a catch. But the decision was a straightforward one for Musk. He wants people to make and buy electric cars, Man's future, as he sees it, depends on this. If open-sourcing Tesla's patents means other companies can buid electric cars more easily, then that is good for mankind, and the ideas should be free. The cynic will scoff at this, and understandably so. Musk, however, has been programmed to behave this way and tends to be sincere when explaining his thinking - almost to a fault. (s 344-345)
Vances bok är fascinerande läsning. Huvuddelen av den handlar om uppbyggnaden av de båda företag som nämns i bokens undertitel: SpaceX och Tesla. Länge får jag som läsare känslan att av dessa båda är Tesla det klart mer intressanta, genom att gå i spetsen för en revolution i bilindustrin där bensinen och kanske även förbränningsmotorn förhoppningsvis snart är ett minne blott. De framsteg SpaceX gjort framstår inte som lika omedelbart handfasta: visserligen har kostnaden för att lyfta satelliter till omloppsbana pressats kraftigt, men vad är det egentligen som är så revolutionerande med att ett privat företag gör saker som stater har gjort i många årtionden? Så småningkom klarnar dock bilden att det inte är de konkreta resultat, om än imponerande, som SpaceX hittills uppnåt som är det riktigt revolutionerande, utan ambitionerna för framtiden. Rymdindustrin har länge tett sig stagnerande och med flagnande ambitioner, något som kan illustreras med xkcd:s lite dystra diagram över antalet personer som satt sin fot på Månen, men Musk tillför branschen nytt liv och nya visioner. Han är inte blyg med sitt storslagna mål på sikt: att skapa en permanent och självförsörjande koloni på Mars. Vitsen med att kolonisera Mars är, enligt Musk, framför allt att göra mänskligheten mer robust mot globala katastrofer. Om någon katastrof inträffar som tar död på alla människor på Jorden, så skulle existensen av en permanent koloni på Mars innebära en andra chans för mänskligheten att uppnå en blomstrande framtid.
Varken SpaceX eller Tesla är alltså tillkomna för att tjäna pengar, utan för att skapa teknologier som gör världen bättre. Detsamma gäller Musks tredje företag SolarCity, liksom hans nyare spektakulära påfund Hyperloop , om vilket Wikipedia förtäljer:
The Hyperloop is a conceptual high-speed transportation system originally put forward by Elon Musk, incorporating reduced-pressure tubes in which pressurized capsules ride on an air cushion driven by linear induction motors and air compressors.
The outline of the original Hyperloop concept was made public by the release of a preliminary design document in August 2013, which included a notional route running from the Los Angeles region to the San Francisco Bay Area, paralleling the Interstate 5 corridor for most of its length. Preliminary analysis indicated that such a route might obtain an expected journey time of 35 minutes, meaning that passengers would traverse the 350-mile (560 km) route at an average speed of around 600 mph (970 km/h), with a top speed of 760 mph (1,200 km/h). Preliminary cost estimates for the LA–SF notional route were included in the white paper - US$6 billion for a passenger-only version, and US$7.5 billion for a somewhat larger-diameter version transporting passengers and vehicles - although transportation analysts doubted that the system could be constructed on that budget.
Det visade sig omöjligt för mig att läsa Vances bok utan att erfara ett visst mått av idolisering av Musk (och av Tesla Model S - det kommer troligen inte att hända, men inte sedan 12-årsåldern har jag varit mer sugen än idag på att köpa bil). Detta trots att en del mindre tilltalande sidor (jämte hans uppenbart goda sidor, som hans skarpsinne, hans enorma driv och hans engagemang för mänskligheten) hos honom kommer fram i boken, som de extremt höga krav han ställer på sina medarbetare, och det osentimentala och ibland direkt förnedrande sätt han kan behandla dem som han bedömer inte hålla måttet.
Jag nämner i min bok Here Be Dragons: Science, Technology and the Future of Humanity tanken om rymdkolonisering som ett slags livförsäkring för mänskligheten, och jag är i princip positiv, åtminstone till att vi lägger en del kraft på att undersöka saken närmare.1 Låt mig här nöja mig med spekulationen att medan Musks plan på en Marskoloni kan fungera som sådan livförsäkring mot vissa slags globala katastrofer, så finns det andra som den inte lika uppenbart biter på, inklusive den som Musk förefaller frukta allra mest: en robotrevolution eller liknande katastrof i samband med ett genombrott inom artificiell intelligens (AI).2 Jag föreställer mig att om en illasinnad nyfödd super-AI på Jorden bestämmer sig för att göra sig av med mänskligheten, så kommer det att vara en barnlek för den att slå till mot Marskolonin genom att t.ex. via dess uppkoppling mot Internet (för en sådan kommer väl rimligtvis att finnas?) infiltrera denna digitalt. Ett alternativt scenario är att AI:n bestämmer sig för att attackera Marskolonin med hjälp av rymdraketer. Detta kan ge kolonin några månaders respit från katastrofen på Jorden tills dess att den militära attacken når fram till Mars, och även om jag finner denna variant något mindre sannolik så tror jag att den skulle lämpa sig ypperligt för en Hollywoodfilm, särskilt om den fiktive kraftfulle gurvernören för kolonin får namnet Elon Musk.
Fotnoter
1) Så här skriver jag på s 248-249:
A planet-sized catastrophe of one sort or another (see Chapter 8) may wipe out humanity - unless some of us live in self-sustaining space colonies. This all seems to suggest that space colonization should be a research priority, but that conclusion may be overly hasty, missing the crucial point that great downside dilemmas are not the only possible reason to abstain from a given technology. Another reason might be that the technology is so costly that, compared to pursuing other
research directions, it would be money not well spent. The energy cost of lifting matter (such as ourselves, our machines, or raw materials) from the Earth or some other planet into space is large, possibly to the extent of making large scale space colonization prohibitively expensive until the day we master self-replicating probe technology as in the Armstrong-Sandberg scenario outlined in Section 9.3.
2) Se Kapitel 4 i Here Be Dragons för en närmare behandling av radikala scenarier i samband med ett sådant genombrott.
I CNET:s rapportering om priset medger ITIF:s talesperson Rob Atkinson att det kan se en smula underligt ut att ge ett sådant pris till Musk, då denne är "the antithesis of a Luddite", men han menar att Musk ändå "is giving aid and comfort to the Luddite community". Underligast av allt är emellertid att Atkinson, att döma av CNET:s rapportering, hävdar att det är en fråga om tonfall:
"It's not inappropriate to raise the issue that AI be developed in a safe and responsible way," said Atkinson. "The problem is their tone scares people."
Med andra ord: varna gärna för en eventuell kommande AI-katastrof i vilken mänskligheten går under, men se till att göra det i ett tonfall som säkerställer att folk inte blir rädda!
Ludditerna eller maskinstormarna var en samhällsrörelse bland engelska arbetare som under det tidiga 1800-talet protesterade, ofta genom att förstöra textilmaskiner, mot den industriella revolutionens förändringar, som de kände hotade deras arbeten. Rörelsen, som startade 1811, var uppkallad efter en troligtvis fiktiv ledare, Ned Ludd. [...]
På senare tid används termerna luddism och luddit eller neo-luddism och neo-luddit synonymt med någon som motsätter sig teknikens och teknologins utveckling på grund av de kulturella förändringar utvecklingen för med sig.
2) Därför är jag naturligtvis extra glad åt hur Jonathon Keats, i sin recension i New Scientist av min bok, skriver att min "sense of caution is profound, heartfelt and free of Luddite polemic: it’s a stimulating attempt to balance the pursuit of breakthroughs with old-fashioned humility".
Det känns som att vi det senaste året eller så upplever något av ett publikt genombrott för en av de viktigaste framtidsfrågor jag dryftat här på bloggen: vad kan vi vänta oss av ett (eventuellt) genombrott inom artificiell intelligens (AI), och hur minimerar vi risken att det leder till vår undergång? Inte så att frågan nått den grad av närvaro i offentlig diskussion som den förtjänar, något i nivå med klimatfrågan eller så, men en hel del har i alla fall hänt:
Som grädde på moset har vi dessutom fått ett par nya Hollywoodfilmer om saken. Att stora amerikanska filmer tar upp farorna med ett AI-genombrott är inte något nytt (2001 - ett rymdäventyr från 1968 och Terminator från 1984 är bara ett par av de mest kända exemplen), men att de nu kommer så tätt ser jag som ett tecken i tiden. Transcendence, som hade premiär förra våren, var dessvärre inte särskilt lyckad, men Chappie, som haft premiär denna månad både i USA och i Sverige, är betydligt bättre!
Som framgår av traliern rör det sig om en våldsspäckad actionfilm, och för den som inte är allergisk mot genren fungerar den utmärkt. Den uppvisar visserligen en del brister i handlingens logik (liksom en hel del fyrkantighet i karaktärsbeskrivningarna; särskilt tråkigt är att se Sigourney Weaver göra en så eländig roll), men det hör ju till genren och går helt klart att överse med, och filmen förfaller aldrig till samma man-vill-sjunka-genom-biostolen-tramsighet som Transcendence. Den utspelar sig i en nära framtid (Johannesburg, 2016), och den halvt dystopiska miljöbeskrivningen är riktigt läcker. Viktiga AI-teman som behandlas är autonomt lärande, svårförutsägbarheten i genombrottets konsekvenser, och betydelsen av att maskinen utrustas med (eller tillägnar sig) god etik. Filosofiskt tar filmen tydligt ställning för the computational theory of mind, och vi får bekanta oss med idén om uppladdning av medvetande och den åtföljande möjligheten att ta backupkopior av oss själva. Frågorna behandlas inte särskilt djupt, och visst kan man kritisera framställningen av roboten Chappie som överdrivet antropomorf, men, hey, det här är faktiskt en hollywoodsk actionfilm, så vad kan man egentligen begära? Mitt helhetsbetyg på filmen blir klart positivt.
