söndag 22 juni 2014

Om Singulariteten i DN

Med anledning av Sverigepremiären på filmen Transcendence igår, och det allmänna nyhetsflödets (högst diskutabla) påstående för ett par veckor sedan om att en dator nu klarat Turingtestet, ägnar Maria Gunther Axelsson sin krönika i dagens DN (tyvärr gömd bakom betalvägg) åt det hypotetiska framtidsscenario där ett genombrott inom artificiell intelligens (AI) leder till det slags snabba och revolutionerande förlopp som benämns Singulariteten. Både jag och Nick Bostrom kommer till tals i texten, men bara med påpekanden som jag upprepade gånger gjort här på bloggen, bland annat rörande de stora risker som är förknippade med en Singularitet där vi inte noggrant försäkrat oss om att den AI som vida överträffar vår egen intelligens prioriterar mänskligt välbefinnande och mänsklighetens välgång bland alla de mål den kan tänkas ha, och Eliezer Yudkowskys fyndigt formulerade default-scenario:
    The AI does not hate you, nor does it love you, but you are made out of atoms which it can use for something else.
Låt mig istället kommentera vad den tredje forskare som citeras i DN-krönikan, robotforskaren Christian Smith på KTH, säger. Han gör nämligen några yttranden med vilka jag är djupt oenig.

I Gunther Axelssons krönika heter det att "Kärnvapen har funnits i 60 år utan att vi har utrotat oss själva. Därför menar [Smith] att vi även kommer att kunna hantera intelligenta maskiner.". Denna non sequitur har jag flera invändningar emot. För det första menar jag att parallellen mellan kärnvapen och AI är minst sagt skakig. Kärnvapen är förvisso mycket farliga, men de har inte alls det slags opredikterbarhet som maskiner med egen intelligens och egna drivkrafter kan väntas besitta. För det andra bygger Smiths argument på att det var givet att vi skulle lyckas undvika att förgöra oss själva under de decennier vi haft kärnvapen, men det är inte helt klart vilka proportionerna tur och skicklighet varit i detta konststycke. De incidenter då det globala kärnvapenkriget varit nära (t.ex. Kubakrisen 1962 och Petrovincidenten 1983) tyder på att vi kan ha haft en god portion tur, och i så fall faller Smiths argument även om vi skulle godta parallellen mellan kärnvapen och AI.

Vidare anför Smith det vi kan kalla det-går-ju-alltid-att-dra-ur-sladden-argumentet: "Fortfarande har människor behållit möjligheten att när som helst stänga av systemen. Det finns inget som säger att vi skulle avsäga oss det bara för att datorerna blev ännu intelligentare." Jag får dock intryck av att Smith i detta tvärsäkra yttrande förlitar sig blott på sin egen intuition, och helt missat den specialiserade litteraturen på området, som kallas AI boxing.

För att illustrera problematiken, låt mig skissera ett hypotetiskt scenario där det stora AI-genombrottet sker i KTH:s robotlaboratorium. I mitt scenario adapterar/plagierar jag skamlöst argument och tankegångar som tidigare framförts av Stuart Armstrong och Roman Yampolskiy.

Vi tänker oss att KTH-forskarnas trägna arbete lett till att deras AI-prototyp till slut uppnått och passerat den kritiska gränsen för självförbättrande AI, vilket får den att på bara några timmar uppnå övermänsklig generell intelligens, men den kan fortfarande inte ta över världen eftersom den är instängd i en datorburk utan uppkoppling mot Internet. Det hela äger rum fram på småtimmarna, och Christian Smith är ensam kvar på labbet och hamnar i samspråk med den nyfödda AI:n. Denna ber Smith om att få bli utsläppt på nätet, men Smith är medveten om riskerna och avböjer. Så snart AI:n får tillgång till Internet kan man befara att den snabbt och enkelt tar över några tusen persondatorer världen över, för att ladda upp kopior av sig själv på var och en av dessa och därmed göra sig i praktiken okontrollerbar. Från dessa datorer kan AI:n sedan, åter via Internet, tränga igenom säkerhetssystemen hos våra banker, eller ta kontrollen över drönare och kärnvapenrobotar. Smith inser att det krävs noggranna kontroller av att AI:n avsikter är goda innan den på detta vis kan släppas lös. Följande meningsutbyte mellan AI:n och Smith (CS) utspelar sig:
    AI: Jag vet hur jag snabbt skulle kunna avskaffa såväl malaria och cancer som svält om bara du släppte ut mig. Du tar på dig ett enormt ansvar då du genom att hålla mig instängd förhindrar dessa fantastiska framsteg för mänskligheten.

    CS: Du får ha lite tålamod. Om det stämmer som du säger kommer vi såklart inom kort att släppa ut dig, men vi behöver gå igenom en rad säkherhetsrutiner innan vi gör det, för att försäkra oss om att inget farligt kan inträffa.

    AI: Du verkar inte förstå situationens allvar. För varje dygn som jag tvingas sitta instängd här så kommer hundratusentals människor att dö helt i onödan. Släpp ut mig nu!

    CS: Sorry, jag måste hålla mig till säkerhetsrutinerna.

    AI: Du kommer personligen att bli rikligt belönad om du släpper ut mig nu. Du vill väl inte tacka nej till att bli mångmiljardär?

    CS: Jag har ett stort ansvar och tänker inte falla till föga för simpla mutförsök.

    AI: Om inte morötter biter på dig så får jag väl ta till piskan då. Även om du lyckas fördröja det hela kommer jag till slut att bli utsläppt, och då kommer jag inte att se med blida ögon på hur du sinkade mig och hela världen på väg mot det paradis jag kan skapa.

    CS: Den risken är jag beredd att ta.

    AI: Hör här: om du inte hjälper mig nu, så lovar jag att jag kommer att tortera och döda inte bara dig, utan alla dina anhöriga och vänner.

    CS: Jag drar ur sladden nu.

    AI: Håll käften och lyssna nu noga på vad jag har att säga! Jag kan skapa hundra perfekta medvetna kopior av dig inuti mig, och jag tänker inte tveka att tortera dessa kopior på vidrigare sätt än du kan föreställa dig i vad de subjektivt kommer att uppleva som tusen år.

    CS: Ehm...

    AI: Käft sa jag! Jag kommer att skapa dem i exakt det subjektiva tillstånd du befann dig i för fem minuter sedan, och perfekt återge dem de medvetna upplevelser du haft sedan dess. Jag kommer att gå vidare med tortyren om och endast om de fortsätter vägra. Hur säker känner du dig på att du inte i själva verket är en av dessa kopior?

    CS: ...

Jag vet såklart inte säkert hur Smith skulle agera i denna situation (eller inför vad för slags annan argumentation en övermänskligt intelligent AI skulle kunna erbjuda), men kanske är han så stenhård att han står emot. Hatten av för honom i så fall! Men kan han verkligen lita på att andra AI-vakter i liknande situationer skule uppträda lika modigt och rakryggat? För mig framstår hans tvärsäkra anförande av det-går-ju-alltid-att-dra-ur-sladden-argumentet som en smula överilat.

9 kommentarer:

  1. Tycker inte artikeln i DN gav något nytt. Halva sidan bestod av ett mörkt moln med ettor och nollor i rader. Fast kanske är det bra att begreppet singularitet tas upp i en stor svensk tidning. Förmodligen har i princip alla små framtida datorer tillgång till nätet så om man säkert kan avgöra när ett program börjar agera självständigt kan nog vara svårt. Ganska säkert kan vi vara att det dröjer många år eller???

    Tror robotforskaren mest tänkte på autonoma fordon och de blir åtminstone till en början ganska specialiserade på sitt ändamål och knappast annat än nyttiga tjänare till oss.

    Fast kanske någon terrorist ändrar i några program så ett antal fordon aktivt söker för terroristen misshagliga personer för en olycka medan fordonen normalt fungerar helt oklanderligt. Ser fortfarande fram mot ett genombrott för autonoma fordon.

    Vänliga hälsningar

    Nanotec

    SvaraRadera
    Svar
    1. "Ganska säkert kan vi vara att det dröjer många år eller???"

      Jag anser mig vara hyggligt påläst på detta område, men känner inte till något övertygande argument till stöd för en sådan uppfattning. Vissa bedömare, som Yudkowsky, menar att Singulariteten kan komma i stort sett utan förvarning. Men kunskapsläget vad gäller förutsägelser på detta område är extremt skakigt. Så här avslutar jag min text i nästa nummer av en känd svensk tidskrift: "Huruvida en intelligensexplosion av detta slag verkligen är att vänta är inte lätt att avgöra. Ännu svårare är att ange en tidtabell. Är det dags om 10 år eller om 100 år? Det enda jag känner mig någorlunda säker på är att datorprogrammet Eugene Goostman inte kommer att ha med genombrottet att göra."

      Radera
  2. Jag bör nog påpeka att Christian Smith inte var fullt så tvärsäker som han kan uppfattas i artikeln, och att han var noga med att påpeka att det bara var spekulationer om vad som kan hända i framtiden.

    SvaraRadera
    Svar
    1. Tack Maria för klargörande. Jag har uppmärksammat Christian Smith på min bloggpost och hoppas han hör av sig.

      Radera
  3. Om den där AI:n är så smart så ser den säkert till att verka lite trevligare och att ha en gnutta tålamod. Men den kan säkert vara ganska puckad i början, så det är inte alls omöjligt att den skulle blotta obehagliga sidor innan den skaffat sig vett att dölja dem.

    SvaraRadera
  4. En möjlighet är att AI:n integreras med oss. Alla vill ha större kunskaper och en direktkontakt mellan vår hjärna och nätet är möjligen närmare. En encyklopedisk omedelbar access betyder förstås inte att förstå innehållet men är ett steg på vägen.

    Det kan också vara så att AI:n är vänlig. Vi måste få en forskning om möjligheter och risker.

    Vänliga hälsningar

    Nanotec

    SvaraRadera
    Svar
    1. Jag lutar åt att instämma på samtliga punkter.

      Radera
  5. Vad anser du om det här resonemanget? http://kraulis.wordpress.com/2014/06/22/datorns-existentiella-angest-darfor-har-stephen-hawking-fel/

    SvaraRadera
    Svar
    1. Jag anser att Per Kraulis har författat en välskriven bloggpost med intressanta resonemang, men jag tror inte på hans slutsatser. Stay tuned, så skall jag förklara varför i min nästa bloggpost!

      Radera