Ludditer med tråkigt tonfall?

I P1:s myspysprogram Spanarna i fredags kunde vi höra Per Naroskin kåsera kring frågor om framtida utveckling inom artificiell intelligens. Hans inslag (som börjar cirka 30:45 in i programmet) bjuder inte på några djupare insikter, men är ändå värt att lyssna på. Som utgångspunkt tar han det Luddit-pris som en tankesmedja vid namn Information Technology & Innovation Foundation (ITIF) givit till Elon Musk och Stephen Hawking med flera, för att dessa uttryckt oro över en tänkbar utveckling där ett genombrott inom artificiell intelligens leder till katastrof och i värsta fall mänsklighetens undergång. För den som känner till vad ordet luddit¹ betyder kan det synas mäkta underligt att förknippa Elon Musk (mannen bakom bl.a. SpaceX, PayPal och Tesla Motors) med den sortens teknikfientlighet. Jag känner mig personligen en smula upprörd över priset, eftersom jag i min nya bok Here Be Dragons fäster stor vikt vid samma slags scenarier som Musk och Hawking tar upp, samtidigt som jag ogärna vill förknippas med luddism.²

I CNET:s rapportering om priset medger ITIF:s talesperson Rob Atkinson att det kan se en smula underligt ut att ge ett sådant pris till Musk, då denne är "the antithesis of a Luddite", men han menar att Musk ändå "is giving aid and comfort to the Luddite community". Underligast av allt är emellertid att Atkinson, att döma av CNET:s rapportering, hävdar att det är en fråga om tonfall:

"It's not inappropriate to raise the issue that AI be developed in a safe and responsible way," said Atkinson. "The problem is their tone scares people."

Med andra ord: varna gärna för en eventuell kommande AI-katastrof i vilken mänskligheten går under, men se till att göra det i ett tonfall som säkerställer att folk inte blir rädda!

Fotnot

1) Wikipedia sammanfattar:

Ludditerna eller maskinstormarna var en samhällsrörelse bland engelska arbetare som under det tidiga 1800-talet protesterade, ofta genom att förstöra textilmaskiner, mot den industriella revolutionens förändringar, som de kände hotade deras arbeten. Rörelsen, som startade 1811, var uppkallad efter en troligtvis fiktiv ledare, Ned Ludd. [...]

På senare tid används termerna luddism och luddit eller neo-luddism och neo-luddit synonymt med någon som motsätter sig teknikens och teknologins utveckling på grund av de kulturella förändringar utvecklingen för med sig.

2) Därför är jag naturligtvis extra glad åt hur Jonathon Keats, i sin recension i New Scientist av min bok, skriver att min "sense of caution is profound, heartfelt and free of Luddite polemic: it’s a stimulating attempt to balance the pursuit of breakthroughs with old-fashioned humility".

Ett välkommet nytillskott i det svenska bloggutbudet

Uppsalafysikern Ulf Danielsson har startat en blogg, där han frikostigt och i samma läsarvänliga stil som vi lärt oss att känna igen från hans böcker delar med sig av sina kunskaper inom fysik, astronomi och angränsande områden. Jag rekommenderar den varmt!

Sina båda första bloggposter skrev Ulf i mitten av juli i samband med rymdfarkosten New Horizons passage av Pluto och bilderna därifrån. Bilder på himlakroppar i vårt solsystem är ett ämne han också återkom till några veckor senare, då NASA hade offentliggjort sina underbara bilder av jorden och månen tagna från Lagrangepunkten L1; se bilden nedan. Därutöver har Ulf i seprata bloggposter hunnit behandla ämnen som Gud och multiversum, Obamas senaste klimatutspel, artificiell intelligens,¹ relativitetsteori och Stephen Hawkings nära förestående besök i Stockholm. Sin nyfunna(?) talang för att formulera fyndiga klickbeten visar han med bloggposten Universums död och universitetens ansvar, som visserligen är utmärkt intressant men som inte alls tar upp frågan om universitetens ansvar för att rädda universum från att dö.

Fotnot

1) Här tar Ulf avstamp i samma aktuella Forskning och Framsteg-artikel som jag själv skrev om häromdagen, men redovisar en syn på artificiell intelligens som avviker en del från min. Det får bli ett rejält test på den argumentativa kraften i min kommande bok Here Be Dragons om denna kan rubba hans uppfattning en smula - hursomhelst är jag smickrad över att han skriver att han "ser mycket fram emot att läsa den".

Färska föredrag av Bostrom och Hawking om de potentiella följderna av ett AI-genombrott

Jag har ofta här på bloggen skrivit om riskerna med ett genombrott inom artificiell intelligens (AI). Ett ständigt återkommande namn jag brukar hänvisa till i detta sammanhang är filosofen och futurologen Nick Bostrom. Till den läsare som fram till nu har stått emot dessa källhänvisningar vill jag enträget rikta uppmaningen att ta del av följande färska och helt strålande TED-föredrag, där han på mindre än 17 minuter lägger fram sina centrala tankegångar om problemet och vad vi kan göra åt det.

Nästan samtidigt har fysikern Stephen Hawking levererat ett föredrag på liknande tema, med liknande slutsatser och i samma format, inom ramen för Googles svar på TED: Zeitgeist.

Båda föredragen är värda att se och höra, men för den som bara har tid med ett av dem tvekar jag inte att rekommendera Bostroms, då Hawking inte riktigt når upp till Bostroms nivå vare sig i fråga om uppenbar expertis inom AI-futorologi eller (av förklarliga skäl) om karismatisk framställningskonst.

Chappie!

Det känns som att vi det senaste året eller så upplever något av ett publikt genombrott för en av de viktigaste framtidsfrågor jag dryftat här på bloggen: vad kan vi vänta oss av ett (eventuellt) genombrott inom artificiell intelligens (AI), och hur minimerar vi risken att det leder till vår undergång? Inte så att frågan nått den grad av närvaro i offentlig diskussion som den förtjänar, något i nivå med klimatfrågan eller så, men en hel del har i alla fall hänt:

Nick Bostroms bok Superintelligence, som är den enligt min mening bästa som skrivits om ämnet, utkom i somras och har fått en hel del uppmärksamhet, liksom ett par utspel från fysikerstjärnorna Max Tegmark och Stephen Hawking. När superentreprenören Elon Musk (om än något mindre välartikulerat) höjde rösten i samma ärende nådde det så långt som till serien Dilbert. I Sverige har saken uppmärksammats bl.a. i Sveriges Radio, i DN och i Filter.

Som grädde på moset har vi dessutom fått ett par nya Hollywoodfilmer om saken. Att stora amerikanska filmer tar upp farorna med ett AI-genombrott är inte något nytt (2001 - ett rymdäventyr från 1968 och Terminator från 1984 är bara ett par av de mest kända exemplen), men att de nu kommer så tätt ser jag som ett tecken i tiden. Transcendence, som hade premiär förra våren, var dessvärre inte särskilt lyckad, men Chappie, som haft premiär denna månad både i USA och i Sverige, är betydligt bättre!

Som framgår av traliern rör det sig om en våldsspäckad actionfilm, och för den som inte är allergisk mot genren fungerar den utmärkt. Den uppvisar visserligen en del brister i handlingens logik (liksom en hel del fyrkantighet i karaktärsbeskrivningarna; särskilt tråkigt är att se Sigourney Weaver göra en så eländig roll), men det hör ju till genren och går helt klart att överse med, och filmen förfaller aldrig till samma man-vill-sjunka-genom-biostolen-tramsighet som Transcendence. Den utspelar sig i en nära framtid (Johannesburg, 2016), och den halvt dystopiska miljöbeskrivningen är riktigt läcker. Viktiga AI-teman som behandlas är autonomt lärande, svårförutsägbarheten i genombrottets konsekvenser, och betydelsen av att maskinen utrustas med (eller tillägnar sig) god etik. Filosofiskt tar filmen tydligt ställning för the computational theory of mind, och vi får bekanta oss med idén om uppladdning av medvetande och den åtföljande möjligheten att ta backupkopior av oss själva. Frågorna behandlas inte särskilt djupt, och visst kan man kritisera framställningen av roboten Chappie som överdrivet antropomorf, men, hey, det här är faktiskt en hollywoodsk actionfilm, så vad kan man egentligen begära? Mitt helhetsbetyg på filmen blir klart positivt.

Om evolution, drivkrafter och artificiell intelligens - ett svar till Per Kraulis

Singulariteten - det hypotetiska framtidsscenario där ett genombrott inom artificiell intelligens (AI) leder till en extremt snabbt eskalerande spiral av allt intelligentare maskiner med genomgripande konsekvenser för hela vår värld - har jag skrivit en hel del om här på bloggen. Än så länge är emellertid diskussioner om Singulariteten i stort sett frånvarande i mainstreammedia och den allmänna debatten. Böcker som James Millers Singularity Rising och James Barrats Our Final Invention har inte förmått ändra på detta mer än högst marginellt, och frågan är om vi kan hoppas på mer av Nick Bostroms länge emotsedda Superintelligence, som utkommer denna sommar. DN:s vetenskapsredaktör Maria Gunther Axelsson tog, som jag berättade i min förra bloggpost, ett litet steg i riktning mot att väcka det allmänna medvetandet i frågan, genom att i förrgår ägna en DN-krönika (dock dessvärre gömd bakom betalvägg) åt ämnet.

En person vars intresse för frågan Gunther Axelsson lyckades väcka är bloggaren Per Kraulis, som med sin bloggpost Datorns existentiella ångest: Därför har Stephen Hawking fel ventilerar sin skepsis mot det slags katastrofscenarier som diskuteras i den aktuella DN-texten och i en artikel i The Independent den 1 maj i år av Stephen Hawking och tre medförfattare. Kraulis invändning går ut på att dessa scenarier förutsätter att AI-maskinen har drivkrafter att "hålla sig själv vid liv, föröka sig och ta över", drifter som följer naturligt ur biologisk evolution, men som (enligt Kraulis) knappast kommer att föreligga hos en AI. I DN-krönikan citeras jag med en formulering som innehåller passagen "du är uppbyggd av atomer som [AI-maskinen] kan ha annan användning för",¹ vilken Kraulis kritiserar med följande stycken.

Den springande punkten här är orden ”kan ha en annan användning för”. Jag ställer mig frågan: Vem, eller vad, bestämmer denna användning, detta syfte? För en maskin är det alltid maskinens design som avgör vad den ”strävar” efter. Det är konstruktören, det vill säga, vi människor, som avgör det. Det finns inga maskiner som själva kan formulera syften, önskemål eller värderingar. Det finns, mig veterligen, inte ens ansatser inom AI till hur en sådan maskin skulle se ut.

Många skulle svara: Men det är väl självklart vad en intelligent maskin skulle ha för mål? En självmedveten maskin vill ju hålla sig själv vid liv, föröka sig och ta över, om den bara kunde!

Men detta, hävdar jag, är ett felslut. Det är inte alls självklart att en självmedveten maskin skulle vilja det.

Vi tycker det vore självklart därför att vi, som biologiska organismer, genetiskt präglade av ca 3,6 miljarder års evolution, är så hårt programmerade att se överlevande och förökning som självklart goda saker. Om vi kunde spåra alla våra släktingar i rakt nedstigande led till de första cellerna, så skulle vi se att det som förenar samtliga anfäder och anmödrar var önskan och förmågan att fortplanta sig. Av de organismer som tappade lust eller förmåga att fortplanta sig, så har ingen avkomma överlevt. Trivialt, men samtidigt fundamentalt!

Evolutionens mekanismer fungerar alltså så att den organism som sammantaget har största drivkraften och förmågan att föröka sig och ta över så mycket som möjligt av sin miljö, är den som i det långa loppet har bäst chans att överleva. Följden är att vi har livsdriften bokstavligt talat kodad i våra gener. Endast de organismer som har generna för denna obändiga vilja till liv och expansion är de som faktiskt överlever. Alla andra försvinner.

Inget av detta gäller AI-maskiner. De har aldrig utsatts för evolution på så sätt att en maskin som, på något rudimentärt sätt, uppvisat en förmåga att motstå att bli avstängd har gynnats genom att man tillverkat flera sådana maskiner.

Detta är mycket intressanta tankegångar, som varje seriös Singulariteten-teoretiker behöver vara bekant med och ta ställning till. Kraulis bloggpost är väl värd att läsa i dess helhet. Men vad Kraulis inte verkar ha klart för sig är att de evolutionsbiologiska tankegångarna redan är välbekanta i litteraturen om Singulariteten, och det stämmer inte alls som han säger att denna "bygger på fysik, matematik och datalogi, medan det biologiska tänkandet är helt frånvarande";² se t.ex. Bostrom och Shulman (2012) och Hanson och Yudkowsky (2013) för arbeten om Singulariteten där det evolutionsbiologiska perspektivet är framträdande.

Och även om Kraulis synpunkter är värda att beakta, så menar jag att de inte håller för slutsatsen att en AI kommer att sakna drivkrafter att "hålla sig själv vid liv, föröka sig och ta över". Jag skall här ge tre separata argument (1), (2) och (3) för att en AI trots allt kan komma att ha dessa drivkrafter. Av dessa argument håller jag (3) för att vara det klart intressantaste och viktigaste, och i jämförelse med det ser jag (1) och (2) mer som intellektuell uppvärmning. Hur som helst:

(1) Om det nu skulle vara som Kraulis påstår, att de drivkrafter vi diskuterar förutsätter att varelsen ifråga har uppkommit genom den darwinska processen av mutation, selektion och reproduktion, så är det relevant att konstatera att en icke oäven del av AI-utvecklingen idag äger rum inom det ramverk som benämns evolutionära algoritmer, och som bygger på just dessa darwinska mekanismer. Precis som den biologiska evolutionen spontant (och som Kraulis förklarar) verkar leda fram till drifterna att "hålla sig själv vid liv, föröka sig och ta över", så är det knappast orimligt att detsamma skulle kunna hända inom evolutionära algoritmer.

(2) Man kan också tänka sig att en AI-utvecklare med vett och vilje bygger in drivkrafter i sin AI om att försvara sig, förbättra sig, reproducera sig och ta över världen. Det finns knappast några principiella hinder mot att programmera något sådant. En invändning skulle dock kunna vara att det förefaller så katastrofalt livsfarligt att göra det att ingen någonsin skulle försöka sig på en sådan sak. Historien ger emellertid inte några entydigt positiva besked om vår förmåga att stå emot frestelsen att bygga domedagsvapen, och det finns tillräckligt med fanatiska terrorister och Kim Jong-un-typer (för att inte tala om alla uttråkade tonåringar med hackerböjelser) för att vi inte rimligtvis skall känna oss säkra på att inga sådana AI-projekt pågår eller är att vänta.

(3) Det finns en mycket intressant teori utvecklad av Steve Omohundro som handlar om en uppsättning instrumentella drivkrafter som varje tillräckligt intelligent, självständigt och flexibelt tänkande AI kan väntas utveckla, nästan oavsett vilka ultimata drivkrafter som programmerats in i den från början; se Omohundros uppsatser The Basic AI Drives och Rational Artificial Intelligence for the Greater Good, och Nick Bostroms The Superintelligent Will. En AI kan vara tillverkad för ett till synes helt harmlöst syfte, som att tillverka så många gem som möjligt eller att vinna så många schackpartier mot starka spelare som möjligt, men kommer ändå då den nått en viss grad av allmänintelligens att sträva efter att förbättra sig själv, att få tillgång till större beräkningskapacitet, att undvika att bli avstängd och att bygga många kopior av sig själv - helt enkelt som ett instrument för att uppnå den ultimata målsättningen i termer av gemtillverkning eller schacksegrar. Detta kan få katastrofala konsekvenser, och vi vill verkligen inte att vår galax skall omvandlas till att enbart bestå av en enorm uppsättning gem.

Jag vill inte med detta ha sagt att jag vet vad som kommer att hända - sådan tvärsäkerhet är knappast påkallad inom ett så outvecklat och vanskligt område som förutsägelser om framtida AI. Min ambition här begränsar sig till att framhålla att Per Kraulis argument för att någon katastrofal Singularitet knappast är att vänta inte är invändningsfria.

Fotnoter

1) Min formulering är i sin tur ett citat lånat av Eliezer Yudkowsky.

2) Om man skall vara riktigt noga är det bara Gunther Axelssons DN-krönika som Kraulis med dessa ord dömer ut, men implicit i hans argumentation ligger antagandet att hela teoribygget kring Singulariteten lider av samma defekt.

Edit 8 juli 2014: Per Kraulis har nu svarat. Jag kommenterar kort hans svar i kommentersfältet nedan (11:44).

Transcendence trailer

Hollywoodfilmen Transcendence med Johnny Depp i huvudrollen hade premiär i USA för några veckor sedan, den 10 april. Här i Sverige får vi vänta till den 21 juni innan den går upp på svenska biografer. Tills dess får vi nöja oss med den officiella trailern:

Filmen har fått mestadels negativa recensioner, men jag tänker ändå se den, då den ju (om vi får tro trailer och recensenter) tar upp återkommande ämnen här på bloggen som Singulariteten och uppladdning av mänskligt medvetande (oavsett filmens eventuella kvaliteter och brister vill jag gärna hålla mig à jour med hur dessa ämnen presenteras för bred publik). Det dramatiska inslaget att Depps AI-forskare tidigt i filmen blir skjuten av en neo-ludditisk terrorist är lånat inte bara från James Camerons mästerverk Terminator 2 från 1991, utan också från verkligheten.

Fysikern Stephen Hawking tog i en artikel häromdagen i The Independent,¹ tillsammans med AI-forskaren Stuart Russell och fysikerkollegorna Max Tegmark och Frank Wilczek, filmen som förevändning och avstamp för att skriva om Singulariteten:

With the Hollywood blockbuster Transcendence playing in cinemas, with Johnny Depp and Morgan Freeman showcasing clashing visions for the future of humanity, it's tempting to dismiss the notion of highly intelligent machines as mere science fiction. But this would be a mistake, and potentially our worst mistake in history.

Efter att ha ordat kort om dagens AI-utveckling och vad den i förlängningen kan komma att ge oss - "everything that civilisation has to offer is a product of human intelligence; we cannot predict what we might achieve when this intelligence is magnified by the tools that AI may provide, but the eradication of war, disease, and poverty would be high on anyone's list" - kommer de fyra forskarna över på de risker som också finns:

In the near term, world militaries are considering autonomous-weapon systems that can choose and eliminate targets; the UN and Human Rights Watch have advocated a treaty banning such weapons. In the medium term, as emphasised by Erik Brynjolfsson and Andrew McAfee in The Second Machine Age, AI may transform our economy to bring both great wealth and great dislocation.

Looking further ahead, there are no fundamental limits to what can be achieved: there is no physical law precluding particles from being organised in ways that perform even more advanced computations than the arrangements of particles in human brains. An explosive transition is possible, although it might play out differently from in the movie: as Irving Good realised in 1965, machines with superhuman intelligence could repeatedly improve their design even further, triggering what Vernor Vinge called a "singularity" and Johnny Depp's movie character calls "transcendence".

One can imagine such technology outsmarting financial markets, out-inventing human researchers, out-manipulating human leaders, and developing weapons we cannot even understand. Whereas the short-term impact of AI depends on who controls it, the long-term impact depends on whether it can be controlled at all.

Hawking, Russell, Tegmark och Wilczek avslutar med väsetligen samma budskap som denna bloggs läsekrets vid det här laget har vant sig vid att jag själv predikar, nämligen vikten av att ta frågan om radikala framtida AI-scenanrier på allvar, och att göra vårt bästa för att utröna hur vi kan förbättra chanserna för ett gynnsamt utfall:

So, facing possible futures of incalculable benefits and risks, the experts are surely doing everything possible to ensure the best outcome, right? Wrong. [...] Although we are facing potentially the best or worst thing to happen to humanity in history, little serious research is devoted to these issues outside non-profit institutes such as the Cambridge Centre for the Study of Existential Risk, the Future of Humanity Institute, the Machine Intelligence Research Institute, and the Future Life Institute. All of us should ask ourselves what we can do now to improve the chances of reaping the benefits and avoiding the risks.

Fotnot

1) Artikeln är misstänkt lik en bloggpost på The Huffington Post av samma namnkunniga kvartett den 19 april.