Tännsjö om en framtid utan människan

Torbjörn Tännsjö behandlar i en stort uppslagen artikel i DN idag en fråga som ligger mig varmt om hjärtat: den om en eventuell robotapokalyps som tar kål på mänskligheten. Hans vinkling framgår av rubriken "Därför blir universum en bättre plats när människan är borta" och ännu mer av ingressen:

Anta att vi kan ersätta människorna med varelser som är bättre på att leva i fred och harmoni. Vore det verkligen så fruktansvärt? I själva verket bör vi bejaka en framtid då universum befolkas av lyck­saliga robotar.

Jag känner stor sympati för hans perspektiv - en utilitarism där inte bara mänskligt välbefinnande och lidande räknas, utan alla kännande varelsers - även om jag inte riktigt kan förmå mig att med samma totala tvärsäkerhet som han döma ut de perspektiv som tillskriver just mänsklighetens överlevnad och blomstring ett särskilt värde. På det stora hela finner jag hans artikel vettig, och jag känner mig glad och smickrad över att han funnit min bok Here Be Dragons värd att ta spjärn emot, men jag har två invändningar mot vad han skriver.

Min första invändning. Tännsjö avfärdar dem som fruktar robotapokalypsen såsom varandes förhäxade av en "märklig och missriktad form av inlevelse" med våra barnbarns barnbarn. Så här tror han att världen efter att robotarna tagit över och gjort sig av med mänskligheten kommer att te sig:

Utvecklingen kommer att fortsätta med artificiella intelligenser, successivt i mindre och mindre format, men med hög sensibilitet, klok kreativitet, gott handlag och obetydliga anspråk på ändliga resurser. Genom deras konstruktion – det är nu kloka maskiner som konstruerar ännu klokare maskiner – kommer det att skapas utrymme för en exponentiell tillväxt av antalet glada varelser i universum, vilka lever i ömsesidig symbios, utan att ställa sig i vägen för varandra. Tänk dig en gnistrande stjärnhimmel, där varje ljus som blinkar mot dig är en lycksalig robot. Och bakom varje ljus, nya himlar.

En vacker vision. Men är det verkligen säkert att det kommer att gå så väl? Personer som lagt mer kraft och tankemöda än Tännsjö på AI-futurologi, som Eliezer Yudkowsky och Nick Bostrom, menar att detta långt ifrån kan tas för givet, eller ens upphöjas till default-scenario. En robotrevolution kan också leda till Paperclip Armageddon (där den maskin som drar igång det stora AI-genombrottet lite obetänksamt programmerats att maximera framtida gemproduktion, med följden att hela det synliga universum omvandlas till en grotesk ansamling gem) eller någon liknande kosmisk meningslöshet. Därför har vi all anledning att oroa oss för vad ett AI-genombrott kan föra med sig, och göra vad vi kan för att se till att utfallet blir bra. Att (som Tännsjö verkar göra) tro att övermänsklig intelligens automatiskt medför övermänsklig klokskap är att förbise Humes lag och distinktionen mellan fakta och värderingar. Det kan visa sig att världen är så beskaffad (dvs att intelligens och klokskap på tillräckligt hög nivå alltid går hand i hand), men att ta det för givet synes mig våghalsigt i överkant.

Min andra invändning. Denna invändning är av underordnat intresse då den inte har så mycket med sakfrågan att göra, utan mest med hur min egen ståndpunkt framställs. Tännsjö gör (som Joar Guterstam redan hunnit påpeka) inte någon riktig rättvisa åt min bok då han tillskriver mig ovan nämnda "märklig[a] och missriktad[e] form av inlevelse", bland annat med följande ord:

Vår omedelbara och ogenomtänkta reaktion, då detta framtidsscenario [att robotarna tar över] kommer på tal, brukar vara just fasa. Hur ska det gå för oss? Hur ska dessa överlägsna varelser komma att behandla oss? [...] Så tänker Häggström.

Här framgår inte att jag i min bok i själva verket lägger stor kraft på att distansera mig från det slags antropocentriska moraluppfattning som Tännsjö kritiserar. Så t.ex. nämner jag på sidan 230, i en uppräkning av stora och svåra värderingsfrågor som vi behöver ta ställning till innan vi kan svara på hur vi bör försöka styra teknikutvecklingen, följande:

(vi) Comparing a future where humans prosper to one in which we are replaced by robots that prosper similarly, is the former automatically preferable to the latter? This question is related to (v), as well as to the moral status of machines. Does a robot with human-level cognitive capacities have the same value as a human? Here, the issue of machine consciousness (discussed in Section 3.8) seems relevant. A future in which humans are replaced by unconscious machines that go on to colonize the rest of the universe seems pointless and absurd. But if the machines are conscious, perhaps there is reason to look more favorably on the scenario.

Se även min diskussion på sidorna 122-123, där jag kritiserar idén att, genom att avdela ett mindre stycke av världsalltet (t.ex. vår egen galax Vintergatan) som ett människoreservat, kompromissa med en hedonistiskt utilitetsmaximerande superintelligent AI:s projekt att omvandla hela universum till hedonium; denna passage är väsentligen en återgivning av argumentationen i min gamla bloggpost Superintelligence odds and ends II: The Milky Way preserve.