söndag 8 maj 2016

Tännsjö om en framtid utan människan

Torbjörn Tännsjö behandlar i en stort uppslagen artikel i DN idag en fråga som ligger mig varmt om hjärtat: den om en eventuell robotapokalyps som tar kål på mänskligheten. Hans vinkling framgår av rubriken "Därför blir universum en bättre plats när människan är borta" och ännu mer av ingressen:
    Anta att vi kan ersätta människorna med varelser som är bättre på att leva i fred och harmoni. Vore det verkligen så fruktansvärt? I själva verket bör vi bejaka en framtid då universum befolkas av lyck­saliga robotar.
Jag känner stor sympati för hans perspektiv - en utilitarism där inte bara mänskligt välbefinnande och lidande räknas, utan alla kännande varelsers - även om jag inte riktigt kan förmå mig att med samma totala tvärsäkerhet som han döma ut de perspektiv som tillskriver just mänsklighetens överlevnad och blomstring ett särskilt värde. På det stora hela finner jag hans artikel vettig, och jag känner mig glad och smickrad över att han funnit min bok Here Be Dragons värd att ta spjärn emot, men jag har två invändningar mot vad han skriver.

Min första invändning. Tännsjö avfärdar dem som fruktar robotapokalypsen såsom varandes förhäxade av en "märklig och missriktad form av inlevelse" med våra barnbarns barnbarn. Så här tror han att världen efter att robotarna tagit över och gjort sig av med mänskligheten kommer att te sig:
    Utvecklingen kommer att fortsätta med artificiella intelligenser, successivt i mindre och mindre format, men med hög sensibilitet, klok kreativitet, gott handlag och obetydliga anspråk på ändliga resurser. Genom deras konstruktion – det är nu kloka maskiner som konstruerar ännu klokare maskiner – kommer det att skapas utrymme för en exponentiell tillväxt av antalet glada varelser i universum, vilka lever i ömsesidig symbios, utan att ställa sig i vägen för varandra. Tänk dig en gnistrande stjärnhimmel, där varje ljus som blinkar mot dig är en lycksalig robot. Och bakom varje ljus, nya himlar.
En vacker vision. Men är det verkligen säkert att det kommer att gå så väl? Personer som lagt mer kraft och tankemöda än Tännsjö på AI-futurologi, som Eliezer Yudkowsky och Nick Bostrom, menar att detta långt ifrån kan tas för givet, eller ens upphöjas till default-scenario. En robotrevolution kan också leda till Paperclip Armageddon (där den maskin som drar igång det stora AI-genombrottet lite obetänksamt programmerats att maximera framtida gemproduktion, med följden att hela det synliga universum omvandlas till en grotesk ansamling gem) eller någon liknande kosmisk meningslöshet. Därför har vi all anledning att oroa oss för vad ett AI-genombrott kan föra med sig, och göra vad vi kan för att se till att utfallet blir bra. Att (som Tännsjö verkar göra) tro att övermänsklig intelligens automatiskt medför övermänsklig klokskap är att förbise Humes lag och distinktionen mellan fakta och värderingar. Det kan visa sig att världen är så beskaffad (dvs att intelligens och klokskap på tillräckligt hög nivå alltid går hand i hand), men att ta det för givet synes mig våghalsigt i överkant.

Min andra invändning. Denna invändning är av underordnat intresse då den inte har så mycket med sakfrågan att göra, utan mest med hur min egen ståndpunkt framställs. Tännsjö gör (som Joar Guterstam redan hunnit påpeka) inte någon riktig rättvisa åt min bok då han tillskriver mig ovan nämnda "märklig[a] och missriktad[e] form av inlevelse", bland annat med följande ord:
    Vår omedelbara och ogenomtänkta reaktion, då detta framtidsscenario [att robotarna tar över] kommer på tal, brukar vara just fasa. Hur ska det gå för oss? Hur ska dessa överlägsna varelser komma att behandla oss? [...] Så tänker Häggström.
Här framgår inte att jag i min bok i själva verket lägger stor kraft på att distansera mig från det slags antropocentriska moraluppfattning som Tännsjö kritiserar. Så t.ex. nämner jag på sidan 230, i en uppräkning av stora och svåra värderingsfrågor som vi behöver ta ställning till innan vi kan svara på hur vi bör försöka styra teknikutvecklingen, följande:
    (vi) Comparing a future where humans prosper to one in which we are replaced by robots that prosper similarly, is the former automatically preferable to the latter? This question is related to (v), as well as to the moral status of machines. Does a robot with human-level cognitive capacities have the same value as a human? Here, the issue of machine consciousness (discussed in Section 3.8) seems relevant. A future in which humans are replaced by unconscious machines that go on to colonize the rest of the universe seems pointless and absurd. But if the machines are conscious, perhaps there is reason to look more favorably on the scenario.
Se även min diskussion på sidorna 122-123, där jag kritiserar idén att, genom att avdela ett mindre stycke av världsalltet (t.ex. vår egen galax Vintergatan) som ett människoreservat, kompromissa med en hedonistiskt utilitetsmaximerande superintelligent AI:s projekt att omvandla hela universum till hedonium; denna passage är väsentligen en återgivning av argumentationen i min gamla bloggpost Superintelligence odds and ends II: The Milky Way preserve.

18 kommentarer:

  1. Att producera gem synes ju inte särskilt meningsfullt. Å andra sidan kan man fundera över vilka meningsfulla aktiviteter vi ägnar oss åt. För vem, och i vilket perspektiv. Det är kanske bara det att vår verksamhet inte är lika synligt meningslös som att tillverka gem. Ur vårt perspektiv.

    SvaraRadera
  2. Hela livet på jorden och kanske också universum är strid på alla plan, varför ens tanken om att robotar som först förgjort människan skall leva i harmoni. Harmoni med sig själva? Harmoni med allt levande och med naturresurser? Dilleri...

    SvaraRadera
  3. Fast gör inte du samma misstag här? Tännsjö skriver att han gissar hur det kommer att gå... Alltså inte utesluter att det kan gå annorlunda? (Vilket för närvarande också är min egen tro om hur det skulle gå... ifall man nu ska tro något om det.)

    SvaraRadera
    Svar
    1. Det går att göra en så försiktig tolkning av vad Tännsjö hävdar blir följden av ett robotövertagande, men i så fall blir hans allmänna slutsats - den att det är löjligt att oroa sig för robotapokalypsen - obegriplig.

      Radera
    2. Tycker du tolkar han hårt. :-)
      Läser honom mer som pessimistisk över mänskligheten ang. Att klara av att möta andra hot och ser därför AI som ett av mycket få hopp.

      Radera
  4. Tännsjö är knappt värd att kommentera. Robotar har inga känslor och kommer sannolikt aldrig få det. För en hedonist som Tännsjö borde det vara den ultimata katastrofen när kännande varelser ersätts med varelser utan känslor. Det kommer inte finnas någon glädje i en värld befolkad blott av robotar och således inget värde, om man skall ta Tännsjös defekta värdeteorier på allvar.

    SvaraRadera
    Svar
    1. Tännsjös argumentation är utmärkt väl värd att kommentera. Vad jag däremot inte finner värt att kommentera är kommentarer som nöjer sig med att utan tillstymmelse till belägg ventilera fördomen att robotar aldrig kan få känslor. (Fast jäklar, nu gjorde jag det visst i alla fall.)

      Radera
    2. Du säger att robotar mycket väl kan tänkas få känslor. Den åsikten är svår att diskutera när vi knappast har någon definition på känslor. Man behöver inte minst förstå hur känslor skiljer sig från tankar. Och vilken funktion känslor fyller. Vad av värde är det robotar inte kan göra om de inte får känslor? Kan de få känslor alldeles oplanerat, kanske som ett epifenomen som robotarna blir förvånansvärt intresserade av, eller är det något som man högst medvetet utrustar robotar med?

      Radera
    3. Haha nejdu, Kuckeliku, den gubben går inte. Det var du som gjorde ett tvärsäkert och långtgående påstående, och då ankommer det på dig att leda det i bevis. Det duger inte att försöka delegera definitionsprecisering och annat förarbete du anser dig behöva för detta bevis till mig.

      Radera
    4. Ha, ha, ha! Så om du har blahamaputr som ditt älsklingsbegrepp så tycker du att det är min uppgift att definiera och vidareutveckla begreppet? Jag bjöd lite överoptimistiskt in till ett intellektuellt samtal, inte till primitiv filosofisk boxning av typen "Du sa det först och därför skall du svettas medan jag dricker pinacolada!"

      Det var alltså inte jag som började prata om känslor. Det är Tännsjö och hans lärljungar som borde förklara och vidareutveckla sina begrepp. Men det gör de inte. Istället hoppar de mellan olika isflak för att dölja att inget av dem är stabilt.

      Tännsjö ter sig mer som mediahora än som etiklärare.

      Radera
    5. Hahah... host... haha... "bjöd [...] in till ett intellektuellt samtal"... haha, slår mig för knäna!

      Radera
    6. Nej det går väl inte att hävda att enbart ”kötthjärnor” kan ha känslor. Men däremot så tycker jag att man måste kunna fråga sig varför AI-forskning oavsett nivån på AI skulle leda till robotar med känslor eller för den delen till robotar med en jaguppfattning.
      Våra känslor är ju på gott och en följd av vårat evolutionära förflutna. Där våra förfäder, för att öht bli just förfäder, varit tvungna att kämpa för sin individuella överlevnad skaffa och ta hand om en avkomma hålla ihop en flock men även positionera sig inom den. Ur allt detta har sådan som vår livsvilja vår sexualitet vår förmåga till ömhet och vänskap men även till aggressivitet och vår tävlingslust uppstått. Varför antas eventuellt intelligenta robotar ha alla dessa känslor och drivkrafter. Här tycker jag faktiskt att förklaringsbördan hamnar hos de som målar upp en riskbild.

      Radera
    7. Jag håller med om att frågor om robotars eventuella känslor är i hög grad öppna frågor. Det jag vänder mig emot är att, som pseudonymen Kuckeliku ovan, i arroganta ordalag postulera ett tvärsäkert svar utan tillstymmelse till motivering.

      För en skiss över mina egna funderingar och ståndpunkter i dessa frågor hänvisar jag till Avsnitt 3.8 och 4.6 i min bok Here Be Dragons.

      Radera
  5. Min bästa tolkning att Tännsjö argumenterar villkorat i värdefrågan: *om* det uppstår nya varelser som lever "långt bättre liv än de liv vi lever" *så* bör ett utfall där mänskligheten ersätts av de varelserna inte ses som något dåligt eller fruktansvärt. Artikelrubriken gissar jag att Tännsjö inte satt själv.

    Andra invändningen är bra. På tal om inte helt korrekta beskrivningar av andras positioner: Libris ger en oväntad nytolkning av Robin Hansons bok när de i katalogen döpt om den till "Age of Em, The: Work, Love and Life When Robots Rule the Ear" , http://libris.kb.se/bib/19373048

    SvaraRadera
  6. Från mitt lekmannaperspektiv så tycks det mig högst sannolikt att om/när en självreproducerande maskinintelligens uppstår så kommer en ny evolutionär utveckling att ske, varvid de mest livsdugliga maskinintelligenserna kommer att slå ut de mindre livsdugliga. Vi kan därför vänta oss krig, konflikter och diplomatiska förhandlingar mellan konkurrerande maksinintelligenser. Pacifistiska "lyckliga" maskinintelligenser är helt enkelt enkla byten för aggressiva våldsbrukande konkurrenter.

    Denna slutsats bygger jag på att reproduktion kräver resurser och att resurserna alltid är ändliga, d.v.s. en kamp om resurser uppstår.

    Detta tycks mig vara en oundviklig utveckling, förutsatt att maskinintelligensen drivs av "överlevnad" och reproducering, vilket jag misstänker är implicit när vi talar om singulariteten?

    Jag misstänker också att Olle relativt enkelt kan peta hål på resonemanget ovan. :)

    SvaraRadera
    Svar
    1. Bostrom skiljer i sin bok mellan å ena sidan formerandet av det han kallar en singelton (där den första superintelligenta AI:n uppstår så snabbt att den kan ta kontrollen över hela världen innan någon annan hinner nå konkurrenskraftig nivå), och å andra sidan multipolära scenarier där vi istället får en population av maskiner där ingen av dem sticker ut tillräckligt för att bilda en singelton. För multipolära scenarier är de slags evolutionära argument du anför bestickande, men fallet med en singelton är en annan femma...

      Radera
  7. En reflektion: Endast tidsskalan skiljer robotapokalypsen från det naturliga scenario där en ny art med tiden blir den dominerande och tränger undan Homo Sapiens. Det längre tidsperspektivet diskuteras sällan.

    SvaraRadera
  8. Arne Söderqvist20 maj 2016 04:41

    Författaren till denna artikel, ur dagens SvD, tycks inte ha några betänkligheter rörande AI.
    http://www.svd.se/sverige-behover-ingenjorer--inte-melloartister

    SvaraRadera