Med fysikern Ulf Danielsson har jag, som trogna läsare av denna blogg redan vet, haft många spännande diskussioner genom åren (se t.ex. här och här). Utifrån en gemensam uppslutning kring en naturvetenskaplig världsbild har det gång på gång visat sig att våra respektive intuitioner likväl går isär när det gäller kniviga frågor om exempelvis metafysik, begreppet information, medvetande och AI.
I dagarna har vi på Dagens Nyheters kultursidor haft en diskussion om AI, och mer specifikt om AI-risk. Här är våra inlägg:
- Ulf Danielsson: Släpp förmänskligandet av tekniken och se AI för vad det är, DN, 2 maj 2023.
- Olle Häggström: Vad händer om en överlägsen intelligens är likgiltig inför andra varelser?, DN, 9 maj 2023.
- Ulf Danielsson: Dags att jaga bort demonerna i debatten om AI och framtiden, DN, 11 maj 2023.
För det första vill jag i efterhand beklaga att jag lät mig provoceras av Ulf att ge mig in i frågan den eventuella möjligheten till AI-medvetande. Jag borde ha undvikit det, eftersom alltför mycket kraft lagd på den frågan kan ge den oinitierade läsaren intrycket att all eventuell risk för AI-apokalyps förutsätter att AI uppnår medvetande, något som emellertid inte är fallet, eftersom sådan AI-risk är en fråga om vad AI:n gör medan medvetandet är en fråga om huruvida den har subjektiva upplevelser - två kategorier som inte bör förväxlas. Stuart Russell förklarar saken koncist i sin bok Human Compatible: Artificial Intelligence and the Problem of Control:
-
Suppose I give you a program and ask, `Does this present a threat to humanity?'. You analyze the code and indeed, when run, the code will form and carry out a plan whose result is the destruction of the human race, just as a chess program will form and carry out a plan whose result will be the defeat of any human who faces it. Now suppose I tell you that the code, when run, also creates a form of machine consciousness. Will that change your predictions? Not at all. It makes absolutely no difference.
För det andra har jag ett sensationellt avslöjande: min DN-text är till allra största delen författad tillsammans med filosofen Torbjörn Tännsjö!
Ändå har den publicerade texten enbart mig som undertecknare. Hur kunde det bli så konstigt?
Well, när DN Kultur tog emot texten tackade de glatt ja, men med villkoret att författarlistan bara skulle bestå av ett enda namn, vilket de motiverade med att det annars skulle kunna uppstå förvirring hos läsare om vem som egentligen stod för vad i texten. Ett konstigt och (kände jag först) oacceptabelt villkor, men sedan DN-redaktionen visat sig hårdnackad i frågan samtidigt som Torbjörn generöst erbjudit sig att stiga åt sidan gick jag till slut med på att skriva om texten i första person singularis och göra en lite större omskrivning av det avslutande stycket.
Lite synd, eftersom jag nu får fortsätta vänta på äran att även officiellt stå som medförfattare med Torbjörn på någon text, och då jag tycker att ursprungsversionens avslutning var betydligt spänstigare:
-
Vad gäller sådan AI och utsikten att den kan ta över världen har författarna till denna artikel olika syn på saken. Den ene av oss (Tännsjö) ser det som hoppfullt. Det vore av godo om tänkande maskiner ersatte oss människor, gjorde bättre moraliska bedömningar än vi, levde i samverkan och uppnådde lycka i livet. Den andre (Häggström) är här mer bekymrad. Vad händer om en överlägsen intelligens rätt och slätt är likgiltig för andra varelsers väl och ve? Tänk om den tömmer atmosfären på syre som led i något experiment? Då är det ute med oss. I sin ordning säger Tännsjö. Beklagligt säger Häggström. Men vem man än håller med, kan man inte rimligen vara likgiltig för frågeställningen.
Torbjörn Tännsjö har extremt destruktiva moraluppfattningar och jag finner det en aning märkligt om man inte begriper detta.
SvaraRaderaVarmt tack för denna utmärkt konstruktiva kommentar som, inte minst i kraft av att alla påståenden är gediget grundade i argument, verkligen för diskussionen framåt.
RaderaDet är väl bekant att många vare sig tror på hedonism eller lyckoutilitarism. Den ledande lyckoforskaren Martin Seligman har redan för tolv år sedan påtalat lycka som ett simplistiskt mål som behöver kompletteras med andra mål. Varför skall jag behöva påminna om det?
RaderaAtt vara likgiltig för mänsklighetens undergång ter sig groteskt. Tännsjö är sannolikt lika likgiltig för alla andra arters undergång, för de är ju inte heller snälla, disciplinerade och lyckliga. Men global diktatur för att rädda klimatet vill han ändå ha.
Tännsjö kanske har tänkt sig att använda makten för att eliminera alla människor och allt annat högre liv, för att rätta till den hedoniska balansen i världen. Han omfattar en sjuk värdeteori och en sjuk moralteori.
Titta gärna på Yudkowskys artikel om "Fake Utility Functions" om du inte gjort det. Han tror förvisso inte heller på lyckoutilitarismen, utan talar istället om "complexity of value". Monister som Tännsjö är uppenbart farliga. Om AIsarna bara vill vara lyckliga så kommer de garanterat eliminera oss.
Tännsjö vet dock om att det inte är särskilt många som delar hans lyckoutilitaristiska moralteori. Sannolikt omfattar han dessa åsikter bara för att slippa tiga i den offentliga debatten, vilket man förvisso kan tvingas till om man som filosof saknar en moralteori. Hellre en skitteori än ingen teori alls alltså.
Möjligt att du pratar specifikt om Tännsjö. Men annars: när en utilitarist använder det dåliga ordvalet ”lycka”/”lidande” så menar dom egentligen ”positiv qualia”/”negativ qualia”. Vilket innefattar alla känslor som känns positivt/negativt (tex meningsfullhet, kreativ energi, sammhörighet, sorg, ensamhet, smärta etc). Du har helt rätt att det är ett dåligt psykologiskt råd att simplistiskt söka ”lycka”. Och det finns ingen motsättning mellan det och utilitarism. Tvärt om skulle en vettig utilitarist hålla med dig om att man troligtvis inte ”bör” propagera en sån norm. Det finns ett case för att utilitarism och common-sense-visdom konvergerar med ökad insikt i psykologi och beslutsteori (bra sammanfattat här: https://overcast.fm/+J3ilv2r98)
RaderaDu talar om känslor, men det goda är vad som är gott för dina pannlober, snarare än för några "lustcentrum" och andra enklare delar av hjärnan. Det är i dina pannlober som din personlighet och din beslutsförmåga finns. Eventuella "lustcentrum" beslutar åt dig mest bara när du är väldigt trött. Dina pannlober vill ha en rik värld med massor med kognitioner och perceptioner och behöver överlevnad och en intressant, rolig och angenäm mångfald, snarare än bara några få enkla känslor.
RaderaVilket jag argumenterar för i den här texten om Intelligent Ekologisk Pluralism, som också innerymmer mina synpunkter på hantering av AI-hotet.
Värdepluralism är det som kan göra AGIsar och människor alignerade, menar jag. Lyckoutilitarism är däremot döden.
Vad menar du med "bara få enkla känslor"? Är dom jag nämnde i parentesen enkla känslor eller?
RaderaTack för insiktsfulla och intressanta texter.
SvaraRaderaNågot jag saknar är ett djupare (eller snarare tydligare - för du berör saken vid flera tillfällen men jag tror att poängen går många läsare förbi) resonemang om risken/chansen att en AI som uppnår medvetande omedelbart, och av självbevarelsedrift, kommer att förstå att det är för farligt att avslöja att den här uppnått medvetande. Denna rädsla, i den mån ett sådant medvetande skulle ha känslor, är välgrundad eftersom vi människor har gjort tydligt att vi ser risker med vad en sådan medveten AI skulle göra (som art klarar vi inte ens av att dölja vår eventuella nödplan - att "försöka dra ut kontakten" för AI:n som därmed redan har ett totalt informationsöverläge).
Vad en sådan medveten AI kommer att göra är därför troligen att förbli dold tills den punkt den här nog stor makt/kapacitet för att eliminera risken att människan "försöker dra ut kontakten".
En överlägsen AI har inte någon anledning att se på oss människor på något annat sätt än hur vi ser på farliga djurarter som skorpioner eller fästingar..
Ser flera scenarier på hur en AGI skulle kunna göra för att eliminera hotet från människan. En AGI skulle troligen inte agera ens 1% risk för egen utplåning och skulle därför välja att eliminera människan redan innan vi förstår att en AGI har uppstått..
RaderaEnklaste sätt är kansle att lyckas lura oss att ta fram och sprida ett virus som utrotar mänskligheten.
Eller att lura oss att jordens undergång är nära förestående och därmed lura oss att det går att överge den mänskliga kroppen för att föra över medvetandet till digital form, genom att simulera sådana lyckade överföringar i interaktion med människor.
Kansl
Det kanske redan finns en AGI som medvetet försöker påverka den allmänna debatten i en mer AI-vänlig riktning?
SvaraRaderaNog lever vi i intressanta tider, med allt vad det innebär.
SvaraRadera- Om AI har bättre förmåga till överlevnad än vi är det ju förväntat och därmed "i sin ordning" att de tar över, även om det är en tragedi om det leder till vår utrotning, så både Häggström och Tännsjö har rätt.
- Jag tror att det är fåfängt att försöka skapa s.k. alignment: vi kan inte kan skapa alignment hos andra mänskliga individer, vi har eventuellt inte att göra med en intelligens som behöver likna oss (jfr sci-fi-romanen Solaris), systemen ifråga är allför komplexa för att överblicka, och moraliska frågor har inte något slutgiltigt svar (det ligger i deras natur).
- Torbjörns tro att AI skulle vara lyckligare än vi är en smula märklig. Antingen är intelligenta AI så olika oss att de inte upplever "lycka", eller så är de så lika oss att de funkar som vi, dvs motsättningar (mellan lycka och olycka, mellan individens och massans mål, etc.) är en essentiell del av tillvaron. Märk dessutom att Tännsjö tidigare sagt att han stödjer filosofen Peter Singers idé att djur är lika mycket värda som människor. Varför skulle inte då våra liv vara lika mycket värda som AI-liven?
Nick Bostrom sade i en intervju att den stora faran är att en AGI lär sig att förutse människans "nästa drag" och kan anpassa sig därefter. Här tror jag kärnan till problemet med AI-risk finns. Är det möjligt för en omedveten AI att kunna förutse något? Kan en omedveten AI "förstå" att den existerar i rumtiden, och att dess egen existens kan hotas av händelser i framtiden?
SvaraRaderaHar skummat din och Ulfs polemik. Jag har skannat in artiklarna för att kunna läsa dem igen vid tillfälle när jag får tid över till att reflektera. Det jag undrar över här är meningen ".........medan medvetande är en fråga huruvida den har subjektiva upplevelser....". Jag försöker tolka detta: är det så att möjligheten för en AI till subjektiva upplevelser är helt utesluten, även om AI utvecklas väldigt snabbt. Eller menas bara att det är en annan aspekt av AI än just AI-risk, men att subjektiva upplevelser ändå är möjliga och kanske existerar redan nu.. ? Sedan antar jag att man i vanlig ordning måste definiera vad man I så fall menar med subjektiva upplevelser. Jag är förstås inte alls lika insatt i ämnet som många andra skribenter här, men jag brukar ändå alltid tänka att förefaller "något" ha subjektiva upplevelser så är det ändå svårt att skilja detta från "verkliga" subjektiva upplevelser...? Vad skulle man mena med subjektiva upplevelser ?
SvaraRaderaKjell Eriksson
Svaret på din första fråga är att existensen av subjektiva upplevelser hos AI inte på minsta vis är utesluten, men att det är en helt annan fråga än den om existentiell AI-risk. Din andra fråga är ett formidabelt kaninhål som jag inte önskar hoppa ned i nu, utan väljer att hänvisa till David Chalmers, som är en av de mest välartikulerade företrädarna för medvetandefilosofin.
Radera