Som jag påpekat tidigare: kognitionsvetaren Steven Pinker är utan tvekan en av vår tids främsta populärvetenskapsförfattare och public intellectuals. Hans utspel är dock ofta kontroversiella, och när jag värderar dem blir det ömsom vin, ömsom vatten. Nu skall jag bjuda på lite av det senare, sedan jag häromdagen blivit uppmärksammad på en videosnutt som nyligen publicerats på sajten Big Think, där Pinker förklarar hur löjligt det är att oroa sig över risken för en framtida AI-apokalyps. Pinkers anförande ges rubriken AI Won't Takeover the World, and What Our Fears of the Robopocalypse Reveal.
Det Pinker här går till angrepp mot är emellertid inget mer än en till oigenkännlighet förvriden nidbild av den syn på AI-risk och superintelligens som ledande tänkare på området - sådana som Nick Bostrom, Eliezer Yudkowsky, Stuart Russell, Max Tegmark och Stuart Armstrong - representerar. Och han gör narr av att de inte skulle ha kommit på den enkla lösningen att vi kan "build in safeguards" i avancerade AI-system för att försäkra oss om att de inte går överstyr - uppenbarligen helt okunnig om att en central del av dessa tänkares budskap är att vi bör göra just det, men att det är ett mycket svårt projekt, varför vi gör klokast i att börja utarbeta säkerhetslösningar i så god tid som möjligt, dvs nu.
Det här är inte första gången Pinker häver ur sig dessa dumheter. 2014 skrev han ett svar på en artikel av Jaron Lanier där han torgförde väsentligen samma synpunkter - ett svar varur jag på sidan 116 i min bok Here Be Dragons citerade följande passage:
- [A] problem with AI dystopias is that they project a parochial
alpha-male psychology onto the concept of intelligence. Even if we did have superhumanly intelligent robots, why would they want to depose their masters, massacre bystanders, or take over the world? Intelligence is the ability to deploy novel means to attain a goal, but the goals are extraneous to the intelligence itself: being smart is not the same as wanting something. History does turn up the occasional megalomaniacal despot or psychopathic serial killer, but these are products of a history of natural selection shaping testosterone-sensitive circuits in a certain species of primate, not an inevitable feature of intelligent systems. It's telling that many of our techno-prophets can't entertain the possibility that artificial intelligence will naturally develop along female lines: fully capable of solving problems, but with no burning desire to annihilate innocents or dominate the civilization.
Of course we can imagine an evil genius who deliberately designed, built, and released a battalion of robots to sow mass destruction. [...] In theory it could happen, but I think we have more pressing things to worry about.
- This is poor scholarship. Why doesn't Pinker bother, before going public on the issue, to find out what the actual arguments are that make writers like Bostrom and Yudkowsky talk about an existential threat to humanity? Instead, he seems to simply assume that their worries are motivated by having watched too many Terminator movies, or something along those lines. It is striking, however, that his complaints actually contain an embryo towards rediscovering the Omohundro-Bostrom theory:266 "Intelligence is the ability to deploy novel means to attain a goal, but the goals are extraneous to the intelligence itself: being smart is not the same as wanting something." This comes very close to stating Bostrom's orthogonality thesis about the compatibility between essentially any final goal and any level of intelligence, and if Pinker had pushed his thoughts about "novel means to attain a goal" just a bit further with some concrete example in mind, he might have rediscovered Bostrom's paperclip catastrophe (with paperclips replaced by whatever his concrete example involved). The main reason to fear a superintelligent AGI Armageddon is not that the AGI would exhibit the psychology of an "alpha-male"267 or a "megalomaniacal despot" or a "psychopathic serial killer", but simply that for a very wide range of (often deceptively harmless-seeming) goals, the most efficient way to attain it involves wiping out humanity.
Contra Pinker, I believe it is incredibly important, for the safety of humanity, that we make sure that a future superintelligence will have goals and values that are in line with our own, and in particular that it values human welfare.
266) I owe this observation to Muehlhauser (2014).
267) I suspect that the male-female dimension is just an irrelevant distraction when moving from the relatively familiar field of human and animal psychology to the potentially very different world of machine minds.
Mmm förvisso fegt att inte bemöta den delen tydligare utan ta den enkla biten. Men har han inte ståndpunkten där att det varnas för länge utan att något hänt och det är bäst att inte överreagera idag. ? Vad som händer framöver är för svårt att sia om...
SvaraRaderaNu är du lite för oartikulerad, Magnus, för att jag skall förstå vad du menar. Vad syftar du på med "den delen", med "den enkla biten" och med "där"?
RaderaVad gäller argumentet "detta har det varnats för länge utan att något allvarligt har hänt" tror och hoppas jag att du håller med om att det argumentet inte är mycket att komma med om man i övrigt inte har någon kunskap om sakfrågan. Jämför med klimatförnekarnas favoritargument "redan de gamla grekerna varnade för att himlen skulle ramla ned, varför en förhöjd koldioxidhalt inte rimligtvis kan ha några katastrofala konsekvenser för klimatet, så vi bör inte överreagera".
Försöker på ett långt sent snabbt svar... ursäktar mig i förväg.
RaderaOm jag som jag kan tycka är vettigt tolkar Pinker välvilligt kritiserar han främst antagandet att det måste gå åt skogen, att AI kommer gå illa (enkelt att göra) att formulera något kring att det finns en möjlighet att det går åt skogen är betydligt svårare och kanske för svårt att göra på 2 minuter. Jag har dock inte sett pinker hävda att AI inte kan gå åt skogen. Han ger själv ett möjligt scenario för hur det skulle kunna gå åt skogen. Jag vet inte men tror inte det är det ända som han skulle kunna komma på.
Jag tror också att Pinker har kunskap om sakfrågan, baserat på bland annat hans twitter och hur personer som pratat med honom sedan diskuterat hans ståndpunkt... hur djupt insatt han är det vet jag inte.
Däremot så tror jag att Pinker som har uppnått en sådan status att han kan yttra sig slarvigt och kort utan att hamna utanför rampljuset använder den statusen för att provocera. Jag får för mig att han tycker det hela är överdrivet och att det finns viktigare saker att pyssla med nu och gör sitt bästa för att kommunicera detta till en bredare publik (dvs tex 2 min på big think).
Ang argumentet att man länge varnat för AI och inget hänt... sant det i sig är inget bra argument men det är bra att ha bakhuvudet. Om många seriösa forskare inom klimatvetenskap skulle varnat för att jorden skulle vara förstörd nu för 20 år sedan men inget hände så skulle det så klart vara problematiskt. Det betyder inte att det inte behöver vara ett problem nu dock.
Men som sagt jag tror Pinker är så pass insatt att han har hyfsad koll. Jag har som jag återkommande säger inte läst alla böcker på området men min egen bedömning och så vitt jag kan se även googles teams bedömning (även andras) att vi inte ens är nära eller vet hur vi skulle kunna komma dit. Med tanke på din bakgrund är du säkert bra insatt i hur programmet kring den GO spelande datorn fungerar... fascinerande, användbart, spännande, grymt osv.... men känns inte det minsta hotfullt.
Kanske blir det lite väl mycket genom andra känner man sig själv här... (fast tvärt om här) men jag tror Pinker ser det som troligt att det kommer vara ett stort företag alt nation universitet som närmar sig först. Denna grupp vet va de gör och ser hur systemet beter sig, de har goda avsikter och kommer mest troligt vara de som bäst hanterar säkerheten... den dagen är långt borta och därför tycker han frågan kan vänta och raljerar onödigt kring den.
Får som avslutning be om ursäkt igen för en inte innan genomtänkt kommentar... men hoppas jag kunnat i alla fall ge dig något att fundera över.
Jaha, så du tror att "Pinker är så pass insatt att han har hyfsad koll" på vad ledande tänkare inom AI-risk och AI-futurologi säger. Och lik förbannat tillskriver han dem uppfattningen "att det måste gå åt skogen". Det gör ju honom i så fall till en skamlös lögntrut av Lars Bern- eller Donald Trump-typ. För egen del håller jag fast vid (den aningen mer välvilliga) tolkningen att han rätt och slätt är okunnig.
RaderaKanske böjer jag mig lite väl långt baklänges men, om han inte i de stycket syftade på dem då?
RaderaJa det gör du. Det går säkert att skaka fram enstaka crackpots som hävdar "att det måste gå åt skogen". Och vi kan såklart leka med tanken att det var dessa crackpots Pinker syftade på, samtidigt som han noggrant lät bli att låtsas om att det existerar en seriös AI-futurologi, utan istället gav sken av att dessa crackpots är alls som finns på området. Men det är i så fall en gravt ohederlig retorik Pinker ägnar sig åt.
RaderaJa, hade det varit bara varit på bigg think kanske man kan tänka sig att det var poppkulturen han tänkte på. Men med tanke på var han har skrivit tidigare så är det lite svårare.
SvaraRaderaTycks ändå vara ganska vanligt bland i övrigt mycket intelligenta "public thinkers" att vara förvirrade i just AI-frågan. Det om något visar väl hur "stollig" AI-tesen kan låta om man inte tänkt på det på allvar. Neil DeGrasse Tyson, som jag i övrigt beundrar, visade sig vara pinsamt dåligt påläst i en intervju i Sam Harris podcast ("Waking Up") nyligen. Inte för att man måste vara superpåläst i alla ämnen, men då borde man kanske inte uttala sig så tvärsäkert som han gjorde. Det kändes nämligen som att han hade bestämt sig för att det var trams fast det var tydligt att han inte hade tänkt så mycket på det. Det förvånade mig att höra från en person som Tyson.
SvaraRaderaAI i närtid har inget medvetande och ingen själ men kan ändå vara intelligent och farlig. Varje kompetent programmerare kan redan idag skapa en autonom robot med kapacitet att utrota kanske inte hela mänskligheten men 1000-tals människor.
SvaraRaderaProblemet när vi debatterar AI och risk är att vi tror att AI inte blir farlig förrän den har ett medvetande, trots att medvetandet i sig inte har någon som helst funktionell roll.
Litet svårt att förstå.Varför skulle den försöka ta sig förbi kontrollmekanismerna och vägra ta order om den inte har vilja och alfaegenskaper.
SvaraRaderaFrågan är inte alldeles lätt, utan kräver en lite subtil diskussion som inte ryms inom en bloggkommentar, men låt mig i all anspråkslöshet rekommendera Avsnitt 4.6 i Here Be Dragons.
Radera