Visar inlägg med etikett Johan Norberg. Visa alla inlägg
Visar inlägg med etikett Johan Norberg. Visa alla inlägg

torsdag 3 januari 2019

Debattörer som irriterat mig i julhelgen, del 2: Ruin

Det här handlar inte om Hans Ruin personligen. Det är visserligen sant att jag tidigare haft starkt kritiska synpunkter på denne professor i filosofi vid Södertörns högskola, vad gäller såväl hans syn på sitt ämne1 som hans privatmoral2, men det jag skriver här har lite eller inget alls med de diskussionerna att göra, utan är snarare att betrakta som en brandkårsutryckning för att rätta till en del av dumheterna i hans understreckare i SvD häromdagen, rubricerad Den envisa myten om intelligenta maskiner.

Större delen av texten utgörs av en visserligen summarisk och starkt förenklad, men givet det någorlunda godtagbar, redogörelse för delar av den artificiella intelligensens (AI:ns) idéhistoria.3 Det är när Ruin mot slutet av texten lämnar idéhistorien bakom sig och ger sig i kast med att förutsäga hur AI kommer att vidareutvecklas i framtiden som problemen hopar sig. Han låtsas ha läst Nick Bostroms Superintelligence från 2014 och Max Tegmarks Life 3.0 från 2017, men avslöjar omdelebart sin bluff genom att påstå att båda utgår "från premissen att dagens självlärande maskiner inom en nära framtid kan alstra en 'intelligensexplosion'". Nej, detta är inte en premiss i någon av böckerna. Såväl Bostrom som Tegmark diskuterar intelligensexplosionsscenarier, men i båda fallen handlar det blott om ett bland flera möjliga scenarier, och i synnerhet Bostrom diskuterar noggrant och med en väl tilltagen dos epistemisk ödmjukhet vad som talar för respektive emot en intelligensexplosion.

Redan i påföljande mening kommer nästa ruinska felaktighet, då han påstår att "genom att hänvisa till hjärnans oerhört komplexa uppbyggnad av neuroner och synapser menar [såväl Bostrom som Tegmark] att superintelligens endast är en fråga om när maskinerna närmar sig en jämförbar komplexitet i beräkningskapacitet". Helt fel igen. Vad Ruin här gör är att (till synes blint och oreflekterat) återge en av de vanligast förekommande och samtidigt fånigaste vanföreställningarna kring AI-futurologi. Sanningen är att varken Bostrom eller Tegmark eller någon annan seriös AI-futurolog hävdar att beräkningskapacitetsutveckling ensam skulle få sådana konsekvenser. Tvärtom: utan rätt slags mjukvara ingen superintelligens. Det närmaste ett korn av sanning som finns i den av Ruin återgivna missuppfattningen är att en utbredd (och rimlig) ståndpunkt bland experter på området är att ju mer beräkningskapacitet som hårdvaruutvecklingen leder fram till, desto bättre är utsikterna att skapa den mjukvara som krävs för så kallad AGI (artificiell generell intelligens) eller superintelligens.

Med stöd i sitt fria fabulerande kring vad som står i Bostroms och Tegmarks respektive böcker kommer Ruin fram till att skapandet av superintelligens är "varken tekniskt eller filosofiskt sannolikt". Inför denna fras blir jag en smula perplex, ty trots mina mer än 25 år som forskare i sannolikhetsteori har jag aldrig hört talas om den påstådda distinktionen mellan "teknisk" och "filosofisk" sannolikhet. Så vad menar Ruin här? Troligtvis inget annat än att han tyckte att det skulle låta fräsigare och mer kunnigt med "varken tekniskt eller filosofiskt sannolikt" än att kort och gott skriva "osannolikt".

Så hur står det i själva verket till med den sannolikhet som här diskuteras? Det vet vi inte. Frågan om huruvida och i så fall på vilken tidsskala som vi kan vänta oss att AI-utvecklingen når fram till AGI och superintelligens är vidöppen, något som framgår med all önskvärd tydlighet såväl av Bostroms bok som av Tegmarks, och som omvittnas ytterligare av de enkätundersökningar som gjorts bland AI-forskare (se t.ex. Dafoe och Russell, och Grace et al). Det förståndiga att göra i detta läge är att acceptera den stora osäkerheten, inklusive konstaterandet att möjligheten att superintelligens kan komma att utvecklas under innevarande århundrade förtjänar att tas på allvar, givet hur många experter som gör just det.

Ändå träder den ene efter den andre publike debattören, med en expertis (i Ruins fall en omfattande belästhet på den gamle kontinentalfilosofen Martin Heidegger) som är av i bästa fall oklar relevans för AI-futurologi, fram och meddelar att det där med superintelligens och AI-risk, det är minsann inget att bry sig om. För Ruin är långt ifrån ensam om att dra fram en sådan bedömning mer eller mindre ur röven, och med stöd i sin professorstitel eller annan vida accepterad kredibilitetsgrund basunera ut den för folket. För bara någon månad sedan gjorde den populäre nyliberale ideologen Johan Norberg samma sak. För att inte tala om kungen av AI-riskförnekeri, Steven Pinker. Och det finns många fler: se gärna den amerikanske futurologen Seth Baums studium av fenomenet.

Figurer som Ruin, Norberg och Pinker verkar dock komma mycket lindrigare undan med sitt AI-bullshitteri jämfört med motsvarande uttalanden från klimatförnekare om den globala uppvärmningen och dess orsaker. En trolig förklaring till detta är att kunskapsläget inom AI-futurologin är så väldigt mycket osäkrare än det inom klimatvetenskapen. Men att använda sin auktoritet i det offentliga rummet till att tvärsäkert torgföra grundlösa påståenden i vetenskapliga frågor, det är lika fel oavsett vilken grad av vetenskaplig osäkerhet som råder på det aktuella området.

Fotnoter

1) Min kritik på denna punkt handlar mest om hur Ruin positionerade sig i debatter med Torbjörn Tännsjö under 2016. Det är knappast någon större överdrift att hävda att han uttryckte en önskan att reducera filosofiämnet till läsandet av gamla klassiker, och dömde ut alla försök att tänka nya tankar. Det var också från denna förgrämda gammelmansposition han samma år yttrade sig om Macchiarini-skandalen.

2) Jag syftar här på Ruins åtgärder (som rapporterats om här och var) i syfte att tysta ned offer för sin gode vän Jean-Claude Arnaults sexuella övergrepp. Saken försatte mig i vissa smärre bryderier sedan jag anmält mig att delta i ett akademiskt symposium i Göteborg den 8 oktober förra året, och därefter fått klart för mig att Ruin fanns med bland talarna. Jag kände omedelbart att jag inte ville sitta tyst och utan minsta markering mot Ruin på mötet, då det skulle kunna förstås som en form av bekräftelse av att jag överser med hans illgärningar och välkomnar honom på mötet. Att utebli från mötet ville jag heller inte då mycket av intresse stod på programmet. Vidare skulle det ha varit alltför avigt och antisocialt att under frågestunden efter hans föredrag resa mig och säga något i stil med "Det här är måhända en smula off topic, men hur ser du på etiken kring nedtystandet av offer för sexuella övergrepp?". Den kompromiss jag till slut fastnade för, efter att först ha hört av mig till mötesarrangörerna med mina reservationer kring Ruins medverkan i symposiet (något som i alla fall förde det goda med sig att arrangörerna meddelade honom förekomsten av sådana synpunkter bland anmälda deltagare), var att under mötet bära den egenhändigt designade t-shirt som avbildas här intill. (Hashtagen på t-shirten kom till inom den amerikanska grenen av metoo, som stöd för Christine Blasey Ford (och protest mot den backlash som drabbade henne) när hon i september förra året vittnade mot den supreme court-nominerade domaren Brett Kavanaugh.)

3) Jag kan dock inte låta bli att påpeka att Ruin ger på tok för stor kredibilitet åt John Searles starkt suggestiva men i grunden feltänkta tankeexperiment Det kinesiska rummet. Se exempelvis Avsnitt 3 i min uppsats Aspects of mind uploading för en motivering till mitt stränga ordval "feltänkt".

söndag 25 november 2018

Johan Norberg is dead wrong about AI risk

I kind of like Johan Norberg. He is a smart guy, and while I do not always agree with his techno-optimism and his (related) faith in the ability of the free market to sort everything out for the best, I think he adds a valuable perspective to public debate.

However, like the rest of us, he is not an expert on everything. Knowing when one's knowledge on a topic is insufficient to provide enlightenment and when it is better to leave the talking to others can be difficult (trust me on this), and Norberg sometimes fails in this respect. As in the recent one minute and 43 seconds episode of his YouTube series Dead Wrong® in which he comments on the futurology of artificial intelligence (AI). Here he is just... dead wrong:

No more than 10 seconds into the video, Norberg incorrectly cites, in a ridiculing voice, Elon Musk as saying that "superintelligent robots [...] will think of us as rivals, and then they will kill us, to take over the planet". But Musk does not make such a claim: all he says is that unless we proceed with suitable caution, there's a risk that something like this may happen.

Norberg's attempt at immediate refutation - "perhaps super machines will just leave the planet the moment they get conscious [and] might as well leave the human race intact as a large-scale experiment in biological evolution" - is therefore just an invalid piece of strawmanning. Even if Norberg's alternative scenario were shown to be possible, that is not sufficient to establish that there's no risk of a robot apocalypse.

It gets worse. Norberg says that
    even if we invented super machines, why would they want to take over the world? It just so happens that intelligence in one species, homo sapiens, is the result of natural selection, which is a competitive process involving rivalry and domination. But a system that is designed to be intelligent wouldn't have any kind of motivation like that.
Dead wrong, Mr Norberg! Of course we do not know for sure what motivations a superintelligent machine will have, but the best available theory we currently have for this matter - the Omohundro-Bostrom theory for instrumental vs final AI goals - says that just this sort of behavior can be predicted to arise from instrumental goals, pretty much no matter what the machine's final goal is. See, e.g., Bostrom's paper The superintelligent will, his book Superintelligence, my book Here Be Dragons or my recent paper Challenges to the Omohundro-Bostrom Framework for AI Motivations. Regardless of whether the final goal is to produce paperclips or to maximize the amount of hedonic well-being in the universe, or something else entirely, there are a number instrumental goals that the machine can be expected to adopt for purpose of promoting that goal: self-preservation (do not let them pull the plug on you!), self-improvement, and acquisition of hardware and other resources. There are other such convergent instrumental goals, but these in particular point in the direction of the kind of rivalrous and dominant behavior that Norberg claims a designed machine wouldn't exhibit.

Norberg cites Steven Pinker here, but Pinker is just as ignorant as Norberg of serious AI futurology. It just so happens that when I encountered Pinker in a panel discussion last year, he made the very same dead wrong argument as Norberg now does in his video - just minutes after I had explained to him the crucial parts of Omohundro-Bostrom theory needed to see just how wrong the argument is. I am sure Norberg can rise above that level of ineducability, and that now that I am pointing out the existence of serious work on AI motivations he will read at least some of references given above. Since he seems to be under the influence of Pinker's latest book Enlightenment Now, I strongly recommend that he also reads Phil Torres' detailed critique of that book's chapter on existential threats - a critique that demonstrates how jam-packed the chapter is with bad scholarship, silly misunderstandings and outright falsehoods.