Dagsaktuellt om termodynamikens andra lag

Olika områden av fysiken verkar lämpa sig olika väl för att belysa mer vardagliga företeelser. När någon försöker sig på att använda kvantmekaniken på det viset landar resonemanget oftast i ren bullshit. Hänvisningar till termodynamikens andra lag (som säger att ett isolerat systems entropi aldrig minskar, och att systemet istället tenderar att utvecklas mot ett tillstånd av maximal entropi - maximal oordning) brukar gå bättre. När datalogen Scott Aaronson nyligen tillgrep termodynamikens andra lag i en kommentar till det fortfarande chockerande faktum att Donald Trump lyckats bli vald till USA:s president,¹ så reagerade jag med omedelbar förtjusning. Så här förklarar han det kanske vanligaste och mest grundläggande fel de väljare gjort som fått för sig att det är i deras intresse att Trump blir president:

[O]ne of humanity’s tragic flaws is to take for granted the gargantuan effort needed to create and maintain even little temporary pockets of order. Again and again, people imagine that, if their local pocket of order isn’t working how they want, then they should smash it to pieces, since while admittedly that might make things even worse, there’s also at least 50/50 odds that they’ll magically improve. In reasoning thus, people fail to appreciate just how exponentially more numerous are the paths downhill, into barbarism and chaos, than are the few paths further up. So thrashing about randomly, with no knowledge or understanding, is statistically certain to make things worse: on this point thermodynamics, common sense, and human history are all in total agreement. The implications of these musings for the present [is] left as exercises for the reader.

Citatet är från Aaronsons bloggpost State den 1 januari i år, men jag är skyldig Luke Muehlhauser ett tack som via sin egen blogg uppmärksammat mig på det. Muehlhauser tillfogar följande skämtteckning som illustrerar samma poäng:

Fotnot

1) Lustigt nog sammanfaller denna Aaronson-hänvisning till termodynamikens andra lag nästan exakt i tiden med en annan sådan, i ett helt annat sammanhang. I hans välskrivna, lärorika och formidabelt kunskapstäta nyss släppta 121-sidiga översiktsuppsats om P kontra NP - måhända det viktigaste öppna problemet i hela matematiken - drar han i Fotnot 20 på sidan 24 en humoristisk men likväl träffsäker parallell mellan termodyamikens andra lag och P≠NP:

I like to joke that, if computer scientists had been physicists, we’d simply have declared P≠NP to be an observed law of Nature, analogous to the laws of thermodynamics. A Nobel Prize would even be given for the discovery of that law. (And in the unlikely event that someone later proved P=NP, a second Nobel Prize would be awarded for the law’s overthrow.)

Pinker yttrar sig om AI-risk men vet inte vad han talar om

Som jag påpekat tidigare: kognitionsvetaren Steven Pinker är utan tvekan en av vår tids främsta populärvetenskapsförfattare och public intellectuals. Hans utspel är dock ofta kontroversiella, och när jag värderar dem blir det ömsom vin, ömsom vatten. Nu skall jag bjuda på lite av det senare, sedan jag häromdagen blivit uppmärksammad på en videosnutt som nyligen publicerats på sajten Big Think, där Pinker förklarar hur löjligt det är att oroa sig över risken för en framtida AI-apokalyps. Pinkers anförande ges rubriken AI Won't Takeover the World, and What Our Fears of the Robopocalypse Reveal.

Det Pinker här går till angrepp mot är emellertid inget mer än en till oigenkännlighet förvriden nidbild av den syn på AI-risk och superintelligens som ledande tänkare på området - sådana som Nick Bostrom, Eliezer Yudkowsky, Stuart Russell, Max Tegmark och Stuart Armstrong - representerar. Och han gör narr av att de inte skulle ha kommit på den enkla lösningen att vi kan "build in safeguards" i avancerade AI-system för att försäkra oss om att de inte går överstyr - uppenbarligen helt okunnig om att en central del av dessa tänkares budskap är att vi bör göra just det, men att det är ett mycket svårt projekt, varför vi gör klokast i att börja utarbeta säkerhetslösningar i så god tid som möjligt, dvs nu.

Det här är inte första gången Pinker häver ur sig dessa dumheter. 2014 skrev han ett svar på en artikel av Jaron Lanier där han torgförde väsentligen samma synpunkter - ett svar varur jag på sidan 116 i min bok Here Be Dragons citerade följande passage:

[A] problem with AI dystopias is that they project a parochial alpha-male psychology onto the concept of intelligence. Even if we did have superhumanly intelligent robots, why would they want to depose their masters, massacre bystanders, or take over the world? Intelligence is the ability to deploy novel means to attain a goal, but the goals are extraneous to the intelligence itself: being smart is not the same as wanting something. History does turn up the occasional megalomaniacal despot or psychopathic serial killer, but these are products of a history of natural selection shaping testosterone-sensitive circuits in a certain species of primate, not an inevitable feature of intelligent systems. It's telling that many of our techno-prophets can't entertain the possibility that artificial intelligence will naturally develop along female lines: fully capable of solving problems, but with no burning desire to annihilate innocents or dominate the civilization.

Of course we can imagine an evil genius who deliberately designed, built, and released a battalion of robots to sow mass destruction. [...] In theory it could happen, but I think we have more pressing things to worry about.

Detta kommenterade jag i Here Be Dragons med följande ord (inklusive fotnoter, men med länkar tillfogade här och nu):

This is poor scholarship. Why doesn't Pinker bother, before going public on the issue, to find out what the actual arguments are that make writers like Bostrom and Yudkowsky talk about an existential threat to humanity? Instead, he seems to simply assume that their worries are motivated by having watched too many Terminator movies, or something along those lines. It is striking, however, that his complaints actually contain an embryo towards rediscovering the Omohundro-Bostrom theory:²⁶⁶ "Intelligence is the ability to deploy novel means to attain a goal, but the goals are extraneous to the intelligence itself: being smart is not the same as wanting something." This comes very close to stating Bostrom's orthogonality thesis about the compatibility between essentially any final goal and any level of intelligence, and if Pinker had pushed his thoughts about "novel means to attain a goal" just a bit further with some concrete example in mind, he might have rediscovered Bostrom's paperclip catastrophe (with paperclips replaced by whatever his concrete example involved). The main reason to fear a superintelligent AGI Armageddon is not that the AGI would exhibit the psychology of an "alpha-male"²⁶⁷ or a "megalomaniacal despot" or a "psychopathic serial killer", but simply that for a very wide range of (often deceptively harmless-seeming) goals, the most efficient way to attain it involves wiping out humanity.

Contra Pinker, I believe it is incredibly important, for the safety of humanity, that we make sure that a future superintelligence will have goals and values that are in line with our own, and in particular that it values human welfare.

266) I owe this observation to Muehlhauser (2014).

267) I suspect that the male-female dimension is just an irrelevant distraction when moving from the relatively familiar field of human and animal psychology to the potentially very different world of machine minds.

Det är lite dystert att se, i den ovan länkade videon, att Pinker (trots den tid han haft på sig att tänka om och trots tillrättalägganden från bland andra Luke Muehlhauser och mig) fortsätter att torgföra sina förvirrade vanföreställningar om AI-futurologi.

Guest post by David Sumpter: Why "intelligence explosion" and many other futurist arguments are nonsense

One of the criticisms regarding my blog that I hear most often - also from readers who otherwise seem to like it - is that I attach way too much credibility to crazy futurist scenarios, such as the Singularity or various other transhumanistic developments. While I do have the ambition to be as unbiased as I can given the available evidence, it may nevertheless well be that these critics are right, and that I have such a bias. Be that as it may, I don't think it can be wrong to offer a wider variety of perspectives by publishing some more Singularity-skeptical material on the blog. To this end I invited my highly esteemed colleague David Sumpter, professor of applied mathematics at Uppsala University, to explain why he is so unimpressed by all this futurist talk. He took up the challenge and wrote the following text. I'll respond to it in a separate blog post tomorrow. /OH

* * *

Why "intelligence explosion" and many other futurist arguments are nonsense

David J. T. Sumpter

This argument for the above statement is going to be made as briefly as possible. It does not follow the usual standards of rigour I would apply in writing about science, in that I have not completely reviewed the literature. It is made after reading some texts brought to my attention by Olle Häggström. In particular, Facing the Intelligence Explosion by Luke Muehlhauser, followed by browsing a few of Nick Bostrom’s articles on the singularity and works on “Universal Artificial Intelligence” by Marcus Hutter.

I’ll start by saying that Muehlhauser’s book is fun and I enjoyed reading it. Bostrom’s articles are also well-written and thought provoking. It is an idea that has occurred to me many times before that I might be living in a computer simulation and it is nice to see the argument for different alternatives spelt out. There is nothing logically wrong (as far as I can see) with any of the arguments presented by either of these authors. My argument is that they are scientifically useless and not related to any sense data, i.e. they are nonsense. I’ll explain what I mean by nonsense.

Imagine you lived in Mesopotamia 5000 years ago. You have just seen your first wheeled chariot roll by. Amazing. Powered by horses it could reach almost dangerous speeds. “What does the future hold?”, you might say. Maybe one day we can replace the horses with a magical power that will drive these chariots? Maybe we can build massive track systems that cover the planet and we can travel at 20 times the speed of running? What an amazing, but also scary, future. If these chariots hit children they will be killed instantly. Where will the cattle graze? We’ll have to organise a safe network for these machines. What if these chariots can one day fly like birds? Then they can fly to the next town and drop bombs? Kill people. What if one of the bombs is so powerful it can wipe out whole cities? The future of the planet is at risk.

You are quite an insightful person to come up with all this. But what happens when you tell it to your peers? They quite rightly tell you it is all nonsense. They tell you to calm down and get on with taking in the harvest. Farming has just been invented and you have your work to do. But maybe you could use a chariot to carry in the crops? You get to work on this problem, and build a four-wheeled waggon. You have advanced science.

In the above story, I let you be pretty much correct about the future. You had a reasonably correct model M₁ of what happened 5000 years later. Why then do I say that your peers were right to say you were talking nonsense? Because your rational peers are using Bayes' theorem, of course. P(M₁ | Data) is very low. “What the hell can a chariot rolling past tell you about flying bomb machines?” they say. You revise your model a bit. If we can build a two wheeled chariot, maybe we can build a four wheeled version. This is model M₂. Yep, there we go P(M₂ | Data)>>P(M₁ | Data) and we move in to the future. In fact P(M₂ | Data) is so much greater than P(M₁ | Data) that we can call M₁ nonsense.

The fact M₁ eventually proved to be true is irrelevant here. The question was whether the chariot rolling by was sufficient information to support your model. To put it slightly more technically: if we integrate over all the uncertainties in a model, all the parameters involved and their possible values, then the Bayes factor for M₁ is much much lower than for M₂, unless you invoke an unacceptable prior to your model. In order to avoid being nonsense a model should be reliable on the basis of sense data.

Now I don’t know if the "intelligence explosion" is true or not, but I can think of some models that are more probable. Maybe I can ask my smart phone to do something more than calling my wife and it will actually do it? Maybe a person-sized robot can walk around for two minutes without falling over when there is a small gust of wind? Maybe I can predict, within some reasonable confidence interval, climate change a number of years in to the future? Maybe I can build a mathematical model that predicts short-term economic changes? These are all plausible models of the future and we should invest in testing these models. Oh wait a minute... that’s convenient... I just gave a list of the type of engineering and scientific questions our society is currently working on. That makes sense!

The reason scientists work on these questions is that there is a feedback between models and data. We make models, we make predictions and test them against data, we revise the model and move forward. You can be a Bayesian or a frequentist or Popperian, emphasise deductive or inductive reasoning, or whatever, but this is what you do if you are a scientist. Scientific discoveries are often radical and surprising but they always rely on the loop of reasoning coupled with observation.

What scientists do not typically believe is that model-making alone can answer far off data-free questions. Well, that’s not quite true. It appears that some scientists do believe that it is all about tuning the model. For example, Marcus Hutter believes that by choosing the right formalism he can reason himself forward to defining the properties of a General Artificial Intelligence. And Luke Muehlhauser believes that by listing a few examples of limitations in human heuristics and noting that computers are good search engines that he can convince us that we "find ourselves at a crucial moment in Earth’s history. [...] Soon we will tumble down one side of the mountain or another to a stable resting place". I would prefer to follow the earlier chapters of Muehlhauser in using the power of rationality to avoid such ungrounded statements.

Is there anything wrong with discussing models with low probability given the data? No. Not when it is done for fun. Like all other forms of nonsense, from watching the Matrix, going to a Tarot card reader or contemplating what might happen when I die, it has its place and is certainly valuable to us as individuals. But this place and value is not related to serious scientific discourse, and the two should not be mixed up.

Efterlängtat temanummer om Singulariteten

Det är inte säkert att den så kallade Singulariteten - ett hypotetiskt framtidescenario där AI (artificiell intelligens) överskrider mänsklig intelligens och orsakar en explosionsartad fortsatt utveckling - kommer att inträffa. Däremot finns goda argument för att något sådant kan inträffa, och för att det inte är helt osannolikt. Meningarna om detta går isär, men med tanke på vilka enorma konsekvenser för mänskligheten en eventuell Singularitet skulle få, så vill jag mena att frågan är värd att ta på allvar. En bra och välavvägd introduktion (som jag flera gånger hänvisat till här på bloggen) är David Chalmers uppsats The Singularity: a philosophical analysis, publicerad i Journal of Consciousness Studies.

Det har länge varit känt att samma tidskrift avser publicera ett temanummer med reaktioner på Chalmers uppsats. Med tanke på vilken snäv och närmast subkulturell krets som hittills intresserat sig för Singulariteten är det enligt min mening hög tid att begreppet diskuteras i något bredare akademiska kretsar, och sagda temanummer - som nu äntligen utkommit - är därför starkt efterlängtat. Tyvärr har tidskriften den dåliga smaken att gömma artiklarna bakom en betalvägg¹, men lyckligtvis har Luke Muehlhauser på bloggen Less Wrong skrapat ihop en egen innehållsförteckning med länkar till de av texterna (flertalet) som är tillgängliga i preprintversion på andra håll på nätet.

Att döma av de tillgängliga texterna är tidskriftsnumret minst sagt ojämnt.² Jag har ännu inte hunnit lusläsa samtliga dessa texter, men kan ändå säga något om var och en:

• Francis Heylighen tar i uppsatsen A brain in a vat cannot break out: why the Singularity must be extended, embedded and embodied sin utgångspunkt i forskningsområdet embodied cognition. Han påpekar att en mänsklig hjärna inte fungerar utan ett ständigt signalutbyte med kropp och omvärld, och hävdar att det på samma vis inte går att skapa en AI instängd i sin burk. Istället tror han mer på att en övermänsklig intelligens kan uppstå ur självorganiserande nätverk som Internet.
  
  
• I det korta men inte alldeles lättsmälta bidraget Response to "The Singularity" by David Chalmers argumenterar Drew McDermott för att Singulariteten inte kommer att inträffa. Centralt i hans resonemang är påståendet ("bevisat" i ett appendix) att Moores lag inte kan vara sann med mindre än att P=NP (vilket få teoretiska dataloger tror är fallet), något som jag dock har svårt att förstå som annat än en begreppsförvirring. P kontra NP är en rent matematisk frågeställning, och kan inte ensamt besvara frågor om hur den fysiska världen är beskaffad, som t.ex. den om huruvida och i så fall hur länge Moores lag kommer att gälla i framtiden.³
  
  
• Singulariteten är förknippad med enorma risker, då vi inte vet vad de överlägsna AI-varelserna kommer att ha för inställning till oss människor. Kanske blir den slutet för mänskligheten? En ofta föreslagen metod är att hålla den superintelligenta AI:n instängd i en burk där den inte förmår göra oss någon skada, tills dess att vi övertygat oss om att det är av godo att släppa loss den. Det finns dock goda grunder för att ifrågasätta om en sådan strategi är möjlig att med framgång implementera. I texten Leakproofing the Singularity: artificial intelligence confinement problem fördjupar sig Roman Yampolskiy i denna problematik.
  
  
• Ben Goertzel följer, i texten Should humanity build a global AI nanny to delay the Singularity until it’s better understood?, detaljerat upp ett annat förslag från Chalmers uppsats om hur vi skulle kunna agera inför den stundande och eventuellt mycket farliga Singulariteten. Med Chalmers ord:
  
  
  It is certainly possible that AI+ systems will be disinclined to create their successors, perhaps because we design them to be so disinclined. [...] Furthermore, it may be that AI+ systems will have the capacity to prevent such progress from happening.
  
  
  
• Robin Hanson pekar i Meet the new conflict, same as the old conflict på likheter mellan å ena sidan den eventuella intressekonflikten människor och AI-varelser emellan, och å andra sidan de intergenerationella intressekonflikter som är välbekanta redan i dagens samhälle.
  
  
• I sitt bidrag Can intelligence explode? diskuterar Marcus Hutter de kontraintuitiva konsekvenserna av att AI-varelser kan implementeras på hårdvara med olika hastigheter.
  
  
• En ofta föreslagen metod för oss människor att få hänga med de superintelligenta AI-varelserna bortom Singulariteten är att ge upp våra skröpliga kroppar och ladda upp våra medvetanden på datorer. Attraktiviteten i ett sådant förfarande ser ut att hänga på om den uppladdade individen verkligen blir jag, något som leder till svåra filosofiska frågor om personlig identitet. I She won't be me levererar Susan Blackmore ett passionerat försvar för en Parfitsk syn på personlig identitet, nära den jag tidigare diskuterat här på bloggen.
  
  
• I texten Philosophers and futurists, catch up! gnölar Jürgen Schmidhuber över att Chalmers och andra ignorerar hans teoretiska konstruktion av något som kallas Gödelmaskiner och som tydligen är jättejätteviktigt.
  
  
• Den postsingulära världen väntas bli obegriplig. I ett klassiskt citat från 1983 skriver Vernor Vinge att
  
  
  [the] singularity [...] already haunts a number of science-fiction writers. It makes realistic extrapolation to an interstellar future impossible. To write a story set more than a century hence, one needs a nuclear war in between [...] so that the world remains intelligible.
  
  Likväl har Vinge själv, liksom en rad andra science fiction-författare, försökt sig på att skriva om Singulariteten och framtiden bortom den. Damien Broderick ger i essän Terrible angels: the Singularity and science fiction en litteraturöversikt.⁴
  
  
• Den genomsnittliga nivån på visionaritet och intellektuellt mod är hög i detta tidskriftsnummer, men det finns ett bidrag som i detta avseende sticker ut mer än de andra, nämligen Inevitable existence and inevitable goodness of the Singularity av Frank Tipler. Jag vågar påstå att Tipler överskrider gränsen till det topp tunnor tokiga flera gånger om, då han längs ogenerat teleologiska resonemang bl.a. säger sig visa (a) att fysikens ultimata lagar (tvärtemot vad fysiker i allmänhet hävdar) redan är kända, (b) att dessa fysikens lagar medför att Singulariteten kommer att inträffa, och (c) att dessa samma lagar omöjliggör konstruktionen av AI-varelser som inte är fredliga eller som inte vill oss väl. Hur i hela fridens namn har den här sortens knasbollerier kunnat ta sig igenom tidskriftens refereegranskningsprocess?

Av Muehlhausers innehållsförteckning får vi dessutom veta att ännu ett nummer av tidskriften kommer att ägnas åt reaktioner på Chalmers text, plus ett svar från Chalmers själv. Ett utmärkt smakprov får vi då han länkar till en text av Carl Shulman och Nick Bostrom, som utreder huruvida vi möjligen - förledda av att vi själva blivit till på evolutionär väg - lurats att underskatta svårigheterna i att skapa AI på mänsklig nivå med hjälp av genetiska och evolutionära programmeringsmetoder.

Fotnoter

1) Denna praktik strider mot andan i vårt (mänsklighetens) gemensamma projekt vetenskapen. Extra stötande är att den ofta benämns publicering trots att det handlar om motsatsen - en kommersiell privatisering av vetenskapliga texter. Men denna fråga (som jag hoppas återkomma till) ligger utanför ämnet för dagens bloggpost.

2) Och så är väl egentligen alltid fallet med antologier, något jag här på bloggen sett mig föranledd att påpeka i ett par närbesläktade sammanhang.

3) Mot slutet av sin text skriver McDermott att han anser att

it would be a pity for too many smart people to devote time and mental effort to thinking about the Singularity, [because] there are other possible events, unambigous catastrophes, with higher probability

...och förklarar sedan att han avser ett scenario där global miljökollaps medför social oro och i förlängningen kärnvapenkrig. Det är möjligt att McDermott har rätt i sin sannolikhetsbedömning, men jag menar att det inte för den sakens skull är oförnuftigt att diskutera Singulariteten. Vi har många stora utmaningar framför oss, och behöver förhålla oss till dem alla. Vad som enligt min mening verkligen vore oförnuftigt skulle vara om vi satte oss ned för att försöka rangordna de olika utmaningarna, och sedan koncentrera all vår kraft på att lösa enbart den som hamnar högst på listan, ignorerandes de övriga.

4) Science fiction är en illa sedd genre, något jag finner orättvist. Romaner är (utöver deras rena underhållningsfunktion) i första hand till för fördjupa vår förståelse för vad det innebär att vara människa. Det senare är inte helt fixt genom tiderna, utan beror av samhällets utformning, vilken i sin tur beror av teknikutvecklingen. Att en och annan författare inte nöjer sig med att behandla vad det är att vara människa idag eller i förfluten tid, utan tillåter sig att fördjupa sig i hypotetiska framtidsscenarier, anser jag vara mycket värdefullt. Margeret Atwood tycks hålla med, i sin bok In Other Worlds (som jag inte läst utan bara är bekant med via Joyce Carol Oates recension i senaste New York Review of Books).

Edit 11 april 2012: En uppföljning till Fotnot 1 finns här.

Okunnigt om artificiell intelligens och mänsklighetens framtid

Om fjorton dagar, fredagen den 24 februari kl 10.15, avser jag hålla ett föredrag med rubriken When human reasoning is transcended i seminarieserien Human reasoning på Institutionen för filosofi, lingvistik och vetenskapsteori vid Göteborgs universitet. Det blir möjligen det viktigaste ämne jag talat över i föredragsform. Därtill är det ett ämne om vilket jag är katastrofalt okunnig. Att jag trots detta sistnämnda dristar mig att tala om det försvarar jag med att alla andra¹ är minst lika okunniga som jag, och att kollektiv brist på kunskap i en viktig fråga inte är någon godtagbar ursäkt för att ignorera den.

Läsare i göteborgstrakten är mycket välkomna att komma för att lyssna och diskutera. Allra mest givande tror jag att diskussionen kan bli om de kritiska invändningarna höjer sig över känslomässiga och sakligt ogrundade utrop som "Det där tror jag inte kan hända!" och istället är sakligt förankrade och noga genomtänkta, gärna efter kritiskt studium av någon eller några av de uppsatser som jag avser utgå ifrån i mitt föredrag:

• Nick Bostrom och Eliezer Yudkowsky: The ethics of artificial intelligence
  
  
• David Chalmers: The Singularity: a philosophical analysis
  
  
• Bill Joy: Why the future doesn't need us
  
  
• Luke Muehlhauser: Facing the Singularity
  
  
• Eliezer Yudkowsky: Artificial intelligence as a positive and negative factor in global risk

Fotnot

1) Detta är blott en mild överdrift. Det finns ett litet antal personer, inklusive flertalet av de i slutet av bloggposten uppräknade författarna, vilkas okunskap i ämnet bara är nästan lika stor som min, men likväl ändå klart inom gränserna för vad som förtjänar betecknas som katastrofalt.