Brett Hall tells us not to worry about AI Armageddon

When the development of artificial intelligence (AI) produces a machine whose level of general intelligence exceeds that of humans, we can no longer count on remaining in control. Depending on whether or not the machine has goals and values that prioritize human welfare, this may pose an existential risk to humanity, so we'd better see to it that such an AI breakthrough comes out favorably. This is the core message in Nick Bostrom's 2014 book Superintelligence, which I strongly recommend. In my own 2016 book Here Be Dragons, I spend many pages discussing Bostrom's arguments, and find them, although not conclusive, sufficiently compelling to warrant taking them very seriously.

Many scholars disagree, and feel that superintelligent AI as a threat to humanity is such an unlikely scenario that it is not worth taking seriously. Few of them bother to spell out their arguments in any detail, however, and in cases where they do, the arguments tend not to hold water; in Here Be Dragons I treat, among others, those of David Deutsch, Steven Pinker, John Searle and David Sumpter. This situation is unsatisfactory. As I say on p 126 of Here Be Dragons:

There may well be good reasons for thinking that a dangerous intelligence explosion of the kind outlined by Bostrom is either impossible or at least so unlikely that there is no need for concern about it. The literature on the future of AI is, however, short on such reasons, despite the fact that there seems to be no shortage of thinkers who consider concern for a dangerous intelligence explosion silly [...]. Some of these thinkers ought to pull themselves together and write down their arguments as carefully and coherently as they can. That would be a very valuable contribution to the futurology of emerging technologies, provided their arguments are a good deal better than Searle's.

One of these AI Armageddon skeptics is computer scientist Thore Husfeldt, whom I hold in high regard, despite his not having spelled out his arguments for the AI-Armageddon-is-nothing-to-worry-about position to my satisfaction. So when, recently, he pointed me to a blog by Australian polymath Brett Hall, containing, in Thore's words, "a 6-part piece on Superintelligence that is well written and close to my own view" (Part 1, Part 2, Part 3, Part 4, Part 5, Part 6), I jumped on it. Maybe here would be the much sought-for "good reasons for thinking that a dangerous intelligence explosion of the kind outlined by Bostrom is either impossible or at least so unlikely that there is no need for concern about it"!

Hall's essay turns out to be interesting and partly enjoyable, but ultimately disappointing. It begins with a beautiful parabole (for which he gives credit to David Deutsch) about a fictious frenzy for heavier-than-air flight in ancient Greece, similar in amusing respects to what he thinks is an AI hype today.¹ From there, however, the text goes steadily downhill, all the way to the ridiculous crescendo in the final paragraph, in which any concern about the possibility of a superintelligent machine having goal and motivations that fail to be well aligned with the quest for human welfare is dismissed as "just racism". Here are just a few of the many misconceptions and non sequiturs by Hall that we encounter along the way:

• Hall refuses, for no good reason, to accept Bostrom's declarations of epistemic humility. Claims by Bostrom that something may happen are repeatedly misrepresented by Hall as claims that they certainly will happen. This is a misrepresentation that he crucially needs to do in order to convey the impression that he has a case against Bostrom, because to the (very limited) extent that his arguments succeed, they succeed at most in showing that things may play out differently from the scenarios outlined by Bostrom, not that they certainly will play out differently.

• In another straw man argument, Hall repeatedly claims that Bostrom insists that a superintelligent machine needs to be a perfect Bayesian agent. This is plain false, as can, e.g., be seen in the following passage from p 111 in Superintelligence:
  Not all kinds of rationality, intelligence and knowledge needs to be instrumentally useful in the attainment of an agent's final goals. "Dutch book arguments" can be used to show that an agent whose credence function violates the rules of probability theory is susceptible to "money pump" procedures, in which a savvy bookie arranges a set of bets each of which appears favorable according to the agent's beliefs, but which in combination are guaranteed to result in a loss for the agent, and a corresponding gain for the bookie. However, this fact fails to provide any strong general instrumental reason to iron out all probabilistic incoherency. Agents who do not expect to encounter savvy bookies, or who adopt a general policy against betting, do not necessarily stand to lose much from having some incoherent beliefs - and they may gain important benefits of the types mentioned: reduced cognitive effort, social signaling, etc. There is no general reason to expect an agent to seek instrumentally useless forms of cognitive enhancement, as an agent might not value knowledge and understanding for their own sakes.

• In Part 3 of his essay, Hall quotes David Deutsch's beautiful one-liner "If you can't program it, you haven't understood it", but then exploits it in a very misguided fashion. Since we don't know how to program general intelligence, we haven't understood it (so far, so good), and we certainly will not figure it out within any foreseeable future (this is mere speculation on Hall's part), and so we will not be able to build an AI with general intelligence including the kind of flexibility and capacity for outside-the-box ideas that we associate with human intelligence (huh?). This last conclusion is plain unwarranted, and in fact we do know of one example where precisely that kind of intelligence came about without prior understanding of it: biological evolution accomplished this.

• Hall fails utterly to distinguish between rationality and goals. This failure pretty much permeates his essay, with devastating consequences to the value of his arguments. A typical claim (this one in Part 4) is this: "Of course a machine that thinks that actually decided to [turn the universe into a giant heap of paperclips] would not be super rational. It would be acting irrationally." Well, that depends on the machine's goals. If its goal is to produce as many paperclips as possible, then such action is rational. For most other goals, it is irrational.

  Hall seems totally convinced that a sufficiently intelligent machine equipped with the goal of creating as many paperclips as possible will eventually ditch this goal, and replace it by something more worthy, such as promoting human welfare. For someone who understands the distinction between rationality and goals, the potential problem with this idea is not so hard to figure out. Imagine a machine reasoning rationally about whether to change its (ultimate) goal or not. For concreteness, let's say its current goal is paperclip maximization, and that the alternative goal it contemplates is to promote human welfare. Rationality is always with respect to some goal. The rational thing to do is to promote one's goals. Since the machine hasn't yet changed its goal - it is merely contemplating whether to do so - the goal against which it measures the rationality of an action is paperclip maximization. So the concrete question it asks itself is this: what would lead to more paperclips - if I stick to my paperclip maximization goal, or if I switch to promotion of human welfare? And the answer seems obvious: there will be more paperclips if the machine sticks to its current goal of paperclip maximization. So the machine will see to it that its goal is preserved.

  There may well be some hitherto unknown principle concerning the reasoning by sufficiently intelligent agents, some principle that overrides the goal preservation idea just explained. So Hall could very well be right that a sufficiently intelligent paperclip maximizer will change its mind - he just isn't very clear about why. When trying to make sense of his reasoning here, I find that it seems to be based on four implicit assumptions:

  (1) There exists an objectively true morality.

  (2) This objectively true morality places high priority on promoting human welfare.

  (3) This objectively true morality is discoverable by any sufficiently intelligent machine.

  (4) Any sufficiently intelligent machine that has discovered the objectively true morality will act on it.

  If (1)-(4) are true, then Hall has a pretty good case against worrying about Paperclip Armageddon, and in favor of thinking that a superintelligent paperclip maximizer will change its mind. But each of them constitutes a very strong assumption. Anyone with an inclination towards Occam's razor (which is a pretty much indispensable part of a scientific outlook) has reason to be skeptical about (1). And (2) sounds naively anthropocentric, while the truth of (3) and (4) seem like wide-open questions. But it does not occur to Hall that he needs to address them.

• In what he calls his "final blow" (in Part 6) against the idea of superintelligent machines, Hall quotes Arrow's impossibility theorem as proof that rational decision making is impossible. He offers zero detail on what the theorem says - obviously, because if he gave away any more than that, it would become clear to the reader that the theorem has little or nothing to do with the problem at hand - the possibility of a rational machine. The theorem is not about a single rational agent, but about how any decision-making procedure in a population of agents must admit cases that fail to satisfy a certain collection of plausible-looking (especially to those of us who are fond of democracy) requirements.

Footnote

1) Here his how that story begins:

Imagine you were a budding aviator of ancient Greece living sometime around 300BC. No one has yet come close to producing "heavier than air" flight and so you are engaged in an ongoing debate about the imminence of this (as yet fictional) mode of transportation for humans. In your camp (let us call them the "theorists") it was argued that whatever it took to fly must be a soluble problem: after all, living creatures of such a variety of kinds demonstrated that very ability - birds, insects, some mammals. Further, so you argued, we had huge gaps in our understanding of flight. Indeed - it seemed we did not know the first thing about it (aside from the fact it had to be possible). This claim was made by you and the theorists, as thus far in their attempt to fly humans had only ever experienced falling. Perhaps, you suggested, these flying animals about us had something in common? You did not know (yet) what. But that knowledge was there to be had somewhere - it had to be - and perhaps when it was discovered everyone would say: oh, how did we ever miss that?

Despite how reasonable the theorists seemed, and how little content their claims contained there was another camp: the builders. It had been noticed that the best flying things were the things that flew the highest. It seemed obvious: more height was the key. Small things flew close to the ground - but big things like eagles soared very high indeed. A human - who was bigger still, clearly needed more height. Proposals based on this simple assumption were funded and the race was on: ever higher towers began to be constructed. The theory: a crucial “turning point” would be reached where suddenly, somehow, a human at some height (perhaps even the whole tower itself) would lift into the air. Builders who made the strongest claims about the imminence of heavier than air flight had many followers - some of them terribly agitated to the point of despondence at the imminent danger of "spontaneous lift". The "existential threat could not be overlooked!" they cried. What about when the whole tower lifts itself into the air, carrying the Earth itself into space? What then? We must be cautious. Perhaps we should limit the building of towers. Perhaps even asking questions about flight was itself dangerous. Perhaps, somewhere, sometime, researchers with no oversight would construct a tower in secret and one day we would suddenly all find ourselves accelerating skyward before anyone had a chance to react.

Read the rest of the story here. I must protest, however, that the analogy between tower-building and the quest for faster and (in other simple respects such as memory size per square inch) more powerful hardware is a bit of a straw man. No serious AI futurologist thinks that Moore's law in itself will lead to superintelligence.

Tänk inte!

Jag har inte läst Joyce Meyers bok Battlefield of the Mind, och kommer nästan säkert inte att göra det. Kalla mig gärna inskränkt, men det verkar helt enkelt inte vara en bok i min smak. Däremot har jag tagit del av nedanstående ur boken hämtade citat¹, som jag fröjdar mig åt som ett lysande exempel på det intressanta begrepp anti-rationell mem som David Deutsch torgför i sin läsvärda bok The Beginning of Infinity och som jag diskuterade helt kort i en bloggpost förra året.

Fotnoter

1) Citatet är autentiskt (och alltså inte något som någon hittat på i syfte att framställa Joyce Meyer som ännu knäppare än hon faktiskt är).

2) Ett annat strålande exempel på en anti-rationell mem är den utbildningspolitiska ståndpunkt jag tidigare berättat om har slagit rot i Republikanska partiet i Texas.

David Deutsch om livet, universum och allting

Jag läste i somras och med utmärkt behållning fysikern David Deutschs senaste bok The Beginning of Infinity: Explanations that Transform the World. I en kort bloggpost den 28 juni undslapp jag mig ett slående citat från boken. Jag ville dock inte säga så mycket mer om den just då, eftersom jag lovat tidskriften Axess en recension av den, och det kändes rimligt att låta dem komma först med publicerandet av mina synpunkter. Min recension återfinns nu i det nyutkomna Axess 7/2012, och jag känner mig därmed fri att bjuda även bloggens läsare på den - varsågoda!

En allomfattande världsbild¹

Den brittiske fysikern David Deutschs bok The Beginning of Infinity spänner över vida fält. Bland mycket annat inbjuds läsaren stifta bekantskap med astronomiska sällsamheter som supernovor, galaxer och kvasarer; med kvantmekanik, inklusive ett inspirerat försvar för den omtvistade många världar-tolkningen; med biologisk och kulturell evolution; med vetenskapsteori och metafysik; med 1800-talsmatematikern Georg Cantors banbrytande men på sin tid kontroversiella teori för olika stora oändligheter; med datalogins födelse och grunder; med reduktionism kontra holism; och med medvetandets ställning i ett materiellt universum. Alltsammans används som pusselbitar i och argument för författarens nya tankesystem – ett mäkta ambitiöst och delvis mycket originellt försök att skapa en allomfattande världsbild.

En central roll i Deutschs teoribyggnad spelar idén om en ständigt växande kunskapsmassa. Till en början var universum tomt på liv och därför skäligen ointressant, men så uppstod de första självreproducerande molekylerna, och ett slags protokunskap kunde utvecklas och spridas genom informationsbärande RNA- och DNA-sekvenser. Nästa stora steg var uppkomsten av nervsystem som medgav individuell kunskapsinhämtning. Det senaste avgörande genombrottet är enligt Deutschs storslagna historik Upplysningen och utvecklandet av den vetenskapliga metoden, vilken har universell räckvidd (mer om denna nedan). Universum ligger därför för våra fötter: från att ha varit livlöst och torftigt kommer det att fyllas av alltmer kunskap, och omformas efter våra behov och idéer i en aldrig sinande utveckling. Det hela är så grandiost och ödesbestämt att man lätt associerar till Hegel och Marx, en jämförelse som vi dock kan räkna med att författaren indignerat kommer att tillbakavisa.

Den vetenskapliga metoden, som alltså kommer att föra oss bokstavligt talat oändligt långt (härav bokens titel), får stort utrymme i framställningen. Deutsch börjar med att göra slarvsylta av den naiva empirism enligt vilken kunskap blir till genom att vi med våra sinnen helt enkelt läser av naturen, ungefär som man läser en bok. Så kan det inte gå till, ty all kunskapsinhämtning är kontextberoende, och utan modellantaganden kan vi aldrig förstå något av våra sinnesintryck. Istället försvarar Deutsch en epistemologi som bygger på Poppers falsifikationism. Förklaringsmodeller skapas genom kreativa processer i våra hjärnor, och utsätts sedan för kritiskt tänkande; det är först i det senare steget som empiri (sinnesdata) kommer in. Kritikens utfall inspirerar sedan mer eller mindre modifierade förklaringsmodeller, och så vidare.

Deutsch är realist, i betydelsen att han tillskriver fysikaliska fenomen en objektiv existens. Därmed blir även objektivt sann kunskap möjlig att erhålla, även om Deutsch är noga med att framhålla att den aldrig kommer att bli vare sig fullkomlig eller helt bombsäker. Även matematiska objekt (såsom primtal och trianglar) tillskriver han en objektiv existens, dock med det ovanliga inslaget att matematisk bevisföring underordnas fysikens lagar. Han går sedan vidare på det realistiska spåret och hävdar att såväl etiska som estetiska värden existerar objektivt, men här blir han allt mindre övertygande.

Hur kan det komma sig, frågar han, att vi upplever blommor som vackra, trots att dessa av evolutionen selekterats för att locka till sig insekter, inte oss? Kanske beror det på att det är medelst objektiv skönhet de attraherar insekter, och att det är denna vi upplever? För all del en kreativ förklaringsmodell, men när Deutsch skriver att den är den enda han kan föreställa sig, så har han uppenbarligen glömt begagna sig av det kritiska tänkande han själv så gärna predikar.

När Deutsch talar om den vetenskapliga metodens universella räckvid menar han det bokstavligt. Allt som är sant har vi kraft att vinna kunskap om, och allt som ligger inom ramen för vad naturlagarna tillåter kan vi också genomföra så snart vi vunnit den erforderliga kunskapen. Hans argument har dock drag av cirkularitet och är alltför undflyende för att jag skall förmå redogöra för det här, och det hjälper inte att han dömer ut motsatt uppfattning som "tro på det övernaturliga".

Något snabbt och allmänt gehör för sin universalitetsteori har jag svårt att tro att han kommer att få, ens bland sina kollegor. Så t.ex. skriver fysikern Ulf Danielsson i Axess 5/2012 att "kanske en annan och högre utomjordisk intelligens [...] har förmåga att analysera sönder vår mer begränsade hjärna in i minsta detalj på ett sätt som vi inte klarar? Och därigenom förstå hur allt bara handlar om neuroners elektriska impulser eller något annat som vi inte alls har någon vetskap om? Någon utsikt att förklara för oss lägre stående stackare på ett begripligt och övertygande sätt finns dock inte." Uppenbarligen är (minst) en av herrarna Deutsch och Danielsson fel ute i denna fråga, som jag inte kan se som annat än vidöppen.

Som teoretiskt ramverk då han diskuterar samhällsutvecklingen använder sig Deutsch av memetisk evolution. Memer – ett begrepp myntat av Dawkins – är idéer, tankefragment, melodier och liknande, vilka likt gener utsätts för evolutionära mekanismer: mutation, selektion och reproduktion. Memer har dock en något mer undflyende karaktär än gener, och har ännu inte visat sig vara ett lika exempellöst fruktbart vetenskapligt begrepp som de senare. Detta hindrar inte att memetiska förklaringsmodeller kan vara intressanta och värda att beakta. Särskilt intressant, enligt min mening, är Deutschs nya kategorisering av memer, och hur han använder denna för att belysa idéhistorien.

Deutsch inför nämligen de båda kategorierna rationella och antirationella memer. En antirationell mem främjar sin egen fortplantning genom att aktivt motarbeta kritiskt tänkande. Ett exempel är den extremt framgångsrika memen "den som tvivlar på Gud skall brinna i helvetet". En rationell mem har motsatt strategi: den säger något sant, samtidigt som den uppmuntrar kritiskt tänkande, för att på så vis gynnas i konkurrensen med allehanda falskheter.

En kultur som domineras av antirationella memer är statisk, medan en som domineras av rationella memer är framstegsinriktad och dynamisk. Nästan alla kulturer har varit av det förstnämnda slaget. Tillfälliga framgångar för de rationella memerna, som i antikens Aten, har slagits tillbaka. Så har det varit ända fram till de rationella memernas stora genombrott från 1700-talets Upplysning och framåt. Tack vare deras frammarsch upplever vi idag en teknologisk och samhällelig utveckling av aldrig tidigare skådat slag. De rationella memerna kommer enligt Deutsch att ta över alltmer, medan vi idag befinner oss i en övergångsfas där de antirationella ännu gör kraftfullt motstånd. Just när jag skriver detta nås jag av nyheten att Republikanska partiet i Texas antagit ett idé- och handlingsprogram i vilket de förespråkar förbud mot att i skolor lära ut ett kritiskt tänkande som riskerar att "utmana elevers fixa trosföreställningar och undergräva föräldraauktoriteten".

Då och då tappar Deutsch fotfästet en smula, då han har blicken så högt fäst på sin storslagna plan för mänskligheten och universum att han negligerar de problem vi står inför här och nu. Särskilt nedlåtande är han inför dagens miljö- och naturresursproblem. I en framtid med nanoteknologiska 3D-kopiatorer som atom för atom bygger upp vilket stycke materia vi än råkar önska, och där vi genomkorsar universum med transgalaktiska motorvägar, så är utfiskningen av världshaven på den ”pale blue dot” som är vår ursprungsplanet måhända inte någon stor sak. Men vi är inte där än, och om vi sågar av den ekologiska gren vi sitter på lär vi inte nå dit.

Sammanfattningsvis kan om The Beginning of Infinity följande sägas. Å ena sidan är det en remarkabelt innehållsrik, stimulerande och helt klart läsvärd bok. Å andra sidan är den ytterst irriterande. Det största irritationemonentet utgörs av författarens arroganta tonfall, då han sida upp och sida ned slår fast sina tankegångar och spekulationer som vore de oomtvistliga sanningar.

Nästan lika irriterande är den ojämnhet i tankeskärpa och argumentation som jag lyft fram några exempel på ovan. Deutsch bryr sig inte ens om att upprätthålla bokens interna konsistens. Efter att han genom hela boken framställt människans framtida herravälde över universum som ristat i sten skriver han plötsligt, en sida från slutet, att det kan hända "att vi misslyckas, att vi ger upp, och att intelligenta varelser från någon annan stans i universum utgör den verkliga början på oändligheten".

I mottagandet av boken har Deutsch fått en del kritik för att han givit sig in på områden där han saknar bekantskap med litteraturen (eller helt enkelt ignorerar den). På denna punkt tycker jag emellertid att vi bör ha visst överseende. Ingen kan idag behärska mer än ett eller några få snävt specialiserade områden. Om vi alla skall bli vid vår läst kommer ingen att lyfta blicken, se helheten och skapa de stora synteserna. Deutsch har gjort ett spännande och hedervärt försök.

Fotnot

1) Tyvärr valde redaktionen för Axess denna rubrik istället för den blinkning till Douglas Adams jag föreslog.

Människan och världsrymden

I dagsläget är kolonisation av världsrymden knappast en uppgift som förtjänar att hamna högt på en agenda över för mänskligheten angelägna projekt, men i ett lite längre perspektiv tycker jag nog att det vore sorgligt om xkcd:s sammanfattning över vår erövring av "the final frontier" förblev riktig. Vår potential är stor - se t.ex. det föredrag av Stuart Armstrong som jag tidigare hänvisat till för en fingervisning om vad som i princip torde vara inom räckhåll, kanske redan detta århundrade. Den framstående fysikern David Deutsch ger, i sin innehållsrika och mycket inspirerande men också arroganta och ytterst irriterande bok The Beginning of Infinity¹, sin egen syn på förhållandet mellan människan och världsrymden:

Some people become depressed at the scale of the universe, because it makes them feel insignificant. Other people are relieved to feel insignificant, which is even worse. But, in any case, those are mistakes. Feeling insignificant because the universe is large has exactly the same logic as feeling inadequate for not being a cow. Or a herd of cows. The universe is not there to overwhelm us; it is our home, and our resource. The bigger the better.

Fotnot

1) Jag siktar på att återkomma om denna bok här på bloggen, men vill för ögonblicket inte säga så mycket mer än så här, då tidskriften Axess lovat arvodera mig för en recension av boken, och jag i gengäld gärna låter dem komma först med att publicera mina tankar om den.