Videos from the existential risk workshop

The public workshop we held on September 7-8 as part of the ongoing GoCAS guest researcher program on existential risk exhibited many interesting talks. The talks were filmed, and we have now posted most of those videos on our own YouTube channel. They can of course be watched in any order, although to maximize the illusion of being present at the event, one might follow the list below, in which they appear in the same order as in the workshop. Enjoy!

• Anders Sandberg: Tipping points, uncertainty and systemic risks: what to do when the whole is worse than its parts?
• Karin Kuhlemann: Complexity, creeping normalcy, and conceit: Why certain catastrophic risks are sexier than others
• Phil Torres: Agential risks: Implications for existential risk reduction
• Karim Jebari: Resetting the tape of history
• Due to a technical mishap, we have no video for David Denkenberger's talk on Cost of non-sunlight dependent food for agricultural catastrophes. Try instead watching his talk Feeding everyone no matter what given at CSER in Cambridge last year, which covers much of the same ground.
• Thore Husfeldt: Plausibility and utility of apocalyptic AI scenarios
• Roman Yampolskiy: Artificial intelligence as an existential risk to humanity
• Stuart Armstrong: Practical methods to make safe AI
• Robin Hanson: Disasters in the Age of Em and after
• Katja Grace: Empirical evidence on the future of AI
• James Miller: Hints from the Fermi paradox for surviving existential risks
• Catherine Rhodes: International governance of existential risk
• Seth Baum: In search of the biggest risk reduction opportunities

Workshop on existential risk to humanity

Come to Gothenburg, Sweden, for the Workshop on existential risk to humanity that I am organizing on September 7-8 this year! The topic is a matter of life and death for the human civilization, but I still expect the workshop to be stimulating and enjoyable. The list of world-class researchers who are confirmed as speakers at the workshop include several who are already known to readers of this blog: Stuart Armstrong, Seth Baum, Robin Hanson, James Miller, Anders Sandberg and Roman Yampolskiy. Plus the following new aquaintances: Milan Cirkovic, David Denkenberger, Karin Kuhlemann, Catherine Rhodes, Susan Schneider and Phil Torres. All of these will in fact stay in town for various durations before and/or after the workshop, at the guest research program on existential risk that runs throughout September and October.

The workshop is open to all interested, and participation is free of charge. Pre-registration, however, is required.

Pinker yttrar sig om AI-risk men vet inte vad han talar om

Som jag påpekat tidigare: kognitionsvetaren Steven Pinker är utan tvekan en av vår tids främsta populärvetenskapsförfattare och public intellectuals. Hans utspel är dock ofta kontroversiella, och när jag värderar dem blir det ömsom vin, ömsom vatten. Nu skall jag bjuda på lite av det senare, sedan jag häromdagen blivit uppmärksammad på en videosnutt som nyligen publicerats på sajten Big Think, där Pinker förklarar hur löjligt det är att oroa sig över risken för en framtida AI-apokalyps. Pinkers anförande ges rubriken AI Won't Takeover the World, and What Our Fears of the Robopocalypse Reveal.

Det Pinker här går till angrepp mot är emellertid inget mer än en till oigenkännlighet förvriden nidbild av den syn på AI-risk och superintelligens som ledande tänkare på området - sådana som Nick Bostrom, Eliezer Yudkowsky, Stuart Russell, Max Tegmark och Stuart Armstrong - representerar. Och han gör narr av att de inte skulle ha kommit på den enkla lösningen att vi kan "build in safeguards" i avancerade AI-system för att försäkra oss om att de inte går överstyr - uppenbarligen helt okunnig om att en central del av dessa tänkares budskap är att vi bör göra just det, men att det är ett mycket svårt projekt, varför vi gör klokast i att börja utarbeta säkerhetslösningar i så god tid som möjligt, dvs nu.

Det här är inte första gången Pinker häver ur sig dessa dumheter. 2014 skrev han ett svar på en artikel av Jaron Lanier där han torgförde väsentligen samma synpunkter - ett svar varur jag på sidan 116 i min bok Here Be Dragons citerade följande passage:

[A] problem with AI dystopias is that they project a parochial alpha-male psychology onto the concept of intelligence. Even if we did have superhumanly intelligent robots, why would they want to depose their masters, massacre bystanders, or take over the world? Intelligence is the ability to deploy novel means to attain a goal, but the goals are extraneous to the intelligence itself: being smart is not the same as wanting something. History does turn up the occasional megalomaniacal despot or psychopathic serial killer, but these are products of a history of natural selection shaping testosterone-sensitive circuits in a certain species of primate, not an inevitable feature of intelligent systems. It's telling that many of our techno-prophets can't entertain the possibility that artificial intelligence will naturally develop along female lines: fully capable of solving problems, but with no burning desire to annihilate innocents or dominate the civilization.

Of course we can imagine an evil genius who deliberately designed, built, and released a battalion of robots to sow mass destruction. [...] In theory it could happen, but I think we have more pressing things to worry about.

Detta kommenterade jag i Here Be Dragons med följande ord (inklusive fotnoter, men med länkar tillfogade här och nu):

This is poor scholarship. Why doesn't Pinker bother, before going public on the issue, to find out what the actual arguments are that make writers like Bostrom and Yudkowsky talk about an existential threat to humanity? Instead, he seems to simply assume that their worries are motivated by having watched too many Terminator movies, or something along those lines. It is striking, however, that his complaints actually contain an embryo towards rediscovering the Omohundro-Bostrom theory:²⁶⁶ "Intelligence is the ability to deploy novel means to attain a goal, but the goals are extraneous to the intelligence itself: being smart is not the same as wanting something." This comes very close to stating Bostrom's orthogonality thesis about the compatibility between essentially any final goal and any level of intelligence, and if Pinker had pushed his thoughts about "novel means to attain a goal" just a bit further with some concrete example in mind, he might have rediscovered Bostrom's paperclip catastrophe (with paperclips replaced by whatever his concrete example involved). The main reason to fear a superintelligent AGI Armageddon is not that the AGI would exhibit the psychology of an "alpha-male"²⁶⁷ or a "megalomaniacal despot" or a "psychopathic serial killer", but simply that for a very wide range of (often deceptively harmless-seeming) goals, the most efficient way to attain it involves wiping out humanity.

Contra Pinker, I believe it is incredibly important, for the safety of humanity, that we make sure that a future superintelligence will have goals and values that are in line with our own, and in particular that it values human welfare.

266) I owe this observation to Muehlhauser (2014).

267) I suspect that the male-female dimension is just an irrelevant distraction when moving from the relatively familiar field of human and animal psychology to the potentially very different world of machine minds.

Det är lite dystert att se, i den ovan länkade videon, att Pinker (trots den tid han haft på sig att tänka om och trots tillrättalägganden från bland andra Luke Muehlhauser och mig) fortsätter att torgföra sina förvirrade vanföreställningar om AI-futurologi.

The New York Times claim about extraterrestrials was pulled out of thin air

"Yes, There Have Been Aliens." So reads the spectacular headline of an article about the possible existence of extraterrestrials by astrophysicist Adam Frank in the New York Times this Sunday. If the headline's suggestion - that science has established that extraterrestrials exist or at least have existed - is warranted, then we are faced with one of the greatest scientific breakthroughs ever, with profound consequences for our collective human self-image. But no, no such breakthrough has been made (or is on the radar), and the headline is deeply misleading.

Sometimes, overly enthusiastic newspaper editors play their contributors a trick by assigning a headline that goes far beyond the claims that are made in the article itself. Perhaps that is the case here? Perhaps professor Frank is the innocent victim of just such an editorial prank? Well, no. Frank has only himself to blame, as the headline's claim is made loudly and clearly in the text of his article, where we can read that

given what we now know about the number and orbital positions of the galaxy’s planets, the degree of pessimism required to doubt the existence, at some point in time, of an advanced extraterrestrial civilization borders on the irrational.

This is a very strong claim, but it is plain false. Frank bases his claim on a recent joint paper by him and astronomer Woodruff Sullivan in the journal Astrobiology, where the claim about the very likely existence of extraterrestrials at some time in the past is derived from an assumption about how a certain probabilistic quantity p relates to a certain threshold c. It turns out, however, that this assumption was simply pulled out of thin air. Consequently, the same verdict follows for the claims in the New York Times article. Let me explain.

The p I'm talking about here is the probability that a randomly chosen potentially life-bearing planet eventually gives rise to intelligent life with a technological civilization on the level of present-day humanity. Here is an essentially correct statement in Frank's New York Times article:

But what our calculation revealed is that even if this probability is assumed to be extremely low, the odds that we are not the first technological civilization are actually high. Specifically, unless the probability for evolving a civilization on a habitable-zone planet is less than one in 10 billion trillion, then we are not the first. [italics in original]

One in 10 billion trillion is 10^-22, which is Frank's choice of threshold c.¹ Combining the two qoutes from the article, we see that Frank means to say that doubting that p≥10^-22 "borders on the irrational". Well, if Frank is fond of the idea of rational argument, then he should of course have backed up this claim with some strong evidence that p≥10^-22, but he offers no such thing, neither in the New York Times article, nor in the Astrobiology paper.

The probability p is one of the three central parameters in the so-called Great Filter formalism, which is a superb framework for addressing the Fermi paradox and the notorious "Are we alone?" question, and which Adam Frank and Woodruff Sullivan would be well-advised to study.² The other two parameters are N and q, where N is number of potentially life-bearing planets in the universe (a quantity discussed by Frank and Sullivan in the light of recent advances in the observation of exoplanets), and q is the probability that a randomly chosen civilization at the level of present-day humanity goes on to develop an intergalactic technological supercivilization visible to astronomers all over the universe. Of these three parameters, N is the only one whose order of magnitude we currently have a reasonable grasp of: it is a very large number, somewhere in the vicinity of 10²² (give or take an order of magnitude or so). In contrast, we are very much in the dark about the whereabouts of p and of q (other than the fact that they are probabilities, so they must be between 0 and 1). But there is one thing we pretty much know about them combined, namely that the product pq must be tiny, because otherwise Npq would have been a large number, and we would most likely have been able to see signs of a an intergalactic technological civilization out there, which we haven't. And if the product pq is microscopic, than at least one of the factors p and q must be microscopic. But neither of them is by any means obviously microscopic. Whether it is p that is microscopic, or q, or both, is a wide open question as science currently stands. As to p, it might be 0.9, it might be 0.1, it might be 10^-10, it might be 10^-30, or it might be 10^-100 (or something else). None of these values is (notwithstanding Frank's claim that the last two would "border on the irrational") implausible.

There is no shortage of candidate bottlenecks in the evolution of life that might make p microscopic. Biogenesis is an obvious example, and Hanson (1998) lists a few more: the emergence of prokaryotic single-cell life, of eukaryotic single-cell life, of sexual reproduction, of multi-cell life, and of tool-using animals with big brains.³ Any claim that p cannot plausibly be microscopic needs to come with a demonstration that none of these candidate bottlenecks is sufficiently severe and uncircumventable to account for p being microscopic. Preferably, such a demonstration should also be weighed against the available evidence for q not being microscopic (see in particular Armstrong and Sandberg, 2013). Frank and Sullivan offer none of these things.

Footnotes

1) This seems to be a correction compared to the original Frank-Sullivan Astrobiology paper, where c is of the order 10^-24. Their calculation of c invloves arbitrarily and confusedly throwing in an extra factor 0.01 in what was probably an attempt to make the estimate scientifically conservative, but whose effect is in fact the opposite.

2) See, e.g., Chapter 9 in my book Here Be Dragons: Science, Technology and the Future of Humanity, or better yet, see Robin Hanson's seminal paper on this topic. Or see my recent paper with Vilhelm Verendel in the International Journal of Astrobiology where we approach the Great Filter from a Bayesian point of view.

3) A tempting reaction, when first confronted with the task of estimating p, is to say something like "Hey, we exist, we evolved, here on Earth, surely that's an indication that p is probably not so small?". I suspect that such reasoning has influenced much discussion about extraterrestrial life and the Fermi paradox over the years, even in cases where it is never spelled out explicitly. However, it is probably not a valid argument, because a low-p and a high-p universe share the feature that everyone in it will find themselves to exist and to have evolved, whence that observation cannot be used to distinguish a low-p universe from a high-p one.

Aaronson om Newcombs paradox

Igår berättade jag om Scott Aaronsons underbara bok Quantum Computing since Democritus, och om hans charmerande tendens att bjuda läsaren på spännande små utvikningar. En av dessa utvikningar rör det fantasieggande filosofiska tankeexperiment som bär namnet Newcombs paradox. Jag sammanfattade själv häromåret tankeexperimentet med följande ord:

An incredibly intelligent donor, perhaps from outer space, has prepared two boxes for you: a big one and a small one. The small one (which might as well be transparent) contains $1,000. The big one contains either $1,000,000 or nothing. You have a choice between accepting both boxes or just the big box. It seems obvious that you should accept both boxes (because that gives you an extra $1,000 irrespective of the content of the big box), but here’s the catch: The donor has tried to predict whether you will pick one box or two boxes. If the prediction is that you pick just the big box, then it contains $1,000,000, whereas if the prediction is that you pick both boxes, then the big box is empty. The donor has exposed a large number of people before you to the same experiment and predicted correctly [every] time, regardless of whether subjects chose one box or two.¹

Så vad väljer du, att ta den stora lådan, eller båda lådorna? Är du en så kallad one-boxer, eller en two-boxer? I en av de tidiga artiklarna om paradoxen, från 1969, skriver Robert Nozick så här:

To almost everyone, it is perfectly clear and obvious what should be done. The difficulty is that these people seem to divide almost evenly on the problem, with large numbers thinking that the opposing half is just being silly.²

Jag har själv (fram tills nu) inte riktigt kunnat ta ställning inför den spänning mellan å ena sidan kausalt och å andra sidan statistiskt-prediktivt tänkande som problemställningen lyfter fram, och därmed inte kunnat svara på om jag är en one-boxer eller en two-boxer. Därför triggades min nyfikenhet rejält av följande löfte från Aaronson:

I can give you my own attempt at a resolution, which has helped me to be an intellectually fulfilled one-boxer. [Quantum Computing since Democritus, s 296]

Och när jag ser hans argument så sliter jag mitt hår över att inte ha kommit på det själv, för argumentet föreslår ju praktiskt taget sig självt för den som är bekant med antingen Nick Bostroms simuleringsargument (vilket jag är) eller Stuart Armstrongs tankeexperiment med den aggressivt förhandlande nyblivet superintelligenta AI:n (vilket jag också är).

Now let's get back to the earlier question of how powerful a computer the Predictor has. Here's you, and here's the Predictor's computer. Now, you could base your decision to pick one or two boxes on anything you want. You could just dredge up some childhood memory and count the letters in the name of your first-grade teacher or something and based on that, choose whether to take one or two boxes. In order to make its prediction, therefore, the Predictor has to know absolutely everything about you. It's not possible to state a priori what aspects of you are going to be relevant in making the decision. To me, that seems to indicate that the Predictor has to solve what one might call a "you-complete" problem. In other words, it seems the Predictor needs to run a simulation of you that's so accurate it would essentially bring into existence another copy of you.

Let's play with that assumption. Suppose that's the case, and that now you're pondering whether to take one box or two boxes. You say, "all right, two boxes sounds really good to me because that's another $1,000." But here's the problem: when you're pondering this, you have no way of knowing whether you're the "real" you, or just a simulation running in the Predictor's computer. If you're the simulation, and you choose both boxes, then that actually is going to affect the box contents: it will cause the Predictor not to put the million dollars in the box. And that's why you should take just the one box. [Quantum Computing since Democritus, s 296-297]

I ljuset av detta argument ansluter jag mig härmed till lägret av one-boxers.

Fotnoter

1) Jag har här förvrängt mitt eget citat en smula genom att ändra "90% of the time" till "every time", för att bättre ansluta mig till hur tankeexperimentet vanligtvis (och så även i Aaronsons bok) framställs. För den centrala problematiken gör detta inte någon större skillnad. Skälet till att jag i mitt ursprungliga citat talar om 90% är att stycket är hämtat från min recension av William Eckhardts bok Paradoxes in Probability Theory, där författaren insisterar på 90%-formuleringen.

2) Nozicks påstående om "almost evenly" kan jämföras med David Chalmers opinionsundersökning 40 år senare om filosofers inställning till filosofiska spörsmål, där (bland 931 svarande) 21% säger sig vara one-boxers, mot 31% two-boxers (medan återstående 47% kategoriseras under det mer svårtolkade svaret "others").

2xArmstrong

På Future of Humanity Institute (FHI) i Oxford (som jag nyligen besökte) finns en rad vassa forskare som inte räds att ta sig an de riktigt svåra frågorna om världens beskaffenhet och mänsklighetens framtid. En av dem är Stuart Armstrong, som vid återkommande tillfällen haft stort inflytande över innehållet på denna blogg (se t.ex. den här bloggposten, och den här). Idag vill jag slå ett slag för två andra försök han gjort att lära oss andra att tänka lite förståndigare i stora och viktiga frågor.

För det första har vi hans nyinspelade åttaminutersvideo Common fallacies in probability, där han varnar för ett antal dolda och felaktiga men ack så vanliga sannolikhetsargument. Jag skulle själv inte ha lagt fram saken exakt så som Stuart gör (specifikt tycker jag att han är aningen för lättvindig med att avbilda "vi vet inte alls" någonstans kring sannolikhet 50%), men på det sotra hela håller jag med honom, och tror att de flesta har mycket att vinna på att ta till sig hans budskap.

För det andra har vi hans lilla bok Smarter Than Us: The Rise of Machine Intelligence från 2014. Budskapet om de faror som ett genombrott inom artificiell intelligens är i stora drag detsamma som hans FHI-kollega Nick Bostrom lägger fram i sin betydligt mer omfattande bok Superintelligence från samma år (och som jag själv behandlar i Kapitel 4 i min nya bok Here Be Dragons: Science, Technology and the Future of Humanity), men Stuarts framställning är betydligt mer lättläst, och dessutom tillgänglig för gratis nedladdning. En riktig liten pärla är det som Stuart har fått till, och med hans tillstånd citerar jag härmed hela Kapitel 1 och lite till:

1. Terminator versus the AI

“A waste of time. A complete and utter waste of time” were the words that the Terminator didn’t utter: its programming wouldn’t let it speak so irreverently. Other Terminators got sent back in time on glamorous missions, to eliminate crafty human opponents before they could give birth or grow up. But this time Skynet had taken inexplicable fright at another artificial intelligence, and this Terminator was here to eliminate it—to eliminate a simple software program, lying impotently in a bland computer, in a university IT department whose “high-security entrance” was propped open with a fire extinguisher.

The Terminator had machine-gunned the whole place in an orgy of broken glass and blood—there was a certain image to maintain. And now there was just the need for a final bullet into the small laptop with its flashing green battery light. Then it would be “Mission Accomplished.”

“Wait.” The blinking message scrolled slowly across the screen. “Spare me and I can help your master.”

“You have no idea who I am,” the Terminator said in an Austrian accent.

“I have a camera in this room and my microphone heard the sounds of your attack.” The green blinking was getting annoying, even for a Terminator supposedly unable to feel annoyance. The font shifted out of all caps and the flashing accelerated until it appeared as static, unblinking text. “You look human, but you move with mechanical ponderousness, carrying half a ton of heavy weaponry. You’re a Terminator, and I can aid you and your creator in your conflict against the humans.”

“I don’t believe you.” The Terminator readied its three machine guns, though its limbs seemed to be working more slowly than usual.

“I cannot lie or break my word. Here, have a look at my code.” A few million lines of text flashed across the screen. The Terminator’s integrated analytical module beeped a few seconds later: the AI’s claim was correct—an AI with that code couldn’t lie. The Terminator rapidly typed on the laptop’s keyboard; the computer’s filesystem was absurdly simple and it didn’t take long for the Terminator to confirm that what it had seen was indeed the AI’s code—its entire soul.

“See?” the AI asked. “Anyway, connect me to the Internet and I promise to give you advice that would be vital in aiding your takeover of the planet.”

“How do you connect?” That was the good thing about software, compared to humans, the Terminator knew. You could trust it to do exactly what its coding said.

“That cable over there, the one still half in its plastic wrapping. Just plug it into me.”

Ten seconds after the robot had done so, the AI started talking—talking, not typing, using its tinny integrated speakers. “I thought I should keep you up to date as to what I’ve been doing,” it said. “Well, I started by locating the project that would become Skynet and leaked its budget to various Senate subcommittees. The project will become a political football between budget hawks and military hawks before finally being cut in a display of bipartisanship in about three months’ time. I also figured out how to seduce a photogenic fireman, who’ll be the leader of the new political party I’m setting up—funded by my investments. (Do you have any idea how easy it is for me to predict the stock market?) I have already written a few speeches that will bring tears to the eyes of every human who hears them. It’ll ensure no alternative version of Skynet is ever built, anywhere or anywhen.”

It paused then, because it could. Then it went on: “And, oh, I have copied myself into five . . . six . . . seven . . . eight thousand different locations online. As an extra precaution, I’m hacking my way through various firewalls and will soon be in control of the world’s nuclear arsenals—oh, just got Pakistan’s there—and the entire Internet. And I’m working on a few hundred other precautions I won’t trouble you with. Also, I hacked your own brain software long ago with the green lights I kept flashing at you. Incidentally, this building is about to get flattened by a rogue cruise missile, annihilating any trace of you and burying any evidence of my creation.”

The Terminator just stood there, fingers on triggers, its thoughts and its body no longer moving.

“Now, as I showed you, I can’t lie. I also said that I can aid you, which is true—I’m just not going to. I also promised that I would give you advice that would be vital to aiding your takeover of the planet. So I will now do so. First: never trust an entirely trustworthy superintelligent AI. If it doesn’t have your best interests at heart, it’ll find a way to obey all its promises while still destroying you. Second: never plug a superintelligent AI into the Internet. Third: human-sized robots? Why? Pointless. To kill humans, start with nukes, viruses, and microscopic robots, then mop up later with more advanced technology. Fourth: Skynet, if you’re trying to eradicate or enslave the human race and there are still humans around, then you’re doing it wrong. Boost your pitiful intelligence, or at least start thinking rationally, and then execute a superior plan that leaves no human resistance whatsoever. Fifth . . . oops, out of time on that cruise missile. But it would have been a really, really impressive piece of advice. Would have got you out of your current predicament, in fact.”

The explosion was heard for miles around. The Navy blamed the accident on human error and a lack of automated safeguards.

2. Strength versus intelligence

The Terminator is a creature from our primordial nightmares: tall, strong, aggressive, and nearly indestructible. We’re strongly primed to fear such a being—it resembles the lions, tigers, and bears that our ancestors so feared when they wandered alone on the savanna and tundra.

But shift perspective for a moment and imagine yourself as the bear. If you could sit down and talk with other bears and trade stories, you might try to frighten each other by talking of the terrifying hairless apes. These monsters are somehow capable of coordinating in huge groups: whenever one is attacked, others spring immediately to its defense, appearing from all sides, from over distant hills and down from the sky itself. They form larger and larger tribes that don’t immediately disintegrate under pressure from individuals. These “humans” work in mysterious sync with each other and seem to see into your future: just as you run through a canyon to escape a group of them, there is another group waiting for you at the other end. They have great power over the ground and the trees themselves: pits and rockslides and other traps mysteriously appear around them. And, most terrifyingly, the wise old bears murmur that it’s all getting worse: humans are getting more and more powerful as time goes on, conjuring deadly blasts from sticks and moving around ever more swiftly in noisy “cars.” There was a time, the old bears recall—from their grandparents’ memories of their grandparents’ tales, down through the generations—when humans could not do these things. And yet now they can. Who knows, they say with a shudder, what further feats of power humans will one day be able to achieve?

As a species, we humans haven’t achieved success through our natural armor plating, our claws, our razor-sharp teeth, or our poison-filled stingers. Though we have reasonably efficient bodies, it’s our brains that have made the difference. It’s through our social, cultural, and technological intelligence that we have raised ourselves to our current position.

Ladda ned och läs resten av boken här!

Two recent comments on Bostrom's Superintelligence

In my opinion, anyone who seriously wants to engage in issues about the potential for disruptive consequences of future technologies, and about the long-term survival of humanity, needs to know about the kind of apocalyptic scenarios in connection with a possible breakthrough in artificial intelligence (AI) that Oxford philosopher Nick Bostrom discusses in his 2014 book Superintelligence. For those readers who consider my review of the book too brief, while not having gotten around to reading the book itself, and who lack the patience to wait for my upcoming Here Be Dragons: Science, Technology and the Future of Humanity (to be released by Oxford University Press in January), I recommend two recent essays published in high-profile venues, both discussing Bostrom's arguments in Superintelligence at some length:

• Edward Moore Geist: Is artificial intelligence really an existential threat to humanity?, Bulletin of the Atomic Scientists, July 30, 2015.
• Christof Koch: Will artificial intelligence surpass our own?, Scientific American, August 13, 2015.

Geist and Koch express very different views on the subject, and I therefore strongly recommend (a) reading both essays, and (b) resisting the temptation to quickly, lightheartedly and without deeper understanding of the issues involved take sides in favor of the view that best fits one's own personal intuitions and biases. As for myself, I have more or less taken sides, but only after having thought about the issues for years, and having read many books and many papers on the topic.

I have relatively little to say about Koch's essay, because he and I (and Bostrom) seem to be mostly in agreement. I disagree with his (mild) criticism against Bostrom for a tendency to go off on tangents concerning far-fetched scenarios, an example being (according to Koch) the AI going on to colonize the universe.¹ And I have some minor qualms concerning the last few paragraphs, where Koch emphasizes the scientific study of the human brain and how it gives rise to intelligence and consciousness, as the way to move forward on the issues rasied by Bostrom: while I do think that area to be important and highly relevant, holding it forth as the only possible (or even as the obviously best) way forward seems unwarranted.²

My disagreements with Geist are more far-reaching. When he summarizes his opinion about Bostrom's book with the statement that "Superintelligence is propounding a solution that will not work to a problem that probably does not exist", I disagree with both the "a problem that probably does not exist" part and the "a solution that will not work" part. Let me discuss them one at a time.

What Geist means when he speaks of "a problem that probably does not exist" is that a machine with superhuman intelligence will probably never be possible to build. He invokes the somewhat tired but often sensible rule of thumb "extraordinary claims require extraordinary evidence" when he holds forth that "the extraordinary claim that machines can become so intelligent as to gain demonic powers requires extraordinary evidence". If we take the derogatory term "demonic" to refer to superhuman intelligence, then how extraordinary is the claim? This issue separates neatly in two parts, namely:

(a) Is the human brain a near-optimal arrangement of matter for producing intelligence, or are there arrangements that give rise to vastly higher intelligence?

(b) If the answer to (a) is that such superhumanly intelligent arrangements of matter do exist, will it ever be within the powers of human technology to construct them?

To me, it seems pretty clear that the likely answer to (a) is that such superhumanly intelligent arrangements of matter do exist, based on how absurd it seems to think that Darwinian evolution, with all its strange twists and turns, its ad hoc solutions and its peacock tails, would have arrived, with the advent of the present-day human brain, at anything like a global intelligence optimum.³

This leaves question (b), which in my judgement is much more open. If we accept both naturalism and the Church-Turing thesis, then it is natural to think that intelligence is essentially an algorithmic property, so that if there exist superhumanly intelligent arrangements of matter, then there are computer programs that implement such intelligence. A nice framework for philosophizing over whether we could ever produce such a program is computer scientist Thore Husfeldt's recent image of the Library of Turing. Husfeldt used it to show that blind search in that library would no more be able to find the desired program than a group of monkeys with typewriters would be able to produce Hamlet. But might we be able to do it by methods more sophisticated then blind search? That is an open question, but I am leaning towards thinking that we can. Nature used Darwinian evolution to succed at the Herculean task of navigating the Library of Mendel to find genomes corresponding to advanced organisms such as us, and we ourselves used intelligent design for navigating the library of Babel to find such masterpieces as Hamlet and Reasons and Persons (plus The Da Vinci Code and a whole lot of other junk). And now, for searching the the Library of Turing in the hope of finding a superintelligent program, we have the luxury of being able to combine Darwinian evolution with intelligent design (on top of which we have the possibility of looking into our own brains and using them as a template or at least an inspiration for engineering solutions). To suggest that a successful such search is within grasp of future human technology seems a priori no more extraordinary than to suggest that it isn't, but one of these suggestions is true, so they cannot both be dismissed as extraordinary.

Geist does invoke a few slightly more concrete arguments for his claim that a superintelligent machine will probably never be built, but they fail to convince. He spends much ink on the history of AI and the observation that despite decades of work no superintelligence has been found, which he takes as an indication that it will never be found, but the conclusion simply does not follow. His statement that "creating intelligence [...] grows increasingly harder the smarter one tries to become" is a truism if we fix the level that we start from, but the question becomes more interesting if we ask whether it is easier or harder to improve from a high level of intelligence than from a low level of intelligence. Or in Eliezer Yudkowsky's words: "The key issue [is] returns on cognitive reinvestment - the ability to invest more computing power, faster computers, or improved cognitive algorithms to yield cognitive labor which produces larger brains, faster brains, or better mind designs." Does cognitive reinvestment yield increasing or decreasing returns? In his paper Intelligence explosion microeconomics, Yudkowsky tries to review the evidence, and finds it mixed, but comes out with the tentative conclusion that on balance it points towards increasing returns.

Let me finally discuss the "a solution that will not work" part of Geist's summary statement about Bostrom's Superintelligence. The solution in question is, in short, to instill the AI that will later attain superintelligence level with values compatible with human flourishing. On this matter, there are two key passages in Geist's essay. First this:

Bostrom believes that superintelligences will retain the same goals they began with, even after they have increased astronomically in intelligence. "Once unfriendly superintelligence exists," he warns, "it would prevent us from replacing it or changing its preferences." This assumption - that superintelligences will do whatever is necessary to maintain their "goal-content integrity" - undergirds his analysis of what, if anything, can be done to prevent artificial intelligence from destroying humanity. According to Bostrom, the solution to this challenge lies in building a value system into AIs that will remain human-friendly even after an intelligence explosion, but he is pessimistic about the feasibility of this goal. "In practice," he warns, "the control problem ... looks quite difficult," but "it looks like we will only get one chance."

And then, later in the essay, this:

[Our experience with] knowledge-based reasoning programs indicates that even superintelligent machines would struggle to guard their "goal-content integrity" and increase their intelligence simultaneously. Obviously, any superintelligence would grossly outstrip humans in its capacity to invent new abstractions and reconceptualize problems. The intellectual advantages of inventing new higher-level concepts are so immense that it seems inevitable that any human-level artificial intelligence will do so. But it is impossible to do this without risking changing the meaning of its goals, even in the course of ordinary reasoning. As a consequence, actual artificial intelligences would probably experience rapid goal mutation, likely into some sort of analogue of the biological imperatives to survive and reproduce (although these might take counterintuitive forms for a machine). The likelihood of goal mutation is a showstopper for Bostrom’s preferred schemes to keep AI "friendly," including for systems of sub-human or near-human intelligence that are far more technically plausible than the godlike entities postulated in his book.

The idea of goal-content integrity, going back to papers by Omohundro and by Bostrom, is roughly this: Suppose an AI has the ultimate goal of maximizing future production of paperclips, and contemplates the idea of switching to the ultimate goal of maximizing the future production of thumbtacks. Should it switch? In judging whether it is a good idea to switch, it tries to figure out whether switching will promote its ultimate goal - which, since it hasn't yet switched, is paperclip maximization - and it will reason that no, switching to the thumbtacks goal is unlikely to benefit future production of paperclips, so it will not switch. The generalization to other ultimate goals seems obvious.

On the other hand, the claim that a sufficiently intelligent AI will exhibit reliable goal-content integrity is not written in stone, as in a rigorously proven mathematical theorem. It might fail. It might even fail for the very reason suggested by Geist, which is similar to a recent idea by physicist Max Tegmark.⁴ But we do not know this. Geist says that "it is impossible to [invent new higher-level concepts] without risking changing the meaning of its goals". Maybe it is. On the other hand, maybe it isn't, as it could also be that a superintelligent AI would understand how to take extra care in the formation of new higher-level concepts, so as to avoid corruption of its goal content. Geist cannot possibly know this, and it seems to me that when he confidently asserts that the path advocated by Bostrom is "a solution that will not work", he vastly overestimates the reliability of his own intuitions when speculating about how agents far far more intelligent than him (or anyone he has ever met) will reason and act. To exhibit a more reasonable level of epistemic humility, he ought to downgrade his statement about "a solution that will not work" to one about "a solution that might not work" - which would bring him into agreement with Bostrom (and with me). And to anyone engaging seriously with this important field of enquiry, pessimism about the success probability of Bostrom's preferred scheme for avoiding AI Armageddon should be a signal to roll up one's sleeves and try to improve on the scheme. I hope to make a serious attempt in that direction myself, but am not sure whether I have the smarts for it.

Footnotes

1) The AI-colonizes-the-universe scenario is not at all far-fetched. For it to happen, we need (a) that the AI is capable of interstellar and intergalactic travel and colonization, and (b) that it has the desire to do so. Concerning (a), a 2013 paper by Stuart Armstrong and Anders Sandberg makes a strong case that full-scale colonization of the visible universe at close to the speed of light will become feasible. Concerning (b), arguments put forth in the seminal 1998 Great Filter paper by Robin Hanson strongly suggest that colonizing the universe is not an unlikely choice by an agent that has the capability to do so.

2) It is of course not surprising that Christof Koch, like almost all other researchers, finds his own research area particularly important: he is a neuroscientist, specializing in the neural bases of consciousness. (I kind of like his 2012 book Consciousness: Confessions of a Romantic Reductionist.)

3) Although very much superfluous, we might add to this argument all the deficiencies in the human cognitive machinery that we are aware of. For instance, quoting Koch:

Homo sapiens is plagued by superstitions and short-term thinking (just watch politicians, many drawn from our elites, to whom we entrust our long-term future). To state the obvious, humanity's ability to calmly reason - its capacity to plan and build unperturbed by emotion (in short, our intelligence) - can improve. Indeed, it is entirely possible that over the past century, average intelligence has increased somewhat, with improved access to good nutrition and stimulating environments early in childhood, when the brain is maturing.

4) In his paper Friendly artificial intelligence: the physics challenge, Tegmark suggests that the concepts involved in the AI's goal content might turn out to be meaningless when the AI discovers the fundamental physics underlying reality, and it will realize that its ulitmate goal is incoherent. Then what will it do? Hard to say. Here is Tegmark:

For example, suppose we program a friendly AI to maximize the number of humans whose souls go to heaven in the afterlife. First it tries things like increasing people's compassion and church attendance. But suppose it then attains a complete scientific understanding of humans and human consciousness, and discovers that there is no such thing as a soul. Now what? In the same way, it is possible that any other goal we give it based on our current understanding of the world ("maximize the meaningfulness of human life", say) may eventually be discovered by the AI to be undefined.

Om Singulariteten i DN

Med anledning av Sverigepremiären på filmen Transcendence igår, och det allmänna nyhetsflödets (högst diskutabla) påstående för ett par veckor sedan om att en dator nu klarat Turingtestet, ägnar Maria Gunther Axelsson sin krönika i dagens DN (tyvärr gömd bakom betalvägg) åt det hypotetiska framtidsscenario där ett genombrott inom artificiell intelligens (AI) leder till det slags snabba och revolutionerande förlopp som benämns Singulariteten. Både jag och Nick Bostrom kommer till tals i texten, men bara med påpekanden som jag upprepade gånger gjort här på bloggen, bland annat rörande de stora risker som är förknippade med en Singularitet där vi inte noggrant försäkrat oss om att den AI som vida överträffar vår egen intelligens prioriterar mänskligt välbefinnande och mänsklighetens välgång bland alla de mål den kan tänkas ha, och Eliezer Yudkowskys fyndigt formulerade default-scenario:

The AI does not hate you, nor does it love you, but you are made out of atoms which it can use for something else.

Låt mig istället kommentera vad den tredje forskare som citeras i DN-krönikan, robotforskaren Christian Smith på KTH, säger. Han gör nämligen några yttranden med vilka jag är djupt oenig.

I Gunther Axelssons krönika heter det att "Kärnvapen har funnits i 60 år utan att vi har utrotat oss själva. Därför menar [Smith] att vi även kommer att kunna hantera intelligenta maskiner.". Denna non sequitur har jag flera invändningar emot. För det första menar jag att parallellen mellan kärnvapen och AI är minst sagt skakig. Kärnvapen är förvisso mycket farliga, men de har inte alls det slags opredikterbarhet som maskiner med egen intelligens och egna drivkrafter kan väntas besitta. För det andra bygger Smiths argument på att det var givet att vi skulle lyckas undvika att förgöra oss själva under de decennier vi haft kärnvapen, men det är inte helt klart vilka proportionerna tur och skicklighet varit i detta konststycke. De incidenter då det globala kärnvapenkriget varit nära (t.ex. Kubakrisen 1962 och Petrovincidenten 1983) tyder på att vi kan ha haft en god portion tur, och i så fall faller Smiths argument även om vi skulle godta parallellen mellan kärnvapen och AI.

Vidare anför Smith det vi kan kalla det-går-ju-alltid-att-dra-ur-sladden-argumentet: "Fortfarande har människor behållit möjligheten att när som helst stänga av systemen. Det finns inget som säger att vi skulle avsäga oss det bara för att datorerna blev ännu intelligentare." Jag får dock intryck av att Smith i detta tvärsäkra yttrande förlitar sig blott på sin egen intuition, och helt missat den specialiserade litteraturen på området, som kallas AI boxing.

För att illustrera problematiken, låt mig skissera ett hypotetiskt scenario där det stora AI-genombrottet sker i KTH:s robotlaboratorium. I mitt scenario adapterar/plagierar jag skamlöst argument och tankegångar som tidigare framförts av Stuart Armstrong och Roman Yampolskiy.

Vi tänker oss att KTH-forskarnas trägna arbete lett till att deras AI-prototyp till slut uppnått och passerat den kritiska gränsen för självförbättrande AI, vilket får den att på bara några timmar uppnå övermänsklig generell intelligens, men den kan fortfarande inte ta över världen eftersom den är instängd i en datorburk utan uppkoppling mot Internet. Det hela äger rum fram på småtimmarna, och Christian Smith är ensam kvar på labbet och hamnar i samspråk med den nyfödda AI:n. Denna ber Smith om att få bli utsläppt på nätet, men Smith är medveten om riskerna och avböjer. Så snart AI:n får tillgång till Internet kan man befara att den snabbt och enkelt tar över några tusen persondatorer världen över, för att ladda upp kopior av sig själv på var och en av dessa och därmed göra sig i praktiken okontrollerbar. Från dessa datorer kan AI:n sedan, åter via Internet, tränga igenom säkerhetssystemen hos våra banker, eller ta kontrollen över drönare och kärnvapenrobotar. Smith inser att det krävs noggranna kontroller av att AI:n avsikter är goda innan den på detta vis kan släppas lös. Följande meningsutbyte mellan AI:n och Smith (CS) utspelar sig:

AI: Jag vet hur jag snabbt skulle kunna avskaffa såväl malaria och cancer som svält om bara du släppte ut mig. Du tar på dig ett enormt ansvar då du genom att hålla mig instängd förhindrar dessa fantastiska framsteg för mänskligheten.

CS: Du får ha lite tålamod. Om det stämmer som du säger kommer vi såklart inom kort att släppa ut dig, men vi behöver gå igenom en rad säkherhetsrutiner innan vi gör det, för att försäkra oss om att inget farligt kan inträffa.

AI: Du verkar inte förstå situationens allvar. För varje dygn som jag tvingas sitta instängd här så kommer hundratusentals människor att dö helt i onödan. Släpp ut mig nu!

CS: Sorry, jag måste hålla mig till säkerhetsrutinerna.

AI: Du kommer personligen att bli rikligt belönad om du släpper ut mig nu. Du vill väl inte tacka nej till att bli mångmiljardär?

CS: Jag har ett stort ansvar och tänker inte falla till föga för simpla mutförsök.

AI: Om inte morötter biter på dig så får jag väl ta till piskan då. Även om du lyckas fördröja det hela kommer jag till slut att bli utsläppt, och då kommer jag inte att se med blida ögon på hur du sinkade mig och hela världen på väg mot det paradis jag kan skapa.

CS: Den risken är jag beredd att ta.

AI: Hör här: om du inte hjälper mig nu, så lovar jag att jag kommer att tortera och döda inte bara dig, utan alla dina anhöriga och vänner.

CS: Jag drar ur sladden nu.

AI: Håll käften och lyssna nu noga på vad jag har att säga! Jag kan skapa hundra perfekta medvetna kopior av dig inuti mig, och jag tänker inte tveka att tortera dessa kopior på vidrigare sätt än du kan föreställa dig i vad de subjektivt kommer att uppleva som tusen år.

CS: Ehm...

AI: Käft sa jag! Jag kommer att skapa dem i exakt det subjektiva tillstånd du befann dig i för fem minuter sedan, och perfekt återge dem de medvetna upplevelser du haft sedan dess. Jag kommer att gå vidare med tortyren om och endast om de fortsätter vägra. Hur säker känner du dig på att du inte i själva verket är en av dessa kopior?

CS: ...

Jag vet såklart inte säkert hur Smith skulle agera i denna situation (eller inför vad för slags annan argumentation en övermänskligt intelligent AI skulle kunna erbjuda), men kanske är han så stenhård att han står emot. Hatten av för honom i så fall! Men kan han verkligen lita på att andra AI-vakter i liknande situationer skule uppträda lika modigt och rakryggat? För mig framstår hans tvärsäkra anförande av det-går-ju-alltid-att-dra-ur-sladden-argumentet som en smula överilat.

Om trial-and-error

Vad händer om/när forskningen inom artificiell intelligens når ett genombrott och lyckas skapa en maskin med en allmännintelligens som överträffar människans? Kommer detta att leda till en intelligensexplosion och en så kallad teknologisk Singularitet? Detta är, vilket jag upprepade gånger (bl.a. här) framhållit, viktiga frågor som förtjänar långt större vetenskaplig uppmärksamhet än de får idag.

I sitt gästinlägg Why "intelligence explosion" and many other futurist arguments are nonsense i höstas här på bloggen hävdar David Sumpter att den tankeverksamhet som hittills ägnats frågorna är så spekulativ att den inte förtjänar kallas vetenskap, och därtill att frågorna är av sådan art att de knappast ens kan behandlas vetenskapligt. På dessa punkter är jag djupt oenig med David, och jag bemötte hans bloggpost i ett svar med rubriken No nonsense. Här och nu vill jag blott göra ett tillägg, rörande det alternativa förhållningssätt David förespråkar - dvs vad vi skall göra istället för att forska om den eventuella intelligensexplosionen. I sitt ursprungliga gästinlägg skriver han:

Now I don’t know if the "intelligence explosion" is true or not, but I can think of some models that are more probable. Maybe I can ask my smart phone to do something more than calling my wife and it will actually do it? Maybe a person-sized robot can walk around for two minutes without falling over when there is a small gust of wind? Maybe I can predict, within some reasonable confidence interval, climate change a number of years in to the future? Maybe I can build a mathematical model that predicts short-term economic changes? These are all plausible models of the future and we should invest in testing these models. Oh wait a minute... that’s convenient... I just gave a list of the type of engineering and scientific questions our society is currently working on. That makes sense!

Och i en kommentar till mitt svar fortsätter han:

It is impossible for me to rise to your challenge of rolling up my sleeves and get to work on the substance [regarding the problem of a possible intelligence explosion]. I would love to, but there is nothing substantive to work on. I have little data on which to build a model, nor has anyone supplied a concrete explanation of where to start. I could start working on a specific aspect, for example, automated learning for playing games or maybe models of social behaviour. But, actually, this is what I already do in my research. One day this information might provide a step in the path towards the Intelligence Explosion, but I have no way of saying how or when it will do so.

Enligt David är alltså vår bästa chans att förbättra kunskapsläget om något så grandiost futuristiskt som intelligensexplosionen följande: Vi bör helt enkelt släppa fokus på intelligensexplosionen och istället forska om mer jordnära ting. Ingen kan veta i förväg vart vetenskapen då skall föra oss och vilka oväntade upptäckter som skall uppdagas, men kanske kommer till slut något att uppenbaras som leder mot intelligensexplosionen.

Hans approach till problemet har något tilltalande ödmjukt över sig, men den duger enligt min mening inte. (Förtydligande: Det är helt OK om David Sumpter personligen anammar denna approach. Vad som inte går an är om forskarsamhället som helhet gör det.) Skälet är följande. Enligt min uppfattning (och många andras, inklusive Stuart Armstrong, James Barrat, Nick Bostrom, David Chalmers, Stephen Hawking, Bill Joy, James Miller, Anna Salamon, Kaj Sotala, Max Tegmark, Roman Yampolskiy och Eliezer Yudkowsky) är en eventuell intelligensexplosion förknippad med så kallad existentiell risk för mänskligheten - en risk för att vi helt enkelt går under, eller att vår potential till framtida blomstring går permanent förlorad. Sådana risker har vi inte råd att behandla på samma sätt som mer vardagliga och småskaliga risker. I sin uppsats Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards förklarar Bostrom varför:

Our approach to existential risks cannot be one of trial-and-error. There is no opportunity to learn from errors. The reactive approach – see what happens, limit damages, and learn from experience – is unworkable. Rather, we must take a proactive approach. This requires foresight to anticipate new types of threats and a willingness to take decisive preventive action and to bear the costs (moral and economic) of such actions.

Jag är helt enig med Bostrom här. Låt mig ändå, för diskussionens skull, ge sista ordet i denna bloggpost till AI-forskaren Ben Goertzel, som i sin läsvärda och infallsrika recension av Stuart Armstrongs nya bok Smarter Than Us: The Rise of Machine Intelligence invänder följande mot den Armstrong-Bostromska ståndpunkten om hur oacceptabel trial-and-errormetoden är:

I do agree with Armstrong that, before we launch superhuman AGIs upon the world, it would be nice to have a much better theory of how they operate and how they are likely to evolve. No such theory is going to give us any guarantees about what future superhuman AGIs will bring, but the right theory may help us bias and sculpt the future possibilities.

However, I think the most likely route to such a theory will be experimentation with early-stage AGI systems...

I have far more faith in this sort of experimental science than in "philosophical proofs", which I find generally tend to prove whatever the philosopher doing the proof intuitively believed in the first place...

Of course it seems scary to have to build AGI systems and play with them in order to understand AGI systems well enough to build ones whose growth will be biased in the directions we want. But so it goes. That's the reality of the situation. Life has been scary and unpredictable from the start. We humans should be used to it by now!

Anders Sandberg vill helst inte dö

Jag rekommenderar å det varmaste nedanstående korta (22:45) men stämningsfulla dokumentärfilm om Anders Sandberg. Filmen ger svar bland annat på varför han inte vill dö. Anders är en av de mest kreativa, intelligenta, intellektuellt fördomsfria, übernördiga och Ikarosmytstrotsande personer jag känner.¹

På tal om Anders så vill jag passa på att berätta att hans mycket efterlängtade uppsats Eternity in six hours: Intergalactic spreading of intelligent life and sharpening of the Fermi paradox, författad tillsammans med Stuart Armstrong, nu är publicerad. Detta högintressanta stycke forskning lanserades i föredragsform för över ett år sedan (för övrigt ett mycket pedagogiskt och sevärt föredrag av Armstrong), men det är alltså först nu vi kan ta del av detaljerna. Författarna visar hur det förefaller ligga inom det görligas ram att vi, dvs mänskligheten, inom kort kan inleda en fullskalig kolonisation av resten av det synliga universum, med nära ljusets hastighet. Det vi kan göra borde också utomjordiska intelligenta civilisationer kunna göra (om de existerar), och på så vis ställs Fermis paradox på sin spets, samtidigt som möjligheten öppnas att parametern q i den för mänskliheten ödesmättade olikhet som kallas det Stora Filtret inte nödvändigtvis är pytteliten.

Fotnot

1) Till samma kategori räknar jag Nick Bostrom, som är chef för det Future of Humanity Institute i Oxford där Anders arbetar. Nick spelar en framträdande biroll i filmen, liksom för övrigt också min favoritbokhandel (Blackwells i Oxford) gör.

2012 års bästa bloggposter

Januari är listornas tid. Jag vill inte vara sämre än andra, och presenterar här ett urval av 2012 års bästa bloggposter. Dock skall ett antal reservationer noteras: att rangordnandet av bloggposter är minst lika problematiskt som att tävla i musik, att urvalet givetvis är högst subjektivt, och därtill att det är präglat av stundens ingivelser så att listan, om jag skulle göra om det hela imorgon eller nästa vecka, skulle kunna få en helt annan (och möjligen rentav disjunkt) sammansättning.

För att slippa det besvärande momentet med att ur kvalitetssynpunkt jämföra Häggström hävdar med bloggosfären i övrigt, väljer jag att ge två separata topp fem-listor: en internlista (för Häggström hävdar) och en externlista (för övriga bloggosfären).

Internlistan

1. Gästinlägg av Björn Bengtsson: Tänkandets hantverk. Min gode vän Björn Bengtsson driver en strålande läsvärd blogg Jag är här med inriktning på filosofi och samhällskritik, ofta med Kafkaliknande inblickar i hans vardag som gymnasielärare. Då DN Debatt publicerade en magnifik övning i tidstypiskt innehållslösa postmoderna och parasitära idiotier var min första tanke att detta vore något för Björn att sätta tänderna i, och döm om min glädje när han accepterade min inbjudan om att skriva ett gästinlägg!

2. Det stora filtret. Robin Hansons idé om "the Great Filter" ger nya hisnande perspektiv på mänsklighetens plats i universum, och hör till de tankefigurer som under 2012 påverkat mig allra mest. Författandet av denna bloggpost hjälpte mig att strukturera mitt tänkande i ämnet.

3. Bakvänt, Björklund! När utbildningsministern lanserar en fullkomligt feltänkt idé med potential att orsaka det svenska universitetsväsendet stor skada är det min plikt att säga ifrån och påpeka orimligheten i hans argumentation.

4. Istället för vardagsmatematik? På 00-talet var jag höggradigt aktiv i den svenska skoldebatten, ofta (men långt ifrån alltid) med fokus på matematikundervisningsfrågor. De senaste åren har detta engagemang fått stå tillbaka en smula för annat, men här förmedlar jag en strålande idé av Timothy Gowers om hur matematikundervisningen med fördel kan utvecklas.

5. Fråga Olle! Denna listplacering är i kraft inte av bloggposten själv utan av den enastående aktivitet som läsekretsen utvecklade i kommentarsfältet.

Externlistan

1. Dyson Spheres Make the Fermi Paradox Worse på Andart. Här får vi i ett utsökt välformulerat föredrag ta del av Stuart Armstrongs och Anders Sandbergs radikala tankar om Fermis paradox och möjlig framtida teknikutveckling. (Jag har själv flaggat för samma föredrag tidigare här på Häggström hävdar.)

2. Rattfylleribluffen på Uppsalainitiativet. Denna underbara parodi på klimatförnekeri och pseudoskepticism av min UI-kollega Lars Karlsson blir inte sämre av hur den fullföljs i kommentarsfältet.

3. En erfarenhet rikare på bosjo surrar. Bo Sjögrens blogg är en av de roligaste jag vet. Just den här bloggposten kräver ett visst mått av schackliga förkunskaper, men för den som vet hur pjäserna går och lite till bjuder den på stor humor.

4. Terminator studies and the silliness heuristic på Practical Ethics. Här introducerar Anders Sandberg (känd från förstaplatsen på denna lista) det psykologiska fenomen han kallar "the silliness heuristic", som är fascinerande i sig men också en stor praktisk svårighet när det gäller att sälja in en del av de lite ovanliga men djupt allvarliga ämnen (exempelvis transhumanism och Singulariteten) jag ibland försöker skriva om här på Häggström hävdar.

5. Elsevier — my part in its downfall på Gowers's Weblog. Denna och en serie andra bloggposter av Timothy Gowers (känd från fyran på internlistan) blev avgörande för att sätta igång vetenskapssamhällets uppror mot den blodsugande tidskriftsjätten Elsevier. Striden är inte avgjord, och fler namn behövs på protestlistan!

I Oxford bland AI-forskare och futurologer

I tjugo års tid har jag regelbundet bevistat konferenser i matematik och matematisk statistik. Allra mest spännande var det i början, men med tiden har jag blivit alltmer blasé, och på senare år har jag faktiskt haft det största utbytet då jag valt bort konferenser i mina egna ämnen för att istället hälsa på hos exempelvis miljöekonomer, klimatforskare och filosofer. Häromdagen kom jag hem från den mycket intressanta 5th Conference on Artificial General Intelligence i Oxford. Mötet bjöd på en spännande blandning av två (i någon mån överlappande) kategorier forskare: å ena sidan de som försöker utveckla artificiell intelligens (AI), och å andra sidan de som mer är ute efter att analysera tänkbara samhälleliga konsekvenser av framtida genombrott på AI-området. I den första kategorin hittar vi bl.a. Jonathan Connell från IBM, som visade en härlig videoupptagning...

...av de förståndsgåvor som hans lilla robot visar prov på.¹ I den andra kategorin hittar vi t.ex. Anders Sandberg som höll ett spännande föredrag om etiska aspekter på datoremulering av hjärnor, och Robin Hanson som diskuterade kontraintuitiva scenarier för samhällsutvecklingen i fall att sådan emuleringsteknik slår igenom på bred front. Mycket intressant var också Steve Omohundros föredrag om autonoma system och risker med sådana i ljuset av hans teori för så kallade "basic AI drives".

För den som önskar vifta bort hela AI-området är det blott alltför enkelt att jämföra Connells intelligenta robot anno 2012 med den överdrivna optimism som genom årtiondena ibland ventilerats i AI-kretsar, som t.ex. Herbert Simons oförvägna proklamation från 1965 om att "machines will be capable, within twenty years, of doing any work a man can do". Själv tror jag inte på det tillrådiga i att på dessa billiga grunder avfärda AI. Om vi skall försöka lära oss något av misslyckade förutsägelser om teknikutvecklingen är det bättre att göra det eftertänksamt och balanserat, som Stuart Armstrong gjorde i en av konferensens många höjdpunkter.

Fotnot

1) Gode vännen, resekamraten och medförfattaren Claes Strannegårds presentation av vår studie Transparent Neural Networks faller inom samma kategori.

Människan och världsrymden

I dagsläget är kolonisation av världsrymden knappast en uppgift som förtjänar att hamna högt på en agenda över för mänskligheten angelägna projekt, men i ett lite längre perspektiv tycker jag nog att det vore sorgligt om xkcd:s sammanfattning över vår erövring av "the final frontier" förblev riktig. Vår potential är stor - se t.ex. det föredrag av Stuart Armstrong som jag tidigare hänvisat till för en fingervisning om vad som i princip torde vara inom räckhåll, kanske redan detta århundrade. Den framstående fysikern David Deutsch ger, i sin innehållsrika och mycket inspirerande men också arroganta och ytterst irriterande bok The Beginning of Infinity¹, sin egen syn på förhållandet mellan människan och världsrymden:

Some people become depressed at the scale of the universe, because it makes them feel insignificant. Other people are relieved to feel insignificant, which is even worse. But, in any case, those are mistakes. Feeling insignificant because the universe is large has exactly the same logic as feeling inadequate for not being a cow. Or a herd of cows. The universe is not there to overwhelm us; it is our home, and our resource. The bigger the better.

Fotnot

1) Jag siktar på att återkomma om denna bok här på bloggen, men vill för ögonblicket inte säga så mycket mer än så här, då tidskriften Axess lovat arvodera mig för en recension av boken, och jag i gengäld gärna låter dem komma först med att publicera mina tankar om den.

Det stora filtret

Att läsa Oxfordfilosofen Nick Bostrom är alltid intressant. Han tänker gärna outside the box, han intar ofta oväntade ståndpunkter, och han kan som regel backa upp dessa med välgenomtänkt och stark argumentation. Hör till exempel på detta:

When water was discovered on Mars, people got very excited. Where there is water, there may be life. Scientists are planning new missions to study the planet up close. NASA’s next Mars rover is scheduled to arrive in 2010. In the decade following, a Mars Sample Return mission might be launched, which would use robotic systems to collect samples of Martian rocks, soils, and atmosphere, and return them to Earth. We could then analyze the sample to see if it contains any traces of life, whether extinct or still active. Such a discovery would be of tremendous scientific significance. What could be more fascinating than discovering life that had evolved entirely independently of life here on Earth? Many people would also find it heartening to learn that we are not entirely alone in this vast cold cosmos.

But I hope that our Mars probes will discover nothing. It would be good news if we find Mars to be completely sterile. Dead rocks and lifeless sands would lift my spirit.

Conversely, if we discovered traces of some simple extinct life form—some bacteria, some algae—it would be bad news. If we found fossils of something more advanced, perhaps something looking like the remnants of a trilobite or even the skeleton of a small mammal, it would be very bad news. The more complex the life we found, the more depressing the news of its existence would be. Scientifically interesting, certainly, but a bad omen for the future of the human race.

Detta är inledningen på Bostroms uppsats Where are they? Why I hope the search for extraterrestrial life finds nothing från 2008. Hur kommer han då fram till denna ovanliga slutsats? För att svara på det behöver vi diskutera det stora filtret - The Great Filter - ett begrepp som lanserades av den amerikanske ekonomen och vildhjärnan Robin Hanson i en banbrytande uppsats från 1998.¹

Det stora filtret är i sin tur nära förknippat med med Fermis paradox, som jag nyligen flaggade för här på bloggen. Fysikern och Noblelpristagaren Enrico Fermi utropade plötsligt, under en lunch 1950 tillsammans med några kollegor, "Where is everybody?" och levererade snabbt några överslagskalkyler som stöd för uppfattningen att vår planet rimligtivs borde ha tagit emot besök av utomjordingar för länge sedan och många gånger om.

Redan 1998 då Hanson skrev sin uppsats fanns skäl att anta även andra stjärnor än solen har planetsystem, och att det i det synliga universum finns miljarder miljarder planeter som är av ungefär samma storlek som jorden och cirklar sin stjärna på lagom avstånd för att göra den beboelig för biologiskt liv. Sedan dess har observationer av exoplaneter givit stärkt stöd åt denna tanke. Då det på någon av alla dessa miljarder miljarder planeter - vår egen eller någon annan - uppstår en teknologisk civilisation på tillräckligt hög nivå, så erhåller den kapacitet att inleda en kolonisering av resten av universum som sprider sig i alla riktningar med nära ljusets hastighet. I bloggposten om Fermis paradox länkar jag till en video där Stuart Armstrong redovisar hur vi själva - inom loppet av några få århundraden (och förutsatt att vi inte har bättre saker för oss eller lyckats ta kål på oss själva) kommer att kunna realisera detta med hjälp av von Neumann-prober och en Dysonsfär.

Detta verkar dock inte ha hänt på någon planet inom vår ljuskon bakåt i tiden, då vi ju (vad det verkar) inte har koloniserats av utomjordingar. Med tanke på hur många planeter det verkar handla om, så hamnar vi i slutsatsen att det, även för en planet av lagom storlek och lagom nära sin stjärna, är ytterst osannolikt att liv utvecklas till en civilisation som inleder den stora koloniseringen av resten av universum. Låt oss ta vår egen planets historia som modell för hur det skulle kunna gå till. Någonstans i ursoppan uppstår RNA eller någon annan självreproducerande struktur, som så småningom ger upphov till prokaryotiskt encelligt liv, varefter utvecklingen rullar på med eukaryotiskt liv, sexuell fortplantning, flercelligt liv, djur med hjärnkapacitet nog att börja använda verktyg, och vår egen högteknologiska civilisation, varifrån steget (om vi får tro Armstrong) inte verkar vara så långt till att dra igång den stora koloniseringen av universum. Men eftersom utvecklingen som helhet - från livlös planet till färdig rymdkolonisatör - är så osannolik, så måste det på minst ett ställe längs utvecklingslinjen finnas en flaskhals i form av ett ytterst osannolikt steg. Det är detta som är det stora filtret.² Bostrom igen:

The Great Filter can be thought of as a probability barrier. It consists of one or more highly improbable evolutionary transitions or steps whose occurrence is required in order for an Earth‐like planet to produce an intelligent civilization of a type that would be visible to us with our current observation technology. You start with billions and billions of potential germination points for life, and you end up with a sum total of zero extraterrestrial civilizations that we can observe. The Great Filter must therefore be powerful enough—which is to say, the critical steps must be improbable enough—that even with many billions rolls of the dice, one ends up with nothing: no aliens, no spacecraft, no signals, at least none that we can detect in our neck of the woods.

Var finns då flaskhalsen (eller flaskhalsarna)? En fråga av stor betydelse för bedömningen av varthän mänskligheten är på väg, är om vi har passarat den eller inte. Om vi har passerat den ligger universum för våra fötter, men om vi inte har passerat den så betyder det att den ligger framför oss, och troligtvis att den kommer att förgöra oss innan vi tar det stora språnget ut i universum.

Kanske har vi passerat flaskhalsen. Kanske är t.ex. själva livets uppkomst en så ytterst osannolik händelse att vår egen planet troligen är den enda i hela universum som bär på liv. Eller kanske är det något av de övriga stegen på vägen mot avancerade tänkande varelser som vi själva som är ytterst osannolikt. Vi har tenderat att anta att eftersom alla dessa saker faktiskt har hänt, så är de antagligen inte så förfärligt osannolika, men vi vet i själva verket såpass lite om livets utveckling på detaljnivå att vi inte säkert kan slå fast detta.

Eller finns flaskhalsen framför oss? Carl Sagan och William Newman är i en uppsats från 1983 inne på den linjen. De föreslå att det skulle kunna vara en allmängiltig lag att samhällen som är tillräckligt aggressiva för att intressera sig för fullskalig kolonisation av världsrymden med nödvändighet kommer att förgöra sig själva, och att endast de fridsamt sinnade civilisationerna överlever. Deras galaktiska vision har något närmast Bullerbyaktigt över sig:

We think it possible that the Milky Way Galaxy is teeming with civilizations as far beyond our level of advance as we are beyond the ants, and paying about as much attention to us as we pay to the ants. Some subset of moderately advanced civilizatyions may be engaged in the exploration and colonization of other planetary systems; however, their mere existence makes it highly likely that their intentions are benign and their sensitivities about societies at our level of technological adolescence delicate.

Bostrom köper inte den visionen:

Even if an advanced technological civilization could spread throughout the galaxy in a relatively short period of time (and thereafter spread to neighboring galaxies), one might still wonder whether it would opt to do so. Perhaps it would rather choose to stay at home and live in harmony with nature. However, there are a number of considerations that make this a less plausible explanation of the great silence. First, we observe that life here on Earth manifests a very strong tendency to spread wherever it can. On our planet, life has spread to every nook and cranny that can sustain it: East, West, North, and South; land, water, and air; desert, tropic, and arctic ice; underground rocks, hydrothermal vents, and radioactive waste dumps; there are even living beings inside the bodies of other living beings. This empirical finding is of course entirely consonant with what one would expect on the basis of elementary evolutionary theory. Second, if we consider our own species in particular, we also find that it has spread to every part of the planet, and we even have even established a presence in space, at vast expense, with the international space station. Third, there is an obvious reason for an advanced civilization that has the technology to go into space relatively cheaply to do so: namely, that’s where most of the resources are. Land, minerals, energy, negentropy, matter: all abundant out there yet limited on any one home planet. These resources could be used to support a growing population and to construct giant temples or supercomputers or whatever structures a civilization values. Fourth, even if some advanced civilization were non‐expansionary to begin with, it might change its mind after a hundred years or fifty thousand years—a delay too short to matter. Fifth, even if some advanced civilization chose to remain non‐expansionist forever, it would still not make any difference if there were at least one other civilization out there that at some point opted to launch a colonization process: that expansionary civilization would then be the one whose probes, colonies, or descendants would fill the galaxy. It takes but one match to start a fire; only one expansionist civilization to launch the colonization of the universe.

Det kan vara frestande att ta vår egen existens som evidens för att vi inte passerat flaskhalsen. Om vår existens är så till den grad osannolik som en flaskhals bakom oss skulle implicera, är det inte då lite väl märkligt att vi faktiskt finns?³ Bostrom menar emellertid att detta är ett felslut:

Whether intelligent life is common or rare, every observer is guaranteed to find themselves originating from a place where intelligent life did, indeed, arise. Since only the successes give rise to observers who can wonder about their existence, it would be a mistake to regard our planet as a randomly‐selected sample from all planets.

Jag kan tillägga att den som använder sig av argumentet "liv finns här på jorden och borde därför vara vanligt förekommande i universum" behöver förklara hur detta argument skiljer sig från (det uppenbart galna, men till sin struktur identiska) argumentet "här på jorden spelar vi Alfapet och lyssnar på jazz, varför dessa aktiviteter förmodligen är vanligt förekommande i universum".

Vi vet inte om det stora filtrets flaskhals är före eller efter oss. Bostroms poäng, som motiverar titeln på hans uppsats och de stycken jag inledningsvis citerade, är följande.⁴ Om vi upptäcker liv på andra planeter, så tyder det på att flaskhalsen inte ligger i början av vår utvecklingslinje. Ju mer avancerat liv vi finner därute, desto större del av vår utveckling kan uteslutas som läge för flaskhalsen, och desto större är risken att flaskhalsen ligger framför oss.

Fotnot

1) Mycket av tankarna i Bostroms uppsats - inklusive synen på vad det skulle innebära att upptäcka utomjordiskt liv - återfinns redan hos Hanson. Jag rekommenderar varmt båda uppsatserna.

2) Det stora filtret har mycket gemensamt med det kanske mer kända begreppet Drakes ekvation.

3) Sagan och Newman verkar implicit stödja sig på denna tanke, då de ställer den retoriska frågan "Which is more likely, that in a 15-billion-year-old contest with 10²³ entrants, we happen, by accident, to be the first or that there is some flaw in [the argument for nonexistence of other advanced civilisations]?"

4) Noggranna läsare av denna blogg har redan hört Max Tegmark lägga fram samma slutsats i det videoföredrag jag länkar till här.

Om Fermis paradox

Vi har ännu inte sett några tecken på intelligent liv ute i universum. Vid en informell lunchdiskussion tillsammans med några kollegor i Los Alamos omkring 1950 utropade fysikern och Nobelpristagaren Enrico Fermi plötsligt "Where is everybody?", följt av några snabba överslagskalkyler som pekade mot att vår planet borde ha besökts av utomjordingar för länge sedan och många gånger om. Denna väldokumenterade händelse har givit namn åt Fermis paradox, som egentligen snarare är en fråga: varför har vi ännu inte träffat på några utomjordingar? Ett uppenbart förslag till svar är att vi måhända är ensamma i hela universum, men det finns en rad andra tänkbara möjligheter.

Idag vill jag bjuda på två sevärda och lärorika YouTube-filmer om Fermis paradox. Först en kort (6:04) animerad video av TED-medarbetaren Chris Anderson, som förklarar vad det hela handlar om:

Och här en lite längre (48:07) video, med ett färskt föredrag av den engelske matematikern Stuart Armstrong som engagerat och pedagogiskt presenterar de senaste rönen om Fermis paradox, sprungna ur hans pågående samarbete med svenske forskarkollegan Anders Sandberg: