New AI paper with James Miller and Roman Yampolskiy

The following words by Alan Turing in 1951, I have quoted before:

My contention is that machines can be constructed which will simulate the behaviour of the human mind very closely. [...] Let us now assume, for the sake of argument, that these machines are a genuine possibility, and look at the consequences of constructing them. [...] It seems probable that once the machine thinking method had started, it would not take long to outstrip our feeble powers. There would be no question of the machines dying, and they would be able to converse with each other to sharpen their wits. At some stage therefore we should have to expect the machines to take control.

It is but a small step from that ominous final sentence about machines taking over to the conclusion that when that happens, everything hinges on what they are motivated to do. The academic community's reaction to Turing's suggestion was a half-century of almost entirely ignoring it, and only the last couple of decades have seen attempts to seriously address the issues that it gives rise to. An important result of the early theory-building that has come out of this work is the so-called Omohundro-Bostrom framework for instrumental vs final AI goals. I have discussed it, e.g., in my book Here Be Dragons and in a 2019 paper in the journal Foresight.

Now, in collaboration with economist James Miller and computer scientist Roman Yampolskiy, we have another paper on the same general circle of ideas, this time with emphasis on the aspects of Omohundro-Bostrom theory that require careful scrutiny in light of the game-theoretic considerations that arise for an AI living in an environment where it needs to interact with other agents. The paper, whose title is An AGI modifying its utility function in violation of the strong orthogonality thesis, is published in the latest issue of the journal Philosophies. The abstract reads as follows:

An artificial general intelligence (AGI) might have an instrumental drive to modify its utility function to improve its ability to cooperate, bargain, promise, threaten, and resist and engage in blackmail. Such an AGI would necessarily have a utility function that was at least partially observable and that was influenced by how other agents chose to interact with it. This instrumental drive would conflict with the strong orthogonality thesis since the modifications would be influenced by the AGI’s intelligence. AGIs in highly competitive environments might converge to having nearly the same utility function, one optimized to favorably influencing other agents through game theory. Nothing in our analysis weakens arguments concerning the risks of AGI.

Read the full paper here!

My paper on the Omohundro—Bostrom framework for AI goals and motivations

My latest paper on artificial intelligence, Challenges to the Omohundro—Bostrom framework for AI motivations, has been accepted for publication in the journal Foresight. From the introduction:

The present paper is concerned with scenarios where AI development has succeeded in creating a machine that is superintelligent, in the sense of vastly outperforming humans across the full range of cognitive skills that we associate with intelligence, including prediction, planning and the elusive quality we speak of as creativity. [...]

While important, [...] matters of timing and suddenness of AI development will mostly be abstracted away in the present paper, in order to focus on issues about what happens next, once a superintelligent machine has been created. A widely accepted thesis in contemporary AI futurology is that we humans can then no longer expect to be in control of our own destiny, which will instead be up to the machine. [...]

This leads to the crucial issue of what the superintelligent machine will want – what will it be motivated to do? The question is extraordinarily difficult and any answer at present is bound to come with a high degree of uncertainty – to a large extent due to our limited understanding of how a superintelligent machine might function, but also because the answer may depend on what we choose to do during the development stage, up to the point when we lose control. [...]

So our inexperience with superintelligence puts us in a situation where any reasoning about such a machine’s goals and motivations need to be speculative to a large degree. Yet, we are not totally in the dark, and the discussion need not be totally speculative and ungrounded. The main (and pretty much only) theoretical framework available today for grounding our reasoning on this topic is what in an earlier publication I decided to call the Omohundro—Bostrom theory on instrumental vs final AI goals [...]. The two cornerstones of the theory are what Bostrom (2012) dubbed the Orthogonality Thesis (OT) and the Instrumental Convergence Thesis (ICT), which together give nontrivial and (at least seemingly) useful predictions – not about what will happen, but about what might plausibly happen under various circumstances. The OT and the ICT are, however, not precise and definite on the level that mathematical theorems can be: they are not written in stone, and they have elements of vagueness and tentativeness. The purpose of the present paper is to discuss some reasons to doubt the two theses – not with the intent of demonstrating that they are wrong or useless, but mostly to underline that further work is needed to evaluate their validity and range of applicability.

Read the entire paper here.

An essential collection on AI safety and security

The xxix+443-page book Artificial Intelligence Safety and Security, edited by Roman Yampolskiy, has been out for a month or two. Among its 28 independent chapters (plus Yamploskiy's introduction), which have a total of 47 different authors, the first 11 (under the joint heading Concerns of Luminaries) have previously been published, with publication years ranging from 2000 to 2017, while the remaining 17 (dubbed Responses of Scholars) are new. As will be clear below, I have a vested interest in the book, so the reader may want to take my words with a grain of salt when I predict that it will quickly become widely accepted as essential reading in the rapidly expanding and increasingly important fields of AI futurology, AI risk and AI safety; nevertheless, that is what I think. I haven't yet read every single chapter in detail, but have seen enough to confidently assert that while the quality of the chapters is admittedly uneven, the book still offers an amazing amount of key insights and high-quality expositions. For a more systematic account by someone who has read all the chapters, see Michaël Trazzi's book review at Less Wrong.

Most of the texts in the Concerns of Luminaries part of the book are modern classics, and six of them were in fact closely familiar to me even before I had opened the book: Bill Joy's early alarm call Why the future doesn't need us, Ray Kurzweil's The deeply intertwined promise and peril of GNR (from his 2005 book The Singularity is Near), Steve Omohundro's The basic AI drives, Nick Bostrom's and Eliezer Yudkowsky's The ethics of artificial intelligence, Max Tegmark's Friendly artificial intelligence: the physics challenge, and Nick Bostrom's Strategic implications of openness in AI development. (Moreover, the papers by Omohundro and Tegmark provided two of the cornerstones for the arguments in Section 4.5 (The goals of a superintelligent machine) of my 2016 book Here Be Dragons.) Among those that I hadn't previously read, I was struck most of all by the urgent need to handle the near-term nexus of risks connecting AI, chatbots and fake news, outlined in Matt Chessen's The MADCOM future: how artificial intelligence will enhance computational propaganda, reprogram human cultrure, and threaten democracy... and what can be done about it.

The contributions in Responses of Scholars offer an even broader range of perspectives. Somewhat self-centeredly, let me just mention that three of the most interesting chapters were discussed in detail by the authors at the GoCAS guest researcher program on existential risk to humanity organized by Anders Sandberg and myself at Chalmers and the University of Gothenburg in September-October last year: James Miller's A rationally addicted artificial superintelligence, Kaj Sotala's Disjunctive scenarios of catastrophic AI risk, and Phil Torres' provocative and challenging Superintelligence and the future of governance: on prioritizing the control problem at the end of history. Also, there's my own chapter on Strategies for an unfriendly oracle AI with reset button. And much more.

Robotattacken mot Alexander Gristjuk

Schack och robotar: två ämnen jag ofta återkommit till här på bloggen. Idag vill jag förena dem. Låt mig först rikta en gratulation till det ryska schackgeniet Alexander Gristjuk, som igår (och för tredje gången) tog hem segern i VM i blixtschack; till det slagna fältet hör bl.a. den norske megastjärnan Magnus Carlsen. Låt mig sedan bjuda på följande lite dråpliga videosnutt från 2012, där Gristjuk ställs mot en schackrobot av märket Kuka.¹

Fotnot

1) En trolig reaktion efter att ha sett videon är måhända "Det var ju festligt, men en schackrobot kan ju inte rimligtvis bli farlig på riktigt". För den som känner sig böjd att dra den senare något förhastade slutsatsen rekommenderar jag Steve Omohundros viktiga uppsats The basic AI drives.

A disturbing parallel between AI futurology and religion

Parallels between AI¹ futurology and religion are usually meant to insult and to avoid serious rational discussion of possible AI futures; typical examples can be found here and here. Such contributions to the discussion are hardly worth reading. It might therefore be tempting to dismiss philosopher John Danaher's paper Why AI doomsayers are like sceptical theists and why it matters just from its title. That may well be a mistake, however, because the point that Danaher makes in the paper seems to be one that merits taking seriously.

Danaher is concerned with a specific and particularly nightmarish AI scenario that Nick Bostrom, in his influential recent book Superintelligence, calls the treacherous turn. To understand that scenario it is useful to recall the theory of an AI's instrumental versus final goals, developed by Bostrom and by computer scientist Steve Omohundro. In brief, this theory states that virtually any ultimate goal is compatible with arbitrarily high levels of intelligence (the orthogonality thesis), and that there are a number of instrumental goals that a sufficiently intelligent AI is likely to set up as a means towards reaching its ultimate goal pretty much regardless of what this ultimate goal is (the instrumental convergence thesis). Such instrumental goals include self-protection, acquisition of hardware and other resources, and preservation of the ultimate goal. (As indicated in Footnote 2 of my earlier blog post Superintelligence odds and ends II, I am not 100% convinced that this theory is right, but I do consider it sufficiently plausible to warrant taking seriously, and it is the best and pretty much only game in town for predicting behavior of superintelligens AIs.)

Another instrumental goal that is likely to emerge in a wide range of circumstances is that as long as humans are still in power, and as long as the AI's ultimate goals are poorly aligned with human values, the AI will try to hide its true intentions. For concreteness, we may consider one of Bostrom's favorite running examples: the paperclip maximizer. Maximizing the production of paperclips may sound like a pretty harmless goal of a machine, but only up to the point where it attains superintelligence and the capacity to take over the world and to consequently turn the entire solar system (or perhaps even the entire observable universe) into a giant heap of paperclips. The goal of the paperclip maximizer is clearly not very well aligned with human values, and as soon as we humans realize what the machine is up to, we will do what we can to pull the plug on it or to prevent its plans by other means. But if the machine is smart, it will forsee this reaction from us, and therefore hide its intention to turn everything (including us) into paperclips, until the moment when it has become so powerful that we can no longer put up any resistance. This is what Bostrom calls the treacherous turn. On p 119 of Superintelligence he gives the following definition.

The treacherous turn: While weak, an AI behaves cooperatively (increasingly so, as it gets smarter). When the AI gets sufficiently strong - without warning or provocation - it strikes, forms a singleton,² and begins directly to optimize the world according to the criteria implied by its final values.

Or as he puts it two pages earlier:

An unfriendly AI of sufficient intelligence realizes that its unfriendly goals will be best realized if it behaves in a friendly manner initially, so that it will be let out of the box. It will only start behaving in a way that reveals its unfriendly nature when it no longer matters whether we find out; that is, when the AI is strong enough that human opposition is ineffectual.

So the essence of the treacherous turn is that an increasingly powerful AI may seem perfectly benevolent, while in actual fact it has plans that run counter to human values, perhaps including our extinction. Things may be very different from what they seem.

And here is where Danaher, in his paper, sees a parallel to skeptical theism. Skeptical theism is the particular answer to the problem of evil - i.e., the problem of how the existence of an omnipotent and omnibenevolent God can be reconciled with the existence of so much terrible evil in the world³ - that points to limits of our mere human understanding, and the fact that something that seems evil to us may have consequences that are very very good but inconceivable to us: God moves in mysterious ways. Danaher explains that according to skeptical theists

you cannot, from the seemingly gratuitous nature of evil, [conclude] its actually gratuitous nature. This is because there may be beyond-our-ken reasons for allowing such evils to take place. We are cognitively limited human beings. We know only a little of the deep structure of reality, and the true nature of morality. It is epistemically possible that the seemingly gratuitous evils we perceive are necessary for some greater good.

So here, too, things may be very different from what they seem. And in both cases - the AI treacherous turn, as well as in the worldview of the skeptical theists - the radical discrepancy between how the world seems to us and how it actually is stems from the same phenomenon: the existence of a more intelligent being who understands the world incomparably better than we do.

So there is the parallel. Does it matter? Danaher says that it does, because he points to huge practical end epistemic costs to the stance of skeptical theism, and suggests analogous costs to belief in the treacherous turn. As an example of such downsides to skeptical theism, he gives the following example of moral paralysis:

Anyone who believes in God and who uses sceptical theism to resist the problem of evil confronts a dilemma whenever they are confronted with an instance of great suffering. Suppose you are walking through the woods one day and you come across a small child, tied to tree, bleeding profusely, clearly in agony, and soon to die. Should you intervene, release the child and call an ambulance? Or should you do nothing? The answer would seem obvious to most: you should intervene. But is it obvious to the sceptical theist? They assume that we don't know what the ultimate moral implications of such suffering really is. For all they know, the suffering of the child could be logically necessary for some greater good, (or not, as the case may be). This leads to a practical dilemma: either they intervene, and possibly (for all they know), frustrate some greater good; or they do nothing and possibly (for all they know) permit some great evil.

Anyone who believes we may be the soon-to-be-slaughtered victims of an AI's treacherous turn suffers from similar epistemological and practical dilemmas.

Having come this far in Danaher's paper, I told myself that his parallel is unfair, and that a crucial disanalogy is that while skeptical theists consider humanity to be in this epistemologically hopeless situation right now, Bostrom's treacherous turn is a hypothetical future scenario - it applies only when a superintelligent AI is in existence, which is obviously not the case today.⁴ Surely hypothesizing about the epistemologically desperate situation of people in the future is not the same thing as putting oneself in such a situation - while the latter is self-defeating, the former is not. But then Danaher delivers the following blow:

It could be that an AI will, in the very near future, develop the level of intelligence necessary to undertake such a deceptive project and thereby pose a huge existential risk to our futures. In fact, it is even worse than that. If the AI could deliberately conceal its true intelligence from us, in the manner envisaged by Bostrom, it could be that there already is an AI in existence that poses such a risk. Perhaps Google's self-driving car, or IBM's Watson have already achieved this level of intelligence and are merely biding their time until we release them onto our highways or into our hospitals and quiz show recording studios? After all, it is not as if we have been on the lookout for the moment of the conception of deception (whatever that may look like). If AI risk is something we should take seriously, and if Bostrom’s notion of the treacherous turn is something we should also take seriously, then this would seem to be one of its implications.

Regular readers of this blog will know that I am highly influenced by the sort of AI futurology that Bostrom respresents in his book Superintelligence. I therefore find Danaher's parallel highly worrying, and I do not know what to make of it. Danaher doesn't quite know either, but suggests two possible conclusions, "tending in opposite directions":

The first is a reductio, suggesting that by introducing the treacherous turn, Bostrom reveals the underlying absurdity of his position. The second is an a fortiori, suggesting that the way in which Bostrom thinks about the treacherous turn may be the right way to think about superintelligence, and may consequently provide further reason to be extremely cautious about the development of artificial intelligence.

Danaher goes on to develop these opposing ideas in his paper, which I recommend reading in full.⁵ And I would very much like to hear what others think about his highly disturbing parallel and what to make of it.

Footnotes

1) AI is short for artificial intelligence.

2) Earlier in the book (p 78), Bostrom defines a singleton as "a world order in which there is at the global level a single decision-making agency". See his 2005 paper What is a singleton.

3) The problem of evil is one that I've repeatedly discussed (and even proposed a solution to) on this blog.

4) This is somewhat analogous to the distinction between, on one hand, chemtrails conspiracy theories (which are purportedly about ongoing events), and, on the other hand, serious writing on geoengineering (which is about possible future technologies). Imagine my irritation when my writings in the latter category are read by chemtrails nutcases as support for ideas in the former category.

5) Footnote added on June 9, 2015: See also Danaher's blog post on the same topic.

An open letter calling for research on robust and beneficial AI

Research on artificial intelligence (AI) tends in general to focus too much on making the AI capable, and too little on making its effects (once it becomes capable) benign to humans and humanity. A non-obvious but important thing to realize here is that for an AI to do bad things, it is not necessary that it was built with bad intentions. Sometimes the intentions really are bad, such as when building AI systems to fly drones and shoot at people, but it is also possible for an AI built purely with good intentions to do bad things. For a drastic example, let me quote from my review of Nick Bostrom's important book Superintelligence:

Talk of the danger of AI may trigger us to think about drones and other military technology, but Bostrom emphasizes that even an AI with seemingly harmless tasks may bring about disaster. He exemplifies with a machine designed to produce paperclips. If such a machine becomes the seed of an intelligence explosion, then, unless we have planned it with extreme caution, it may well result in the entire solar system (including ourselves) being turned into a grotesque heap of paperclips.

For some slightly less drastic examples, see Steve Omohundro's paper Rational artificial intelligence for the greater good, or a talk by him from 2012 on the same topic that I posted in an earlier blog post.

An open letter calling for putting higher priority on research to make AI safe and socially beneficial has recently been posted, and signed by over a thousand names, including myself, along with prominent AI experts, philosophers, scientists and entrepreneurs like Stuart Armstrong, Nick Bostrom, Erik Brynjolfsson, Ben Goertzel, Katja Grace, Stephen Hawking, Luke Muehlhauser, Elon Musk, Peter Norvig, Steve Omohundro, Martin Rees, Stuart Russell, Anders Sandberg, Jaan Tallinn, Max Tegmark, Eliezer Yudkowsky, Roman Yampolskiy and many more. Read the letter here! And if you argee with us, do consider signing it!

BBC reports on the letter, and Anders Sandberg offers some thoughtful comments.

Om evolution, drivkrafter och artificiell intelligens - ett svar till Per Kraulis

Singulariteten - det hypotetiska framtidsscenario där ett genombrott inom artificiell intelligens (AI) leder till en extremt snabbt eskalerande spiral av allt intelligentare maskiner med genomgripande konsekvenser för hela vår värld - har jag skrivit en hel del om här på bloggen. Än så länge är emellertid diskussioner om Singulariteten i stort sett frånvarande i mainstreammedia och den allmänna debatten. Böcker som James Millers Singularity Rising och James Barrats Our Final Invention har inte förmått ändra på detta mer än högst marginellt, och frågan är om vi kan hoppas på mer av Nick Bostroms länge emotsedda Superintelligence, som utkommer denna sommar. DN:s vetenskapsredaktör Maria Gunther Axelsson tog, som jag berättade i min förra bloggpost, ett litet steg i riktning mot att väcka det allmänna medvetandet i frågan, genom att i förrgår ägna en DN-krönika (dock dessvärre gömd bakom betalvägg) åt ämnet.

En person vars intresse för frågan Gunther Axelsson lyckades väcka är bloggaren Per Kraulis, som med sin bloggpost Datorns existentiella ångest: Därför har Stephen Hawking fel ventilerar sin skepsis mot det slags katastrofscenarier som diskuteras i den aktuella DN-texten och i en artikel i The Independent den 1 maj i år av Stephen Hawking och tre medförfattare. Kraulis invändning går ut på att dessa scenarier förutsätter att AI-maskinen har drivkrafter att "hålla sig själv vid liv, föröka sig och ta över", drifter som följer naturligt ur biologisk evolution, men som (enligt Kraulis) knappast kommer att föreligga hos en AI. I DN-krönikan citeras jag med en formulering som innehåller passagen "du är uppbyggd av atomer som [AI-maskinen] kan ha annan användning för",¹ vilken Kraulis kritiserar med följande stycken.

Den springande punkten här är orden ”kan ha en annan användning för”. Jag ställer mig frågan: Vem, eller vad, bestämmer denna användning, detta syfte? För en maskin är det alltid maskinens design som avgör vad den ”strävar” efter. Det är konstruktören, det vill säga, vi människor, som avgör det. Det finns inga maskiner som själva kan formulera syften, önskemål eller värderingar. Det finns, mig veterligen, inte ens ansatser inom AI till hur en sådan maskin skulle se ut.

Många skulle svara: Men det är väl självklart vad en intelligent maskin skulle ha för mål? En självmedveten maskin vill ju hålla sig själv vid liv, föröka sig och ta över, om den bara kunde!

Men detta, hävdar jag, är ett felslut. Det är inte alls självklart att en självmedveten maskin skulle vilja det.

Vi tycker det vore självklart därför att vi, som biologiska organismer, genetiskt präglade av ca 3,6 miljarder års evolution, är så hårt programmerade att se överlevande och förökning som självklart goda saker. Om vi kunde spåra alla våra släktingar i rakt nedstigande led till de första cellerna, så skulle vi se att det som förenar samtliga anfäder och anmödrar var önskan och förmågan att fortplanta sig. Av de organismer som tappade lust eller förmåga att fortplanta sig, så har ingen avkomma överlevt. Trivialt, men samtidigt fundamentalt!

Evolutionens mekanismer fungerar alltså så att den organism som sammantaget har största drivkraften och förmågan att föröka sig och ta över så mycket som möjligt av sin miljö, är den som i det långa loppet har bäst chans att överleva. Följden är att vi har livsdriften bokstavligt talat kodad i våra gener. Endast de organismer som har generna för denna obändiga vilja till liv och expansion är de som faktiskt överlever. Alla andra försvinner.

Inget av detta gäller AI-maskiner. De har aldrig utsatts för evolution på så sätt att en maskin som, på något rudimentärt sätt, uppvisat en förmåga att motstå att bli avstängd har gynnats genom att man tillverkat flera sådana maskiner.

Detta är mycket intressanta tankegångar, som varje seriös Singulariteten-teoretiker behöver vara bekant med och ta ställning till. Kraulis bloggpost är väl värd att läsa i dess helhet. Men vad Kraulis inte verkar ha klart för sig är att de evolutionsbiologiska tankegångarna redan är välbekanta i litteraturen om Singulariteten, och det stämmer inte alls som han säger att denna "bygger på fysik, matematik och datalogi, medan det biologiska tänkandet är helt frånvarande";² se t.ex. Bostrom och Shulman (2012) och Hanson och Yudkowsky (2013) för arbeten om Singulariteten där det evolutionsbiologiska perspektivet är framträdande.

Och även om Kraulis synpunkter är värda att beakta, så menar jag att de inte håller för slutsatsen att en AI kommer att sakna drivkrafter att "hålla sig själv vid liv, föröka sig och ta över". Jag skall här ge tre separata argument (1), (2) och (3) för att en AI trots allt kan komma att ha dessa drivkrafter. Av dessa argument håller jag (3) för att vara det klart intressantaste och viktigaste, och i jämförelse med det ser jag (1) och (2) mer som intellektuell uppvärmning. Hur som helst:

(1) Om det nu skulle vara som Kraulis påstår, att de drivkrafter vi diskuterar förutsätter att varelsen ifråga har uppkommit genom den darwinska processen av mutation, selektion och reproduktion, så är det relevant att konstatera att en icke oäven del av AI-utvecklingen idag äger rum inom det ramverk som benämns evolutionära algoritmer, och som bygger på just dessa darwinska mekanismer. Precis som den biologiska evolutionen spontant (och som Kraulis förklarar) verkar leda fram till drifterna att "hålla sig själv vid liv, föröka sig och ta över", så är det knappast orimligt att detsamma skulle kunna hända inom evolutionära algoritmer.

(2) Man kan också tänka sig att en AI-utvecklare med vett och vilje bygger in drivkrafter i sin AI om att försvara sig, förbättra sig, reproducera sig och ta över världen. Det finns knappast några principiella hinder mot att programmera något sådant. En invändning skulle dock kunna vara att det förefaller så katastrofalt livsfarligt att göra det att ingen någonsin skulle försöka sig på en sådan sak. Historien ger emellertid inte några entydigt positiva besked om vår förmåga att stå emot frestelsen att bygga domedagsvapen, och det finns tillräckligt med fanatiska terrorister och Kim Jong-un-typer (för att inte tala om alla uttråkade tonåringar med hackerböjelser) för att vi inte rimligtvis skall känna oss säkra på att inga sådana AI-projekt pågår eller är att vänta.

(3) Det finns en mycket intressant teori utvecklad av Steve Omohundro som handlar om en uppsättning instrumentella drivkrafter som varje tillräckligt intelligent, självständigt och flexibelt tänkande AI kan väntas utveckla, nästan oavsett vilka ultimata drivkrafter som programmerats in i den från början; se Omohundros uppsatser The Basic AI Drives och Rational Artificial Intelligence for the Greater Good, och Nick Bostroms The Superintelligent Will. En AI kan vara tillverkad för ett till synes helt harmlöst syfte, som att tillverka så många gem som möjligt eller att vinna så många schackpartier mot starka spelare som möjligt, men kommer ändå då den nått en viss grad av allmänintelligens att sträva efter att förbättra sig själv, att få tillgång till större beräkningskapacitet, att undvika att bli avstängd och att bygga många kopior av sig själv - helt enkelt som ett instrument för att uppnå den ultimata målsättningen i termer av gemtillverkning eller schacksegrar. Detta kan få katastrofala konsekvenser, och vi vill verkligen inte att vår galax skall omvandlas till att enbart bestå av en enorm uppsättning gem.

Jag vill inte med detta ha sagt att jag vet vad som kommer att hända - sådan tvärsäkerhet är knappast påkallad inom ett så outvecklat och vanskligt område som förutsägelser om framtida AI. Min ambition här begränsar sig till att framhålla att Per Kraulis argument för att någon katastrofal Singularitet knappast är att vänta inte är invändningsfria.

Fotnoter

1) Min formulering är i sin tur ett citat lånat av Eliezer Yudkowsky.

2) Om man skall vara riktigt noga är det bara Gunther Axelssons DN-krönika som Kraulis med dessa ord dömer ut, men implicit i hans argumentation ligger antagandet att hela teoribygget kring Singulariteten lider av samma defekt.

Edit 8 juli 2014: Per Kraulis har nu svarat. Jag kommenterar kort hans svar i kommentersfältet nedan (11:44).

Strannegård och Omohundro om artificiell intelligens

Mina två senaste blogginlägg om vart utvecklingen inom AI (artificiell intelligens) kan tänkas vara på väg, rubricerade Stoppa mördarrobotarna (23 april) och Yudkowsky om Singulariteten (6 maj), har till min förtjusning väckt mer diskussion än vanligt i kommentarsfälten. Jag vill gärna smida medan järnet är varmt, och presenterar därför härmed det tredje blogginlägget på kort tid om ämnet.

Jag menar att AI-utvecklingens enorma potential, och de därmed förknippade riskerna, sannolikt är en av mänsklighetens stora ödesfrågor, åtminstone i paritet med (den vida mer uppmärksammade) klimatfrågan. Än så länge är det inte många som håller med om detta, och till och med bland AI-forskarna själva är ointresset för frågan utbrett. Möjligen är en liten vindkantring på gång härvidlag (om det inte handlar om önsketänkande från min sida), som kan exemplifieras med hur min gode vän den kreative AI-forskaren och entreprenören Claes Strannegård nyligen ändrat uppfattning om frågans vikt. Senaste numret av Göteborgs universitets tidskrift GU-journalen ägnar stort utrymme åt en intervju med honom, där vi bland annat kan läsa följande:

Men i science fiction brukar försök att skapa artificiellt liv sluta i katastrof. Bladerunner och 2001 – ett rymdäventyr var filmer som Claes Strannegård tidigare inte tog på så stort allvar. Till i vintras. Då deltog han nämligen i the Winter Intelligence Conference i Oxford.

– Nu känner jag mig lite mer oroad för vissa framtidsscenarier. Tänk dig till exempel en robot som har som enda instruktion att bli så bra som möjligt på schack genom att spela massor av partier. Det låter väl helt fredligt? Men vad skulle hända om någon försökte stänga av roboten eller programmera om den? Då skulle den inte kunna utvecklas som schackspelare vilket skulle gå emot instruktionerna. Eftersom den saknar både folkvett och moral skulle den använda vilka metoder som helst, kanske också brutala, för att förhindra detta. En robot kan alltså vara ond trots att den inte programmerats så. Artificiell intelligens har många fördelar, men om vi inte funderar över de etiska, juridiska och ekonomiska konsekvenserna, tror jag att vi kan bli tagna på sängen.

Även jag deltog i nämnda Oxfordkonferensen, och rapporterade efteråt kort här på bloggen. Om jag förstått Claes rätt så var det framför allt Steve Omohundros föredrag Autonomous technology and the greater human good som gjorde sådant intryck på honom att han började ta de radikala framtidsfrågorna på allvar. Konferensarrangörerna har sent omsider börjat lägga upp sina videoupptagningar av föredragen på nätet, och här är Omohundros bidrag:

Se det! Det är ett sällsynt givande föredrag, som bland annat (med start ca 13:40 in i videon) redogör för det lärorika (men i GU-journalsintervjun alltför korthugget beskrivna) schackdatorexemplet. Även den påföljande diskussionen med frågor från publiken finns med i videon. Sådana frågestunder utgör ofta beklämmande antiklimax på goda föredrag, men den här gången bjöds på ett och annat intressant; se t.ex. Robin Hansons roliga men samtidigt mycket allvarliga och oroande kommentar om hedgefonder (55:20), och Claes Strannegårds fråga strax därefter (56:05, notera gärna yours truly sittandes jämte Claes, till höger i bild). Och läs gärna Omohundros uppsats om samma ämne: Rational artificial intelligence for the greater good.

Stoppa mördarrobotarna!

Tal om framtida robotteknik kan frammana radikalt olika bilder. Å ena sidan hjälpsamma butler- och hemtjänstrobotar i stil med dem som AI-forskare vid Örebro universitet försöker utveckla - sådana kan vi nog få stor nytta av. Å andra sidan... jag gissar att stora delar av läsekretsen har sett någon av Terminator-filmerna, och därmed bekantat sig med idén om en möjlig framtid där robotar far omkring och tar kål på oss människor. Jag tror att vi kan vara tämligen ense om att en sådan framtid full av mördarrobotar är något vi helst bör undvika - så låt oss försöka se till att den inte uppkommer! Här kanske någon invänder att Terminator-scenariet enbart är pojkrumsaktig science fiction och därmed knappast något vi behöver oroa oss över. I beg to differ.

Det är hög tid att börja oroa sig. Jag har tidigare här på bloggen skrivit om militär användning av drönare - obemannande flygplan. De drönare som den amerikanska militärmakten redan idag använder sig av är fjärrstyrda av mänskliga piloter, men utvecklingen går snabbt i riktning mot ökad autonomi hos flygplanens datorsystem.

Idag den 23 april hålls en hearing i det brittiska parlamentet i samband med lanseringen av Campaign to Stop Killer Robots. En av kampanjens initiativtagare är Noel Sharkey, professor i artificiell intelligens och robotik vid University of Sheffield och ordförande i ICRAC (International Committe for Robot Arms Control), som för några veckor sedan skrev, i en debattartikel på CNN:s webbplats, att det är dags för ett förbud - Ban the killer robots before it's too late! Läs den! Den tekniskt och teoretiskt intresserade läsaren rekommenderas också ta del av Steve Omohundros uppsats Rational artificial intelligence for the greater good (och hans övriga arbeten om samma ämne), för att få en uppfattning om de enorma svårigheter som ligger framför oss när det gäller att kontrollera allt mer autonoma datorsystem.

Jag vill också uppmana de läsare som delar min oro och som tycker sig platsa i kategorin "Computer Scientists, Engineers, Artificial Intelligence experts, Roboticists and professionals from related disciplines" att (liksom jag) skriva på ICRAC:s upprop för ett förbud mot utveckling och spridning av teknologi för vapensystem där besultet att använda våld sker autonomt, dvs utan att någon människa behöver trycka på knappen. Jag citerar ur uppropet:

We are concerned about the potential of robots to undermine human responsibility in decisions to use force, and to obscure accountability for the consequences. There is already a strong international consensus that not all weapons are acceptable, as illustrated by wide adherence to the prohibitions on biological and chemical weapons as well as anti-personnel land mines. We hold that fully autonomous robots that can trigger or direct weapons fire without a human effectively in the decision loop are similarly unacceptable.

[...]

Given the limitations and unknown future risks of autonomous robot weapons technology, we call for a prohibition on their development and deployment. Decisions about the application of violent force must not be delegated to machines.

Det kan mycket väl komma en dag då vi inte längre har något förnuftigt (eller annat) alternativ till att lägga över stora och livsviktiga beslut på maskiner. Tills vidare bör vi dock gå väldigt försiktigt fram, och mördarrobotar är enligt min mening snudd på sämsta möjliga val av område för spjutspetsteknologisk tillämpning av autonoma system.¹

Fotnot

1) Detta bör dock inte förstås som att om vi blott undviker militära och andra våldstillämpningar, och håller oss enbart till snälla tillämpningar (som ovan nämnda forskning i Örebro) så är allt automatiskt frid och fröjd. En av poängerna med ovan rekommenderade uppsats av Omohundro (en poäng som i skönlitterär form också görs exempelvis i Greg Egans novell Steve Fever och i Alex Proyas film I, Robot) är att även till synes harmlösa uppgifter kan, om vi tilldelar dem åt tillräckligt avancerade autonoma system, ge upphov till oväntade och i högsta grad oönskade beteenden.

I Oxford bland AI-forskare och futurologer

I tjugo års tid har jag regelbundet bevistat konferenser i matematik och matematisk statistik. Allra mest spännande var det i början, men med tiden har jag blivit alltmer blasé, och på senare år har jag faktiskt haft det största utbytet då jag valt bort konferenser i mina egna ämnen för att istället hälsa på hos exempelvis miljöekonomer, klimatforskare och filosofer. Häromdagen kom jag hem från den mycket intressanta 5th Conference on Artificial General Intelligence i Oxford. Mötet bjöd på en spännande blandning av två (i någon mån överlappande) kategorier forskare: å ena sidan de som försöker utveckla artificiell intelligens (AI), och å andra sidan de som mer är ute efter att analysera tänkbara samhälleliga konsekvenser av framtida genombrott på AI-området. I den första kategorin hittar vi bl.a. Jonathan Connell från IBM, som visade en härlig videoupptagning...

...av de förståndsgåvor som hans lilla robot visar prov på.¹ I den andra kategorin hittar vi t.ex. Anders Sandberg som höll ett spännande föredrag om etiska aspekter på datoremulering av hjärnor, och Robin Hanson som diskuterade kontraintuitiva scenarier för samhällsutvecklingen i fall att sådan emuleringsteknik slår igenom på bred front. Mycket intressant var också Steve Omohundros föredrag om autonoma system och risker med sådana i ljuset av hans teori för så kallade "basic AI drives".

För den som önskar vifta bort hela AI-området är det blott alltför enkelt att jämföra Connells intelligenta robot anno 2012 med den överdrivna optimism som genom årtiondena ibland ventilerats i AI-kretsar, som t.ex. Herbert Simons oförvägna proklamation från 1965 om att "machines will be capable, within twenty years, of doing any work a man can do". Själv tror jag inte på det tillrådiga i att på dessa billiga grunder avfärda AI. Om vi skall försöka lära oss något av misslyckade förutsägelser om teknikutvecklingen är det bättre att göra det eftertänksamt och balanserat, som Stuart Armstrong gjorde i en av konferensens många höjdpunkter.

Fotnot

1) Gode vännen, resekamraten och medförfattaren Claes Strannegårds presentation av vår studie Transparent Neural Networks faller inom samma kategori.