An essential collection on AI safety and security

The xxix+443-page book Artificial Intelligence Safety and Security, edited by Roman Yampolskiy, has been out for a month or two. Among its 28 independent chapters (plus Yamploskiy's introduction), which have a total of 47 different authors, the first 11 (under the joint heading Concerns of Luminaries) have previously been published, with publication years ranging from 2000 to 2017, while the remaining 17 (dubbed Responses of Scholars) are new. As will be clear below, I have a vested interest in the book, so the reader may want to take my words with a grain of salt when I predict that it will quickly become widely accepted as essential reading in the rapidly expanding and increasingly important fields of AI futurology, AI risk and AI safety; nevertheless, that is what I think. I haven't yet read every single chapter in detail, but have seen enough to confidently assert that while the quality of the chapters is admittedly uneven, the book still offers an amazing amount of key insights and high-quality expositions. For a more systematic account by someone who has read all the chapters, see Michaël Trazzi's book review at Less Wrong.

Most of the texts in the Concerns of Luminaries part of the book are modern classics, and six of them were in fact closely familiar to me even before I had opened the book: Bill Joy's early alarm call Why the future doesn't need us, Ray Kurzweil's The deeply intertwined promise and peril of GNR (from his 2005 book The Singularity is Near), Steve Omohundro's The basic AI drives, Nick Bostrom's and Eliezer Yudkowsky's The ethics of artificial intelligence, Max Tegmark's Friendly artificial intelligence: the physics challenge, and Nick Bostrom's Strategic implications of openness in AI development. (Moreover, the papers by Omohundro and Tegmark provided two of the cornerstones for the arguments in Section 4.5 (The goals of a superintelligent machine) of my 2016 book Here Be Dragons.) Among those that I hadn't previously read, I was struck most of all by the urgent need to handle the near-term nexus of risks connecting AI, chatbots and fake news, outlined in Matt Chessen's The MADCOM future: how artificial intelligence will enhance computational propaganda, reprogram human cultrure, and threaten democracy... and what can be done about it.

The contributions in Responses of Scholars offer an even broader range of perspectives. Somewhat self-centeredly, let me just mention that three of the most interesting chapters were discussed in detail by the authors at the GoCAS guest researcher program on existential risk to humanity organized by Anders Sandberg and myself at Chalmers and the University of Gothenburg in September-October last year: James Miller's A rationally addicted artificial superintelligence, Kaj Sotala's Disjunctive scenarios of catastrophic AI risk, and Phil Torres' provocative and challenging Superintelligence and the future of governance: on prioritizing the control problem at the end of history. Also, there's my own chapter on Strategies for an unfriendly oracle AI with reset button. And much more.

Two well-known arguments why an AI breakthrough is not imminent

Much of my recent writing has concerned future scenarios where an artificial intelligence (AI) breakthrough leads to a situation where we humans are no longer the smartest agents on the planet in terms of general intelligence, in which case we cannot (I argue) count on automatically remaining in control; see, e.g., Chapter 4 in my book Here Be Dragons: Science, Technology and the Future of Humanity, or my paper Remarks on artificial intelligence and rational optimism. I am aware of many popular arguments for why such a breakthrough is not around the corner but can only be expected in the far future or not at all, and while I remain open to the conclusion possibly being right, I typically find the arguments themselves at most moderately convincing.¹ In this blog post I will briefly consider two such arguments, and give pointers to related and important recent developments. The first such argument is one that I've considered silly for as long as I've given any thought at all to these matters; this goes back at least to my early twenties. The second argument is perhaps more interesting, and in fact one that I've mostly been taking very seriously.

1. A computer program can never do anything creative, as all it does is to blindly execute what it has been programmed to do.

This argument is hard to take seriously, because if we do, we must also accept that a human being such as myself cannot be creative, as all I can do is to blindly execute what my genes and my environment have programmed me to do (this touches on the tedious old free will debate). Or we might actually bite that bullet and accept that humans cannot be creative, but with such a restrictive view of creativity the argument no longer works, as creativity will not be needed to outsmart us in terms of general intelligence. Anyway, the recent and intellectually crowd-sourced paper The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities offers a fascinating collection of counterexamples to the claim that computer programs cannot be creative.

2. We should distinguish between narrow AI and artificial general intelligence (AGI). Therefore, as far as a future AGI breakthrough is concerned, we should not be taken in by the current AI hype, because it is all just a bunch of narrow AI applications, irrelevant to AGI.

The dichotomy between narrow AI and AGI is worth emphasizing, as UC Berkeley computer scientist Michael Jordan does in his interesting recent essay Artificial Intelligence  - The Revolution Hasn’t Happened Yet. That discourse offers a healthy dose of skepticism concerning the imminence of AGI. And while the claim that progress in narrow AI is not automatically a stepping stone towards AGI seems right, the oft-repeated stronger claim that no progress in narrow AI can serve as such a stepping stone seems unwarranted. Can we be sure that the poor guy in the cartoon on the right (borrowed from Ray Kurzweil's 2005 book; click here for a larger image) can carry on much longer in his desperate production of examples of what only humans can do? Do we really know that AGI will not eventually emerge from a sufficiently broad range of specialized AI capabilities? Can we really trust Thore Husfeldt's image suggesting that Machine Learning Hill is just an isolated hill rather than a slope leading up towards Mount Improbable where real AGI can be found? I must admit that my certainty about such a topography in the landscape of computer programs is somewhat eroded by recent dramatic advances in AI applications. I've previously mentioned as an example AlphaZero's extraordinary and self-taught way of playing chess, made public in December last year. Even more striking is last week's demonstration of the Google Duplex personal assistant's ability to make intelligent phone conversations. Have a look:³

Footnotes

1) See Eliezer Yudkowsky's recent There’s No Fire Alarm for Artificial General Intelligence for a very interesting comment on the lack of convincing arguments for the non-imminence of an AI breakthrough.

2) The image appears some 22:30 into the video, but I really recommend watching Thore's entire talk, which is both instructive and entertaining, and which I had the privilege of hosting in Gothenburg last year.

3) See also the accompanying video exhibiting a wider range of Google AI products. I am a bit dismayed by its evangelical tone: we are told what wonderful enhancements of our lives these products offer, and there is no mention at all of possible social downsides or risks. Of course I realize that this is the way of the commercial sector, but I also think a company of Google's unique and stupendous power has a duty to rise above that narrow-minded logic. Don't be evil, goddamnit!

Vulgopopperianism

I have sometimes, in informal discussions, toyed with the term vulgopopperianism, although mostly in Swedish: vulgärpopperianism. What I have not done so far is to pinpoint and explain (even to myself) what it means, but now is the time.

Karl Popper (1902-1994) was one of the most influential philosophers of science of the 20th century. His emphasis on falsifiability as a criterion for a theory to qualify as scientific is today a valuable and standard part of how we think about science, and it is no accident that, in the chapter named "What is science?" in my book Here Be Dragons, I spend two entire sections on his falsificationism.

Science aims at figuring out and understanding what the world is like. Typically, a major part of this endeavour involves choosing, tentatively and in the light of available scientific evidence, which to prefer among two or more descriptions (or models, or theories, or hypotheses) of some relevant aspect of the world. Popper put heavy emphasis on certain asymmetries between such descriptions. In a famous example, the task is to choose between the hypothesis

(S1) all swans are white

and its complement

(S2) at least one non-white swan exists.

The idea that, unlike (S2), (S1) is falsifiable, such as by the discovery of a black swan, has become so iconic that no less than two books by fans of Karl Popper (namely, Nassim Nicholas Taleb and Ulf Persson) that I've read in the past decade feature black swans on their front page illustrations.

The swan example is highly idealized, and in practice the asymmetry between two competing hypotheses is typically nowhere near as clear-cut. I believe the failure to understand this has been a major source of confusion in scientific debate for many decades. An extreme example is how, a couple of years ago, a Harvard professor of neuroscience named Jason Mitchell drew on this confusion (in conjunction with what we might call p≤0.05-mysticism) to defend a bizarre view on the role of replications in science.

By a vulgopopperian, I mean someone who

(a) is moderately familiar with Popperian theory of science,

(b) is fond of the kind of asymmetry that appears in the all-swans-are-white example, and

(c) rejoices in claiming, whenever he¹ encounters two competing hypotheses one of which he for whatever reasons prefers, some asymmetry such that the entire (or almost the entire) burden of proof is on proving the other hypothesis, and insisting that until a conclusive such proof is presented, we can take for granted that the preferred hypothesis is correct.

Jason Mitchell is a clear case of a vulgopopperian. So are many (perhaps most) of the proponents of climate denialism that I have encountered during the decade or so that I have participated in climate debate. Here I would like to discuss another example in just a little bit more detail.

In May last year, two of my local colleagues in Gothenburg, Shalom Lappin and Devdatt Dubhashi, gave a joint seminar entitled AI dangers: imagined and real², in which they took me somewhat by surprise through spending large parts of the seminar attacking my book Here Be Dragons and Nick Bostroms's Superintelligence. They did not like our getting carried away by the (in their view) useless distraction of worrying about a future AI apocalypse in which things go bad for humanity due to the emergence of superintelligent machines whose goals and motivations are not sufficiently in line with human values and promotion of human welfare. What annoyed them was specifically the idea that the creation of superintelligent machines (machines that in terms of general intelligence, including cross-domain prediction, planning and optimization, vastly exceed current human capabilities) might happen within forseeable future such as a century or so.

It turned out that we did have some common ground as regards the possibility-in-principle of superintelligent machines. Neither Shalom or Devdatt, nor myself, believe that human intelligence comes out of some mysterious divine spark. No, the impression I got was that we agree that intelligence arises from natural (physical) processes, and also that biological evolution cannot plausibly be thought to have come anywhere near a global intelligence optimum by the emergence of the human brain, so that there do exist arrangements of matter that would produce vastly-higher-than-human intelligence.³ So the question then is not whether superintelligence is in principle possible, but rather whether it is attainable by human technology within a century or so. Let's formulate two competing hypotheses about the world:

(H1) Achieving superintelligence is hard - not attainable (other than possibly by extreme luck) by human technological progress by the year 2100,

and

(H2) Achieving superintelligence is relatively easy - within reach of human technological progress, if allowed to continue unhampered, by the year 2100.

There is some vagueness or lack of precision in those statements, but for the present discussion we can ignore that, and postulate that exactly one of the hypotheses is true, and that we wish to figure out which one - either out of curiosity, or for the practical reason that if (H2) is true then this is likely to have vast consequences for the future prospects for humanity and we should try to find ways to make these consequences benign.

It is not a priori obvious which of hypotheses (H1) and (H2) is more plausible than the other, and as far as burden of proof is concerned, I think the reasonable thing is to treat them symmetrically. A vulgopopperian who for one reason or another (and like Shalom Lappin and Devdatt Dubhashi) dislikes (H2) may try to emphasize the similarity with Popper's swan example: humanly attainable superintelligent AI designs are like non-white swans, and just as the way to refute the all-swans-are-white hypothesis is to exhibit a non-white swan, the way to refute (H1) here is to actually build a superintelligent AI; until then, (H1) can be taken to be correct. This was very much how Shalom and Devdatt argued at their seminar. All evidence in favor of (H2) (this kind of evidence makes up several sections in Bostrom's book, and Section 4.5 in mine) was dismissed as showing just "mere logical possibility" and thus ignored. For example, concerning the relatively concrete proposal by Ray Kurzweil (2006) of basing AI-construction on scanning the human brain and copying the computational structures to faster hardware, the mere mentioning of a potential complication in this research program was enough for Shalom and Devdatt to dismiss the whole proposal and throw it on the "mere logical possibility" heap. This is vulgopopperianism in action.

What Shalom and Devdatt seem not to have thought of is that a vulgopopperian who takes the opposite of their stance by strongly disliking (H1) may invoke a mirror image of their view of burden of proof. That other vulgopopperian (let's call him O.V.) would say that surely, if (H2) is false, then there is a reason for that, some concrete and provably uncircumventable obstacle, such as some information-theoretic bound showing that superintelligent AI cannot be found by any algorithm other than brute force search for an extremely rare needle in a haystack the size of Library of Babel. As long as no such obstacle is exhibited, we must (according to O.V.) accept (H2) as the overwhelmingly more plausible hypothesis. Has it not occured to Shalom and Devdatt that, absent their demonstration of such an obstacle, O.V. might proclaim that their arguments go no further than to demonstrate the "mere logical possibility" of (H1)? I am not defending O.V.'s view, only holding it forth as an arbitrarily and unjustifiably asymmetric view of (H1) and (H2) - it is just as arbitrarily and unjustifiably asymmetric as Shalom's and Devdatt's.

Ever since the seminar by Shalom and Devdatt in May last year, I have thought about writing something like the present blog post, but have procrastinated. Last week, however, I was involved in a Facebook discussion with Devdatt and a few others, where Devdatt expressed his vulgopopperian attitude towards the possible creation of a superintelligence so clearly and so unabashedly that it finally triggered me to roll up my sleeves and write this stuff down. The relevant part of the Facebook discussion began with a third party asking Devdatt whether he and Shalom had considered the possibility that (H2) might have a fairly small probability of being true, yet large enough so that given the values at stake (including, but perhaps not limited to, the very survival of humanity) makes it worthy of consideration. Devdatt's answer was a sarcastic "no":

Indeed neither do we take into account the non-zero probability of a black hole appearing at CERN and destroying the world...

His attempt at analogy annoyed me, and I wrote this:

Surely you must understand the crucial disanalogy between the Large Hadron Collider black hole issue, and the AI catastrophe issue. In the former case, there are strong arguments (see Giddings and Mangano) for why the probability of catastrophe is small. In the latter case, there is no counterpart of the Giddings-Mangano paper and related work. All there is, is people like you having an intuitive hunch that the probability is small, and babbling about "mere logical possibility".

Devdatt struck back:

Does one have to consider every possible scenario however crazy and compute its probability before one is allowed to say other things are more pressing?

Notice that what Devdatt does here is that he rejects the idea that his arguments for (H1) need to go beyond establishing "mere logical possibility" and give us reason to believe that the probability of (H1) is large (or equivalently, that the probability of (H2) is small). Yet, a few lines down in the same discussion, he demands just such going-beyond-mere-logical-possibility from arguments for (H2):

You have made it abundantly clear that superintelligence is a logical possibility, but this was preaching to the choir, most of us believe that anyway. But where is your evidence?

The vulgopopperian asymmetry in Devdatt's view of the (H1) vs (H2) problem could hardly be expressed more clearly.

Footnotes

1) Perhaps I should apologize for writing "he" rather then "he or she", but almost all vulgopopperians I have come across are men.

2) A paper by the same authors, with the same title and with related (although not quite identical) content recently appeared in the journal Communications of the ACM.

3) For simplicity, let us take all this for granted, although it is not really crucial for the discussion; a reader who doubts any of these statements may take their negations and include disjunctively into hypothesis (H2).

Sagan om den stora datamaskinen 50 år

I år är det 50 år sedan den svenske fysikern (och sedemera Noblepristagaren) Hannes Alfvén lät publicera sin kortroman (eller långnovell) Sagan om den stora datamaskinen - en vision. Han gjorde det under pseudonymen Olof Johannesson, men författarens verkliga identitet blev snart känd, och när boken återpublicerades 1987 var det under hans riktiga namn. Boken verkar idag inte gå att få tag i via de vanliga nätbokhandlarna, men väl via antikvariat eller bibliotek, liksom i digital fulltext, utan betalvägg eller andra irriterande hinder.

Sagan är ett muntert stycke samhällssatir, som tar formen av en extrapolation av datorutvecklingen ända fram till (och något förbi) den tidpunkt i framtiden då datorerna tar över vår roll som planetens härskare. Utvecklingen beskrivs torrt och sakligt av den fiktive berättare vars identitet aldrig avslöjas, och det framgår inte ens med någon bestämdhet om denne är människa eller dator. Den satiriska udd Alfvén riktar mot sin samtid slår ofta lika hårt mot vår egen tid 50 år senare. Ett typiskt exempel finner vi i redogörelsen för det (ur berättarens perspektiv) mäkta underliga och sedan länge övergivna fenomenet storstad:

Gatorna var [...] normalt packade med bilar. Man tycks ha skilt mellan bilar som stod parkerade och dem som stod i bilkö, men vari skillnaden bestod är oklart.

Vi skall inte underskatta svårigheterna att i våra dagar få en verklig uppfattning av det normala livet i en storstad. Det öronbedövande larmet och den fruktansvärda stanken från de giftgaser som bilarna utspydde, har vi inga förutsättningar att föreställa oss. Försök har gjorts att reproducera dessa förhållanden. Vid ett tillfälle snart efter storstädernas avfolkning reparerade man alla bilarna på en stor gata och fyllde deras tankar med bensin. Folk fick sätta sig i dem och vrida på rattarna. Mellanrummet mellan bilarna packades med turister som strömmat till för att uppleva "en dag i storstaden". Men när bilarna började sitt öronbedövande larm och deras giftgaser strömmade ut, råkade turisterna i panik. Medicinska prov visade att normala människor endast kan uthärda en kort tid i sådan miljö utan allvarliga psykiska men. Vissa förgiftningsfaktorer av avgaserna har också fastställts. Föreställningen har därför aldrig upprepats. Det mesta av vad som förut varit bilar har nu förvandlats till rostbruna avlagringar i de igenslammade kloakerna.

Det mest imponerande med Sagan är emellertid den träffsäkerhet med vilken Alfvén på punkt efter punkt förutsäger den tekniska och sociala utvecklingen fram till våra dagar. Ett exempel är den apparat han kallar teletotalen, vilken han introducerar som "i princip [...] en kombination av automattelefon, radio och TV" och som har slående likheter med dagens smartphones, bl.a. genom att den sätter användaren i ständig kontakt med gigantiska kunskapsbanker, och genom tendensen att bygga in allt fler användningar under ett och samma skal. Den nedvärdering av faktakunskaper i utbildningssystemet som går hand i hand med uppkoppling mot dessa kunskapsbanker förutses också.

Även mycket av senare tids futurologiska diskussion förutsägs träffsäkert av Alfvén. Följande perspektiv på evolutionshistorien är detsamma som den populäre AI-evangelisten Ray Kurzweil¹ nära fyra årtionden senare förfäktar i sin bok The Singularity is Near; observera Alfvéns idag föråldrade terminologi i vilken han benämner dator (i singularis) "data" och datorer (i pluralis) "dator":

Det skulle föra för långt att i detalj följa den biologiska utvecklingen. Vi skall endast dröja något vid den epokgörande mutation - eller serie av mutationer - som markerar utvecklingen från apa till människa. Man kan fråga sig om detta verkligen var ett så betydelsefullt steg. Skillnaden mellan apa och människa är ju liten jämfört med skillnaden mellan människa och en modern data. Trots detta måste vi nog betrakta människans uppkomst som en av de verkligt viktiga händelserna i den historiska utvecklingen. Det var nämligen endast genom människan som det blev möjligt för datorna att uppkomma. I motsats till apor, hundar och andra djur kunde nämligen människan göra uppfinningar och därmed skapa en för datornas uppkomst lämplig miljö. Hennes verkliga storhet ligger i att hon är den enda levande varelse som var intelligent nog att begripa att utvecklingens mål var datan. Vidare behövde datorna en lång tid av symbios med människorna för att kunna utvecklas till vad de är idag. Inga andra levande varelser hade varit användbara för detta ändamål.

En skillnad mellan Alfvéns framställning och Kurzweils är emellertid att medan den teleologi vi skymtar i det citerade styckets tredje mening från slutet med säkerhet är ironiskt avsedd från Alfvéns sida (och med udden riktad mot den utbredda men redan på hans tid antikverade och lite löjliga föreställningen om människan som skapelsens krona), så verkar den teleologi som skiner igenom hos Kurzweil vara helt befriad från ironisk glimt.

Sammanfattningsvis kan om Sagan om den stora datamaskinen sägas dels att den är en litterär liten pärla med icke oävet underhållningsvärde, dels att den förtjänar att ingå som obligatorisk läsning för var och en som vill skaffa sig ett idéhistoriskt perspektiv på dagens så viktiga diskussion om den artificiella intelligensens framtid.

Fotnot

1) Sedan 2012 är Kurzweil utvecklingschef på Google, något jag finner både spännande och (till följd av den obekymrade och deterministiska syn på framtiden han i bl.a. The Singularity is Near ger uttryck för) en smula skrämmande.

Franzens nya

"Gör som Obama och jag - läs Jonathan Franzen!" var en uppmaning som jag för ett par år sedan riktade till bloggens läsekrets. Nu, efter att ha läst Franzens nya roman Purity, känner jag mig stärkt i min positiva bild om hans författarskap, och håller fast vid min uppmaning. Purity är, liksom hans förra roman Freedom, ett briljant och starkt samhällskritiskt porträtt av vår samtid, och han använder ånyo greppet att dela upp sin tegelsten i block av storleksordningen hundra sidor, där varje block zoomar in på själslivet hos en av bokens huvudpersoner. En tydlig skillnad är att medan Freedom är en i grunden ganska enkel berättelse om en amerikansk medelklass-kärnfamiljs uppgång och fall, så är Purity ett långt mer komplext romanbygge, med en raffinerat uttänkt akronologisk handling som rör sig över tre kontinenter och ibland rentav uppvisar drag av spionroman.

Det mörka stråk som går genom Freedom återkommer i Purity, och såväl huvudpersoner som läsare påminns gång efter annan om två av vår tids ödesfrågor: kärnvapenhotet och klimatfrågan. När jag under läsningen noterade detta så konstaterade jag samtidigt att det verkar finnas gränser för Franzens samtidskänselspröt, på så vis att han (trots IT-teknikens starka närvaro i boken) inte fått med den lite mer dunkla men eventuellt ännu större ödesfråga som vunnit visst insteg i publik debatt sedan 2014, och som jag själv gjort mitt bästa för att lyfta: den om vad som händer när utvecklingen inom artificiell intelligens når ett sådant genombrott (Singluariteten eller något annat) att vi människor inte längre är de varelser på vår planet som har den högsta allmänintelligensen. Men så händer det, på sidan 485, där huvudpersonen Andreas Wolf (en framgångsrik internetaktivist uppväxt i DDR och med drag delvis lånade av Julian Assange) samtalar med miljardären Tad Milliken (ett slags Ray Kurzweil med en del mindre smickrande egenheter tillagda för dramatikens skull), som förklarar varför han är beredd att i hemlighet sponsra Wolfs verksamhet, bl.a. genom att för denna upplåta en paradisisk dalgång han äger i Bolivia. Den fiktive Milliken knyter därmed samman alla de tre ödesfrågor som här nämnts - kärnvapen, klimat, Singularitet:

You need a secure base. I need black-swan insurance. Belize is working for me now, gotta love the police here, but we're still pre-Singularity. If people like you and me are going to re-create the world, we may need a place where we can ride out transitional disruptions. Also, I don't see Greenland melting down before the Singularity, but if it does, nuclear weaponry could be utilized. We've backed away from nuclear-winter capability, but there could still be a nuclear autumn, a nuclear November, in which case the equator's where you want to be. Isolated valley in the center of an untargeted continent. Make sure you've got some comely young females, some spare parts, some goats and chickens. You can make the place cozy. I'd hate to have to join you there, but it could happen.

Millennium 4

Jag har inget att tillföra rörande den bittra kontroversen kring utgivningen av David Lagercrantz nya bok Det som inte dödar oss, lanserad som den fristående fortsättningen på Stieg Larssons Millennium-trilogi. Med tanke på de många recensioner boken redan fått ser jag ej heller någon större poäng med att själv ge en djupgående sådan, men kan konstatera att den för mig duger utmärkt som underhållningslitteratur, och att den skicklige Lagercrantz lyckats tillräckligt bra med att imitera Larssons stil att jag säkert inte hade kommit på att misstänka att det var någon annan än Larsson som höll i pennan om jag inte redan känt till hur det förhöll sig med den saken.

Det jag här vill lyfta fram är istället den påfallande anhopning i boken av ämnen som är bekanta från denna blogg. I en av (de sedan Stieg Larssons böcker obligatoriska) demonstrationerna av protagonisten Lisbeth Salanders superkrafter kliver hon in på en av Stockholms schack-klubbar och sopar brädet med en intet ont anande elitspelare. Vidare bjuder författaren på mer matematik (i första hand primtalsfaktorisering och RSA-kryptering) än vad jag kan påminna mig ha sett i någon annan mainstream-deckare. Och framför allt bollar han utförligt (och någorlunda skickligt) med begrepp kring artificiell intelligens och Singulariteten, som i det samtal på s 204-205 där den fiktiva KTH-professorn Farah Sharif förklarar sammanhangen för Mikael Blomkvist:

Bara några dagar efter att vi uppnått AGI [Artificial General Intelligence] kommer vi att ha ASI [vilket står för] Artificial Superintelligence, något som är intelligentare än vi. Datorerna börjar förbättra sig i en accelererande takt, kanske i en faktor på tio, och blir hundra, tusen, tiotusen gånger så smarta som vi, och vad händer då?

[...]

Hur tror du att en dator känner sig som vaknar upp och finner sig tillfångatagen och kontrollerad av primitiva kryp som vi? Varför skulle den finna sig i den situationen? Varför skulle den överhuvudtaget visa oss någon överdriven hänsyn, eller än mindre låta oss rota i dess inre för att stänga av processen? Vi riskerar att stå inför en intelligensexplosion, en teknologisk singularitet som Vernor Vinge kallade det.

[...]

Idag arbetar tusentals människor över hela världen för att förhindra en sådan utveckling. Många är optimistiska, eller till och med utopiska. Man talar om friendly ASI, om vänliga superintelligenser som redan från början programmerats så att de enbart hjälper oss. Man tänker sig något i stil med vad Asimov föreställde sig i boken Jag, robot, inbyggda lagar som förbjuder maskinerna att skada oss. Innovatören och författaren Ray Kurzweil ser en underbar värld framför sig där vi med hjälp av nanoteknik interagerar med datorerna, och delar vår framtid med dem. Men självklart finns inga garantier. Lagar kan hävas. Betydelsen av initiala programmeringar kan förändras, och det är oerhört lätt att göra antropomorfiska misstag; tillskriva maskinerna mänskliga drag, och missförstå deras inneboende drivkraft.

Där får Lagercrantz som synes till ett härligt flöde av buzzwords. Den här på bloggen flitigt citerade Eliezer Yudkowsky nämns inte explicit i boken, men jag gläds åt att se hans skötebarn Machine Intelligence Research Institute figurera i handlingen. Vad jag dock gärna hade sluppit ta del av är Lisbeth Salanders larviga försök att koppla den teknologiska singulariteten till den (helt orelaterade) singularitet som förekommer i de svarta hålens fysik.

Filmtajm!

Nu, kära läsare, är det filmtajm! Två aktuella YouTube-filmer som jag omöjligt kan unanhålla er har kommit till min kännedom (båda för övrigt genom vännen Patrik Lindenfors försorg).

Den första av dem har vi redan presenterat på Uppsalainitiativet, men jag gör det här också eftersom den så väl illustrerar ett återkommande tema här på bloggen: den eskalerande galenskapen inom det amerikanska Republikanska partiet. Känsliga personer varnas: det här är enbart för den som står ut med att se republikanska kongressledamöter ägna sig åt rena rama Stockholmsinitiativs-pajaserierna.

Den andra filmen är något så ovanligt som en rap om Singulariteten. De läsare som är insatta i ämnet kommer att känna igen många referenser och glädjas åt musik- och videomakarnas humoristiska fyndigheter. De som är mindre insatta kommer i bästa fall att få sin nyfikenhet frestad och en impuls att lära sig mer. Låt mig då för säkerhets skull framhålla att videon i sig inte är att betrakta som någon pålitlig kunskapskälla, liksom inte heller Ray Kurzweils missionerande utgör den bästa och mest vederhäftiga vägen in i ämnet. Helst av allt rekommenderar jag Nick Bostroms bok Superintelligence, men för den som inte orkar med en hel bok lyfter jag gärna fram Eliezer Yudkowskys lite kortare text, David Chalmers ännu lite kortare text, eller (för den som verkligen har bråttom) Max Tegmarks pyttekorta text om samma ämne.

Hofstadter!

Douglas Hofstadters Gödel, Escher, Bach är en extremt originell och djuplodande men också höggradigt spekulativ bok om mänskligt tänkande. När den kom ut 1979 blev den snabbt en succé av senastionella proportioner, som Martin Gardner skrev i sin glödande anmälan i Scientific American:

Every few decades, an unknown author brings out a book of such depth, clarity, range, wit, beauty and originality that it is recognized at once as a major literary event.

Jag var då ännu för ung för boken, men tio år senare blev jag uppmärksammad på den och läste den med stor aptit - en läsning som gjorde djupt intryck på mig. I nästan samma veva läste jag också hans tillsammans med Daniel Dennett redigerade antologi The Mind's I från 1981, vilken påverkade mig om möjligt ännu mer, då den lade grunden för årtionden av grubblerier om vad mänskligt medvetande egentligen är - grubblerier jag än idag ägnar mig åt emellanåt.

Till sin profession är Douglas Hofstadter forskare i artificiell intelligens (AI). Han har alltid gått sin egen väg, och har trots berömmelsen efter Gödel, Escher, Bach varit tämligen isolerad från huvudfåran bland AI-forskare. Den främsta skillnaden mellan hans ansats och sagda huvudfåra är att Hofstadters allt överskuggande ambition är att förstå mänsklig kognition, i motsats till flertalet andra AI-forskare som har mer närliggande och pragmatiska ambitioner om att skapa datorprogram för att lösa olika specifika problem, som att vinna i Jeopardy eller sortera batterier. Om denna i hög grad självvalda isolering berättar Hofstadter, bland mycket annat, i en aktuell och synnerligen läsvärd intervju i tidskriften The Atlantic. Jag har väldigt lätt att känna sympati med Hofstadter, men när jag i The Atlantic-intervjun når fram till följande passage...

Hofstadter hasn’t been to an artificial-intelligence conference in 30 years. “There’s no communication between me and these people,” he says of his AI peers. “None. Zero. I don’t want to talk to colleagues that I find very, very intransigent and hard to convince of anything. You know, I call them colleagues, but they’re almost not colleagues—we can’t speak to each other.”

Hofstadter strikes me as difficult, in a quiet way. He is kind, but he doesn’t do the thing that easy conversationalists do, that well-liked teachers do, which is to take the best of what you’ve said—to work you into their thinking as an indispensable ally, as though their point ultimately depends on your contribution. I remember sitting in on a roundtable discussion that Hofstadter and his students were having and thinking of how little I saw his mind change. He seemed to be seeking consensus. The discussion had begun as an e-mail that he had sent out to a large list of correspondents; he seemed keenest on the replies that were keenest on him.

“So I don’t enjoy it,” he told me. “I don’t enjoy going to conferences and running into people who are stubborn and convinced of ideas I don’t think are correct, and who don’t have any understanding of my ideas. And I just like to talk to people who are a little more sympathetic.”

...så kan jag inte låta bli att tänka att Hoftadter nog blivit lite väl bortskämd efter sin exempellösa framgång med Gödel, Escher, Bach, och att hans forskning nog skulle må bra av om han hade lite lättare att befatta sig med kritik. Det räcker dock med att jag åter plockar fram Gödel, Escher, Bach eller The Mind's I för att jag omedelbart skall förlåta honom denna egenhet. Hans senare böcker Metamagical Themas (1985) och I Am a Strange Loop (2007) har samma effekt - liksom för övrigt följande helt underbara föredrag rubricerat Analogy as the Core of Cognition som han höll i Stanford den 6 februari 2006:

Se det! Jag insisterar!

När jag ändå är i farten med att dela med mig av Hofstadter-föredrag så vill jag klippa in ett till, från samma plats (Stanford) och lite senare samma år (Singularity Summit, i maj 2006), där han talar över ett annat ämne jag intresserat mig för här på bloggen: Singulariteten.

Detta föredrag, rubricerat Trying to Muse Rationally about the Singularity Scenario, är långt ifrån lika briljant som Analogy as the Core of Cognition, men ändå intressant. Hofstadter förhåller sig försiktigt skeptisk men inte avfärdande i frågan om en Singularitet verkligen är möjlig. Han kritiserar böcker i ämnet av Hans Moravec och Ray Kurzweil, och efterlyser en seriös diskussion i bredare kretsar av fysiker, dataloger och andra forskare. Från den transkribering av föredraget som finns tillgänglig saxar jag följande.

I think what I am really concerned about, after having read Ray’s most recent book, and been very impressed with many of the arguments in it, I ask the question: How realistic is this? I have asked a number of friends, highly informed intellectual people of different disciplines, and I have heard reactions over the following range: “The ideas are nutty—not worth the time of day.” “The ideas are very, very scary.” “I don’t know. I just don’t know.” “They are reasonable, or they are probable.” But none of these people have read the book.

This is very interesting to me. What I find strange about this is that I get the feeling the scientific world is not taking any of this seriously. In other words, I do not see serious discussions of this among physicists when they get together.

[...]

I would like to hear serious scientists taking these ideas seriously and giving a serious skeptical response—not that I necessarily want it to be the other side. I want the debate to be very seriously taken. I think this is all to Ray’s credit. He has raised some terribly important issues.

Den situation vad gäller diskussion om fenomenet Singulariteten som Hofstadter beskrev 2006 finner jag beklagligt aktuell ännu 2013. Av framstående tänkare som, utan att på allvar befatta sig med den argumentation som exempelvis Ray Kurzweil eller Eliezer Yudkowsky lagt fram, är beredda att med några korta ord avfärda tanken om en intelligensexplosion, går det snart sagt 13 på dussinet.¹ Den ende, så vitt jag känner till, som tagit frågan på fullt allvar och som landat i slutsatsen att en intelligensexplosion är osannolik är Robin Hanson. Det behövs fler som är beredda att analysera argumenten på allvar.

Fotnot

1) Som exempel på tänkare jag respekterar högt men som intagit denna billiga position kan nämnas Steven Pinker och Daniel Dennett. Så här säger Pinker:

There is not the slightest reason to believe in a coming singularity. The fact that you can visualize a future in your imagination is not evidence that it is likely or even possible. Look at domed cities, jet-pack commuting, underwater cities, mile-high buildings, and nuclear-powered automobiles--all staples of futuristic fantasies when I was a child that have never arrived. Sheer processing power is not a pixie dust that magically solves all your problems.

Och så här säger Dennett:

My reactions to the first thirty-odd pages [of Chalmers (2010)] did not change my mind about the topic, aside from provoking the following judgment, perhaps worth passing along: thinking about the Singularity is a singularly imprudent pastime, in spite of its air of cautious foresight, since it deflects our attention away from a much, much more serious threat, which is already upon us, and shows no sign of being an idle fantasy: we are becoming, or have become, enslaved by something much less wonderful than the Singularity: the internet.

Min gästbloggare David Sumpter kan ränkas till samma kategori: han är visserligen mer mångordig jämfört med vad Pinker och Dennett här visar upp, men han landar i samma vägran att befatta sig med argumenten för en intelligensexplosion.

Om människors och datorers sätt att spela schack

Det är en vanlig föreställning att datorer är i grunden själlösa tingestar som aldrig kommer att kunna tänka som vi människor. Själv vet jag inte vad "själlös" betyder, men jag tror att slutsatsen att de "aldrig kommer att kunna tänka som vi människor" är förhastad.

När datorerna visar sig inte bara matcha utan rentav övertrumfa mänsklig förmåga på något område - exempelvis schack eller TV-frågesporten Jeopardy - finns två strategier för den som vill försvara människans kognitiva överlägsenhet. Den ena är att hävda att det föreliggande området är ytterst snävt, och att det (åtminstone än så länge) bara är människan som besitter generell intelligens. Detta försvar menar jag, ännu i nådens år 2013, är välgrundat, men risken är att det till slut framstår som lika löjligt som mannen i skämtteckningen nedan (hämtad från Ray Kurzweils uppmärksammade bok The Singularity is Near), som febrilt kämpar med att nedteckna områden av mänsklig överlägsenhet, men som till följd av datorernas allt snillrikare programvaror tvingas stryka sina exempel i samma takt.

Den andra strategin är att säga att datorn visserligen besegrar människan i schack, men att det bara är människan som verkligen förstår schack, medan datorn själlöst återger exakt vad den är programmerad att göra. De flesta är nog böjda att instämma i denna ständigt upprepad kliché, men inte Daniel Dennett, som i sin nya bok Intuition Pumps and Other Tools for Thinking (som jag nyligen hyllade här på bloggen) erbjuder en välkommen nyansering. Vad var det egentligen som hände den där gången 1997 då dåvarande schackvärldsmästaren Garri Kasparov fick däng med 3½–2½ i en match över sex partier mot datorprogrammet Deep Blue, utvecklat av ett grupp experter med Murray Campbell i spetsen? Dennett förklarar:

Who beat Garry Kasparov, the reigning World Chess Champion? Not Murray Campbell or any members of his IBM team. Deep Blue beat Kasparov. Deep Blue designs better chess games than any of them can design. None of them can author a winning game against Kasparov. Deep Blue can. Yes, but. Yes, but. You may be tempted to insist at this point that when Deep Blue beats Kasparov at chess, its brute-force search methods are entirely unlike the exploratory processes that Kasparov uses when he conjures up his chess moves. But that is simply not so - or at least it is not so in the only way that could make a difference to the context of this discussion of the Darwinian perspective on creativity. Kasparov's brain is made of organic material and has an architecture importantly unlike that of Deep Blue, but it is still, so far as we know, a massively parallel search engine that has built up, over time, an outstanding array of heuristic pruning techniques that keep it from wasting time on unlikely branches. There is no doubt that the investment in R & D has a different profile in the two cases; Kasparov has methods of extracting good design principles from past games, so that he can recognize, and know enough to ignore, huge portions of the game space that Deep Blue must still patiently canvas seriatim. Kasparov's "insight" dramatically changes the shape of the search he engages in, but it does not constitute "an entirely different" means of creation. Whenever Deep Blue's exhaustive searches close off a type of avenue as probably negligible (a difficult, but not impossible task), it can reuse that R & D whenever it is appropriate, just as Kasparov does. Deep Blue's designers have done much of this analytical work and given it as an innate endowment to Deep Blue, but Kasparov has likewise benefited from the fruits of hundreds of thousands of person-years of chess exploration transmitted to him by players, coaches, and books and subsequently installed in the habits of his brain.

[...]

The fact is that the search space for chess is too big even for Deep Blue to explore exhaustively in real time, so like Kasparov, it prunes its search trees by taking calculated risks, and like Kasparov, it often gets these risks precalculated. Both presumably do massive amounts of "brute-force" computation on their very different architectures. After all, what do neurons know about chess? Any work they do must be brute-force work of one sort or another.

It may seem that I am begging the question in favor of a computational, AI approach by describing the work done by Kasparov's brain in this way, but the work has to be done somehow, and no other way of getting the work done has ever been articulated. It won't do to say that Kasparov uses "insight" or "intuition", since that just means that Kasparov himself has no privileged access, no insight, into how the good results come to him. So since nobody - least of all Kasparov - knows how Kasparov's brain does it, there is not yet any evidence to support the claim that Kasparov's means are "entirely unlike" the means exploited by Deep Blue. One should remember this when tempted to insist that "of course" Kasparov's methods are hugely different. What on earth could provoke one to go out on a limb like that? Wishful thinking? Fear? (s 263-265)

Väl talat! Visst föreligger skillnader mellan hur Kasparov och Deep Blue tänker, men jag håller med Dennett om att de alltför ivrigt brukar framställas som art- snarare än gradskillnader. När jag läste ovanstående passage kom jag att fundera över om det kunde gå att nyansera diskussionen ytterligare genom att konkret identifiera någon slag av tänkande som vi schackspelare ägnar oss åt som dagens schackprogram saknar. Jag har ett förslag i den riktningen. Innan du läser vidare, stanna gärna upp en stund inför nedanstående ställning, där vit är vid drag, och fundera över vad vit bör spela.

Här finns i själva verket blott tre tillåtna drag att välja mellan: 1. Ka2, 1. Kb2 och 1. axb6. Vilket eller vilka av dessa är bäst?

En lämplig första åtgärd när man är ställd inför en obekant ställning är att se hur det står till med det materiella läget. Här ser vi att svart har en förkrossande materiell ledning, med två torn och en löpare mer än vit. Vits ställning förefaller därför desperat, men notera att det finns möjlighet att omedelbart reducera det materiella underläget något, genom att medelst 1. axb6 eliminera svarts ena torn. Även om det materiella underläget därefter är fortsatt katastrofalt så är det i alla fall något mindre, varför 1. axb6 känns frestande att utnämna till vits bästa drag.

Om vi tittar lite djupare på ställningen ser vi emellertid att svart efter det draget ganska snabbt kan mobilisera ett oemotståndligt angrepp. Efter 1.- Lc6 (för att hejda b6-bondens fortsatta framfart) följt av drag som Kg7, Th8, Ta8 och a5 kan svart framtvinga en öppning av a-linjen, varefter det återstående tornet tränger in bakom vits bondelinjer med förödande verkan.

Men vad händer om vit avstår från att slå b6-tornet, och istället förhåller sig avvaktande med t.ex. 1. Kb2 följt av fortsatt kungsvandring hit och dit, i skydd bakom den egna bondelinjen? Hur skall svart då bryta igenom? Det är här det särskilda tänkande jag här vill framhålla kommer in. För att kunna besegra det avvaktande vita spelet måste svart någon gång antingen slå en vit bonde, eller tränga in bakom bondelinjen. Ingen av de svarta bönderna kan flytta, så det återstår att se vad som kan kan göras med tornen, löparen och kungen. En systematisk genomgång av fälten på svarts sida av bondelinjen visar att ingen av svarts pjäser från något av dessa fält kan slå en vit bonde eller tränga in bakom bondelinjen (för att komma fram till denna slutsats behöver vi använda oss av (a) att kungen inte får beträda schackad ruta, och (b) att en löpare som befinner sig på ett vitt fält aldrig kan nå ett svart fält). Det finns alltså ingen möjlighet för svart att bryta ned vits passiva försvar, och så länge vit håller sig till det är partiet dömt att till slut bli remi (genom antingen dragupprepning eller 50-dragsregeln).

Detta slags mer geometrisk analys¹ tror jag (någon schackdatorexpert i läsekretsen får gärna rätta mig om jag har fel) inte förekommer hos dagens schackdatorer. Härmed vill jag inte ha sagt att tänkesättet skulle vara för evigt människans exklusiva egendom - jag ser inte några som helst principiella hinder mot att lära en dator resonera på det viset.

Min gode vän Jesper Hamark gjorde ett experiment för att se hur Houdini 2.0 - ett av de numera allmänt tillgängliga schackmotorer som anses överglänsa den mänskliga världseliten i spelstyrka - skulle behandla ställningen ovan. Den fick ställningen förelagd, och två timmar på sig för resten av partiet. Efter fyra minuter drog den 1. Kb2 och meddelade samtidigt att den gav slaget förlorat! Ett mycket intressant utfall, som jag tolkar som att den å ena sidan sett den kommande katastrofen via a-linjen efter 1. axb6 och bedömt denna som värre än ett svart innehav av ett extra torn, men att den å andra sidan inte lyckats förstå att svart inte kan bryta igenom ett avvaktande vitförsvar.

Hur vanligt, i en schackspelares tävlingsvardag, är då det slags geometriska tänkande jag här skisserat? Ställningen ovan är givetvis ett synnerligen idealiserat extremfall, som det vore mycket långsökt att tänka sig kunna uppkomma i ett verkligt parti. Men den här sortens tänkande förekommer faktiskt ganska ofta i praktiken, i synnerhet i slutspel med fixerad bondestruktur i centrum. Som exempel vill jag nämna följande ställning, ur ett parti mellan Dmitri Andreikin och världsettan Magnus Carlsen, i stormästarturneringen Tal Memorial i Moskva i förra månaden.

Carlsen hade med de svarta pjäserna länge varit lite halvpressed i partiet, men har här just dragit 34.- Lc7-d6 med remianbud. Andreikin accepterade efter kort betänkande. Hur bör vi förstå ställningen och Andreikins beslut att anta remianbudet?

Ställningen är materiellt lika med kung, löpare och sex bönder på vardera sidan. Att en ställning är materiellt lika utesluter dock inte att någon av spelarna har ett spelövertag, något som i så fall får framkomma av en mer förfinad analys. I den här ställningen ger en positionell bedömning snabbt vid handen att vit har ett visst positionellt övertag, i kraft av att alla svarts bönder i motsats till vits står på fält av samma färg som löparnas, vilket gör att vits löpare kan spela en offensiv roll i attackerandet av svarts bönder, medan svarts löpare är dömd till en mer defensiv roll. Detta räcker ofta till ett tillräckligt övertag för att ge goda vinstchanser i slutspelet.

Var det alltså av respekt och rädsla för världsettan på andra sidan schackbordet som Andreikin antog remianbudet? Troligen inte. En analys av samma slag som av den föregående mer esoteriska ställningen ger nämligen vid handen att om svart står kvar med kungen parkerad på c6, samtidigt som han låter löparen pendla mellan t.ex. c7 och d6, så finns inget sätt för vit att bryta igenom. Vit kan gå omkring länge med kung och löpare på den egna planhalvan, men för att något skall hända som kan hota svart måste han till slut antingen röra d3 eller g2-bonden, eller offra löparen på a5, c5, e5, f4 eller h4. Det är lätt att konstatera att samtliga dessa möjligheter förlorar material utan att åstadkomma något konstruktivt framåt. Därför finns inget bättre för vit än att precis som svart avvakta, och därför finns inget förnuftigare att göra än att acceptera remi.

Fotnot

1) Måhända är "geometrisk" inte riktigt rätt ord här. Om jag skall försöka precisera essensen i det slag av analys jag åsyftar, så handlar det om att söka efter modifikationer av den förelagda ställningen med pjäskonfigurationer för givna ändamål - en sökning som är befriad från inskränkningen att enbart betrakta de positioner som uppstår i ett konkret variantträd utgående från den förelagda ställningen.

Om Magnus Carlsens plats i schackhistorien

Världsschackförbundet FIDE presenterar inom några dagar 2013 års första officiella världsranking. Liksom varje lista sedan juli 2011 toppas den av (den nyligen 22 år fyllda) norrmannen Magnus Carlsen. Denna gång har han, i kraft av sin strålande insats och turneringsseger i London Chess Classic tidigare i december, lyft sig från sin tidigare personliga rekordnotering 2848 till det nya rekordet 2861. Vad som denna gång gör hans rankinglyft särskilt värt att uppmärksamma är att han därmed också passerat Garri Kasparovs tidigare världsrekordnotering om 2851 från juli 1999.

Kan vi därmed utnämna Magnus Carlsen till världens genom tiderna starkaste schackspelare? Sakta i backarna! Jag skall återkomma till den frågan längre fram, men först vill jag ge ett exempel på Carlsens fina spel i London. På andra sidan brädet sitter Judit Polgár, som allmänt anses vara den starkaste kvinnliga schackspelaren genom tiderna, som legat som högst på åttonde plats på "herrlistan" och som numera huserar kring 50-strecket på sagda lista.

Magnus Carlsen - Judit Polgár, London Chess Classic 2012.

1. c4 c5 2. Sf3 Sc6 3. d4 cxd4 4. Sxd4 Sf6 5. Sc3 e6 6. a3 Lc5 7. Sb3 Le7 8. e4 O-O 9. Le2 b6 10. O-O Lb7 11. Lf4 d6 12. Tc1 Tc8 13. Te1 Se5 14. Sd2 Sfd7 15. Le3 Dc7 16. b4 Db8 17. f4 Sg6 18. g3 Tfe8

Spelarna har fått upp något som kan beskrivas som en ganska vanlig typställning i treraderssystemet (så uppkallat efter svarts tillbakadragna uppställning), som vanligtvis uppkommer ur siciliansk eller (som här) engelsk spelöppning. Det rör sig om en mycket svårspelad variant. Vit behärskar mer terräng än svart, vilket ofta är att föredra, men just i treraders har det visat sig att svarts till synes lite trånga ställning har många dolda resurser, och svarts statistik är inte sämre här än i de flesta andra öppningar. På ytan kan det se ut som om spelarna manövererar omkring sina pjäser utan att särskilt mycket händer, men av båda parter krävs en hög grad av vakenhet. Ofta händer det, så snart någon av spelarna skjuter fram en bonde till brädets femte rad, att sagda bräde (och nu lånar jag av stormästaren Alexei Shirovs bildspråk) fattar eld, och då gäller det att rätt ha bedömt konsekvenserna. Det som gör dessa så svårberäknade är att det finns så många olika bondeframstötar att hålla utkik efter (vanligast är att svart gör b6-b5, d6-d5 eller e6-e5, eller att vit gör e4-e5 eller f4-f5, men det finns även andra möjligheter) och att små subtiliteter som huruvida vit har sin vitfältslöpare på e2 eller f1, eller huruvida svart har sin dam på b8 eller a8, kan göra hela skillnaden mellan succé och katastrof.

Föreliggande ställning skiljer sig från de i varianten allra mest förekommande i framför allt tre avseenden: svarts har sin a-bonde på a7 istället för a6, vit har en springare på d2 som annars oftare står på d4, och svart har en springare på g6 som annars oftast har sin naturligaste placering på f6. Av dessa tre avvikelser tror jag att den sistnämnda är den mest betydelsefulla: svarts g6-springare står en smula avigt, och detta tror jag räcker för att vit skall ha viss fördel i ställningen.

19. Lf3 Da8 20. Lf2 Sgf8 21. De2 Db8 22. Ted1 g6?

Svarts senaste drag har kritiserats hårt av en enig kår av expertkommentatorer. Att spela bonden till g6 är för all del inte ovanligt i treraders, men här tar draget bort det enda tillgängliga fältet för f8-springaren, och det försvagar de svarta fälten framför hennes kung. Nu kommer den typiska bondeframstöten.

23. e5!

En första finess med detta drag är att det inte förlorar bonde: om svart slår två gånger på e5 faller löparen på b7, och om hon slår emellan på f3 kommer vits springare dit med gardering av e5. En djupare och viktigare finess med draget är emellertid att svarts svagheter på de svarta fälten framför kungen tydliggörs och fixeras, något som Carlsen med precision exploaterar i det följande.

23.- Lc6 24. Ld4 Ted8 25. Lxc6 Txc6 26. Sf3 dxe5 27. fxe5 Tdc8 28. Se4 Dc7 29. Sfd2 a6 30. Sf2 Lg5 31. Tf1!

Polgárs ställning är mycket svår - kanske redan förlorad - och hon väljer här att erövra e5-bonden trots att hon givetvis ser att det öppnar chansrika vägar framåt för vit på kungsflygeln.

31.- Lxd2 32. Dxd2 Sxe5 33. Lxe5 Dxe5 34. Sg4 Td6 35. Sh6+ Kg7 36. Txf7+ Kh8 37. Df2 Dd4 38. c5 bxc5 39. Dxd4+ Txd4 40. Txc5 Tcd8 41. Tcc7

En känd tumregel är att ett torn som trängt in på sjunde raden är ett effektivt och ofta vinnande redskap. Vad skall man då säga om två torn på sjunde raden? Vit hotar helt enkelt Tg7 följt av Tg8 matt. Om Polgár t.ex. försöker täcka g8 med 42.- e5 43. Tg7 Se6 blir det istället matt på h7. Hon befinner sig i en desperat situation, och prövar det enda lilla halmstrå som återstår: ett motangrepp mot vits kung.

42.- Td1+ 42. Kg2 T1d2+ 43. Kh3 T2d5

Den finess som förlänger partiet (men inte ändrar resultatet) är att 44. Tg7 nu är förhastat eftersom vits springare då faller efter Th5+. Carlsen har naturligtvis räknat med detta, och löser situationen genom att omgruppera springaren till en ännu dödligare position på f6.

44. Sg4 Th5+ 45. Kg2 Td2+ 46. Kf3 Tf5+ 47. Ke3 Txf7 48. Txf7 Td8 49. Sf6 Tb8 50. Kf4

Vit hotar nu helt brutalt Kg5-h6 följt av ovan nämnda Tg7-g8-manöver. Just detta kan svart parera, men vit vinner lite hur han vill.

50.- h6 51. Ke5 a5 52. bxa5 Ta8 53. a6 1-0

Ett schackparti skönt att skåda! Förbaskade unionsupplösning!

Jag har regelbundet och via livesändningar på nätet följt Magnus Carlsens spel och bana mot världstoppen alltsedan hans tidiga tonår. Partiet ovan är delvis typiskt för hans både säkra och idérika spel, men hans spelstil kan beskrivas som väldigt allround. Hans kanske allra starkaste och mest imponerande sida är hans enorma förmåga att pressa i slutspelet och krama fram vinstchanser i ställningar där de flesta andra skulle konstatera att ett bättre resultat än remi inte går att uppbringa.¹ Om han har någon (relativ) svaghet i sitt spel så handlar det i så fall om hans ofta oambitiösa öppningsspel. Ofta verkar han nöja sig med att försöka få med sig en spelbar ställning in i mittspelet, i hopp om att därifrån kunna spela ut sin motståndare; i detta avseende är kontrasten är tydlig med Kasparov, som alltid kom till brädet rustad till tänderna med ambitiösa spelöppningsförberedelser.

Nå, hur är det då med Carlsens plats i schackhistorien i och med hans rekordhöga rankingtal? Är han den bäste spelaren någonsin? Jag tycker att en sådan slutsats är förhastad, då det är svårt att jämföra rankingtal mellan olika tidsepoker. Om man jämför Carlsens avstånd ned till sina förföljare på världslistan med Kasparovs då denne var som bäst, så ser man att Kasparov hade ett mer betryggande avstånd ned till de övriga.^2,3 Därmed har vi visst fog för att säga att Kasparov var mer överlägsen sina medtävlare på den tiden än var Carlsen är nu. Men att därav dra slutsatsen att Kasparov var en starkare spelare då än Carlsen är nu är åter förhastat. Schacket har utvecklats sedan Kasparovs tid, och det är rimligt att tänka sig att det krävs mer av en spelare för att tillhöra världstoppen nu jämfört med då. Men att jämföra spelare av olika epoker är notoriskt svårt, och att etablera ett oomtvistiligt objektivt mått verkar inte gå. Varje topplista över tidernas starkaste schackspelare bjuder därför på ett visst mått av godtycke och subjektivitet.

Om jag själv skulle göra en tio-i-topplista så skulle jag inte sätta Magnus Carlsen högst, utan reservera de två första platserna för Garri Kasparov och Bobby Fischer, vilkas karriärer jag ännu betraktar som mer spektakulära än Carlsens, för att inte tala om deras betydelse för schackspelets utveckling. Det bör också hållas emot Carlsen att han faktiskt ännu inte erövrat världsmästartiteln - detta till följd av hans beklagliga beslut i november 2010 att stiga av den VM-cykel som ledde fram till den senaste VM-matchen, i maj 2012 (hur det hade gått om Carlsen inte hoppat av kan vi givetvis inte veta). Jag vill dock inte utesluta (utan hoppas tvärtom på!) möjligheten att inom några år kunna flytta upp Carlsen till förstaplatsen på min lista.

Carlsen kan komma att bli historisk i ett annat avseende. Jag vill minnas att han häromåret i TV-studion hos Skavlan uttryckte ambitionen att dominera världsschacket i ett eller ett par decennier.⁴ Givet hans bana hittills är detta alls icke någon orealistisk ambition, och om han lyckas med den så menar jag att han har chansen att också bli den siste schackdominanten någonsin bland människor helt av kött och blod!

För att motivera denna till synes något besynnerliga spekulation, låt mig börja med en kort-kort resumé över datorschackets utveckling. Schackspelande datorer var länge föremål för hån och gyckel från mänskliga spelare, men blev under 1980- och 1990-talen gradvis alltmer konkurrenskraftiga. Höjdpunkten i kraftmätningarna mellan människa och maskin var två matcher 1996 och 1997 mellan dåvarande världsmästaren Garri Kasparov och datorprogrammet Deep Blue. Kasparov vann den första med 4-2, och Deep Blue vann den andra med 3½–2½ - något som allmänt kommit att betraktas som vändpunkten. Sedan dess har ytterligare några matcher mellan toppspelare och datorprogram arrangerats, men inte med samma stora mediaintresse. Under loppet av 2000-talet har det kommit att stå allt klarare att datorprogrammen är överlägsna även de starkaste stormästarna. En match idag mellan t.ex. Carlsen och datorprogrammet Houdini skulle inte kännas som en angelägnare sporthändelse än t.ex. en hastighetstävling mellan Usain Bolt och en bil.

På ett plan har alltså schackdatorerna lämnat tävlingsschacket, men på ett annat finns de i högsta grad kvar. För dagens toppspelare har de nämligen kommit att bli oundgängliga tränings- och spelöppningsförberedelseredskap. Detta har haft stor betydelse för schackets utveckling, men det finns också en tråkig baksida. De spelstarka datorprogrammen har nämligen (ofta i kombination med mobiltelefoni) öppnat för nya sätt att fuska, vilka tenderar att bli allt svårare att komma åt, och schackvärlden har redan hunnit bevittna en rad sådana skandaler på hög nivå.

Umgänget mellan människor och elektronik blir som bekant allt mer intimt - en utveckling som kan väntas fortsätta. Den amerikanske författaren Michael Chorost, som, från att sedan födseln ha varit nästan döv, för ett tiotal år sedan erhöll god hörsel tack vare elektroniska inplantat i innerörat, propagerar idag för att vi på liknande sätt skall koppla upp oss mot Internet med elektroniska förbindelser rakt in i huvudet. Om den tekniken visar sig genomförbar, så torde det inte vara svårare att bygga in en spelstark schackdator i huvudet. Denna utveckling kommer att göra gränsdragningen mellan människa och maskin alltmer diffus,⁵ och jag föreställer mig att det, då det så småningom blir vanligt att gå omkring med schackelektronik innanför pannbenet (och dessutom uppleva denna som en naturlig del av den egna kognitiva apparaten), i längden kan komma att bli ohållbart att förbjuda sådan elektronik i tävlingsschacket. Det är i en sådan utveckling vi kan tänka oss att Magnus Carlsen blir den siste schacklige dominanten helt utan artificiella elektroniska inslag i huvudet och i sitt tänkande.

Fotnoter

1) Denna enastående slutspelsförmåga visade Magnus upp redan tidigt i karriären. Se här hur han som 14-åring spelar ut den svenske stormästaren Stellan Brynell i ett slutspel som vi vanliga amatörer (och säkert många proffs) nog skulle ha dömt ut som dödremi:

Stellan Brynell - Magnus Carlsen, Gausdal 2005. 1. d4 d5 2. c4 c6 3. Sc3 Sf6 4. e3 e6 5. Sf3 Sbd7 6. Ld3 dxc4 7. Lxc4 b5 8. Le2 Lb7 9. O-O Le7 10. e4 b4 11. e5 bxc3 12. exf6 Lxf6 13. bxc3 c5 14. dxc5 O-O 15. La3 Le7 16. Dd4 Dc7 17. Tab1 Lc6 18. De3 Lxf3 19. Lxf3 Tab8 20. c6 Lxa3 21. cxd7 Dxd7 22. c4 De7 23. Tb5 Txb5 24. cxb5 Td8 25. Td1 Txd1+ 26. Lxd1 Dd6 27. Lf3 Lc5 28. De2 Dd4 29. g3 g6 30. Kg2 Kg7 31. Lc6 Lb6 32. Df3 f5 33. De2 e5 34. Lb7 e4 35. Lc6 Kf6 36. Lb7 Ke5 37. Lc6 g5 38. Lb7 g4 39. Lc6 h5 40. Le8 h4 41. De1 h3+ 42. Kg1 Db2 43. Lc6 Dxa2 44. Lb7 Db2 45. Lc6 Ld4 46. Le8 e3 47. Kf1 Kf6 48. De2 Dc1+ 49. De1 Dxe1+ 50. Kxe1 exf2+ 51. Kf1 f4 52. gxf4 Kf5 53. Lf7 Kxf4 0-1

2) På januarilistan 2013 väntas Magnus Carlsen, med sina ståtliga 2861, ha 51 poäng ned till nr 2 på listan (Vladimir Kramnik, 2810), 80 poäng ned till nr 5 (Fabio Caruana, 2781), 95 poäng ned till nr 10 (Shakhriyar Mamedyarov, 2766), och 143 150 poäng ned till nr 30 (Anish Giri, 2718 Maxime Vachier-Lagrave, 2711). Om vi som en jämförelse ser t.ex. till julilistan 2000 så toppas den av Garri Kasparov på 2849, med en marginal om 79 poäng ned till nr 2 (Vladimir Kramnik, 2770), 94 poäng ned till nr 5 (Michael Adams, 2755), 147 poäng ned till nr 10 (Michal Krasenkow, 2702), och 192 poäng ned till nr 30 (Predrag Nikolic, 2657). Vi ser alltså att Kasparovs poängmarginal genomgående är större.

3) Även om rankingsystemet saknar mekanism för att avgöra om en spelare med ett visst rankingtal år 2013 är (ungefär) lika stark som en med samma ranking år 2000, så har vi bättre fog för att säga att differensen mellan två spelare 2013 pekar på samma spelstyrkeskillnad som samma differens 2000. Rankingsystemet är nämligen kalibrerat så att t.ex. en rankingskillnad om 200 poäng motsvarar att den starkare spelaren förväntas ta i genomsnitt 75% av poängen mot den svagare.

4) Dessvärre har jag inte funnit någon referens för detta ur minnet tagna påstående. Kanske kan någon läsare hjälpa mig?

5) En annan välkänd entusiastisk förespråkare för sådan gradvis förening mellan människa och maskin är Ray Kurzweil.

H±

Det finns vissa ämnen som, trots att de är ohyggligt viktiga, i stort sett lyser med sin frånvaro i den allmänna debatten. Hit hör den eskalerande teknikutvecklingens långsiktiga konsekvenser i allmänhet, och så kallad transhumanism i synnerhet. I nyutkomna Axess 9/2011 försöker jag dra ett litet litet strå till stacken i att korrigera denna brist, genom att recensera den aktuella boken H±: Transhumanism and its Critics. Här återger jag recensionen i dess helhet. I ett andra blogginlägg avser jag inom kort fylla på med några ytterligare synpunkter på boken, vilka inte fick plats i recensionen.

* * *

En förbättrad människa?

Människan har i alla tider sökt förbättra villkoren för sin existens, men förändringstakten har aldrig varit högre än idag. Vi skaffar oss ständigt nya redskap för att manipulera dels vår omgivning, men också oss själva. En explosionsartad utveckling i att på medicinsk, genetisk och elektronisk väg modifiera den mänskliga naturen ser ut att ligga framför oss och har i någon mån redan startat. Allt fler psykiska tillstånd som tidigare uppfattats som personlighetsdrag stämplar vi idag som patologiska och söker korrigera med psykofarmaka. Med hjälp av fosterdiagnostik och screening i samband med provrörsbefruktning kan vi påverka vilka gener vi för vidare till nästa generation, och frågan är hur länge det dröjer innan vi går vidare till direkt manipulation av embryots genuppsättning. Amerikanen Michael Chorost berättar, bl.a. i sin bok Rebuilt: How Becoming Part Computer Made Me More Human från 2005, om sin förbättrade livssituation sedan han med hjälp av elektroniska implantat i innerörat fått hörseln tillbaka, och missionerar idag för att vi i framtiden på liknande vis skall kunna förbättra oss själva ytterligare genom att bygga in en direktuppkoppling till Internet i våra huvuden.

Transhumanism handlar om denna mångfacetterade utveckling, men ordet bär på flera betydelsenyanser. Det kan syfta på det akademiska studiet såväl av möjliga teknologier för att förbättra våra sköra och skröpliga kroppar som av risker och etiska frågeställningar i samband härmed. Det kan också syfta på den intellektuella subkultur som anser att långtgående ingrepp och förbättringar av människans kroppsliga och själsliga egenskaper, inklusive radikal förlängning av livet, är såväl möjliga som önskvärda. Den svenskfödde Oxfordfilosofen Nick Bostrom är världsledande transhumanist i båda dessa betydelser av ordet, och skriver följande.

Teknologisk förbättring av människan är visserligen förknippad med stora risker som behöver identifieras och undvikas, men den erbjuder också enorm potential för djupt värdefulla och mänskligt fördelaktiga användningar. I slutändan är det möjligt att sådana förbättringar kan göra oss, eller våra efterkommande, till ’posthumana’ varelser med obegränsad livslängd i full hälsa, avsevärt större intellektuella förmågor än någon enda människa idag har, [...] samt förmågan att välja och styra över sina egna känslor.

Notera distinktionen mellan transhuman och posthuman: ordledet ”trans” i transhumanismen syftar på idén att vi är på väg in i en övergångsfas mellan homo sapiens och den posthumana livsform som så småningom skall bli resultatet.

Mycket av den transhumanistiska litteraturen är starkt teknikoptimistisk och kan ibland få drag av sekulär frälsningslära. Även kritiska röster finns, varav den kanske mest kände är statsvetaren Francis Fukuyama. Ett decennium efter sin berömda The End of History and The Last Man från 1992 visade han prov på imponerande intellektuellt kurage genom att tillåta sig helomvändningen Our Posthuman Future: Consequences of the Biotechnology Revolution. I den senare boken framhåller han att teknikutvecklingen gör att någon historisk slutpunkt knappast kan sägas vara nådd, och han varnar för att transhumanismens utmanande av gränserna för det mänskliga gör att vi hamnar på ett sluttande plan där vi tappar bort det unika människovärdet, med risk för fruktansvärda sociala konsekvenser inklusive krig och folkmord

I den aktuella antologin H±: Transhumanism and its Critics, redigerad av Gregory R Hansell och William Grassie, får vi ta del av båda sidor i debatten. Titelns H± anspelar på förkortningen H+, vilken företrädare för transhumaniströrelsen ibland använder om sig själva.

Ett av de bästa bidragen i H± är Nick Bostroms uppsats In Defense of Posthuman Dignity, varifrån ovanstående citat är hämtat, och där författaren också gör ett försök att bemöta Fukuyamas kritik. Vidare varnar Bostrom för det så kallade naturalistiska felslutet – att utan närmare motivering sätta likhetstecken mellan "naturligt" och "gott" – vilket förekommer särskilt ofta i debatten kring transhumanism:

Naturens gåvor är ibland förgiftade och bör inte alltid accepteras. Cancer, malaria, demens, åldrande, svält, onödigt lidande och kognitiva tillkortakommanden hör till de gåvor vi transhumanister är kloka nog att vilja avvisa. Människans artspecifika natur är en rik källa till oacceptabla egenskaper, såsom vår benägenhet att bli sjuka, och vår fallenhet för mord, våldtäkt, folkmord, bedrägeri, tortyr och rasism. Naturens fasor i allmänhet och vår egen naturs i synnerhet är så väldokumenterade att jag förbluffas av hur [framstående tänkare] frestas att se det naturliga som en guide till vad som är önskvärt och normativt rätt.

Även om det är svårt att inte hålla med Bostrom om detta återstår mycket i det transhumanistiska tankegodset att känna oro och obehag inför. Historikern Hava Tirosh-Samuelson tar i ett vittförgrenat kapitel upp den dragning mot hedonistisk utilitarism – den etikfilosofi enligt vilken maximal total lycka eftersträvas – som ofta skiner igenom hos transhumanistiska tänkare. Med en ensidig fokusering på välbefinnande bortser vi från att obehag och svårigheter att söka övervinna kanske också behövs för att skänka livet mening. Det hedonistiska perspektivet i kombination med avancerad bioteknologi riskerar att leda till slutsatsen att det optimala samhällsarrangemanget är att var och en av oss permanent kopplas upp mot varsin lyckomaskin, som passiva mottagare av elektriska stimuli av våra hjärnors lustcentra. Ett sådant scenario, i all dess magnifika meningslöshet, finner Tirosh-Samuelson vara djupt otillfredsställande, och jag är böjd att hålla med.

Flera av bidragen i H± berör den så kallade Singulariteten, som är den kanske mest dramatiska spekulationen i hela den transhumanistiska och futuristiska litteraturen. Tanken är att när datorutvecklingen nått så långt att en artificiell intelligens skapats som överträffar oss människor, så sätter detta igång en mycket snabb självförstärkande fortsatt utveckling mot ofattbara intelligensnivåer och vidhängande tekniska landvinningar. Enligt vissa bedömare behöver det inte dröja särskilt många decennier innan så sker; den amerikanske dataingenjören och författaren Ray Kurzweil, som mer än någon annan populariserat idén om Singulariteten, anger (med närmast absurd grad av pseudoprecision) årtalet för dess ankomst till 2045. Om och när den inträffar kan den antingen innebära slutet för den hopplöst akterseglade mänskligheten, eller också (med lite tur och om vi spelar våra kort väl) att vi hänger med datorerna till himmelska höjder. Det senare kan ske via en dator-hjärna-symbios à la Michael Chorost, eller genom en teknologi som medger att vi helt enkelt kan tanka över våra medvetanden till datorerna.

Såsom ofta är fallet med antologier är H± ojämn i kvaliteten. Särskilt besviken är jag på att flera av de transhumanismkritiska bidragen faller tillbaka på teologiska tankegångar och argument. Det är inte så att jag skulle ha något emot anförandet av "mjuka" aspekter i denna debatt – tvärtom menar jag att etiska frågeställningar är helt centrala för att vi skall hitta fram till förnuftiga ställningstaganden. Vad jag vänder mig emot är relevansen i funderingar kring hur vi bör agera för att inte misshaga Jahve eller något annat hypotetiskt övernaturligt väsen.

Trots denna brist (och en del andra) i vissa av kapitlen innehåller H± tillräckligt mycket av värde för att jag utan att tveka skall rekommendera boken. Frågorna kring transhumanismen behöver lyftas i samhällsdebatten, och boken fungerar bra som ingång i ämnet.

En jämförelse med klimatfrågan kan vara på sin plats. De flesta människor har åtminstone ett hum om vad växthuseffekt och global uppvärmning är, tack vare att klimatfrågan de senaste fem åren tidvis fått ganska stort utrymme i media och politisk diskussion – ett utrymme som är mer än välmotiverat med tanke på de enorma följder på ett antal decenniers och längre sikt som vårt agerande i klimatfrågan kan få. Konsekvenserna av hur vi förhåller oss till transhumanismen är dock inte mindre, utan snarare av ännu monstruösare proportioner, samtidigt som väldigt få vet vad det handlar om eftersom frågan så gott som fullständigt lyser med sin frånvaro i mainstreammedia. Att den kommer upp på den allmänna dagordningen är av största vikt, ty dess frånvaro är liktydig med att vi fortsätter att med ögonbindel och full fart springa rakt fram i den fortsatta teknikutvecklingens ojämna och livsfarliga terräng.

Singularitet 2045?

Med den braskande rubriken Maskinerna tar över år 2045 signalerar det aktuella numret av Ny Teknik en tidtabell för när den högsta intelligensen på vår planet inte längre kommer att finnas hos oss människor av kött och blod, utan hos datorer. Artikeln i Ny Teknik är ytlig och okritisk, vilket är synd då ämnet är fruktansvärt viktigt.

Årtalet 2045 är hämtat från Ray Kurzweils uppmärksammade bok The Singularity is Near från 2005. Kurzweil bygger sin prediktion i första hand på det som kallas Moores lag, som finns i olika varianter och som beskriver hur olika slags datorprestanda ökar exponentiellt med en fördubbling var 18:e eller 24.e månad. När väl den övermänskliga intelligensen är på plats kommer den, enligt Kurzweil och andra bedömare, och med Moores lag som ett slags turbomotor, att generera en explosionsartad utveckling av allt högre intelligenser, vilket är bakgrunden till termen Singulariteten.

Kurzweils bok har drag av frälsningspredikan, och som motvikt är det bra att läsa Bill Joys dystopiska essä Why the future doesn't need us från 2000 (som jag gjorde reklam för i en tidigare bloggpost). Den text jag emellertid helst av allt rekommenderar som introduktion till begreppet Singulariteten är David Chalmers välgenomtänkta och balanserade uppsats The Singularity: A Philosophical Analysis. Jag ser också med förväntan fram emot det specialnummer av Journal of Consciousness Studies som kommer inom några månader och som (vilket framgår på Chalmers blogg) skall bjuda på en rad framstående tänkares reaktioner på Chalmers uppsats.

Min egen syn på Singulariteten är ungefär följande. Om den inträffar, så kommer den att förändra världen på ett så genomgripande sätt att inget i samhället och våra (eller våra efterföljares) liv kommer att vara sig likt. Den kan föra oss - och nu tillåter jag mig ett bombastiskt bildspråk som i detta sammanhang dock är mer på sin plats än i de flesta andra - till ett paradis eller rakt ned i helvetet. Om vi inte innan dess hinner utlösa någon katastrof som antingen tar kål på oss helt och hållet (vilket det så klart finns stor risk för) eller kastar tillbaka civilisationen till stenåldersnivå, betraktar jag det som troligt att Singulariteten för eller senare inträffar.

Tidtabellen, däremot, är jag skeptisk till. Kurzweils basunerande av årtalet 2045 fungerar måhända som PR-trick, men synes mig inte alldeles vederhäftigt. Moores lag är ingen naturlag utan blott en empirisk observation vars giltighetsområde (bortom vad vi redan sett) vi vet väldigt lite om. Och utvecklingen mot en Singularitet handlar naturligtvis inte bara om hård- utan även om mjukvaruutveckling, och det senare förefaller ännu svårare att förutsäga och förse med pålitliga tidtabeller. Vi vet inte vilka nya svårigheter (eller fantastiska genvägar) som kan tänkas dyka upp på den jungfruliga mark som det handlar om att beträda. Beläggen för att Singulariteten skulle inträffa 2045, snarare än 2025 eller 2200, är enligt min mening svaga.