lördag 29 augusti 2015

Två fall för Streisandeffekten

För tre år sedan skrev jag här på bloggen om den så kallade Streisandeffekten:
    Streisandeffekten - så uppkallad efter sångerskan Barbara Streisands misslyckade försök 2003 att hejda spridningen av bilder på hennes residens i Malibu - betecknar hur åtgärder för att hejda informationsspridning lätt kan bli kontraproduktiva. Begreppet har snabbt blivit mycket populärt i bloggosfären, och jag tycker mig i sociala media se en utbredd önskan att vilja medverka till informationsspridningen så snart något luktar Streisandeffekt. Intresset för själva sakfrågan är ofta sekundärt; det är informationsspridandet i sig som, när någon försökt hejda det, upplevs som angeläget och ett slag för yttrandefriheten.
Nu finns ett par aktuella fall, båda med anknytning till bioetik men i övrigt tämligen olika, där jag gärna bidrar till Streisandeffekten, och jag uppmanar därför läsekretsen att ta del av och gärna också sprida följande båda texter: Att jag på detta vis pushar för Tännsjös och Peaces texter betyder inte att jag står bakom deras innehåll.1,2 Däremot finner jag båda texterna vara läsvärda och intressanta bidrag till den ständigt pågående intellektuella diskussionen kring hur vi bör leva och hur samhället bör utformas.

Fallet Tännsjö är egentligen inte särskilt upprörande, och kan inte förstås som att någon akademisk frihet skulle vara hotad. Hans text beställdes av (en redaktör på) den amerikanske nyhetssajten Vox, men när han levererade den befanns innehållet (trots att det rimligtvis inte kan ha bjudit på några överraskningar för beställaren) vara alltför magstarkt för publicering, och den refuserades (läs gärna Brian Leiters sammanfattning av händelseförloppet). Häri ligger inget brott mot några viktiga yttrandefrihets- eller andra principer (jag har i stora drag inget att invända emot att Vox är fria att själva välja vad de skall publicera), utan mitt deltagande i Streisandeffektsdrevet handlar i detta fall om ren och skär skadeglädje över en sällsynt klantig redaktionell hantering.

Fallet Peace är långt allvarligare. Hans text publicerades i tidskriften Atrium, utgiven av Northwestern Universitys medicinska fakultet, vars dekanus Eric Neilson kort därefter fick syn på den och protesterade mot utgivningen med (den besynnerliga) förevändningen att texten var pronografisk, vilket fick en underhuggare att plocka bort tidskriftsnumret från nätet. Tidskriftsnumrets redaktör Alice Dreger (som också är aktuell med boken Galileo's Middle Finger vilken raffinerat nog (för den här historien) handlar om inskränkningar i akademisk frihet; jag rekommenderar den varmt) protesterade upprepade gånger, men det dröjde 14 månader innan numret åter lades upp på tidskriftens webbsida. Någon avbön från Neilson eller från universitetet har dock inte kommit, och häromdagen fick Dreger nog och meddelade att hon lämnar sin professur vid Northwestern. Här en central passage ur avgångsbrevet:
    We all make mistakes, but this was a profound mistake that cut to the very heart of academic freedom. It should have been acknowledged and corrected immediately. That is most definitely not what happened. Instead, what happened was denial, avoidance, blame-shifting, and evasion. To this day, the university has not admitted its mistake, and it has not affirmed its commitment to academic freedom in a way that makes clear that similar incidents will not occur in the future. This failure should be embarrassing to an otherwise great university.
Se även Dregers FAQ om fallet.

Fotnoter

1) Tännsjö driver, med den hedonistiska utilitarismen som utgångspunkt, tesen att världen blir bättre om vi sätter fler barn till världen, och att vi därför har en moralisk förpliktelse att föröka oss. Men hans resonemang håller inte, även om vi skulle acceptera hans utgångspunkt i den hedonistiska utilitarismen. Här är hans enligt min mening avgörande misstag:
    Of course, we should see to it that we do not overpopulate the planet in a manner that threatens the future existence of mankind. But we’re nowhere near that point yet, at least not if we also see to it that we solve pressing problems such as the one with global warming. In the mean time, we’re ethically obligated to make as many people as possible.
Påståendet att vi inte är i närheten av den punkt då överbefolkning sätter mänsklighetens framtida överlevnad på spel är ogrundat och troligen felaktigt. Mänskligheten står inför en rad existentiella risker som vi behöver hantera. Vårt överutnyttjande av naturresurser, till vilket överbefolkning bidrar, kan resultera i sociala spänningar och om det vill sig riktigt illa krig och social kollaps, vilket i sin tur kan slå hårt mot vår förmåga att hantera de existentiella riskerna. Ett girigt maximerande av antalet människoliv här och nu riskerar på så vis att försämra utsikterna för mångdubbelt (understatement!) fler människoliv i framtiden.

2) Ämnet för Peaces text - sexuella tjänster utförda av unga kvinnliga sjuksköterskor åt förlamade unga manliga patienter - är mig alltför obekant för att jag skall ha någon bestämd uppfattning om det han skriver.

onsdag 26 augusti 2015

Om framsteg inom matematiken

Denna bloggpost handlar om forskningsframsteg inom matematiken, och då menar jag verkligen inom på ett sätt som exkluderar (det i och för sig ofantligt viktiga) tillämpandet av matematiska metoder i andra ämnen. En vanlig föreställning är att sådana inommatematiska framsteg utgörs av formulerandet och bevisandet av nya matematiska satser.1 Det ligger en hel del i denna föreställning, även om den är något grovhuggen, och idag vill jag lyfta fram en annan typ av framsteg som jag anser vara lika viktiga för matematikens framåtskridande, nämligen nya, enklare, kortare och helt enkelt bättre bevis av redan kända och bevisade satser.

Skälet till att den sortens framsteg är viktiga är följande. Matematik är en kumulativ verksamhet, där de framsteg som görs idag bygger på gårdagens, och kan på samma sätt väntas komma att ligga till grund för framtida framsteg. Nya satser och bevis bygger på gamla satser. Om nu dessa gamla satser har så komplicerade och svårtillgängliga bevis att inte dagens och morgondagens matematiker förmår smälta dem, så riskerar det intellektuella tankebygge som matematiken utgör att bli till en koloss på lerfötter där ingen längre begriper hur saker och ting egentligen hänger samman. Genom att lägga fram nya bevis som är enklare och mer lättilgängliga än originalbevisen (men naturligtvis fortsatt korrekta), så underlättar man för nya generationer matematiker att förstå den grund som de sedan hoppas kunna bygga vidare på.

Låt mig berätta om ett framsteg av detta slag som de båda unga franska matematikerna Hugo Duminil-Copin och Vincent Tassion nyligen gjort inom det område där jag själv på 90-talet fick mina främsta genombrott som matematiker: perkolationsteori. Detta område kan kort beskrivas som den gren av sannolikhetsteorin där man studerar modeller för genomsläpplighet i ostrukturerade material och konnektivitet i ostrukturerade nätverk. Det finns en uppsjö modeller inom perkolationsteorin, men en av de mest grundläggande är så kallad kantperkolation på Zd-gittret med dimension d=2 eller högre. Detta gitter har noder i heltalspunkterna i det d-dimensionella euklidiska rummet, och länkar mellan varje par av närmsta grann-noder (dvs noder på euklidiskt avstånd 1 från varandra); för d=2 bildas på så vis ett kvadratiskt gitter, för d=3 ett kubiskt, och för högre d ett hyperkubiskt. Så långt är alltsammans perfekt strukturerat, men den oordning som är typisk för perkolationsmodeller fås genom att länkar raderas slumpmässigt. Vi fixerar den så kallade perkolationsparametern p mellan 0 och 1, raderar varje länk oberoende av varje annan med sannolikhet 1-p, och behåller den således med sannolikhet p. (Detta fungerar på liknande vis som den perkolationsmodell på bikakegitter som jag diskuterade i en tidigare bloggpost.)

Ett centralt och inte särskilt svårt resultat, som går tillbaka till perkolationsteorins barndom på 1950-talet, är existensen av ett kritiskt värde pc sådant att existensen av en oändlig sammanhängande komponent i det därvid erhållna oordnade nätverket har sannolikhet 0 om p är i den så kallat subkritiska fasen p<pc, men 1 om p är i den superkritiska fasen p>pc. Det kritiska värdet för d=2 bevisades av Harry Kesten 1980 vara 1/2, medan exakta värden för pc i högre dimensioner ännu inte är kända.

Följande bild av en realisering av denna perkolationsmodell med p=0,51 på Z2 är hämtad från Wikipedia.

Detta är bara ett lite stycke av realiseringen, då mönstret fortsätter oändligt långt i alla riktningar. Parametern p är vald strax över det kritiska värdet, vilket garanterar existensen av en oändlig sammanhängande komponent av noder och länkar.

Om vi istället hade valt ett subkritiskt p, så hade vi enbart fått ändliga komponenter. Det betyder att om vi startar i en given nod och bara får gå längs kvarvarande länkar, och om vi med βn betecknar sannolikheten att vi kan nå minst n längdenheter bort från ursprungsnoden, så går βn mot 0 då n går mot oändligheten. Ett av perkolationsteorins centrala framsteg på 1980-talet var att det, oavsett dimension d, gäller att så snart p<pc så går βn inte bara mot 0, utan gör det exponentiellt snabbt i n (med andra ord: det existerar positiva konstanter a och b sådana att βn<ae-bn oavsett n). För den matematiskt obevandrade kan detta resultat synas oskyldigt, men det understryker kraftfullt hur skarp övergången mellan subkritisk och superkritisk perkolation är. Resultatet bevisades av Mikhail Menshikov (1986) och av Michael Aizenman och David Barsky (1987), oberoende av varandra, på var sin sida av den dåvarande järnridån, och med två helt olika bevis. Båda bevisen är tämligen omfattande, och jag minns hur jag som ung och grön doktorand vintern 1991-1992 slet hårt med att smälta och förstå dem. Jag förstod dem till slut, men de är så invecklade att jag idag knappast skulle kunna rekonstruera dem utan att kika i facit.

In i handlingen träder nu de båda herrarna Duminil-Copin och Tassion, och deras aktuella uppsats A new proof of the sharpness of the phase transition for Bernoulli percolation on Zd, där de levererar ett kort och koncist bevis av det exponentiella avtagandet. Kort, koncist och enkelt - betydligt enklare än de båda ursprungliga bevisen av Menshikov respektive Aizenman och Barsky, vilka hittills varit standard. Det skall här medges att "enkelt" är ett relativt begrepp, och jag skulle inte rekommendera den läsare som inte redan är bevandrad i sannolikhetsteorin på åtminstone masternivå att ge sig i kast med att läsa uppsatsen, men för oss som är vana vid perkolationsteori är uppsatsen utmärkt lättsmält, och jag vågar mig nästan på att lova att om någon väcker mig mitt i natten om tio eller tjugo år och ber mig återge beviset så kommer jag att klara det.2 Jag tackar Hugo Duminil-Copin och Vincent Tassion för att de på detta vis gjort perkolationsteorin lite klarare för mig och för våra kollegor.

Fotnoter

2) Nyckeln till att komma ihåg beviset är att återkalla deras definition av storheten φp(S) i början av uppsatsen, och att det avgörande är huruvida denna storhet är mindre än 1. När väl det är på plats går räkningarna mer eller mindre av sig själva. (Detta visste givetvis inte Duminil-Copin och Tassion när de första gången försökte sig på sitt argument, men mycket av det som gör en skicklig matematiker är att kunna ana sig till i förväg vad som är en relevant kvantitet att börja räkna på i ett givet sammanhang.)

onsdag 19 augusti 2015

Two recent comments on Bostrom's Superintelligence

In my opinion, anyone who seriously wants to engage in issues about the potential for disruptive consequences of future technologies, and about the long-term survival of humanity, needs to know about the kind of apocalyptic scenarios in connection with a possible breakthrough in artificial intelligence (AI) that Oxford philosopher Nick Bostrom discusses in his 2014 book Superintelligence. For those readers who consider my review of the book too brief, while not having gotten around to reading the book itself, and who lack the patience to wait for my upcoming Here Be Dragons: Science, Technology and the Future of Humanity (to be released by Oxford University Press in January), I recommend two recent essays published in high-profile venues, both discussing Bostrom's arguments in Superintelligence at some length: Geist and Koch express very different views on the subject, and I therefore strongly recommend (a) reading both essays, and (b) resisting the temptation to quickly, lightheartedly and without deeper understanding of the issues involved take sides in favor of the view that best fits one's own personal intuitions and biases. As for myself, I have more or less taken sides, but only after having thought about the issues for years, and having read many books and many papers on the topic.

I have relatively little to say about Koch's essay, because he and I (and Bostrom) seem to be mostly in agreement. I disagree with his (mild) criticism against Bostrom for a tendency to go off on tangents concerning far-fetched scenarios, an example being (according to Koch) the AI going on to colonize the universe.1 And I have some minor qualms concerning the last few paragraphs, where Koch emphasizes the scientific study of the human brain and how it gives rise to intelligence and consciousness, as the way to move forward on the issues rasied by Bostrom: while I do think that area to be important and highly relevant, holding it forth as the only possible (or even as the obviously best) way forward seems unwarranted.2

My disagreements with Geist are more far-reaching. When he summarizes his opinion about Bostrom's book with the statement that "Superintelligence is propounding a solution that will not work to a problem that probably does not exist", I disagree with both the "a problem that probably does not exist" part and the "a solution that will not work" part. Let me discuss them one at a time.

What Geist means when he speaks of "a problem that probably does not exist" is that a machine with superhuman intelligence will probably never be possible to build. He invokes the somewhat tired but often sensible rule of thumb "extraordinary claims require extraordinary evidence" when he holds forth that "the extraordinary claim that machines can become so intelligent as to gain demonic powers requires extraordinary evidence". If we take the derogatory term "demonic" to refer to superhuman intelligence, then how extraordinary is the claim? This issue separates neatly in two parts, namely:
    (a) Is the human brain a near-optimal arrangement of matter for producing intelligence, or are there arrangements that give rise to vastly higher intelligence?

    (b) If the answer to (a) is that such superhumanly intelligent arrangements of matter do exist, will it ever be within the powers of human technology to construct them?

To me, it seems pretty clear that the likely answer to (a) is that such superhumanly intelligent arrangements of matter do exist, based on how absurd it seems to think that Darwinian evolution, with all its strange twists and turns, its ad hoc solutions and its peacock tails, would have arrived, with the advent of the present-day human brain, at anything like a global intelligence optimum.3

This leaves question (b), which in my judgement is much more open. If we accept both naturalism and the Church-Turing thesis, then it is natural to think that intelligence is essentially an algorithmic property, so that if there exist superhumanly intelligent arrangements of matter, then there are computer programs that implement such intelligence. A nice framework for philosophizing over whether we could ever produce such a program is computer scientist Thore Husfeldt's recent image of the Library of Turing. Husfeldt used it to show that blind search in that library would no more be able to find the desired program than a group of monkeys with typewriters would be able to produce Hamlet. But might we be able to do it by methods more sophisticated then blind search? That is an open question, but I am leaning towards thinking that we can. Nature used Darwinian evolution to succed at the Herculean task of navigating the Library of Mendel to find genomes corresponding to advanced organisms such as us, and we ourselves used intelligent design for navigating the library of Babel to find such masterpieces as Hamlet and Reasons and Persons (plus The Da Vinci Code and a whole lot of other junk). And now, for searching the the Library of Turing in the hope of finding a superintelligent program, we have the luxury of being able to combine Darwinian evolution with intelligent design (on top of which we have the possibility of looking into our own brains and using them as a template or at least an inspiration for engineering solutions). To suggest that a successful such search is within grasp of future human technology seems a priori no more extraordinary than to suggest that it isn't, but one of these suggestions is true, so they cannot both be dismissed as extraordinary.

Geist does invoke a few slightly more concrete arguments for his claim that a superintelligent machine will probably never be built, but they fail to convince. He spends much ink on the history of AI and the observation that despite decades of work no superintelligence has been found, which he takes as an indication that it will never be found, but the conclusion simply does not follow. His statement that "creating intelligence [...] grows increasingly harder the smarter one tries to become" is a truism if we fix the level that we start from, but the question becomes more interesting if we ask whether it is easier or harder to improve from a high level of intelligence than from a low level of intelligence. Or in Eliezer Yudkowsky's words: "The key issue [is] returns on cognitive reinvestment - the ability to invest more computing power, faster computers, or improved cognitive algorithms to yield cognitive labor which produces larger brains, faster brains, or better mind designs." Does cognitive reinvestment yield increasing or decreasing returns? In his paper Intelligence explosion microeconomics, Yudkowsky tries to review the evidence, and finds it mixed, but comes out with the tentative conclusion that on balance it points towards increasing returns.

Let me finally discuss the "a solution that will not work" part of Geist's summary statement about Bostrom's Superintelligence. The solution in question is, in short, to instill the AI that will later attain superintelligence level with values compatible with human flourishing. On this matter, there are two key passages in Geist's essay. First this:
    Bostrom believes that superintelligences will retain the same goals they began with, even after they have increased astronomically in intelligence. "Once unfriendly superintelligence exists," he warns, "it would prevent us from replacing it or changing its preferences." This assumption - that superintelligences will do whatever is necessary to maintain their "goal-content integrity" - undergirds his analysis of what, if anything, can be done to prevent artificial intelligence from destroying humanity. According to Bostrom, the solution to this challenge lies in building a value system into AIs that will remain human-friendly even after an intelligence explosion, but he is pessimistic about the feasibility of this goal. "In practice," he warns, "the control problem ... looks quite difficult," but "it looks like we will only get one chance."

And then, later in the essay, this:

    [Our experience with] knowledge-based reasoning programs indicates that even superintelligent machines would struggle to guard their "goal-content integrity" and increase their intelligence simultaneously. Obviously, any superintelligence would grossly outstrip humans in its capacity to invent new abstractions and reconceptualize problems. The intellectual advantages of inventing new higher-level concepts are so immense that it seems inevitable that any human-level artificial intelligence will do so. But it is impossible to do this without risking changing the meaning of its goals, even in the course of ordinary reasoning. As a consequence, actual artificial intelligences would probably experience rapid goal mutation, likely into some sort of analogue of the biological imperatives to survive and reproduce (although these might take counterintuitive forms for a machine). The likelihood of goal mutation is a showstopper for Bostrom’s preferred schemes to keep AI "friendly," including for systems of sub-human or near-human intelligence that are far more technically plausible than the godlike entities postulated in his book.
The idea of goal-content integrity, going back to papers by Omohundro and by Bostrom, is roughly this: Suppose an AI has the ultimate goal of maximizing future production of paperclips, and contemplates the idea of switching to the ultimate goal of maximizing the future production of thumbtacks. Should it switch? In judging whether it is a good idea to switch, it tries to figure out whether switching will promote its ultimate goal - which, since it hasn't yet switched, is paperclip maximization - and it will reason that no, switching to the thumbtacks goal is unlikely to benefit future production of paperclips, so it will not switch. The generalization to other ultimate goals seems obvious.

On the other hand, the claim that a sufficiently intelligent AI will exhibit reliable goal-content integrity is not written in stone, as in a rigorously proven mathematical theorem. It might fail. It might even fail for the very reason suggested by Geist, which is similar to a recent idea by physicist Max Tegmark.4 But we do not know this. Geist says that "it is impossible to [invent new higher-level concepts] without risking changing the meaning of its goals". Maybe it is. On the other hand, maybe it isn't, as it could also be that a superintelligent AI would understand how to take extra care in the formation of new higher-level concepts, so as to avoid corruption of its goal content. Geist cannot possibly know this, and it seems to me that when he confidently asserts that the path advocated by Bostrom is "a solution that will not work", he vastly overestimates the reliability of his own intuitions when speculating about how agents far far more intelligent than him (or anyone he has ever met) will reason and act. To exhibit a more reasonable level of epistemic humility, he ought to downgrade his statement about "a solution that will not work" to one about "a solution that might not work" - which would bring him into agreement with Bostrom (and with me). And to anyone engaging seriously with this important field of enquiry, pessimism about the success probability of Bostrom's preferred scheme for avoiding AI Armageddon should be a signal to roll up one's sleeves and try to improve on the scheme. I hope to make a serious attempt in that direction myself, but am not sure whether I have the smarts for it.

Footnotes

1) The AI-colonizes-the-universe scenario is not at all far-fetched. For it to happen, we need (a) that the AI is capable of interstellar and intergalactic travel and colonization, and (b) that it has the desire to do so. Concerning (a), a 2013 paper by Stuart Armstrong and Anders Sandberg makes a strong case that full-scale colonization of the visible universe at close to the speed of light will become feasible. Concerning (b), arguments put forth in the seminal 1998 Great Filter paper by Robin Hanson strongly suggest that colonizing the universe is not an unlikely choice by an agent that has the capability to do so.

2) It is of course not surprising that Christof Koch, like almost all other researchers, finds his own research area particularly important: he is a neuroscientist, specializing in the neural bases of consciousness. (I kind of like his 2012 book Consciousness: Confessions of a Romantic Reductionist.)

3) Although very much superfluous, we might add to this argument all the deficiencies in the human cognitive machinery that we are aware of. For instance, quoting Koch:
    Homo sapiens is plagued by superstitions and short-term thinking (just watch politicians, many drawn from our elites, to whom we entrust our long-term future). To state the obvious, humanity's ability to calmly reason - its capacity to plan and build unperturbed by emotion (in short, our intelligence) - can improve. Indeed, it is entirely possible that over the past century, average intelligence has increased somewhat, with improved access to good nutrition and stimulating environments early in childhood, when the brain is maturing.

4) In his paper Friendly artificial intelligence: the physics challenge, Tegmark suggests that the concepts involved in the AI's goal content might turn out to be meaningless when the AI discovers the fundamental physics underlying reality, and it will realize that its ulitmate goal is incoherent. Then what will it do? Hard to say. Here is Tegmark:
    For example, suppose we program a friendly AI to maximize the number of humans whose souls go to heaven in the afterlife. First it tries things like increasing people's compassion and church attendance. But suppose it then attains a complete scientific understanding of humans and human consciousness, and discovers that there is no such thing as a soul. Now what? In the same way, it is possible that any other goal we give it based on our current understanding of the world ("maximize the meaningfulness of human life", say) may eventually be discovered by the AI to be undefined.

tisdag 18 augusti 2015

Ett välkommet nytillskott i det svenska bloggutbudet

Uppsalafysikern Ulf Danielsson har startat en blogg, där han frikostigt och i samma läsarvänliga stil som vi lärt oss att känna igen från hans böcker delar med sig av sina kunskaper inom fysik, astronomi och angränsande områden. Jag rekommenderar den varmt!

Sina båda första bloggposter skrev Ulf i mitten av juli i samband med rymdfarkosten New Horizons passage av Pluto och bilderna därifrån. Bilder på himlakroppar i vårt solsystem är ett ämne han också återkom till några veckor senare, då NASA hade offentliggjort sina underbara bilder av jorden och månen tagna från Lagrangepunkten L1; se bilden nedan. Därutöver har Ulf i seprata bloggposter hunnit behandla ämnen som Gud och multiversum, Obamas senaste klimatutspel, artificiell intelligens,1 relativitetsteori och Stephen Hawkings nära förestående besök i Stockholm. Sin nyfunna(?) talang för att formulera fyndiga klickbeten visar han med bloggposten Universums död och universitetens ansvar, som visserligen är utmärkt intressant men som inte alls tar upp frågan om universitetens ansvar för att rädda universum från att dö.

Fotnot

1) Här tar Ulf avstamp i samma aktuella Forskning och Framsteg-artikel som jag själv skrev om häromdagen, men redovisar en syn på artificiell intelligens som avviker en del från min. Det får bli ett rejält test på den argumentativa kraften i min kommande bok Here Be Dragons om denna kan rubba hans uppfattning en smula - hursomhelst är jag smickrad över att han skriver att han "ser mycket fram emot att läsa den".

fredag 14 augusti 2015

Ett osökt tillfälle till reklam

Stora framsteg har gjorts det senaste årtiondet på området artificiall intelligens (AI), men huruvida det till slut kommer att bli möjligt för oss att skapa en maskin som i fråga om allmänintelligens övertrumfar människans förmåga måste rimligtvis ses som en öppen fråga. Det händer emellanåt att filosofer och andra meddelar att att ett sådant AI-genombrott är omöjligt, men jag har hittills utan undantag funnit deras argumentation slarvig och förhastad.

Därför blev jag en liten smula provocerad när jag fick se att omslaget till det pinfärska numret 7/2015 av utmärkta populärvetenskapsmagasinet Forskning och Framsteg pryds av krigsstilsrubriken "Dummare än du tror", följt av underrubriken "Möt forskarna som menar att maskinerna aldrig kan bli så smarta som vi". Det visar sig emellertid att rubrikerna åsyftar en alldeles utmärkt artikel av Joanna Rose, där ett brett spektrum av olika ståndpunkter redovisas.1 Artikeln ger mig dessutom osökt tillfälle att göra reklam för min kommande bok Here Be Dragons, som behandlar tänkbara konsekvenser för mänskligheten av framtida framsteg inom AI och en rad andra teknologier, och som utkommer på Oxford University Press i januari. Det är nämligen så att två av de tänkare som ges störst utrymme i artikeln och som stödjer omslagets tal om att "maskinerna aldrig kan bli så smarta som vi" - John Searle och Massimo Pigliucci - delar på äran att ha fått sina argument dissekerade och vederlagda i min (sedan flera månader tillbaka färdigskrivna) bok. Interssantast av dessa båda är fallet Searle. I Forskning och Framsteg-artikeln stödjer han sig på sitt berömda kinesiska rummet-argument för att döma ut Nick Bostroms paperclip Aramgeddon-scenario2 såsom "enfaldigt", och han kommer sedan fram till följande:
    Om du bara vill att din dator ska fungera, spela schack eller få flygplanet att landa, så spelar det ju ingen roll om du tror att den är intelligent eller inte. Frågan är bara viktig när du ger maskinen ett psykologiskt eller filosofiskt innehåll. Så om vi fruktar att illasinnad superintelligens ska förgöra oss så är det viktigt att apokalypshotet är verkligt. Men utan ett medvetande kan maskinen inte ha egna avsikter, motiv eller mål. Den är ju bara en mycket komplex hög av skrot.
Det Searle här säger är i allt väsentligt en upprepning av den argumentation som han lade fram i sin recension förra året i New York Review of Books av Bostroms bok Superintelligence - en recension som triggade mig att i min egen bok inkludera en detaljerad vederläggning av Searles argument. I själva verket tillintetgör jag i Here Be Dragons hans argumentation dubbelt upp, genom att påvisa (a) att kinesiska rummet-argumentet inte håller, och (b) att även om vi skulle acceptera Searles slutsats från hans kinesiska rum så krävs en rejält "enfaldig" (för att nu låna lite av Searles egen terminologi) tankelapsus för att ur den slutsatsen kunna blåsa faran över rörande "att illasinnad superintelligens ska förgöra oss" à la paperclip Armageddon.

Mer har jag inte för avsikt att säga här och nu om de argument och motargument som figurerar i denna diskussion, utan hänvisar till Here Be Dragons och ber läsekretsen om några månaders tålamod tills dess att boken utkommit. Jag får återkomma längre fram med exakt publiceringsdatum för boken så att ni alla får tillfälle att hänga på bokhandelslåset den aktuella morgonen.

Fotnoter

1) Forskning och Framsteg har behandlat frågan om utsikterna för ett framtida AI-genombrott även i tidigare texter; se t.ex. min egen krönika om detta ämne i nr 7/2014.

2) Jag har tidigare diskuterat paperclip Aramgeddon såväl här på bloggen som i föredragsform.

torsdag 13 augusti 2015

Qvintensencollage

Jag vill absolut inte vara den som förfaller till skryt, men känner ändå att situationen kräver att jag meddelar följande. När den avgående redaktören för Svenska statistikfrämjandets medlemstidning Qvintensen, Dan Hedlin (tack Dan för ett strålande arbete!), ägnar ett uppslag (sidorna 12-13) i det senaste numret åt vad han kallar ett "collage" över "artiklar som håller för tidens tand" från hans sex år vid rodret, så handlar två av det tjugotalet notiser som collaget utgörs av om texter jag skrivit, och en tredje handlar om en intervju med mig.

måndag 10 augusti 2015

En moralfilosofisk utmaning

I den bloggpost rubricerad Pinker till frontalangrepp mot bioetiken som jag skrev i förrgår nämnde jag, lite i förbigående, mänsklighetens eventuella undergång, och av kontexten framgick att jag betraktar ett sådant scenario som dåligt och icke önskvärt. Detta triggade en bekant till mig, nationalekonomen Niclas Berggren, att höra av sig och fråga huruvida jag verkligen anser det självklart att mänsklighetens undergång vore något att beklaga.1 Han uppmärksammade mig i sammanhanget på en bloggpost han skrev för några år sedan, där han förklarade sin egen ståndpunkt:
    Jag anser inte [att mänsklighetes undergång vore att beklaga], eftersom existens endast kan ha ett värde för medvetna varelser. Om sådana varelser inte längre finns, kan icke-existens [...] inte vara något negativt.
Personligen accepterar jag inte Niclas slutsats, utan tänker istället så här: en blomstrande framtid för mänskligheten vore något strålande positivt, och därför är det negativt (och således beklagansvärt) om en sådan framtid inte kommer till stånd. Jag kan dock hålla med honom om att det på intet vis är självklart att jag har rätt och han har fel i denna fråga. Kanske finns inte ens något objektivt rätt svar på det.

Däremot vill jag rikta en utmaning till Niclas (och till övriga läsekretsen) rörande hans resonemang om existensens värde. Går det att köpa hans resonemang utan att i konsekvensens namn acceptera även följande tankegång, som lades fram av Derek Parfit i Kapitel 16 i den fantastiska boken Reasons and Persons från 1984?

Antag för enkelhets skull att vi har att välja mellan två framtider F1 och F2 för våra efterkommande om hundra år. I F1 är deras liv, till följd av hur vi has misshushållit med jordens resurser och misshandlat miljön, visserligen är värda att leva men inte så mycket mer än så. I F2 däremot, i vilken vi skött vår planet mycket bättre, lever våra efterkommande avsevärt bättre liv. Antag att vi väljer F1. Gör vi då orätt mot någon? För att svara på det bör vi beakta att våra efterkommande i F1 kommer att vara andra människor än våra efterkommande i F2, ty de två scenarierna svarar mot olika händelseutvecklingar, vilka i hög grad leder till att andra par av människor kommer att slå sig samman och blanda sina gener, och även i fall då samma parbildningar uppstår kommer de att tajma sina samlag (eller IVF-fertiliseringar) annorlunda vilket medför att andra spermier och andra ägg kommer att förenas och bli till nya människor. Vilka är det då vi gör orätt mot om vi satsar på en politik som leder till F1 istället för F2? Well, våra efterkommande i F1 drabbas ju inte, ty visserligen är inte deras liv helt fantastiska, men de är bättre än inget, och om vi istället hade fört händelseutvecklingen mot F2 så hade de inte funnits alls, vilket hade varit sämre. Inte heller folket i F2 drabbas av vårt agerande, ty de kommer ju inte att existera, varför de givetvis inte kommer att vara medvetna, och som Niclas framhåller kan ju "existens endast [...] ha ett värde för medvetna varelser". Det verkar alltså inte gå att hitta några som drabbas av hur vi slösar med naturtillgångar och förstör miljön, och därmed är det svårt att se hur det skulle kunna ligga något moraliskt fel i dessa handlingar.

Parfit, i Reasons and Persons, finner denna slutsats oacceptabel (något jag är böjd att hålla med om), men går bet på att finna något fel i resonemanget. Han uppmanar på s 451 i boken till sökandet efter någon princip som skall skjuta resonemanget i sank: "Since I have failed to find the principle to which we should appeal, I cannot explain the objection to our choice of such policies. I believe that, though I have so far failed, I or others could find the principle we need." Och så gör han ett halvironiskt tillägg som jag är så road av att jag citerat det en gång tidigare här på bloggen (i samband med att Parfit förra året tilldelades Schockpriset): "Meanwhile, we should conceal this problem from those who will decide whether we increase our use of nuclear energy."

Nå, vad säger Niclas, och vad säger resten av läsekretsen - finns det något vettigt sätt att undvika Derek Parfits oönskade slutsats?

Fotnot

1) En underförstådd premiss (vilken jag här för resonemangets skull accepterar) i Niclas tankegång är att undergången inträffar plötsligt och oförutsett, så att inte själva undergångsprocessen medför något lidande.