Recenserad i New Scientist

Min nya bok Here Be Dragons: Science, Technology and the Future of Humanity har fortfarande ett par veckor kvar fram till officiell utgivning, men den har redan hunnit bli recenserad i New Scientist. Och recensionen, författad av konstnären och mångsysslaren Jonathon Keats, kan bara berskivas som glödande! Hör här:

THE year is 2056, and scientists have just created the first computer with superhuman intelligence. Aware of the risks, the programmers trained it in ethics. The machine functions flawlessly.

Aiming to maximise happiness in the universe, and calculating that sentient beings are happy less than half the time, the computer exterminates all sentient life. The balance of happiness increases from negative to zero - only there’s nobody left to enjoy it.

Futurologists refer to this sort of misunderstanding as perverse instantiation, and Olle Häggström is concerned about it.

[...]

"Some of the advances that may lie ahead of us can actually make us worse off, a lot worse, and, in the extreme case, cause the extinction of the human race," he claims. Here Be Dragons is his attempt to chart potential dangers so that we approach the future more responsibly, much as medieval map-makers alerted explorers to perils with depictions of mythological beasts.

Although some of his scenarios are outlandish, Here Be Dragons deserves to be read by all scientists and engineers, and especially by ambitious postdocs considering cutting-edge research. His sense of caution is profound, heartfelt and free of Luddite polemic: it's a stimulating attempt to balance the pursuit of breakthroughs with old-fashioned humility.

[...]

There are no easy answers [...]. The only certainty is that concerns about the future require vigorous debate. To that end, Here Be Dragons is an essential provocation.

Läs hela recensionen här!

Gogodod jojulol!

Med Aron Bjurströms vackra framförande på rövarspråket av O helga natt önskar jag härmed bloggens läsare en God Jul!

Intervjuad, två gånger om

Här två aktuella intervjuer med mig, på centrala teman från min bok Here Be Dragons: Science, Technology and the Future of Humanity som utkommer i januari med som redan nu går att beställa från diverse nätbokhandlar:

• I nummer 7/2015 av Göteborgs universitets tidning GU Journalen finns en artikel rubricerad Ond forskning, som återger (valda brottstycken ur) ett engagerat samtal med bioetikprofessorn Christian Munthe och mig, om nya teknologier på gott och ont. Bilderna ovan är saxade därifrån.
• I nummer 3/2015 av det socialdemokratiska ungdomsförbundet SSU:s tidskrift Tvärdrag intervjuas jag under rubriken Räkna med robotrevolution.

Om universum inte fanns

Hur vore det om universum inte fanns? För mig öppnar tanken en fasansfull avgrund, men den danske matematikern, konstnären, poeten och mångsysslaren Piet Hein (1905-1996) tog det hela lite coolare i sin Nothing is indispensable: Grook to warn the universe against megalomania.

The universe may
be as great as they say.
But it wouldn't be missed
if it didn't exist.

Ada Lovelace 200 år

Idag är en dag då vi som gillar vetenskap har extra stor anledning att höja våra glas till en skål. Den läsare må (nätt och jämnt) vara förlåten som tänker att jag härmed syftar på att det idag är Nobeldagen, och att det är till gamle Alfred Nobel vi bör skåla. Vad jag har i åtanke är emellertid något mycket större: Augusta Ada King, grevinna av Lovelace, född Byron (1815-1852) fyller 200 år!¹ Numera kallar vi henne oftast kort och gott Ada Lovelace.

Denna briljanta matematiker levde ett kort men intensivt liv, och är mest känd för sitt samarbete med matematikerkollegan Charles Babbage kring hans så kallade analytiska maskin (the analytical engine) - en dator långt före elektronikens och kretskortens tidevarv, vilken istället byggde på kugghjul och mekanik. Lovelace och Babbage utgjorde ett formidabelt radarpar, där (med dagens terminologi) Babbage stod för hårdvaran och Lovelace för mjukvaran - samt för de mest långtgående visionerna om datorns användbarhet. Hon beskrivs ibland som tidernas första datorprogrammerare. Den analytiska maskinen färdigställdes aldrig, men hade i annat fall blivit den första så kallade universella datorn, ett århundrade innan Alan Turing skapade detta inom datalogin helt centrala begrepp.

Lovelace står idag, inte minst tack vare den årligen i oktober firade Ada Lovelace Day, som kvinnlig förebild inom de till stora delar mansdominerade STEM-områdena (science, technology, engineering and mathematics). Annie Burman uppmärksammade henne i en läsvärd understreckare i SvD häromdagen. För den som vill ta del av Lovelaces liv och gärning i det aningen längre formatet rekommenderar jag Sydney Paduas underbara serieroman The Thrilling Adventures of Lovelace and Babbage, som med hjälp av tredubbla fotnotsapparater lyckas med såväl att berätta den sanna historien som att fabulera ohämmat underhållande kring det parallella universum i vilket Babbage lyckades färdigställa sin analytiska maskin. Ett bättre julklappstips än The Thrilling Adventures får ni inte av mig i år!

Fotnot

1) Eller skulle ha gjort, om inte döden kommit emellan.

Dilbert om ett eventuellt AI-genombrott

Häromveckan slog jag ett slag för engelskspråkiga filosofi- och vetenskapsnördiga tecknade serier, och framhöll Randall Munroes xkcd, Zach Weinersmiths Saturday Morning Breakfast Cereal (SMBC), och Corey Mahlers Existential Comics som mina favoriter. En annan rolig och läsvärd serie som delvis kan räknas till samma kategori är Scott Adams Dilbert, även om den i första hand är inriktad på att skildra dåligt ledarskap inom teknikföretag. De senaste två veckorna har denna dagligt utkommande serie behandlat ett av mina egna favoritämnen här på bloggen: faror i samband med ett eventuellt framtida genombrott inom AI (artificiell intelligens). Speciellt behandlas fallet då ett sådant genombrott inträffar på teknikföretag ansatta av dåligt ledarskap. Följande är de hittills publicerade avsnitten i detta löst samanhållna äventyr; vi får se om det blir någon fortsättning imorgon måndag:

• 23 november: What It Is Like To Be A Robot With No Soul
• 24 november: Robot Is A Box Of Nothing
• 25 november: Why People Have Consciousness
• 26 november: Robot Gets An Artificial Soul
• 27 november: Robot Must Reproduce
• 28 november: Robot Learns To Procreate
• 30 november: Robot Wants To Code
• 1 december: Dilbert Teaches Robot To Code
• 2 december: Worried About Robots
• 3 december: Robot Learns To Code
• 4 december: Human Crossed The Road
• 5 december: How It Would Be With Robots In Charge

En del idéer hämtade från facklitteraturen på området förekommer här, och jag finner framställningen delvis ganska finurlig. Den kan nog bidra till intresset för AI-futurologi, men för att faktiskt skaffa sig en välgrundad uppfattning om riskerna och den övriga problematiken duger naturligtvis inte dessa Dilbert-strippar. Se gärna Nick Bostroms bok från 2014, eller min egen som kommer i nästa månad.

What I think about What to Think About Machines That Think

Our understanding of the future potential and possible risks of artificial intelligence (AI) is, to put it gently, ruefully incomplete. Opinions are drastically divided, also among experts and leading thinkers, and it may be a good idea to hear from several of them before forming an opinion of one's own, to which it is furthermore a good idea to attach a good deal of epistemic humility. The 2015 anthology What to Think About Machines That Think, edited by John Brockman, offers 186 short pieces by a tremendously broad range of AI experts and other high-profile thinkers. The format is the same as in earlier items in a series of annual collections by the same editor, with titles like What We Believe but Cannot Prove (2005), This Will Change Everything (2009) and This Idea Must Die (2014). I do like these books, but find them a little bit difficult to read, in about the same way that I often have difficulties reading poetry collections: I tend to quickly rush towards the next poem before I have taken the time necessary to digest the previous one, and as a result I digest nothing. Reading Brockman's collections, I need to take conscious care not to do the same thing. To readers able to handle this aspect, they have a lot to offer.

I have still only read a minority of the short pieces in What to Think About Machines That Think, and mostly by writers whose standpoints I am already familiar with. Many of them do an excellent job expressing important points within the extremely narrow page limit given, such as Eliezer Yudkowsky, whom I consider to be one of most important thinkers in AI futurology today. I'll take the liberty of quoting at some length from his contribution to the book:

The prolific bank robber Willie Sutton, when asked why he robbed banks, reportedly replied, "Because that's where the money is." When it comes to AI, I would say that the most important issues are about extremely powerful smarter-than-human Artificial Intelligence (aka superintelligence) because that's where the utilons are - the value at stake. More powerful minds have bigger real-world impacts.

[...]

Within the issues of superintelligence, the most important (again following Sutton's Law) is, I would say, what Nick Bostrom termed the "value loading problem": how to construct superintelligences that want outcomes that are high-value, normative, beneficial for intelligent life over the long run - that are, in short, "good" - since if there is a cognitively powerful agent around, what it wants is probably what will happen.

Here are some brief arguments for why building AIs that prefer "good" outcomes is (a) important and (b) likely to be technically difficult.

First, why is it important that we try to create a superintelligence with particular goals? Can't it figure out its own goals?

As far back as 1739, David Hume observed a gap between "is" questions and "ought" questions, calling attention in particular to the sudden leap between when a philosopher has previously spoken of how the world is and then begins using words like should, ought, or ought not. From a modern perspective, we'd say that an agent's utility function (goals, preferences, ends) contains extra information not given in the agent's probability distribution (beliefs, world-model, map of reality).

If in 100 million years we see (a) an intergalactic civilization full of diverse, marvelously strange intelligences interacting with one another, with most of them happy most of the time, then is that better or worse than (b) most available matter having been transformed into paperclips? What Hume's insight tells us is that if you specify a mind with a preference (a) > (b), we can follow back the trace of where the > (the preference ordering) first entered the system and imagine a mind with a different algorithm that computes (a) < (b) instead. Show me a mind that is aghast at the seeming folly of pursuing paperclips, and I can follow back Hume's regress and exhibit a slightly different mind that computes < instead of > on that score too.

I don't particularly think that silicon-based intelligence should forever be the slave of carbon-based intelligence. But if we want to end up with a diverse cosmopolitan civilization instead of, for example, paperclips, we may need to ensure that the first sufficiently advanced AI is built with a utility function whose maximum pinpoints that outcome. If we want an AI to do its own moral reasoning, Hume's Law says we need to define the framework for that reasoning. This takes an extra fact beyond the AI having an accurate model of reality and being an excellent planner.

But if Hume's Law makes it possible in principle to have cognitively powerful agents with any goals, why is value loading likely to be difficult? Don't we just get whatever we programmed?

The answer is that we get what we programmed, but not necessarily what we wanted. The worrisome scenario isn't AIs spontaneously developing emotional resentment for humans. It's that we create an inductive value learning algorithm and show the AI examples of happy smiling humans labeled as high-value events - and in the early days the AI goes around making existing humans smile and it looks like everything is OK and the methodology is being experimentally validated; and then, when the AI is smart enough, it invents molecular nanotechnology and tiles the universe with tiny molecular smiley-faces. Hume's Law, unfortunately, implies that raw cognitive power does not intrinsically prevent this outcome, even though it's not the result we wanted.

[...]

For now, the value loading problem is unsolved. There are no proposed full solutions, even in principle. And if that goes on being true over the next decades, I can't promise you that the development of sufficiently advanced AI will be at all a good thing.

Max Tegmark has views that are fairly close to Yudkowsky's,¹ but warns, in his contribution, that "Unfortunately, the necessary calls for a sober research agenda that's sorely needed is being nearly drowned out by a cacophony of ill-informed views", among which he categorizes the following eight as "the loudest":

1. Scaremongering: Fear boosts ad revenues and Nielsen ratings, and many journalists appear incapable of writing an AI-article without a picture of a gun-toting robot.

2. "It's impossible": As a physicist, I know that my brain consists of quarks and electrons arranged to act as a powerful computer, and that there's no law of physics preventing us from building even more intelligent quark blobs.

3. "It won't happen in our lifetime": We don't know what the probability is of machines reaching human-level ability on all cognitive tasks during our lifetime, but most of the AI researchers at a recent conference put the odds above 50 percent, so we'd be foolish to dismiss the possibility as mere science fiction.

4. "Machines can't control humans": Humans control tigers not because we are stronger, but because we are smarter, so if we cede our position as smartest on our planet, we might also cede control.

5. "Machines don't have goals": Many AI systems are programmed to have goals and to attain them as effectively as possible.

6. "AI isn't intrinsically malevolent": Correct - but its goals may one day clash with yours. Humans don't generally hate ants - but if we want to build a hydroelectric dam and there's an anthill there, too bad for the ants.

7. "Humans deserve to be replaced": Ask any parent how they would feel about you replacing their child by a machine, and whether they'd like a say in the decision.

8. "AI worriers don't understand how computers work": This claim was mentioned at the above-mentioned conference, and the assembled AI researchers laughed hard.

These passages from Yudkowsky and Tegmark provide just a tip of the iceberg of interesting insights in What to Think About Machines That Think. But, not surprisingly in a volume with so many contributions, there are also disappointments. I'm a huge fan of philosopher Daniel Dennett, and the title of his contribution (The Singularity - an urban legend?) raises expectations further, since one might hope that he could help rectify the curious situation where many writers consider the drastic AI development scenario referred to as an intelligence explosion or the Singularity to be extremely unlikely or even impossible, but hardly anyone (with Robin Hanson being the one notable exception) offers arguments for this position raising above the level of slogans and one-liners. Dennett, by opening his contribution with the paragraph...

The Singularity - the fateful moment when AI surpasses its creators in intelligence and takes over the world - is a meme worth pondering. It has the earmarks of an urban legend: a certain scientific plausibility ("Well, in principle I guess it's possible!") coupled with a deliciously shudder-inducing punch line ("We'd be ruled by robots!"). Did you know that if you sneeze, belch, and fart all at the same time, you die? Wow. Following in the wake of decades of AI hype, you might think the Singularity would be regarded as a parody, a joke, but it has proven to be a remarkably persuasive escalation. Add a few illustrious converts - Elon Musk, Stephen Hawking, and David Chalmers, among others - and how can we not take it seriously? Whether this stupendous event takes place ten or a hundred or a thousand years in the future, isn't it prudent to start planning now, setting up the necessary barricades and keeping our eyes peeled for harbingers of catastrophe?

I think, on the contrary, that these alarm calls distract us from a more pressing problem...

...and then going on to talk about something quite different, turns his piece into an almost caricaturish illustration of the situation I just complained about.

I want to end by quoting, in full, the extremely short (even by this book's standards) contribution by physicist Freeman Dyson - not because it offers much (or anything) of substance (it doesn't), but because of its witticism:

I do not believe that machines that think exist, or that they are likely to exist in the foreseeable future. If I am wrong, as I often am, any thoughts I might have about the question are irrelevant.

If I am right, then the whole question is irrelevant.

I like the humility - "as I often am" - here. Dyson pretty much confirms what I was convinced of all along, namely that he agrees with the message in my 2011 blog post Den oundgängliga trovärdighetsbedömningen: fallet Dyson that he ought to be read critically.²

Footnote

1) And my own views are mostly in good alignment with Yudkowsky's and with Tegmark's. Both of them are cited approvingly in the chapter on AI in my upcoming book Here Be Dragons: Science, Technology and the Future of Humanity (Oxford University Press, January 2016).

2) This is in sharp contrast to the general reaction to my piece among Swedish climate denialists; they seemed at the time to think that Dyson ought to be read un-critically, and that any suggestion to the contrary was deeply insulting (here is a typical example).

Några favoritepisoder ur Existential Comics

Vi som gillar filosofi- och vetenskapsnördiga engelskspråkiga tecknade serier lever i goda tider. Mina favoriter är nog Randall Munroes xkcd, Zach Weinersmiths Saturday Morning Breakfast Cereal (SMBC), och Corey Mahlers Existential Comics.¹ Av dessa tre är det bara xkcd som jag regelbundet återger här på bloggen, men det beror inte på att de båda andra skulle vara sämre, utan på att de sällan har det behändiga format som jag önskar att bilder jag lägger upp på bloggen skall ha.² Så när jag nu vill ägna denna bloggpost åt att slå ett slag för den intelligenta och folkbildande Existential Comics, som gärna tar hjälp av modern populärkultur för att förklara de stora filosofernas tankegångar, så avstår jag från att klippa in bilder och nöjer mig istället med att länka till några av mina favoritepisoder:

• Karl Marx spelar Monopol med Sigmund Freud, Rudolf Carnap och Friedrich Nietzsche. Det ser ut att gå illa för honom, men... clickbait!

• När Marx en tid senare möter sina filosofvänner i ett parti poker har de lärt sig en del om hans metoder.

• Om filosofi vore fotboll: VM-final mellan Frankrike och Tyskland. (Monty Python var, som en del läsare kanske minns, inne på något liknande redan 1974.)

• Immanuel Kant vs Simone de Beauvoir.

• På skattjakt med Thomas Hobbes, Karl Marx, John Rawls och Ayn Rand.

• Ett av mina favoritgräl bland nutida filosofer är det mellan David Chalmers och Daniel Dennett om zombier. Men tänk om de själva vore zombier!

• Kombinationen stängningsdags, obetald barnota, Derek Parfit, Slavoj Zizek, Noam Chomsky och Peter Singer bör om möjligt undvikas.

• Om David Hume vore Kapten Kirk och Bertrand Russell vore Mr Spock.

• Om Sartre vore Seinfeld och Kierkegaard vore Kramer.

• Trolleyologi (som jag skrev om för några år sedan) är en klass av moralfilosofiska tankeexperiment som syftar till bättre inblick i våra spontana moraliska ställningstaganden genom att så gott det går söka isolera enskilda aspekter i dessa. I en aktuell Existential Comics-episod får vi veta hur trolleyologi skulle kunna te sig om den istället omfamnade hela det slags vittförgrenade komplexitet som våra verkliga moraliska ställningstaganden dagligen inbegriper.

• Mitt under pågående rättegång ilsknar Sartre till på Nietzsche och ballar ur en smula.

Fotnoter

1) En härlig serie i samma anda är Andrew Valdens Rymdslottet, men den kommer ändå inte med i min uppräkning här eftersom den är på svenska, och dessutom noga räknat inte är någon tecknad serie.

2) Ändå tillät jag mig att reproducera en episod av SMBC i somras. Och här är en SMBC-pärla i det lite mindre formatet:

Två mästerverk i magisk förening

Här är Edvard Munchs målning Skriet och Pink Floyds låt The Great Gig in the Sky, i en originell förening av den rumänske animeringskonstnären Sebastian Cosor. Helgerån eller genialt? Jag röstar på det senare. Läs mer här.

Global medeltemperatur: senaste nytt

Samtidigt som klimatförnekarna envetet fortsätter upprepa sitt mantra om att den globala uppvärmningen har upphört (nu senast var det visst den patologiske lögnaren Peter Stilbs,¹ professor emeritus i fysikalisk kemi vid KTH, som i en insändare med rubriken "Klimatet har inte förändrats" i tidningen Land meddelar att "den globala medeltemperaturen legat still de senaste 18 åren") så får vi besked om de senaste siffrorna från NASA: temperaturanomalin i oktober 2015 är den största som registrerats i deras 135-åriga mätserie, och om vi bildar glidande 12-månadersmedelvärden får vi följande kurva:

För den som vill veta mer om dessa tidsserier och om klimatförnekarnas evinnerliga påståenden om "uppvärmningspaus" rekommenderas bloggen Uppsalainitiativet; se t.ex. den här bloggposten, och den här.

Fotnot

1) Stilbs är en av frontfigurerna i det ledande svenska klimatförnekarnätverket Stockholmsinitiativet, och regelbunden skribent på deras blogg som tidigare benämndes The Climate Scam men som numera bär det orwellskt klingande namnet Klimatupplysningen. Han och jag har haft en och annan dust genom åren.

Rebecca Solnit!

Den amerikanska författaren och feministen Rebecca Solnit är nog mest känd för sin roliga och läsvärda text

• Men who explain things

från 2008, som brukar dras fram när etymologin hos det relativt nya och ytterst användbara ordet "mansplaining" kommer på tal. Se även den uppföljande reflektionen

• Men still explain things to me

från 2012.

Häromdagen hade någon kollega på min Chalmersinstitution lämnat en bunt med Harper's Magazine i lunchrummet. Jag började botanisera i den, och fattade snabbt tycke för tidskriften - allra mest för de återkommande texterna av Solnit, som dessa två, båda från 2015:

• Abolish high school
• The mother of all questions

Den första av dessa handlar om det orimliga i att tvinga unga människor till en institution som skapar sådana ofantliga mängder lidande som amerikansk high school, och den andra tar den fråga Solnit ofta får om varför hon inte skaffat barn som utgångspunkt för en diskussion kring den utbredda bristen på respekt för pluralism och andras sätt att leva sina liv på annat sätt än enligt den traditionella kärnfamiljens strikta diktat. Alla dessa texter är mycket kraftfulla och läsvärda, och jag har nu beställt hennes essäsamling Men Explain Things to Me från 2014, på vilken mina förväntningar är höga.

Franzens nya

"Gör som Obama och jag - läs Jonathan Franzen!" var en uppmaning som jag för ett par år sedan riktade till bloggens läsekrets. Nu, efter att ha läst Franzens nya roman Purity, känner jag mig stärkt i min positiva bild om hans författarskap, och håller fast vid min uppmaning. Purity är, liksom hans förra roman Freedom, ett briljant och starkt samhällskritiskt porträtt av vår samtid, och han använder ånyo greppet att dela upp sin tegelsten i block av storleksordningen hundra sidor, där varje block zoomar in på själslivet hos en av bokens huvudpersoner. En tydlig skillnad är att medan Freedom är en i grunden ganska enkel berättelse om en amerikansk medelklass-kärnfamiljs uppgång och fall, så är Purity ett långt mer komplext romanbygge, med en raffinerat uttänkt akronologisk handling som rör sig över tre kontinenter och ibland rentav uppvisar drag av spionroman.

Det mörka stråk som går genom Freedom återkommer i Purity, och såväl huvudpersoner som läsare påminns gång efter annan om två av vår tids ödesfrågor: kärnvapenhotet och klimatfrågan. När jag under läsningen noterade detta så konstaterade jag samtidigt att det verkar finnas gränser för Franzens samtidskänselspröt, på så vis att han (trots IT-teknikens starka närvaro i boken) inte fått med den lite mer dunkla men eventuellt ännu större ödesfråga som vunnit visst insteg i publik debatt sedan 2014, och som jag själv gjort mitt bästa för att lyfta: den om vad som händer när utvecklingen inom artificiell intelligens når ett sådant genombrott (Singluariteten eller något annat) att vi människor inte längre är de varelser på vår planet som har den högsta allmänintelligensen. Men så händer det, på sidan 485, där huvudpersonen Andreas Wolf (en framgångsrik internetaktivist uppväxt i DDR och med drag delvis lånade av Julian Assange) samtalar med miljardären Tad Milliken (ett slags Ray Kurzweil med en del mindre smickrande egenheter tillagda för dramatikens skull), som förklarar varför han är beredd att i hemlighet sponsra Wolfs verksamhet, bl.a. genom att för denna upplåta en paradisisk dalgång han äger i Bolivia. Den fiktive Milliken knyter därmed samman alla de tre ödesfrågor som här nämnts - kärnvapen, klimat, Singularitet:

You need a secure base. I need black-swan insurance. Belize is working for me now, gotta love the police here, but we're still pre-Singularity. If people like you and me are going to re-create the world, we may need a place where we can ride out transitional disruptions. Also, I don't see Greenland melting down before the Singularity, but if it does, nuclear weaponry could be utilized. We've backed away from nuclear-winter capability, but there could still be a nuclear autumn, a nuclear November, in which case the equator's where you want to be. Isolated valley in the center of an untargeted continent. Make sure you've got some comely young females, some spare parts, some goats and chickens. You can make the place cozy. I'd hate to have to join you there, but it could happen.

Not in my name!

The flyer depicted below, containing slander against and blatant lies about the country of Sweden, is currently being distributed at a refugee camp on the Greek island of Lesbos and at many other places on the borders of the European Union. Representatives of the extreme and anti-immigrant right-wing Sweden Democrats party confirm that their party is behind the campaign.

Notice, among the signatories, "The People of Sweden". That is forgery. The people of Sweden includes myself. I have (along with the vast majority of my compatriots) not been consulted about the letter, neither in person, nor via legitimate proxy. I do not stand by its disgraceful content.

The Sweden Democrats party has its roots in Nazism and the white supremacy movement. Since 2010 it is represented in the Swedish Parliament (and is currently holding 49 of the 349 seats), something I have found revolting from the start but have refrained from commenting upon here on this blog. But now that they have the audacity to claim to speak for me and for all my compatriots, the time has come to voice my protest.

Inte i mitt namn. Not in my name!

Snowden i DN idag

I Dagens Nyheters helgbilaga idag finns Lena Sundströms långa intervju med Edward Snowden - mycket läsvärd! Mycket av den handlar givetvis om ämnet massövervakning, och när Sundström för det ack så vanligt förekommande "den som har rent mjöl i påsen har inget att dölja"-argumentet på tal säger Snowden så här:

Det handlar inte om att man inte har något att dölja, det handlar om att vi har något att förlora om vi hela tiden är övervakade. Det mänskliga, det som formar oss och gör att vi kan tänka och utvecklas, det som formar oss som individer.

Att säga att du inte bryr dig om rätten till integritet för att du inte har något att dölja är som att säga att du inte bryr dig om yttrandefriheten för att du inte har något att säga. Det är som att säga att du inte bryr dig om den fria pressen för att du inte är journalist. Eller religionsfriheten för att du inte är kristen. Rättigheter i ett samhälle är både kollektiva och individuella. Du kan inte ge bort minoriteters rättigheter även om du röstar som majoriteten.

Detta är ett mycket starkt argument mot massövervakning. Men är det slutgiltigt avgörande? Jag tycker inte det.¹ Vad händer om vi hamnar i ett läge (om kanske inte så väldigt många år) där kunskapsläget inom syntetisk biologi nått så långt att syntetisering av nya virus blivit möjligt för terroristorganisationer och enskilda individer? Kan det bli så att det endast är med massövervakning vi kan skydda oss från att någon galning åstadkommer en global pandemi med dödssiffror av aldrig tidigare skådad omfattning, och en därpå följande civilisationskollaps? Jag vet inte, men jag anser att frågan förtjänar att diskuteras. Även andra nya teknologier med massförstörelsepotential kan ge upphov till liknande överväganden. När Snowdenaffären exploderade i juni 2013 betonade Anders Sandberg massövervakningsfrågans komplexitet så här:

It is not obvious whether we should wish for better surveillance or less: it is not clear it is a force for good or evil in general. Surveillance can prevent or solve crimes, alert society to dangers, provide information for decision-making and so on. It can also distort our private lives, help crime, enable powerful authoritarian and totalitarian forces, and violate human rights. But there doesn’t seem to exist any knock-down argument that dominates the balance: in many cases messy empirical issues and the current societal context likely determines what we should wish for, did we know the full picture.

Jag instämmer, och Anders text är fortfarande läsvärd i sin helhet.

Fotnot

1) Denna åsikt ventilerade jag redan för två år sedan, i bloggposten Om demokrati och övervakning: därför skriver jag inte under uppropet. Och min argumentation var väsentligen densamma då som nu. Jag tar också upp ämnet i min kommande bok Here Be Dragons: Science, Technology and the Future of Humanity.

How would you react to the discovery of extraterrestrial life?

A discovery [of extraterrestrial life] would be of tremendous scientific significance. What could be more fascinating than discovering life that had evolved entirely independently of life here on Earth? Many people would also find it heartening to learn that we are not entirely alone in this vast cold cosmos.

But I hope that our Mars probes will discover nothing. It would be good news if we find Mars to be completely sterile. Dead rocks and lifeless sands would lift my spirit.

Conversely, if we discovered traces of some simple extinct life form - some bacteria, some algae - it would be bad news. If we found fossils of something more advanced, perhaps something looking like the remnants of a trilobite or even the skeleton of a small mammal, it would be very bad news. The more complex the life we found, the more depressing the news of its existence would be. Scientifically interesting, certainly, but a bad omen for the future of the human race.

These are the words of Oxford philosopher Nick Bostrom, in his 2008 essay Where are they? Why I hope the search for extraterrestrial life finds nothing. His reasoning follows that of Robin Hanson's groundbreaking 1998 piece The Great Filter - are we almost past it?. In a blog post a few years ago, I offered a gentle introduction (in Swedish) to Hanson's Great Filter view of Fermi's Great Silence (i.e., of the fact that we seem not to have encountered, or even seen any signs of, extraterrestrial life) and how it leads to the conclusion that "dead rocks and lifeless sands" would be uplifting. Very briefly, the argument is as follows.

Let N denote the number of potentially life-supporting planets in the observable universe; N is a huge number, perhaps something like 10²⁰ or 10²². Let p denote the probability that a randomly chosen such planet goes on to develop life, and not only life but intelligent life and a technological civilization on the level of present-day humanity. Finally, let q denote the probability, conditional on having come that far, of going on to develop a supertechnological civilization visible to astronomers all over the observable universe. Then Npq is the expected number of such supertechnological civilizations arising, and Fermi's Great Silence strongly suggests that Npq is not very large, because if it were, the probability of at least one such supertechnological civilizations having come about would have been overwhelming, and we would have seen it. But if N is huge and Npq is not very large, then pq must be very small, so at least one of the probabilities p and q is very small. If we're hoping for humanity not to self-destruct or otherwise go extinct before we get the chance to conquer the universe, q had better not be very small. A discovery of extraterrestrial life would suggest that the emergence of life is not quite as unlikely, and p not quite as small, as we might otherwise have thought. But if p is not so small, then q must be very small, and we are pretty much doomed.

This argument makes good sense to me, but it does contain a good deal of handwaving, and it might be interesting to find out whether, e.g., a more rigorous statistical treatment of the same problem leads to the same conclusion. This is what my Chalmers colleague Vilhelm Verendel and I set out to do in our paper Fermi's paradox, extraterrestrial life and the future of humanity: a Bayesian analysis, which has been accepted for publication in the International Journal of Astrobiology. Our findings are a bit inconclusive, because it is by no means clear what is a sensible choice of prior distribution in our Bayesian analysis, and the end result does depend quite a bit on this choice. Quoting from the concluding section of our paper:

In summary, we still think that the intuition about the alarming effect of discovering extraterrestrial life expressed by Hanson (1998) and Bostrom (2008) has some appeal. In our Bayesian analysis, our first two priors (independent uniform, and independent log-uniform) support it. The third one (perfectly correlated log-uniform), however, contradicts it, and while we find the prior a bit too extreme to make a very good choice, this shows that some condition on the prior is needed to obtain qualitative conclusions about the effect on q of discovering extraterrestrial life.

A final word of caution: While a healthy dose of critical thinking regarding the choice of Bayesian prior is always to be recommended, the case for epistemic humility is especially strong in the study of the Fermi paradox and related "big questions". In more mainstream scientific studies, circumstances are often favorable, either through the existence of a solid body of independent evidence in support of the prior, or through the availability of sufficient amounts of data that one can reasonably hope that the effects of the prior are (mostly) washed out in the posterior. In the present setting we have neither, so all conclusions from the posterior should be viewed as highly tentative.

Read our full paper here!

Vilken egenskap hos mänskliga hjärnor är det som ger upphov till medvetande?

Ulf Danielsson och jag har under hösten fört ett lågintensivt bloggsamtal om artificiell intelligens och medvetandets plats i ett materiellt universum. Mitt senaste inlägg i samtalet - ett kort tillägg som jag den 18 oktober fogade till en bloggpost som i övrigt är från den 14 oktober - kokar ned till en fråga till Ulf, nämligen huruvida det är rätt tolkat att han underkänner CTOM (the computational theory of mind) som rimlig kandidat till förklaring till vad det egentligen är i vårt fysiska universum som ger upphov till medvetande. I sin nya bloggpost Dra ur sladden bekräftar Ulf att jag på denna punkt tolkar honom rätt:

Min personliga uppfattning är att CTOM som hypotes är godtycklig och ogrundad. Jag ser inget som helst skäl till varför en digital maskin vars relevanta komponenter, enskilt eller i samspel, kan förstås i termer av välkänd och klassisk fysik skulle kunna leda till något som ett medvetande. Däremot tvingas jag med grund i min egen subjektiva erfarenhet erkänna existensen av ett medvetande i biologiska hjärnor. Den rimligaste slutsatsen, baserat på fysikalisk förståelse och subjektiv erfarenhet, blir att medvetanden så långt är förbehållna biologiska system där medvetande uppstår på ett för oss hittills okänt sätt.

Själv är jag inte med på Ulfs konklusion om vari "den rimligaste slutsatsen" består. Med sitt uttalande kommer han väldigt nära en ståndpunkt hos vetenskapsfilosofen Massimo Pigliucci, som jag bemöter i Avsnitt 3.8 i min kommande bok Here Be Dragons: Science, Technology and the Future of Humanity. I sitt bidrag till den spännande antologin Intelligence Unbound: The Future of Uploaded and Machine Minds från 2014 går Pigliucci till attack mot CTOM och mot David Chalmers försvar av teorin ifråga i samma antologi. Och i Here Be Dragons svarar jag så här, med ett resonemang som jag tycker duger även till att ifrågasätta Ulfs ovan citerade tankegång:

[Pigliucci repeatedly asserts that] "consciousness is a biological phenomenon", and [he complains] that Chalmers' contribution to the same book
proceeds as if we had a decent theory of consciousness, and by that I mean a decent neurobiological theory. (emphasis in the original)
But this merely presupposes what Pigliucci wants to prove, namely that consciousness is a biological phenomenon. Pigliucci knows of one example of a conscious entity, namely himself, and he has a reasonable case for assuming that most other humans are conscious too, and also that in all these cases consciousness resides (at least to a large extent) in the brain. Since all these brains are neurobiological entities, isn't that just what we need for the claim that a theory of consciousness needs to be neurobiological? Well, no, because being neurobiological entities is not the only thing that these brains have in common. They are also, e.g., material objects, and they are computing devices. Pigliucci thinks that being a neurobiological entity is the relevant property around which a decent theory of consciousness needs to be centered. Other philosophers (panpsychists) think that being a material object is the relevant property, and yet others (supporters of CTOM) think that being a computational device is the relevant property. Any discussion of the pros and cons of CTOM ought to start with the admission that it is an open problem to decide which of these generalities (or some other one, such as being bipedal, or being created in the image of God) is the relevant one for the fundamental nature of consciousness. Instead postulating from the outset, as Pigliucci does, which of them is the right one, short-circuits the discussion in such a way as to make it trivial.

Fem framträdanden i Göteborg (och två i Stockholm)

Det ser ut att bli en rad publika framträdanden för mig i november och december:

• Onsdagen den 11 november kl 18.00 talar jag över ämnet "En framtid med robotar och artificiell intelligens: möjligheter och orosmoln" på Ekocentrum, Aschebergsgatan 44, Göteborg. Fritt inträde.

• Måndagen den 16 november kl 12.20 talar jag över (det snarlika) ämnet "Artificiell intelligens på gott eller ont: en futurologisk betraktelse" i Chalmersvillan, Gibraltargatan 1A, Göteborg. Arrangör är Chalmers fakultetsklubb. Lunch serveras kl 11.45 till ett pris om 70 kr, och anmälan görs senast 12 november via Doodle.

• Tisdagen den 24 november kl 18.00 deltar jag i ett samtal om ämnet "Är ateism en religiös tro?" med filosofen Jonna Bornemark och Humanisternas ordförande Christer Sturmark, under ledning av Sewilius Berg. Samtalet är ett arrangemang av ABF:s Göteborgsavdelning, och äger rum på restaurang Trappan, Folkets Hus, Järntorget, Göteborg.

• Onsdagen den 25 november kl 20.00 talar jag över ämnet "Kan robotar ha medvetande?" på restaurang Haket, Första Långgatan 32 i Göteborg, i ett arrangemang av VoF:s (föreningen Vetenskap och Folkbildning) Göteborgsavdelning.

• Tisdagen den 1 december kl 18.30 talar jag över ämnet "Robotapokalyps?" på Stadsmuseet, Norra Hamngatan 12 i Göteborg. Arrangör är Sällskapet Gnistan, vilket verkar sakna närvaro på nätet, och jag tror dessvärre att arrangemanget endast är öppet för medlemmar.

• Fredagen den 4 december talar jag över ämnet "Är det OK för en statistiker att medverka i utveckling av domedagsvapen?" på Cramérsällskapets höstmöte, vilket äger rum på KTH i Stockholm kl 10-15. Mer exakt lokalangivelse och program kommer att meddelas längre fram.

• Onsdagen den 16 december kl 18.00 talar jag över ämnet "Statistiska analyser i vetenskapliga studier: kris, debatt, åtgärder" på Kungliga Vetenskapsakademien (KVA), Lilla Frescativägen 4A i Stockholm. Fritt inträde, och någon föranmälan krävs inte.

Tim Minchin om att skänka pengar till fattiga

Tim Minchin är underbar. Hans budskap är inte alltid särskilt originellt, men det egensinniga klarspråk med vilket han framför det är helt unikt. Här är hans kommentar till den flagranta omoral som både han, jag och i stort sett alla andra medelklassvästerlänningar dagligen gör sig skyldiga till:¹

Fotnot

1) En något mer städad formulering av det Minchin säger står att finna i moralfilosofen Peter Singers välkända allegori om den drunknande barnet. I sin utmärkta bok Det liv du kan rädda ger Singer konkreta förslag om hur vi bör leva.

Here Be Dragons: omslag och innehållsförteckning

Ha tålamod, kära läsare! Som tidigare meddelats så utkommer inte min bok Here Be Dragons: Science, Technology and the Future of Humanity förrän i januari. Redan nu finns dock ett omslag, anslaget såväl på förlaget (Oxford University Press) som på nätbokhandlar som t.ex. Amazon och Adlibris, och då vill inte jag vara sämre än att bjuda på omslaget även här:

Ganska coolt, tycker jag nog. En kritisk synpunkt jag träffat på är emellertid att det för tankarna till att boken skulle vara en science fictionroman för fjortonåringar. För att korrigera eventuell sådan villfarelse i bloggens läsekrets bjuder jag härmed även på bokens innehållsförteckning:

1. Science for good and science for bad
1.1. A horrible discovery
1.2. The ethical dilemma of hiding research findings
1.3. Some real-world examples
1.4. The need for informed research policy
1.5. A hopeless task?
1.6. Preview

2. Our planet and its biosphere
2.1. A note to the reader
2.2. Dramatic changes in past climate
2.3. Greenhouse warming
2.4. Milankovitch cycles
2.5. The role of carbon dioxide
2.6. The need for action
2.7. A geoengineering proposal: sulfur in the stratosphere
2.8. Other forms of geoengineering
2.9. No miracle solution
2.10. Searching for solutions further outside the box

3. Engineering better humans?
3.1. Human enhancement
3.2. Human dignity
3.3. The wisdom of repugnance?
3.4. Morphological freedom and the risk for arms races
3.5. Genetic engineering
3.6. Brain-machine interfaces
3.7. Longer lives
3.8. Uploading: philosophical issues
3.9. Uploading: practical issues
3.10. Cryonics

4. Computer revolution
4.1. Cantor
4.2. Turing
4.3. Computer revolution up to now
4.4. Will robots take our jobs?
4.5. Intelligence explosion
4.6. The goals of a superintelligent machine
4.7. Searle's objection

5. Going nano
5.1. 3D printing
5.2. Atomically precise manufacturing
5.3. Nanobots in our bodies
5.4. Grey goo and other dangers

6. What is science?
6.1. Bacon
6.2. Are all ravens black?
6.3. Popper
6.4. A balanced view of Popperian falsificationism
6.5. Is the study of a future intelligence explosion scientific?
6.6. Statistical significance
6.7. Decision makers need probabilities
6.8. Bayesian statistics
6.9. Is consistent Bayesianism possible?
6.10. Science and engineering

7. The fallacious Doomsday Argument
7.1. The Doomsday Argument: basic version
7.2. Why the basic version is wrong
7.3. Frequentist version
7.4. Bayesian version

8. Doomsday nevertheless?
8.1. Classifying and estimating concrete hazards: some difficulties
8.2. Risks from nature
8.3. Risks from human action
8.4. How badly in trouble are we?

9. Space colonization and the Fermi Paradox
9.1. The Fermi Paradox
9.2. The Great Filter
9.3. Colonizing the universe
9.4. Dysonian SETI
9.5. Shouting at the cosmos

10. What do we want and what should we do?
10.1. Facts and values
10.2. Discounting
10.3. Existential risk prevention as global priority?
10.4. I am not advocating Pascal's Wager
10.5. What to do?

Robotattacken mot Alexander Gristjuk

Schack och robotar: två ämnen jag ofta återkommit till här på bloggen. Idag vill jag förena dem. Låt mig först rikta en gratulation till det ryska schackgeniet Alexander Gristjuk, som igår (och för tredje gången) tog hem segern i VM i blixtschack; till det slagna fältet hör bl.a. den norske megastjärnan Magnus Carlsen. Låt mig sedan bjuda på följande lite dråpliga videosnutt från 2012, där Gristjuk ställs mot en schackrobot av märket Kuka.¹

Fotnot

1) En trolig reaktion efter att ha sett videon är måhända "Det var ju festligt, men en schackrobot kan ju inte rimligtvis bli farlig på riktigt". För den som känner sig böjd att dra den senare något förhastade slutsatsen rekommenderar jag Steve Omohundros viktiga uppsats The basic AI drives.

I diskussion med Ulf Danielsson om medvetandets natur

Stimulerade av en artikel i Forskning och Framsteg 7/2015 har Uppsalafysikern Ulf Danielsson och jag råkat i diskussion om vad utvecklingen inom artificiell intelligens kan föra med sig, och om medvetandets natur. Vi började med varsin bloggpost (min, Ulfs), fortsatte med varsitt brev publicerat i Forskning och Framsteg 8/2015, och har denna vecka följt upp med ännu en bloggpost var (min, Ulfs).¹ I sin senaste bloggpost tar Ulf spjärn mot min argumentation då han lägger fram sin syn på medvetandet, och det kan tyckas som om vi står för diametralt olika synsätt. Jag tror emellertid att vi är mer överens än vad det först kan verka. Mycket av det Ulf skriver håller jag med om, men inte allt. För att klargöra detta tänker jag i det följande ta ställning till ett antal utsagor som Ulf gör i sin bloggpost.

*

UD: Till skillnad från Olle ställer jag upp på John Searles argument kring det kinesiska rummet. Jag menar helt enkelt att det finns fundamentala svårigheter när vi försöker förstå existensen av vårt subjektiva medvetande. Nuvarande vetenskap kan inte avgöra vilka system som har en subjektiv medvetenhet och kan därför heller inte skilja mellan en medveten varelse och en simulerande zombie. Detta är en avgörande brist vilken manar till försiktighet.

OH: Här håller jag med om nästan allt (inklusive i synnerhet maningen till försiktighet med att dra alltför tvärsäkra slutsatser om medvetandets natur) - och skulle hålla med om precis allt om det inte vore för att Ulf säger sig "ställ[a] upp på John Searles argument kring det kinesiska rummet". Jag anser att det kinesiska rummet är ett elegant tankeexperiment som snyggt illustrerar att (med Ulfs ord) "det finns fundamentala svårigheter när vi försöker förstå existensen av vårt subjektiva medvetande". Problemet är bara att Searle inte nöjer sig med denna slutsats - han hävdar att tankeexperimentet vederlägger den teori om medvetandet som benämns the computational theory of mind (CTOM) - och som (på ett ungefär) säger att medvetandet uppstår så snart vissa algoritmiska beräkningar implementeras, oavsett substrat (som t.ex. kan vara ett biologiskt nervsystem eller en elektronisk dator). Här har Searle enligt min mening fel - CTOM vederläggs på intet vis av det kinesiska rummet.² Som skäl för denna ståndpunkt ansluter jag mig i stora drag till det som kommit att kallas the systems reply, och som Douglas Hofstadter vältaligt försvarar i det svar på Searles originaluppsats som han lägger fram på sidorna 373-382 i den underbara antologin The Mind's I - ett svar som även finns återgivet på nätet.³

*

UD: Trots, och i linje med, min (och Searles) argumentation kan det ju i princip vara möjligt att bygga farliga datorer alldeles oavsett om de är medvetna eller ej. Som Olle påpekar blir ju diskussionen om deras medvetenhet tämligen akademisk om de tar över jorden och förintar oss allihop.

OH: Om mänsklighetens överlevnad är det viktiga, så är frågan om huruvida robotarna är medvetna eller blott zombier ett akademiskt sidospår - om detta är Ulf och jag överens. Ändå vill jag göra en liten reservation här, ty om vi lyfter oss från det renodlat antropocentriska perspektivet inser vi att frågan om robotarnas medvetande likväl kan vara enormt viktig - för robotarna. Antag att robotarna utrotar mänskligheten, och sedan går vidare med att kolonisera såväl solsystemet och Vintergatan som resten av det synliga universum. Om de saknar medvetande så skulle jag betrakta detta som ett gräsligt utfall - ett bortslösat universum. Om de däremot har medvetande, och om de därtill har långt större förmåga än vi människor att uppleva t.ex. skönhet, kärlek eller allmänt välbefinnande (eller vilka andra goda upplevelser som vi kanske inte ens har namn på eller kan föreställa oss), då kan man hävda att en sådan framtid faktiskt vore bättre än en där mänskligheten blomstrar. (Jag måste dock medge att jag tvekar en smula inför denna slutsats; se även min bloggpost Superintelligence odds and ends II: The Milky Way preserve för besläktade tankegångar.)

*

UD: Biologiska varelser är enormt mycket mer komplicerade än de maskiner som vi i praktiken kan konstruera och sätta ihop. När vi beskriver biologiska organismer använder vi vilseledande metaforer som antyder pedagogiskt konstruerade maskiner vilka inte på något sätt fångar kraften i miljarder år av evolution. Konsekvensen blir att vi på ett fundamentalt sätt underskattar svårigheterna - detta oavsett vad vi har för uppfattning om medvetandets roll.

OH: Den fråga som Ulf här diskuterar - den om huruvida det står i vår makt att bygga verkligt intelligenta maskiner - måste rimligtvis anses vidöppen. Det kan hända att Ulf har rätt på denna punkt, men det kan också hända att han har fel, ty visserligen är det sant att evolutionen tog eoner på sig att skapa intelligens, men det bevisar inte att det inte finns smarta genvägar för oss att tillgripa. Personligen lutar jag åt att byggandet av sådana maskiner ligger inom möjligheternas ram. Så här skrev jag om saken i en annan bloggpost för ett par månader sedan:

If we accept both naturalism and the Church-Turing thesis, then it is natural to think that intelligence is essentially an algorithmic property, so that if there exist superhumanly intelligent arrangements of matter, then there are computer programs that implement such intelligence. A nice framework for philosophizing over whether we could ever produce such a program is computer scientist Thore Husfeldt's recent image of the Library of Turing. Husfeldt used it to show that blind search in that library would no more be able to find the desired program than a group of monkeys with typewriters would be able to produce Hamlet. But might we be able to do it by methods more sophisticated then blind search? That is an open question, but I am leaning towards thinking that we can. Nature used Darwinian evolution to succed at the Herculean task of navigating the Library of Mendel to find genomes corresponding to advanced organisms such as us, and we ourselves used intelligent design for navigating the library of Babel to find such masterpieces as Hamlet and Reasons and Persons (plus The Da Vinci Code and a whole lot of other junk). And now, for searching the the Library of Turing in the hope of finding a superintelligent program, we have the luxury of being able to combine Darwinian evolution with intelligent design (on top of which we have the possibility of looking into our own brains and using them as a template or at least an inspiration for engineering solutions). To suggest that a successful such search is within grasp of future human technology seems a priori no more extraordinary than to suggest that it isn't, but one of these suggestions is true, so they cannot both be dismissed as extraordinary.

*

UD: Min slutsats blir att de datorer eller robotar som vi konstruerar inom en överblickbar framtid inte kommer ha några större likheter med medvetna hjärnor. Metaforer som går ut på att de är "medvetna" och agerar med "avsikt" i någon mänsklig mening riskerar därför att vara direkt missvisande när man skall undvika eller hantera eventuella farliga situationer.

OH: Åter vill jag förespråka epistemisk ödmjukhet. Det kan hända att vi skapar intelligenta maskiner om vilka det är vore ett fatalt misstag att tala om medvetande eller avsikter, men vi bör också vara öppna för eventualiteten att vi skapar intelligenta maskiner vilkas agerande vi får svårt att förstå utan dessa eller liknande begrepp.⁴ Inte minst gäller detta begreppet avsikter, och det finns faktiskt redan idag maskiner som - trots att de är mycket olika oss människor - vi inte klarar att handskas med utan att tillskriva dem avsikter. När jag spelar schack mot ett datorprogram hamnar jag ständigt i tankegångar där jag gör det - "Aha, maskinen spelar Tc8, det är nog med avsikten att kunna slå tillbaka med tornet ifall jag slår med löparen på c6, varvid den nog bedömer att kontrollen över c-linjen uppväger svagheten på e5" - och jag vågar påstå att den sortens antropomorfa avsiktstillskrivningar är helt oundgängliga om jag skall ha en chans att vinna partiet.

Fotnoter

1) Just som jag skall trycka på "publicera"-knappen för denna bloggpost blir jag varse att även den uppskattade bloggrannen Bo Sjögren nu har lagt sig i diskussionen med ett välargumenterat inlägg, vars inledande stycke lyder...

Under gårdagen blev den läsvärda delen av bloggosfären översvämmad av kommentarer om John Searles berömda kinesiska rum; Olle Häggström förklarade kortfattat varför Searle har fel, och Ulf Danielsson förklarade nästan lika kortfattat varför Searle har rätt. Eftersom jag tror att båda två har fel - jag anser nämligen att Searle har både rätt och fel - så tänkte jag kasta mig in i debatten för att om möjligt komplicera saken ytterligare

...och omedelbart följs av en fotnot med följande gemytliga ordalydelse:

Man kan ju naturligtvis i stället hävda att både Häggström och Danielsson har rätt, men frestelsen att försöka golva tre välrenommerade och välpublicerade professorer med en smäll blev för stark; ett sådant påstående är dessutom föga i samklang med det konfrontativa debattklimat som tycks råda i media för ögonblicket.

2) Härmed är inte sagt att CTOM är korrekt - det håller jag för att vara en öppen fråga. Däremot anser jag att CTOM är den rimligaste teori (om än en ofullständig sådan) vi idag har om medvetandets natur och plats i ett materiellt universum.

3) I Avsnitt 3.8, rubricerat Uploading: philosophical issues, i min bok Here Be Dragons: Science, Technology and the Future of Humanity som utkommer i januari, fördjupar jag mig i CTOM, i det kinesiska rummet och i the systems reply.

4) Att jag själv i högsta grad tar den eventualiteten på allvar framgår av att Avsnitt 4.6 i Here Be Dragons bär rubriken The goals of a superintelligent machine.

Edit 18 oktober 2015: I sin nya välskrivna och stillsamt reflekterande bloggpost Demokritos fattar galoppen fortsätter Ulf diskussionen. Mot slutet skriver han:

Fällan det är lätt att gå i utgörs av att man trivialiserar frågan [om medvetandet och dess plats i ett materiellt universum] och återigen hänvisar till emergens och något ickemateriellt eller ickefysiskaliskt. Min bestämda uppfattning är att detta inte duger. Har man gett sig in i leken får man leken tåla. Om man betraktar medvetandet som något som det är möjligt att foga in i en naturvetenskaplig beskrivning måste det också vara något fysiskt.

En rimlig ståndpunkt. Jag är med på den, åtminstone om vi öppnar för att begreppet "fysiskt" kan tänkas inkludera ännu ej kända naturkrafter. Men jag vill här ställa en fråga till Ulf:

En kandidat till detta "något fysiskt" som medvetandet skulle kunna utgöra är fysisk realisering av rätt slags algoritmiska beräkningsstrukturer. Detta är vad CTOM går ut på. Anser du att denna kandidat på något vis är diskvalificerad från vad du menar med "något fysiskt"? Jag ställer denna fråga därför att dina tidigare bloggposter ger intryck av (och rätta mig gärna om jag har fel!) att du avvisar CTOM.

Edit 28 oktober 2015: Ulf har nu besvarat min fråga om CTOM, och jag har replikerat ännu en gång.

John Searle tänker fel rörande AI-risk

Forskning och Framsteg hade i nummer 7/2015 en artikel om artificiell intelligens (AI), som bland mycket annat återgav en enligt min mening förfelad argumentation av John Searle. Detta framhöll jag i ett inlägg här på bloggen, men avstod från att förklara detaljerna, för att istället ge en framåthänvisning till min kommande bok Here Be Dragons (Oxford University Press, januari 2016) i vilken det searleska resonemanget vederläggs utan prut eller pardon. När redaktionen för Forskning och Framsteg fick se detta hörde de av sig med inbjudan om att i en kort replik förklara vad jag menar. Jag försökte skriva så kort jag kunde utan att tumma alltför mycket på vare sig begriplighet eller min önskan att göra reklam för min bok, vilket inte var lätt. Repliken kortades ned en del ytterligare inför publiceringen i det nya nummer 8/2015 av Forskning och Framsteg, vilket gör att den publicerade versionen balanserar på (eller bortom) det begripligas gräns.¹ Nedan min ursprungliga lite längre version. För närmare förklaring hänvisar jag som sagt till Here Be Dragons.

* * *

"Möt forskarna som menar att maskinerna aldrig kan bli så smarta som vi" heter det på omslaget till FoF 7/2015, och i den åsyftade artikeln får vi bl.a. möta filosofen John Searle, som med stöd i sitt kända tankeexperiment det kinesiska rummet från 1980 hävdar att en dator inte kan ha verkligt medvetande, verkliga intentioner eller verklig vilja. Därför, menar han, behöver vi inte oroa oss för det slags undergångsscenarier som Nick Bostrom skisserat, där den första superintelligenta maskinen programmerats att ha en specifik målsättning, t.ex. maximering av framtida gemproduktion, vilket får den att bestämma sig för att genast utrota mänskligheten, då den ju helt korrekt förutsett att vi annars skulle försöka stoppa dess planer på att omvandla hela solsystemet (inklusive oss människor) till en jättelik hög med gem.

Searle, som lade fram samma kritik i New York Review of Books förra året, misstar sig dessvärre på vad hans kinesiska rummet-argument landade i. Man kan ha invändningar mot kinesiska rummet (vilket jag har) men om vi för resonemangets skull accepterar dess slutsatser, så handlar dessa enbart om datorns inre upplevelser (vilka enligt Searle är noll och intet), och inte om dess agerande utåt. Searle medgav själv i den debatt som följde på hans ursprungliga artikel 1980 att vad hans argument anbelangar är det fullt tänkbart att det går att programmera en dator så att den beter sig som om den hade en människas fulla uppsättning av intentioner, viljor, önskningar, etc. Mot dessa skenbara intentioner, viljor och önskningar svarar då vissa beräkningsstrukturer som vi kan kalla z-intentioner, z-viljor och z-önskningar ("z" som i "zombie"). Vi kan tänka oss att när Bostroms gem-undergång drar igång med robotar som urskiljningslöst avrättar människor så kommer panik att utbryta, men då kommer Searle att stå där och ropa "Lugn allesammans! Robotarna skjuter oss, men det är inte för att de har några verkliga intentioner att göra det. De är själlösa maskiner som blott har z-intentioner!" Detta kommer för oss andra att vara en ganska klen tröst.

I min bok Here Be Dragons: Science, Technology and the Future of Humanity, som utkommer på Oxford University Press i januari, ägnar jag flera längre avsnitt åt risker i samband med ett eventuellt framtida genombrott inom artificiell intelligens, inklusive en fördjupande diskussion kring datormedvetande, det kinesiska rummet, och de förhastade slutsatser som John Searle drar i detta sammanhang.

Fotnot

1) Min förkortade replik i Forskning och Framsteg publicerades tillsammans med en av fysikern Ulf Danielsson, där han (precis som någon månad tidigare i sin bloggpost Dum, dummare, robot) redovisar en ståndpunkt motsatt min och mer i linje med Searles.

Edit 12 oktober 2015 kl 18:00: Blott timmar efter denna bloggpost har Ulf skrivit ett svar, där han zoomar in på vad han menar är vår grundläggande meningsskiljaktighet i fråga om medvetandets natur. Våra respektive positioner förtjänar nog att preciseras ytterligare, och i själva verket tror jag att det finns mer som förenar oss än som skiljer oss åt i denna fråga. Jag borde (trots att jag har det aningen körigt just nu) försöka samla mig till ett svar där jag lite närmare klargör vad jag menar.

Edit 14 oktober 2015: Nu har jag levererat det halvt utlovade svaret.

Stefan Svallfors' love letter - now in English!

Last year this blog featured a text by one of the foremost social scientists in Sweden today, Stefan Svallfors. The text takes the form of a "fictional" love letter to a university. He has now translated his letter into English, and offered to publish it here. Enjoy!

* * *

Dearest University - a love letter

Stefan Svallfors

(This is a completely fictional love letter from a completely fictional researcher to a completely fictional university. Any similarities with actually existing researchers and universities are unintended, even unavoidable.)

Dearest sweetest University,

We have to talk. Things haven’t been so good lately. It feels like you’re suffocating me and like we’re constantly frustrated with each other. Or maybe that we don’t trust each other.

When I think about it, it has been a long time since it felt really good. And yet we had something special, you and I. How did it happen, where did it disappear? When did we get on that downhill slope?

Oh I remember the first time, when I fell in love with you. Intoxication, and yet the feeling of deepest importance, of coherence. The feeling of coming home, finding what I had always searched for. You made me understand how it all fit together. And I was among equals, others who were like me. For the first time in my life included, supported.

The crystal sharpness of the late autumn air, when I stepped out from the library and darkness had already fallen, the feeling of clarity and space. Of meaning and belonging. How I loved you then.

But the mature love was in some ways even better. When we got to know each other, when I thought I saw exactly who you were – in all your shortcomings and failings as we all have – but still only loved you more. You were a little tedious from time to time, and had that need for control – as if you didn’t really trust my love for you. But you let me grow and I gave you all I had. We had a wonderful life together. I learned how to say “we” and mean “you and I”, and for me such things have never come easily.

When somebody asked me if perhaps they should try to hook up with a University I always said: of course. If this is who you are and what you want there is no better place in this world. Of course you should try. These days I’m not so sure how to answer. “Perhaps”, I would start in a lingering voice. If you think you can arrange things in thus and such a way. If you think you can stand this, and this. If not, go elsewhere. Search for someone else.

Surely I should have seen it coming. That nagging suspicion you had that I wasn’t doing everything I should. Although I gave you everything, more than anyone could have expected. I sometimes looked with amusement at the others, those who seemed to have a much cooler and shallower relationship to their University, as if they were just any employee with just any employer. But to me you were The University, and I wanted only you. But it was as if you didn’t really believe me, as if you always had to test how much I really cared. And nothing I did seemed to matter. All the millions in research grants I brought home, all the publications in my name and yours. Oh yes, you smiled and took it, but it was as if nothing was ever good enough.

I have to be frank. It isn’t me, it’s you.

I think a lot of it happened the way it did because you were after all a Public Authority. And a Public Authority is supposed to act in a certain way, which didn’t fit with who you really were. A Public Authority is supposed to keep a stiff upper lip, steer people, wait for and issue orders, force its will through. And every time you tried to be a Public Authority I distanced myself, didn’t do what you wanted, became troublesome and sarcastic. And you were hurt. But it was only because I wanted you to be all the beautiful things you could be that I became so difficult. I meant no harm.

It always became worse when you had been with the other Public Authorities. Those who thought they were real Public Authorities, while you didn’t really pass in their eyes. Bullies like the Government Offices and the National Audit Office, who made fun of you because you didn’t really know what your researchers were up to, and because we so often ignored your attempts to steer us. “But I stand for other values”, you tried, but it had a hollow ring to it and I could tell their sneers really got to you. Every time you came back from the other Public Authorities we had a fight. You wanted to boss me around more, as if to show the world that you were a real Public Authority. And I started to avoid you, became mean, chose new paths so that I didn’t have to see you so often. We yelled at each other, slammed doors, sulked, found our way back to each other. But every time it was as if something died in me.

And then it became even worse, when you began to listen to those self-styled relationship experts, the ones who called themselves “New Public Management”. I mean, didn’t you see their name as a warning sign? But they promised our lives together would be so much better if we only listened to their advice. I would have a better idea about what I was really supposed to do, and you would have a better sense of control over what I was really doing. Then we would evaluate it all and everything should be sooo good.

But of course it only became worse. I felt more and more frustrated and suffocated and you felt more and more suspicious with every report I sent. In the end it all became self-fulfilling: I started to go behind your back, make up things I hadn’t really done, keeping to myself, doing my own thing. After a while I almost never felt bad about it, or maybe just a little.

And I started to feel – and I cry a little when I write this – that you were ugly and disgusting. That everything that had attracted me in the beginning had disappeared. Even if I knew it was still there, deepest down, only hidden under all the “visionary documents” and “policies” and “development plans”. But the nasty truth was that you had begun to sicken me, you and all the jerks who just made life miserable for us. And since I had never really stopped loving you – as strange as it may sound – I was almost torn apart. We could have been so much for each other and now we are almost nothing.

Perhaps I should leave you. But it hurts too much to even think about it. Maybe I’m just scared – what I do with you is the only thing I can do. How could I live without you? And I know I have so much to give you, if you could just accept it.

But we can’t live like this anymore. We have to find some other way to be together. Where we can once again view each other with love and respect. Where we are not so suspicious any more. Where you can relax a little, and I can stop my constant sarcasms. I really want to try. Do you?

You will find me in the library café this afternoon, between three and four. Come by if you want to talk. But come only if you really think we can start all over. I can’t handle any more disappointments.

Tvärvetenskap och bredd är bra!

Förra veckans nummer av Nature bjöd på ett underbart omslag, med lagom mycket glorifiering av forskarrollen och samtidigt en betoning av vikten av vad som numera kallas interdisciplinär forskning (förr sa vi tvärvetenskap, och jag har någon gång stött på försök till distinktion mellan de båda begreppen, men jag är inte övertygad om att någon sådan behöver göras).

Det handlar alltså om ett temanummer om interdisciplinär forskning, och i numrets ledartext betonas att framgångsrika sådana projekt behöver vara djupt integrerade, och att det alltså inte duger att var och en av superhjältarna på omslaget utövar sin egen superkraft utan att bry sig om vad de andra gör: det handlar inte om "a collection of people tackling a problem using their specific skills" utan om "a synthesis of different approaches into something unique".

Jag instämmer, och noterar att saken är inte minst viktig då det handlar om samarbeten mellan statistiker och forskare från andra ämnen. Det kan ibland vara frestande för de senare att tänka på den statistiska delen av arbetet som en beräkning som kan isoleras från det övriga arbetet, men kompetenta statistiker, såsom Richard Gill, har förstånd att insistera på att så inte är fallet:

Real world problems are often brought to a statistician because the person with the question, for some reason or other, thinks the statistician must be able to help them. The client has often already left out some complicating factors, or made some simplifications, which he thinks that the statistician doesn’t need to know. The first job of the consulting statistician is to find out what the real question is with which the client is struggling, which may often be very different from the imaginary statistical problem that the client thinks he has. The first job of the statistical consultant is to undo the pre-processing of the question which his client has done for him.

För att lyckas som forskare och exempelvis få till en doktorsavhandling, så behöver man våga ta steget att fördjupa sig tillräckligt i ett problem för att kunna säga något om det som ingen annan tidigare gjort, så på så vis krävs kraftig specialisering. Många forskare har ett kynne som bjuder dem att sedan stanna inom sin snäva specialisering och fortsätta borra där de står, medan många andra (inklusive jag själv) till slut känner ett behov av att höja blicken och se sig om efter andra utmaningar längre bort. Jag tror att båda sorterna behövs. Epidemiologen Emma Frans beskriver skillnaden fint i sitt senaste bidrag till Curie-bloggen:

Förra året föreläste jag på en gymnasieskola tillsammans med en hjärnforskare. Naturligvis fick vi frågan om varför vi blivit forskare och som vanligt hade jag inget bra svar. Men hjärnforskaren hade det. Hon berättade att hon drevs av en vilja att bli bäst på något. Detta är en helt rimlig drivkraft för en forskare. Att specialisera sig som forskare innebär att man kan bli den person i världen som är främst inom ett specifikt område. Och ju smalare ett område är desto större är sannolikheten att man blir världsbäst inom det.

Jag har dock insett att min drivkraft inte alls handlar om att bli världsbäst inom ett smalt område. Jag drivs av en vilja att ha hyfsad koll på ganska mycket och det är nog därför epidemiologi passar mig. Som epidemiolog är jag inte expert på ett särskilt organ eller en särskild sjukdom. Däremot är jag expert på kvantitativ metod inom medicin, kunskaper som jag kan applicera inom en mängd områden.

Både epidemiologi och statistik är metodcentrerade ämnen som ger deras utövare ypperliga möjligheter till interdisciplinära samarbeten åt många olika håll (en flexibilitet som faktiskt en gång i tiden var ett av mina skäl för att satsa på forskarstudier i just matematisk statistik), vilket i sin tur ger möjlighet att befatta sig med något av de många viktiga forskningsproblem som inte låter sig passas in i en enda väl avgränsad akademisk disciplin. Jag har på senare år kraftigt prioriterat bredd framför borra-där-du-står, något jag driver extra långt i min kommande bok Here Be Dragons: Science, Technology and the Future of Humanity (Oxford University Press, januari 2016), ur vars förord jag saxar följande stycke, med fotnot och allt:

I am a professor of mathematical statistics, and the reader will notice that, apart from a few sections in Chapters 6 and 7, I treat mostly topics that lie distinctly outside my professional area of expertise. To do so may seem immodest and reckless, but I have two things to say in my defense. First, I have tried very hard to respect the expertise of those who know more than I do about a particular topic.¹ Second, the subject of the book is so multifaceted and crossdisciplinary that anyone who takes it on will find themselves to be a nonexpert on most parts of it; yet, this is a book that needs to be written, so someone needs to write it, and it might as well be me.

1) There is an obvious tension between this statement and passages such as [my] treatment [in Sections 3.8 and 4.7] of philosophical arguments by renowned philosopher John Searle. What can I say? One has to strike a balance. When someone is wrong, they're wrong, but I have refrained from delivering such verdicts without first having seriously entertained the possibility that they're right.

Kuf, jag? Knappast!

Jag är inte fullt så kufisk som en del läsare måhända riskerar att förledas tro av mina ämnesval här på bloggen. Tvärtom är jag en ytterst normal person. Ingen Sheldon Cooper här inte! Jag skulle kunna anföra i princip hur många indicier som helst för min normalitet, men nöjer mig med följande fem:

1. Jag har läst fler böcker av Leif GW Persson än av Daniel Dennett och Nick Bostrom tillsammans.

2. Jag gillar att dela en flaska rött med kärestan på fredagkvällen.

3. Trots att jag utan vidare skulle ha råd så har jag inte tecknat någon kryonik-livförsäkring.

4.Jag ser ofta på fotboll. Vanligtvis på TV, men någon gång emellanåt IRL på Borås Arena eller Gamla Ullevi (samt en gång för snart 20 år sedan på Ajax hemmaarena, vars namn jag inte minns, men vars läktare var höljda i en sötaktig dimma som jag fick förklarat för mig härrörde från cannabisrökning).

OK, jag sa fem, och det där är bara fyra, men jag kommer i hastigheten inte på någon femte punkt. Det spelar dock inte någon roll, ty ni ser alla vartåt det lutar: att jag är något av ett normalitetens flaggskepp, stadigt förankrad i den gaussiska normalfördelningskurvans allra tjockaste del.

Ett påpekande om källkritik

Riksdagsmannen Jan Lindholm (mp) skickade i veckan ut ett ebrev rubricerat "För allas kännedom om maktspelet bakom GMO" till samtliga övriga riksdagsledamöter, för att uppmärksamma dem på en enligt honom "intressant" artikel om genmodifierade livsmedel och påstådd "akademisk korruption" i kontakterna mellan livsmedelsindustri och forskarvärld. För detta har han fått kritik, bl.a. från sin riksdagskollega Fredrik Malm (fp); Aftonbladet rapporterar idag om saken. Kritiken fokuserar på att artikeln Lindholm slår ett slag för återfinns på sajten Newsvoice, som uppges vara notoriskt opålitlig och torgföra knasteorier som (och nu citerar jag Aftonbladet-artikeln) "att USA ligger bakom IS samt att salt och vatten kan bota cancer". Jag instämmer i denna beskrivning av Newsvoice. Den hör, jämte klimatförnekarbloggar som Anthropocene och den som tidigare hette The Climate Scam men som numera bär det orwellskt klingande namnet Klimatupplysningen, till det stolligaste i desinformations- och antivetenskapsväg som jag känner till i Sverige.^1,2

Lindholm slår ifrån sig kritiken om sajtens bristande trovärdighet, och säger så här till Aftonbladet: "Det tycker jag är ganska irrelevant i sammanhanget. Jag har ingen uppfattning om nyhetssidan som sådan utan tyckte artikeln var intressant."

Det kan i förstone vara frestande att hålla med Lindholm om att man bör låta artikelns innehåll tala för sig självt, utan att snegla på vem som står som avsändare; vi vill ju inte begå det så kallade genetiska felslutet, som Wikipedia beskriver som att låta "trovärdigheten hos en tes avgöras av vem/vilka som argumenterar för eller mot tesen" vilket de dömer ut "irrelevant". Det här gäller dock bara i idealfallet då man själv besitter tillräcklig expertis för att själv på ett tillförlitligt sätt kunna ta ställning till artikelns innehåll. I annat fall kan avsändarens identitet ge viktiga ledtrådar, och det kan vara relevant att ta reda på om denne själv är expert och/eller har uppvisat trovärdighet i övriga utspel och publikationer. Och

ju mindre man själv kan om ämnet desto viktigare blir detta slags trovärdighetsbedömning,

något som Lindholm gärna bör betänka då han säger till Aftonbladet att han "inte själv sysslar med GMO-frågan".

I särskilt uppenbara fall, som Newsvoice, blir trovärdighetsbedömningen relativt enkel att göra, men ofta är den avsevärt svårare. Jag ger lite vägledning i denna kniviga problematik i min text Vem kan man lita på, publicerad i en Formas-antologi 2009, samt i bloggposten Den oundgängliga trovärdighetsbedömningen på Uppsalainitiativet 2011.

Fotnoter

1) Newsvoice är kanske inte överlag stolligare än de andra två, men man kan likväl hävda att den bräcker dem i kraft av den större bredden i ämnesval. Jag rekommenderar Faktoiders snabba svep över de allsköns konspirationsteorier och annan dårskap som torgförs på Newsvoice.

2) Saken förvärras (för Lindholms del) av att han inte bara hänvisar till Newsvoice - det verkar också som att han själv ställer upp som gästskribent på samma dårsajt (förutsatt att inte Newsvoice-redaktören stulit texten någon annan stans ifrån eller rentav förfalskat den, något som jag dock inte ser några tecken på).