Om kärnvapen

Kärnvapenhotet tog inte slut med det kalla kriget. Inte heller vore det riktigt att säga att hotet efter en längre paus de senaste åren kommit tillbaka i och med envåldshärskaren Vladimir Putins höjda geopolitiska ambitioner. Hotet har varit med oss hela tiden, och det finns all anledning att ta det på fortsatt allvar. Ingen förklarar saken bättre än (den här på bloggen välkände) fysikern Max Tegmark, här i en kort-kort intervju på Henry Reichs YouTube-kanal MinutePhysics:

My visit yesterday at the European Parliament in Brussels

Yesterday I was in Brussels to take part in a hearing at the European Parliament, organized by their Committee on Legal Affairs, on the topic of Legal and ethical aspects of robotics and artificial intelligence. An official

video recording of the event

is now available. The hearing (which in my humble opinion was overall very interesting) begins around 54:30 into the recording. My prepared statement on the long term risks of artificial intelligence runs from about 2:12:00 to 2:27:00. Immediately after that, Niel Bowerman from the Future of Humanity Institute in Oxford made his statement addressing similar questions, which was followed at about 2:43:40 by a Q-and-A session at which I picked up on a few of the questions.

The hearing was in the morning. After lunch I was given the opportunity to give a seminar on Science, Technology, and the Future of Humanity (based on my recent book Here Be Dragons) organized by the European Parliament political group known as The Greens/European Free Alliance. In contrast to the hearing, the seminar was not documented, other than by the poster announcement and the following photograph of me together with MEP Max Andersson who hosted the event.

Kropp, själ och det naturliga

För en stund sedan gick det att höra mig såga begreppet "naturligt" i P1-programmet Kropp & Själ (och som tack för det hjälpte programledaren Ulrika Hjalmarson Neideman till att lyfta fram min bok Here Be Dragons). Inspelningen skedde i Göteborg i torsdags, i samband med Vetenskapsfestivalen. Från programmets hemsida:

I hälsosammanhang hänvisar man ofta till vårt ursprung på savannen och menar att det är onaturligt för oss att äta en viss sorts mat, titta på skärmar, sitta på kontorsstolar eller ha femhundra Facebookvänner. Samtidigt är människans största tillgång förmågan till anpassning. Och inom den virtuella världen, som får allt större betydelse för oss, är man fri att strunta i alla naturlagar.

"Jag tror att vi begränsar oss om vi tänker för mycket på vad som är naturligt eller inte naturligt för oss människor", det säger Olle Häggström, professor på Chalmers och framtidsteknikspanare.

Ni som missade programmet kan höra det i repris natten till torsdag kl 02:02, eller på lördag klockan 14:03. Eller via webben såklart. Samtalet jag är med i börjar knappt 28 minuter in i programmet.

Wästlund om Newcombs paradox

Denna bloggpost är en uppföljare till mitt ett par veckor gamla inlägg Aaronson om Newcombs paradox, till vilket jag nu tillåter mig hänvisa för en sammanfattning av paradoxen. Med det inlägget lyckades jag uppmärksamma vännen och kollegan Johan Wästlund på Scott Aaronsons förslag till lösning, samt trigga honom att fundera vidare kring problemet; jag betraktar detta som inläggets överlägset viktigaste konsekvens så här långt (och vem vet, kanske det rentav visar sig vara det viktigaste inflytande min blogg haft överhuvudtaget... den som lever får se). För var och en som intresserar sig för Newcombs paradox och de filosofiska frågor denna ansluter till vill jag varmt rekommendera läsning av Johans nedteckning av sina funderingar, och nu syftar jag inte på hans initiala reaktion (som visserligen är väldigt rolig, men som istället för att på allvar ta sig an paradoxen snabbt spinner iväg i en diskussion om grammatik och genus), utan på hans andra bloggpost i ämnet, där han fördjupar sig i paradoxen och kopplar den till idén om självmedvetna datorprogram och en kanske ännu svårare paradox som sådana datorprogram verkar ge upphov till, via en variant av Turings halting problem. Jag kan här omöjligt göra rättvisa åt Johans bloggpost, men jag kan i alla fall klippa ut några små smakprov. Här är hans egen telegrafiska sammanfattning av vad bloggposten går ut på:

In this post I argue that the Newcomb experiment is not only feasible, but might very well be significant to the design of intelligent autonomous robots [...]. Finally, as requested by some readers of my previous post, I will reveal my own Newcombian orientation.

(Orden "some readers" syftar här, om jag förstått saken rätt, åtminstone delvis på mig.)

Beträffande Aaronsons förslag till hur Newcombs paradox kan lösas upp, kallar Johan detta "a very neat argument", men hans djupdykning i begreppet kausalitet leder honom till att avvisa förslaget:

Although I like this argument, I don't think it holds.

Jag hoppar här över den argumentation som leder Johan till denna ståndpunkt (men se hans bloggpost!), och nöjer mig med att konstatera att den är såpass bestickande att jag eventuellt tvingas ändra ståndpunkt igen rörande Newcombs paradox; jag har inte bestämt mig ännu. Istället vill jag citera hans sammanfattning av den patologiska situation för intelligenta och självmedvetna datorprogram som han kommer fram till - i hopp om att trigga läsaren att ta del av hur han når dessa slutsatser:

The strange moral here is that once the program becomes aware of its own correctness (the fact that it never concludes that a program is safe if it isn't), it becomes incorrect! Also notice that we have no reason to think that the AI would be unable to follow this argument. It is not only aware of its own correctness, but also aware of the fact that if it thinks it is correct, it isn't. So an equally conceivable scenario is that it ends up in complete doubt of its abilities, and answers that it can't know anything.

The Newcomb problem seems to be just one of several ways in which a self-aware computer program can end up in a logical meltdown. Faced with the two boxes, it knows that taking both gives more than taking one, and at the same time that taking one box gives $1,000,000 and taking both gives $1000.

It might even end up taking none of the boxes: It shouldn't take the small one because that bungles a million dollars. And taking only the large one will give you a thousand dollars less than taking both, which gives you $1000. Ergo, there is no way of getting any money!?

The last paragraph illustrates the danger with erroneous conclusions. They diffuse through the system. You can't have a little contradiction in an AI capable of reasoning. If you believe that 0=1, you will also believe that you are the pope (how many popes are identical to you?).

Fler reaktioner på Here Be Dragons

Det fortsätter att dyka upp reaktioner på och recensioner av min bok Here Be Dragons: Science, Technology and the Future of Humanity. Efter mitt förra uppsamlingsheat den 26 januari, rubricerat Reaktioner på Here Be Dragons, och en separat bloggpost den 9 mars där jag flaggar för Helena Granströms understreckare i SvD, är det nu åter dags att samla upp ett antal länkar till olika reaktioner:

• Vetenskapsjournalisten, fysikern och science fiction-entusiasten Anna Davour har skrivit två separata bloggposter, den ena (15 februari) med en recension av min bok, och den andra (21 februari) med reaktioner på det seminarium i Stockholm den 15 februari som tog boken som utgångspunkt. I synnerhet i den senare levererar hon en del intressanta reflektioner, bland annat om värdet av science fiction för den som vill resonera om framtiden.

• Hittills verkar de flesta recensenter faktiskt ha läst boken, men ett undantag är Kenneth Leverbeck på webbtidskriften ForskarVärlden den 19 februari. Jag antar att jag egentligen borde nöja mig med att all uppmärksamhet är bra uppmärksamhet och inte säga mer om saken, men kan inte motstå impulsen att kritisera Leverbecks arbetsmetod. Han har uppenbarligen tänkt sig att han genom att surfa runt en smula och leta efter relaterat material kan ge ett fullgott intryck av att ha läst boken, men metoden misslyckas på ett par punkter. Dels ger han (genom att lite på måfå ha klippt in några textsnuttar från annonseringen av mitt KVA-föredrag i december förra året) det felaktiga intrycket att jag hävdar en koppling mellan bristande statistiska analyser och uppkomst av farliga teknologier, dels hävdar han felaktigt att min bok beskriver ett scenario som utspelar sig "år 2056 då forskare har skapat den första datorn med över­mänsklig intelli­gens" (detta 2056-scenario finns inte i min bok, men väl i Jonathon Keats recension av densamma i New Scientist).

• I en text daterad 9 mars i det nystartade nyhetsmagasinet Syre recenserar Martin Smedjeback boken i uppskattande ordalag, och instämmer i att vi står inför ofantliga katastrofrisker. Dock menar han att jag är alltför återhållsam med förslag på vad vi kan göra här och nu. Specifikt menar han att vi bör...
  ...skjuta över resurser från forskning på vapenteknologi till civilt bruk. Att öka insyn och reglering av all teknologisk och biologisk forskning för att säkerställa att den inte innebär stora risker är också viktiga steg. Att låta företag, regeringar och militär fortsätta med business as usual vore att spela rysk roulett med vår gemensamma framtid.
  I detta kan jag såklart bara instämma.

• Bloggaren Emil Karlsson diskuterar de två första kapitlen av Here Be Dragons i en bloggpost daterad 10 mars. Att döma av formuleringar som "Part I" (i bloggpostens underrubrik) och "In this first installment, we take a closer critical look at..." verkar avsikten vara att följa upp med en eller flera ytterligare bloggposter om bokens senare kapitel. Dock verkar det som att luften har gått ur detta projekt, vilket i så fall i mitt tycke är lika gott, för jag kan inte se att Karlsson, med sin tråkiga kombination av illvilja och långt gången Dunning-Kruger, tillför diskussionen särskilt mycket av värde.

• Filosofisk tidskrifts redaktör Lars Bergström har författat en recension av Here Be Dragons och låtit publicera den på tidskriftens hemsida (läsare av papperstidskriften får dock ge sig till tåls en smula: på grund av köbildning bland inkomna manuskript kommer det att dröja ännu en tid innan recensionen går i tryck). Bergström finner boken "välskriven och tänkvärd", vilket dock inte hindrar honom från att kritisera några av de filosofiska argument jag för fram i boken. Mestadels finner jag hans invändningar beaktansvärda, med undantag för hans försvar av John Searle så kallade kinesiska rum-argument - ett försvar som jag inte kan se fungerar alls.

Fenomenet Trump - en synpunkt från Tyskland

Som bekant pågår i USA en valrörelse inför presidentvalet i november, och det har talats en del om vem av de republikanska kandiaterna Donald Trump och Ted Cruz som är allra mest mardrömslik att tänka sig som president. På ett vis är Cruz värst, i kraft av att ha den mer reaktionära politiska agendan. Trump har emellertid något som i mina ögon är ännu mer skrämmande, ty jag vill verkligen inte se som commander in chief över världens största kärnvapenarsenal en person som ägnar sina valmöten åt hets och uppmuntran till hat och våld och som besitter en femårings emotionella och retoriska mognad och impulskontroll. I Tyskland har man sett paralleller till annat än femåringar; se gärna nedanstående briljanta musikvideo av TV-komikern Jan Böhmermann.

Edit 11 april 2016: Detta är samme Jan Böhmermann som är dagsaktuell för att tyska åklagarmyndigheter öppnat en förundersökning inför eventuellt åtal mot honom för att han gjort narr av Turkiets president Tayyip Erdogan. Det följande är lite lamt eftersom jag troligtvis inte omfattas av tysk förtalslagstiftning, men låt mig ändå i solidaritet med Böhmermann framhålla (och nu klämmer jag i med några grova förolämpningar valda lite grand på måfå) att...

...Erdogan är en nazist och en tidelagsman, med förståndsgåvor i nivå med en genomsnittlig guldhamster.

Om Erdogan skall stå vid sitt ord blir han nu tvungen att stämma mig, ty enligt uppgift har han meddelat att han visserligen välkomnar kritik, men att han avser stämma envar som förolämpar honom: "Mr Erdogan said at the start of April that he welcomed criticism but would 'file a lawsuit' against anyone who insulted him."

Drakar på Vetenskapsfestivalen

I år, liksom många gånger tidigare (se t.ex. den annonsering jag gjorde här på bloggen inför 2013, 2014 och 2015 års evenemang) kommer jag att medverka på Vetenskapsfestivalen här i Göteborg. Årets festival äger rum den 13-17 april, och de två programpunkter i vilka jag mederkar ligger på lördagen den 16:e. I praktiken kan de båda programpunkterna ses som en enda, eftersom de äger rum i samma lokal (Kjell Härnqvistsalen, Pedagogen, Hus A, Västra Hamngatan 25), ligger i tät följd tidsmässigt, och är ämnesmässigt nära relaterade:

• Lördag 16 april, 18:20-18:40: Here Be Dragons, en kort föreläsning med utgångspunkt från min bok med samma namn, och särskilt fokus på vad ett framtida genombrott inom artificiell intelligens (AI) kan tänkas komma att innebära.
• Lördag 16 april, 18:50-19:30: AI och existentiell risk. Här deltar jag i en paneldiskussion tillsammans med Thore Husfeldt och Dag Wedelin.

Båda programpunkterna är på svenska.

Om prediktion

I USA utropas varje år april månad till Mathematics Awareness Month, framför allt som ett slags paraply för en mängd olika lokala aktiviteter med det gemensamma syftet att skänka matematiken den uppmärksamhet i samhället ämnet förtjänar. Ett specifikt tema utses varje år, och i år är temat The Future of Prediction. I aprilnumret av tidskriften Notices of the American Mathematical Society ägnas en särskild avdelning åt detta tema, inklusive en text av yours truly, rubricerad Our desperate need to predict the future, där jag tar chansen att inskärpa några vetenskapsteoretiska poänger jag tidigare snuddat vid i Kapitel 6 av min bok Here Be Dragons och i min tidigare bloggpost No nonsense.¹ Så här inleder jag den aktuella texten:

In 1814, Pierre Simon de Laplace envisioned a demon who could pinpoint the exact present positions and movements of all particles and then calculate all of their future trajectories, thereby accurately predicting everything that will ever happen. He understood, however, that this task would be forever beyond mere human capabilities. Due to what we now know of as sensitive dependence on initial conditions, this brute force approach to predicting the future does not work (other than in certain limited situations with limited time horizon). Instead, we’d like to find regularities in the past and assume “by induction” that they will continue into the future. Unfortunately, there seems to be no way to defend induction - the extension of past regularities into the future - without reverting to circularity by pointing out that induction has served us well in the past and thus can be expected to do so in the future.

Nevertheless, we rely on induction to make predictions. We simply do not know any other way. Good applied mathematicians and good scientists know that the extent to which these predictions are reliable depends on how closely the state of the system we are trying to predict will remain within the envelope of what has already been observed. The further we push atmospheric CO₂ levels above those of the last several million years, the less reliably we can predict the future climate. Moore’s law - the exponential curve that fits several decades of computer hardware development so well - eventually predicts the physically impossible.

Today we face unprecedented challenges of the following kind.

Med denna cliffhanger hoppas jag övertyga läsaren om att läsa hela min text om prediktion här!

Fotnot

1) Min nya text har också beröringpunkter med förra veckans bloggpost Aaronson om Newcombs paradox, som även den behandlar ämnet prediktion. Newcombs paradox kan ju ses som en illustration av hur känslan av fri vilja tycks gå upp i rök om vi blir alltför bra på att prediktera mänskligt beteende. I sista stycket av Notices-artikeln berör jag samma fenomen, om än inte med något fullt lika skruvat exempel.

Lars Gustafsson 1936-2016

Författaren Lars Gustafsson har idag avlidit vid en ålder av 79 år, noterar jag lite sorgset. Jag minns honom främst för hans ofta mycket njutbara romaner (varav jag nog tycker allra bäst om Historien med hunden från 1993), och för en nyfiken och lagom vinpåverkad filosofisk diskussion med honom, om kausalitet och kontrafaktiska resonemangs eventuella giltighet, en sen kväll i Abisko i maj 2009.¹ Nu plockar jag fram hans Ett minnespalats: vertikala memoarer från 1994, och slår upp följande ljuvliga stycke, där jag, till följd av ett eget barndomsminne av besläktad art, helt och fullt identifierar mig med hans son Benjamin:

I bilen, på väg till förskolan [...], diskuterar vi regn. Upphettningen av sjöar och hav, särskilt då Mexikanska bukten, säger jag, leder till att massor av vatten stiger till de högre luftlagren och stannar där tills en kallfront leder till samma ångas förtätning och fall.

En rätt intressant teori, säger Benjamin, men tyvärr fel. Regn måste härröra från duscharna i de många husen. Speciellt när människor glömmer att stänga badrumsfönstren. Man ser ju att regnet ser ut precis som vatten ur duschar.

Jag argumenterar litet. Påpekar fenomenets utomordentliga utbredning, framhåller att vi sällan ser regn över trettiotusen fot där vi brukar färdas med flygplanen men däremot ibland på tjugotusen fot och hela vägen ner, där inga duschar rimligtvis kan finnas. Jag märker att jag börjar bli dogmatisk och argumenterar ungefär som en skolastiker.

Benjamin, som skall ha fyraårsdag på söndag, tycker inte om att förlora debatter, allra minst mot dogmatiker, så vi enas om en kompromiss. Regn orsakas av kallfronter som verkar på sig förtätande vattenånga, men man kan inte bortse från det stora inflytande som duschar otvivelaktigt måste ha på fenomenet. [s 110]

Fotnot

1) Tidigare på dagen hade Lars givit ett provokativt föredrag om kontrafaktiska resonemang, vilka han menade alltid är meningslösa. I ett kontrafaktiskt resonemang utgår man ju från något som är falskt, och från falskhet kan man ju logiskt sluta sig till vad man vill, något som gör alla slutsatser ointressanta. Jag köpte inte (och köper fortfarande inte) detta argument, och på kvällen rycktes jag med i vår diskussion så till den grad att jag tog till handgripligheter, i form av att ta av mig en sandal, hålla upp den framför Lars, och släppa den till golvet. "Hör här", sa jag, "om vi ger upp kontrafaktiska resonemang måste vi också ge upp kausalitet. Nog går du väl med på att sandalens fall till golvet orsakades av att jag släppte den? För att hävda en sådan kausalitet måste vi dock acceptera det kontrafaktiska antagandet att om jag inte hade släppt sandalen så hade den inte fallit."

Huruvida Lars lät sig övertygas av detta minns jag inte bestämt. Desto säkrare minns jag att diskussionen inte resulterade i någon missämja, och att samtalet avslutades i samma goda stämning som den diskussion om regn han förde med sin son Benjamin många år tidigare.