Do not obey in advance

About the recent public outcry about a 1984-style ban on the terms vulnerable, entitlement, diversity, transgender, fetus, evidence-based, and science-based at the United States Centers for Disease Control and Prevention (CDC). It turns out, according to a Slate article a couple of days ago, that the ban came not from the Trump administration, but from within. From the Slate article:

Anonymous sources at the Department of Health and Human Services told the National Review’s Yuval Levin this week that any language changes did not originate with political appointees, but instead came from career CDC officials who were strategizing how best to frame their upcoming budget request to Congress. What we’re seeing, his interviews suggest, is not a top-down effort to stamp out certain public-health initiatives, like those that aim to help the LGTBQ community, but, in fact, the opposite: a bottom-up attempt by lifers in the agency to reframe (and thus preserve) the very work they suspect may be in the greatest danger.

This does not make the case any less worrisome. It is a good example of what Timothy Snyder calls obedience in advance. The Trump administration didn't have to tell the CDC to suppress talk about diversity and transgender, because managers at the CDC are sufficiently sensitive to figure out for themselves what the politicians in Washington want. Their reasons, as explained in the Slate quote above, may be respectable, but still, obeying an authoritarian-leraning regime in advance in this way is a dangerous step. The first lesson in Snyder's important book On Tyranny: Twenty Lessons from the Twentieth Century is entitled "Do not obey in advance", and here is his three-sentence summary of that lesson:

Most of the power of authoritarianism is freely given. In times like these, individuals think ahead about what a more repressive government will want, and then offer themselves without being asked. A citizen who adapts in this way is teaching power what it can do.

Other lessons in Snyder's book with direct relevance to the CDC case are Lesson 5 ("Remember professional ethics") and Lesson 9 ("Be kind to our language").

I do not often reread books, but I've read Snyder's On Tyranny three times in 2017. My goal is to learn his lessons so well that when the time comes, my default reactions will be in line with his lessons.

(Note to my Swedish readers: Snyder's book is explicitly about present-day United States, but his lessons are important here too. We are not immune to authoritarianism. Do not let yourselves be fooled for a second into thinking that Grotesco's satirical account of the evening of our parliamentary election day in 2022 is the slightest bit implausible.)

Three papers on AI futurology

Here are links to three papers on various aspects of artificial intelligence (AI) futurology that I've finished in the past six months, arranged in order of increasing technical detail (i.e., the easiest-to-read paper first, but none of them is anywhere near the really technical math papers I've written over the years).

• O. Häggström: Remarks on artificial intelligence and rational optimism, accepted for publication in a volume dedicated to the STOA meeting of October 19.

  Introduction. The future of artificial intelligence (AI) and its impact on humanity is an important topic. It was treated in a panel discussion hosted by the EU Parliament’s STOA (Science and Technology Options Assessment) committee in Brussels on October 19, 2017. Steven Pinker served as the meeting’s main speaker, with Peter Bentley, Miles Brundage, Thomas Metzinger and myself as additional panelists; see the video at [STOA]. This essay is based on my preparations for that event, together with some reflections (partly recycled from my blog post [H17]) on what was said by other panelists at the meeting.

• O. Häggström: Aspects of mind uploading, submitted for publication.

  Abstract. Mind uploading is the hypothetical future technology of transferring human minds to computer hardware using whole-brain emulation. After a brief review of the technological prospects for mind uploading, a range of philosophical and ethical aspects of the technology are reviewed. These include questions about whether uploads will have consciousness and whether uploading will preserve personal identity, as well as what impact on society a working uploading technology is likely to have and whether these impacts are desirable. The issue of whether we ought to move forwards towards uploading technology remains as unclear as ever.

• O. Häggström: Strategies for an unfriendly oracle AI with reset button, in Artificial Intelligence Safety and Security (ed. Roman Yampolskiy), CRC Press, to appear.

  Abstract. Developing a superintelligent AI might be very dangerous if it turns out to be unfriendly, in the sense of having goals and values that are not well-aligned with human values. One well-known idea for how to handle such danger is to keep the AI boxed in and unable to influence the world outside the box other than through a narrow and carefully controlled channel, until it has been deemed safe. Here we consider the special case, proposed by Toby Ord, of an oracle AI with reset button: an AI whose only available action is to answer yes/no questions from us and which is reset after every answer. Is there a way for the AI under such circumstances to smuggle out a dangerous message that might help it escape the box or otherwise influence the world for its unfriendly purposes? Some strategies are discussed, along with possible countermeasures by human safety administrators. In principle it may be doable for the AI, but whether it can be done in practice remains unclear, and depends on subtle issues concerning how the AI can conceal that it is giving us dishonest answers.

Litet efterspel till panelen i Bryssel

Sent i lördags eftermiddag (den 9 december) ökade plötsligt trafiken hit till bloggen kraftigt. Den kom mestadels från USA, och landade till större delen på min bloggpost The AI meeting in Brussels last week från förrförra månaden, så till den grad att bloggposten inom loppet av 24 timmar klättrade från typ ingenstans till tredje plats på all-time-high-listan över denna bloggs mest lästa inlägg (slagen endast av de gamla bloggposterna Quickologisk sannolikhetskalkyl och Om statistisk signifikans, epigenetik och de norrbottniska farmödrarna). Givetvis blev jag nyfiken på vad som kunde ha orsakat denna trafikökning, och fann snabbt en Facebookupdatering av den framstående AI-forskaren Yann LeCun vid New York University. LeCun länkar till min Bryssel-bloggpost, och har ett imponerande antal Facebook-följare, vilket förklarar trafikökningen.

Precis som sin AI-forskarkollega Peter Bentley och kognitionsforskaren Steven Pinker - vilka båda deltog i Bryssel-panelen - anser LeCun att alla farhågor om en eventuell framtida AI-apokalyps är obefogade. Hans imponerande meriter som AI-forskare väcker såklart förhoppningar (hos den som läser hans Facebookuppdatering) om att han skall presentera väsentligt bättre argument för denna ståndpunkt än dem som Pinker och Bentley levererade i Bryssel - förhoppningar som dock genast kommer på skam. LeCuns retoriska huvudnummer är följande bisarra jämförelse:

[F]ear mongering now about possible Terminator scenarios is a bit like saying in the mid 19th century that the automobile will destroy humanity because, although we might someday figure out how to build internal combustion engines, we have no idea how to build brakes and safety belts, and we should be very, very worried.

Vad som gör jämförelsen bisarr är att (åtminstone 1900-talets och dagens) bilar totalt saknar de självreproducerande och rekursivt självförbättrande egenskaper som en tillräckligt intelligent framtida AI enligt många bedömare kan väntas få, vilka är grunden för de potentiellt katstrofala intelligensexplosionsscenarier som diskuteras av bland andra Yudkowsky, Bostrom och Tegmark (liksom i min egen bok Here Be Dragons). Till skillnad mot i AI-scenarierna finns inget rimligt bilscenario där vår oförmåga att bygga fungerande bromsar skulle ta kål på mänskligheten (allt som skulle hända om det inte gick att få till en fungerande bromsteknologi vore att ingen skulle vilja köra bil och att biltillverkningen upphörde). Vad som krävs för att LeCuns jämförelse skall få minsta relevans är att han påvisar att fenomenet med en rekursivt självförbättrande AI inte kan bli verklighet, men han redovisar inte tillstymmelse till sådant argument.

LeCuns Facebookuppdatering bjuder också på en direkt självmotsägelse: han hävdar dels att "we have no idea of the basic principles of a purported human-level AI", dels att...

[t]he emergence of human-level AI will not be a singular event (as in many Hollywood scenarios). It will be progressive over many many years. I'd love to believe that there is a single principle and recipe for human-level AI (it would make my research program a lot easier). But the reality is always more complicated. Even if there is a small number of simple principles, it will take decades of work to actually reduce it to practice.

Här frågar sig naturligtvis den vakne läsaren: om nu LeCun har rätt i sitt första påstående, hur i hela glödheta h-e kan han då ha den kunskap han gör anspråk på i det andra? Det kan naturligtvis hända att han har rätt i att utvecklingen kommer att gå långsamt, men hans dogmatiska tvärsäkerhet är (i avsaknad av solida argument för att backa upp ståndpunkten) direkt omdömeslös.

Vad som gör LeCuns Facebookuppdatering den 9 december ännu mer beklämmande är att dess text är kopierad från en kommentar han skrev i en annan Facebooktråd redan den 30 oktober. Uppenbarligen tyckte han, trots att han haft mer än en månad på sig att begrunda saken, att hans slagfärdigheter var av tillräckligt värde för att förtjäna ytterligare spridning.

Diverse om AI

Idag har jag samlat några korta saker om AI (artificiell intelligens):

• Igår chockades schackvärlden av DeepMinds offentliggörande av programmet AlphaZero, som utan annan schacklig förkunskap än själva reglerna tränade upp sig själv inom loppet av timmar (men stor datorkraft) att uppnå spelstyrka nog att i en match om 100 partier besegra regerande datorvärldsmästaren Stockfish 28 (som i sin tur är överlägsen alla mänskliga stormästare) med utklassningssiffrorna 64-36 (28 vinster, 72 remier och 0 förluster). Här finns tio av partierna för genomspelning, och förutom AlphaZeros fabulösa taktiska och strategiska färdigheter kan man fascineras av att den på egen hand återupptäckt en rad av våra traditionella spelöppningar (inklusive långtgående varianter i Damindiskt, Spanskt och Franskt), något som måhända kan tas som intäkt i att vi inte varit totalt ute och cyklat i vår mänskligt utvecklade spelöppningsteori.

  Att ett nytt schackprogram är bättre än de tidigare har givetvis hänt förut och är inte i sig sensationellt; paradigmskiftet består i att programmet uppnått sin spelstyrka på egen hand från scratch. Det kan hända att schacksajten chess24.com har rätt i sin spekulation att "the era of computer chess engine programming also seems to be over". Det kan också hända att jag överreagerar på grund av den nära relation till just schack jag haft i decennier (det är kanske inte ens givet att det vi fick veta igår är ett större genombrott än DeepMinds motsvarande framsteg i Go tidigare i år), men händelsen får mig att överväga en omvärdering av hur snabbt AI-utvecklingen mer allmänt går idag. Eliezer Yudkowskys uppsats There’s No Fire Alarm for Artificial General Intelligence är värd att åtminstone skänka en tanke i detta sammanhang.

• Jag hade verkligen hoppats att aldrig mer behöva höra talas om de så kallade No Free Lunch-satserna - ett knippe triviala och på det hela taget oanvändbara matematiska observationer som genom flashig paketering kunnat få ett oförtjänt gott rykte och användas som retoriskt tillhygge av kreationister. Med min uppsats Intelligent design and the NFL theorems (samt den uppföljande rapporten Uniform distribution is a model assumption) för ett årtionde sedan hoppades jag ta död på detta rykte. Och sedan dess har det faktiskt varit lite tystare kring NFL - även om det är som bäst oklart i vad mån jag har del i äran av det. Men när nu ännu en AI-debattör av det slag som inte tror på superintelligens och därmed förknippad AI-risk och som är beredd att ta till precis vilka argument som helst för denna ståndpunkt (sådana debattörer plockar jag ned då och då här på bloggen) dykt upp, så borde jag måhända inte förvånas över att denne klämmer till med NFL-satserna i sin argumentation. Trams!

• Frågan om superintelligent AI och huruvida sådan är inom räckhåll för AI-forskningen (och i så fall i vilket tidsperspektiv) är mycket svår, och även kunniga och intelligenta personers intuitioner går kraftigt isär. I ett sådant läge är jag såklart inte opåverkad av vad forskare och tänkare jag räknar som av yttersta toppklass tänker om saken även då de inte har så mycket att tillföra i sak. Därför är det av intresse att datalogen Scott Aaronson nu meddelat en justering av sin syn på superintelligens och AI-risk (händelsevis i samma bloggpost som uppmärksammade mig på det i föregående punkt omtalade NFL-tramset). Så här skriver han:
  A decade ago, it was far from obvious that known methods like deep learning and reinforcement learning, merely run with much faster computers and on much bigger datasets, would work as spectacularly well as they’ve turned out to work, on such a wide variety of problems, including beating all humans at Go without needing to be trained on any human game. But now that we know these things, I think intellectual honesty requires updating on them. And indeed, when I talk to the AI researchers whose expertise I trust the most, many, though not all, have updated in the direction of “maybe we should start worrying.” (Related: Eliezer Yudkowsky’s There’s No Fire Alarm for Artificial General Intelligence.)

  Who knows how much of the human cognitive fortress might fall to a few more orders of magnitude in processing power? I don’t—not in the sense of “I basically know but am being coy,” but really in the sense of not knowing.

  To be clear, I still think that by far the most urgent challenges facing humanity are things like: resisting Trump and the other forces of authoritarianism, slowing down and responding to climate change and ocean acidification, preventing a nuclear war, preserving what’s left of Enlightenment norms. But I no longer put AI too far behind that other stuff. If civilization manages not to destroy itself over the next century—a huge “if”—I now think it’s plausible that we’ll eventually confront questions about intelligences greater than ours: do we want to create them? Can we even prevent their creation? If they arise, can we ensure that they’ll show us more regard than we show chimps? And while I don’t know how much we can say about such questions that’s useful, without way more experience with powerful AI than we have now, I’m glad that a few people are at least trying to say things.

• Som meddelades i en tidigare bloggpost så hade Stockholm besök förra månaden av två av vår tids vassaste och kanske viktigaste filosofer: Nick Bostrom och Daniel Dennett. I samband med marknadsföringen av de svenska översättningarna av deras respektive senaste böcker hade Fri Tankes förlagschef Christer Sturmark lyckat få till stånd ett seminarium med dem båda, under rubriken Medvetandets mysterium och tänkande maskiner. Jag var där, tillsammans med cirka 800 andra (en fantastisk siffra för ett filosofiseminarium!), och mina förväntningar var ganska höga. Framför allt hoppades jag att Dennett äntligen skulle pressas att ge solida argument för den ståndpunkt han ofta ventilerat men sällan eller aldrig motiverat: att det slags AI-risk (förknippad med uppkomsten av superintelligens) som Bostrom behandlar i sin bok inte är något att bry sig om.

  Så hur gick det? Vad tyckte jag om seminariet? Gav Dennett det slags besked jag hoppades på? Istället för att orda om detta här hänvisar jag till det poddsamtal som Sturmark och jag spelade in dagen efter seminariet, och som i hög grad kretsade kring vad Bostrom och Dennett hade talat om. Jag tror att vi fick till ett hyfsat givande samtal, så lyssna gärna på det! Men framför allt, tag gärna del av videoinspelningen av själva seminariet!