AI-tema i nya numret av Respons

Alla som har anledning att intressera sig för AI-teknikens framtida samhällskonsekvenser (dvs kort sagt alla) bör läsa ett par av texterna i det nyutkomna tidskriftsnumret Respons 4/2021:

• Människan skapade AI - men kunde inte se om den var god - min recension av den aktuella antologin Teknoteologi: AI och människans villkor redigerad av Rikard Roitto och Susanne Wigorts Yngvesson.
• Verkligheten måste ha företräde - Helena Granströms recension av min bok Tänkande maskiner: Den artificiella intelligensens genombrott.

Jag skall här kort kommentera den andra av dessa. Låt mig till att börja med understryka att jag verkligen uppskattar när Helena Granström tar sig an något jag skrivit (det har hänt förr). Denna gång hade jag faktiskt på känn att en recension av Tänkande maskiner från henne nog var på gång, sedan en av hennes krönikor i P1:s Godmorgon Världen i somras bjudit på ett par vändningar som väldigt mycket lät som om inspirationen till dem hämtats i min bok. Hon är alltid påläst, och tenderar att anlägga perspektiv som skiljer sig lagom mycket från mina för att intressanta spänningar i synen på världen skall komma i dagen.

Av den nu aktuella recensionen framgår att Granström på det stora hela är positivt inställd till min bok. Men i sista stycket av recensionen blir det tydligt hur starkt provocerad hon är av ett påpekande i boken som hon återger:

När [datorspelen och de virtuella världarna] nått samma variationsrikedom som den fysiska världen inställer sig frågan på vilket sätt de skulle vara sämre.

De sista meningarna av sin recension ägnar hon åt att inskärpa värdet av den fysiska verkligheten, dock utan att lyckas peka ut någon egenskap hos denna som påvisats vara omöjlig att återskapa i en virtuell verklighet. Hon menar att min fråga

bottnar i ett grundläggande ointresse för det som kanske i slutändan visar det enda som skiljer oss från maskinerna, oavsett om de är reklamalgoritmer eller ”sociala robotar”, nämligen att vi besitter en subjektivitet grundad i kroppslig erfarenhet,

men med risk för att låta en smula gnällig vill jag här tillbakavisa hennes påstående om ”ointresse”. Min fråga grundar sig (bland annat) i att jag väldigt gärna vill förstå huruvida vårt besittande av ”en subjektivitet grundad i kroppslig erfarenhet” verkligen är något som fundamentalt skiljer oss från maskinerna, men jag tar inte för givet att så är fallet, vilket jag vill mena indikerar intresse snarare än ointresse.

Ekonomi och astronomi på vår nya podd

Efter det tidigare annonserade premiäravsnittet har vi denna månad hunnit lägga ut ytterligare två avsnitt av podden Vetenskapligt med Häggström & Livh. Först talade vi med Linda Thunström från University of Wyoming om hennes många påpassliga tillämpningar av nationalekonomiska metoder på olika samhällsfenomen (inklusive covid-19-pandemin), och därefter med Maria Sundin på Göteborgs universitet om allehanda entiteter på stjärnhimlen som väcker vår nyfikenhet, inklusive den gäckande rymdstenen Oumuamua och sökandet efter spår av liv på exoplaneter. Mer är på gång, men här är de tre avsnitt vi hittills publicerat:

1. Grandiosa framtider med Anders Sandberg, 16 juli 2021.

2. Pengar, pandemi och puffning med Linda Thunström, 5 augusti 2021.

3. Mitt i planeten med astronom Maria Sundin, 18 augusti 2021.

Häggström hävdar tio år!

Idag är det på dagen tio år sedan som Häggström hävdar såg dagens ljus. Jubileet sammanfaller nära i tid med en annan, mer uppmärksammad och mer makaber, tioårsdag, och som jag framhöll i det första blogginlägget är det inte helt och hållet någon tillfällighet:

Det är inte en slump att jag lanserar min blogg blott ett par dagar efter de ohyggliga terrordåden i Oslo och på Utöya. Min starkaste reaktion, utöver fasa över det lidande som gärningsmannen orsakat och de många människoliv han släckt, är en känsla av beslutsamhet: Vi som tror på demokrati, mänskliga rättigheter och det öppna samhället skall fortsätta arbeta för dessa värden utan att låta oss skrämmas av galna extremister. Sjösättandet av bloggen får gärna tolkas som en markering i den riktningen.

Längre fram i samma bloggpost meddelar jag att jag avser att "på bloggen kommentera både vetenskapliga resultat och politiska/ideologiska spörsmål".¹ Denna utfästelse tycker jag mig ha infriat, i de cirka 800 bloggposter som sedan följt.

Som intensivast arbetade jag med bloggen de första fem-sex åren, då jag snittade ett par bloggposter i veckan, och var angelägen om att leverera ett någorlunda kontinuerligt flöde av intressant innehåll. Nu är ambitionen lägre, och jag använder bloggen framför allt som skyltfönster för mina övriga publika aktiviteter, som exempelvis min senaste bok Tänkande maskiner,² och den nystartade podden Vetenskapligt med Häggström & Livh.

Låt mig fira tioårsdagen med att lyfta det gångna decenniets tre mest lästa inlägg på bloggen. Notabelt är att alla tre kom inom en och samma 18-månadersperiod, som eventuellt kan betecknas som bloggens (hittills) främsta glansperiod.

1. Quickologisk sannolikhetskalkyl, 16 maj 2015. En mycket sträng recension av Göran Lambertz bristfälliga och då nyutkomna bok Quickologi. Som sannolikhetsteoretiker borde jag normalt bli glad då någon utanför matematikens och statistikens specialiserade kretsar tar sig an området, men när det görs med en kombination av okunskap, omdömeslöst hittepå och högtravande anspråk blir min reaktion den motsatta. Detta blev starten på en delvis ganska irriterad diskussion med Lambertz; se t.ex. mina uppföljningsbloggposter Lambertz laborerar med pseudokvantiteter, Ohederlig nyårsbetraktelse och Därför ställer jag inte upp som Göran Lambertz privata matematikbiträde.

2. Om statistisk signifikans, epigenetik och de norrbottniska farmödrarna, 23 februari 2014. Om en uppmräksammad medicinsk studie med så allvarliga och samtidigt lärorika brister att jag sedan dess regelbundet använt den som avskräckande exempel i min undervisning. Se även uppföljaren Epigenetiken i Överkalix och den statistiska signifikansen: Bygren bryter tystnaden.

3. Superintelligence odds and ends: index page, 19 september 2014. I anslutning till min recension av Nick Bostroms bok Superintelligence: Paths, Dangers, Strategies publicerade jag en serie bloggposter med fördjupande diskussion kring olika teman som tas upp i boken, och index page är som namnet antyder en (kommenterad) länk- och innehållsförteckning till dessa. Sju år har nu gått sedan Bostroms bok, och jag tvekar fortfarande inte att säga att detta är den bästa och viktigaste bok som skrivits om AI-risk och AI-säkerhet. Men området har (mycket tack vare boken) kommit att växa snabbt sedan dess, och för den som idag vill sätta sig in i det rekommenderar jag trots allt hellre någon av de nyare böcker som finns och som lyfter en del av det som hänt sedan 2014, som Stuart Russells Human Compatible (2019), Brian Christians The Alignment Problem (2020), eller min egen Tänkande maskiner (2021).

Fotnoter

1) Omedelbart därefter meddelar jag att "denna blandning är inte oproblematisk", ett tema jag utvecklat mer på djupet bland annat i ett offentligt samtal med Hanna Jedvik i höstas.

2) Jag kan passa på att meddela att boken nyligen fått ett par (med svenska mått mätt) högprofilerade recensioner:

• Peter Gärdenfors i Sydsvenska Dagbladet den 5 juli: Bröderna Wrights propeller kan lära oss om supersmarta AI-system.
• Rasmus Fleischer i Expressen den 17 juli: Det mest banala kan bli vår undergång.

Båda recensionerna är mestadels positiva, och i synnerhet Fleischer bjuder på några spänstiga passager jag gärna citerar:

Ganska tidigt in i ”Tänkande maskiner” finner sig läsaren på ett sluttande plan ner mot en bottenlös fasa. Tänk en myggsvärm, fast varje mygga är en liten robot utrustad med nervgift. Svärmen tar hjälp av ansiktsigenkänning för att finna och likvidera sina offer. Tekniken för sådana mördarrobotar behöver inte ligga jättemånga år fram i tiden, redo att släppas på svarta marknaden. [...]

Häggström är ingen domedagsprofet. Men för den som tänker att en AI-apokalyps borde gå att stoppas enkelt, genom att bara lägga in ett simpelt förbehåll i programkoden, visar den här boken klart och tydligt varför saken är så mycket svårare. Pedagogiken är imponerande, därtill är språket ovanligt väl genomarbetat och litteraturhänvisningarna en guldgruva för den som vill gå djupare. ”Tänkande maskiner” kan faktiskt läsas utan särskilda förkunskaper, varken inom matematisk logik eller filosofisk etik – de två hållpunkterna för de spekulativa bågar som spänns. Självklart får då andra perspektiv stryka på foten. Trots det utsökt balanserade anslaget så framträder framtiden hos Häggström som ett val mellan två vägar: himmel och helvete.

Vetenskapligt med Häggström & Livh

Stefan Livhs och min nya podd Vetenskapligt med Häggström & Livh går nu att ta del av via de vanliga poddplattformarna, som denna. Så här presenterar vi podden:

En liten podd om de stora ämnena. Vad säger forskningen om hur vi kan säkerställa en ljus framtid för mänskligheten? Hur hejdar vi den globala uppvärmningen, hur skyddar vi oss mot framtida pandemier, och hur farlig kan artificiell superintelligens bli?

Olle Häggström är professor i matematisk statistik vid Chalmers och Göteborgs universitet, och Stefan Livh är känd från sina många program i Sveriges Radio. Med hjälp av Olles forskarvänner lär vi oss om vetenskapen och vad den kan säga om framtiden.

Framtiden är inte vad den en gång var. Den kan bli ännu bättre!

Podcasten görs i samarbete med Naturvetenskapliga fakulteten vid Göteborgs Universitet.

Huvudnumret i vårt första avsnitt är ett samtal med den oförliknelige framtidsforskaren och kollegan Anders Sandberg. Fler avsnitt kommer!

Artificial general intelligence and the common sense argument

Consider the distinction between narrow AI and artificial general intelligence (AGI), the former being AI specialized on a limited range of capabilities and tasks, and the latter denoting a hypothetical future AI technology exhibiting the flexibility and the full range of cognitive capabilities that we associate with human intelligence. Timelines for when (if ever) AGI will be built are highly uncertain [MB,GSDZE], but scientific debate on the issue has become more pressing in recent years, following work on possible catastrophic consequences of an AGI breakthrough unless sufficient care is taken in aligning the machine’s goals with human values [Y08,Bo,Ru,H].

A common argument for long or infinite timelines until AGI is to point to some example where present-day AI performs badly compared to humans, and to take this as a lack of “common sense” and an indication that constructing AGI is far beyond our current capabilities, whence it cannot plausibly become reality anytime soon [Bks,W,P18a,P18b]. We have all seen YouTube videos of robots tripping over their toes used for this purpose, and a recent viral case concerned an AI meant to steer a TV camera to track the ball during a football game which instead tracked the head of a bald linesman [V]. Such utter lack of common sense! An implicit or sometimes explicit conclusion tends to be that concerns about future machines taking control of the world are overblown and can be dismissed.

I believe that the central position assigned to concept of AGI in the AI futurology and AI safety literature has, via the following implicit narrative, given undue credence to the idea that AI existential risk is exclusively an issue concerning the far future. For AI to become AGI, we need to equip it with all of the myriad competences we associate with common sense, one after the other, and only then will it be ready to enter the spiral of self-improvement that has been suggested may lead to an intelligence explosion, superintelligence, and the ability to take over the world [G,Bo,H].

But common sense is a vague notion – it tends to be simply a label we put on any ability where humans still outperform AI. Hence, by the very definition of AGI, we will be able to point to common sense failures of AI up until the very moment AGI is created, so the argument that such failures show that AGI is a long way off is unsound; see [Y17] for a similar observation.

More importantly, however: AGI may not be necessary for the self-improvement spiral to take off. A better narrative is the following. We are already at a stage where AIs are better than humans at some cognitive tasks while humans remain better than AIs at others. For instance, AIs are better at chess [Si,SR], while humans are better at tracking a football [V]. A human pointing to the football example to show that AIs lack common sense has no more force than an AI pointing to chess to show that humans lack common sense. Neither of them fully dominates the other in terms of cognitive capabilities. Still, AI keeps improving, and rather than focusing on full dominance of AI (as encouraged by the AGI concept) the right question to ask is in what range of cognitive capacities AI needs to master in order to be able to seize power from humans. Self-improvement (i.e., constructing advanced AI) is probably a key competence here, but what does that entail?

There is probably little reason to be concerned about, say, the AlphaZero breakthrough [Si,SR], as two-player zero-sum finite board games with full information is unlikely to be the most significant part of the intelligence spectrum. More significant, probably, is the use of language, as a large fraction of what a human does to control the world is via language acts. It is also a direction of AI that has seen dramatic improvements in the last few years with large-scale natural language processors like GPT-2 and GPT-3 [RWAACBD,Bwn,So,KEWGMI]. With the launch of GPT-3, it was stressed that no new methods were employed compared to GPT-2: the improved performance was solely a consequence of brute-force upscaling. Nobody knows where the ceiling is for such upscaling, and it is therefore legitimate to ask whether the crucial ingredient to make AI’s ability to control the world surpass that of humans might lie in the brute-force expansion of such language models.

If it seems counterintuitive that an AI would attain the ability to take over the world without first having mastered common sense, consider that this happens all the time for smaller tasks. As an illustrative small-scale example, take the game of Sokoban, where the player moves around in a maze with the task of pushing a collection of boxes to a set of prespecified locations. An AI system for solving Sokoban puzzles was recently devised and exhibited superhuman abilities, but apparently without acquiring the common sense insight that every human player quickly picks up: if you push a box into a corner, it will be stuck there forever [FDS,PS]. No clear argument has been given for why efficient problem solving lacking in common sense would be impossible for a bigger task like taking over the world.

To summarize, I believe that while the notion of AGI has been helpful in the early formation of ideas in the futurology and philosophy of AI, it has also been a source of some confusion, especially via the common sense argument discussed above. AI existential risk literature might therefore benefit from a less narrow focus on the AGI concept. Such a shift of focus may be on its way, such as in the recent authoritative research agenda [CK] where talk of AGI is almost entirely abandoned in favor of other notions such as prepotent AI, meaning AI systems whose deployment would be at least as transformative to the world as humanity itself and unstoppable by humans. I welcome this shift in discourse.

References

[Bo] Bostrom, N. (2014) Superintelligence: Paths, Dangers, Strategies, Oxford University Press, Oxford.

[Bks] Brooks, R. (2017) The seven deadly sins of AI prediction, MIT Technology Review, October 6.

[Bwn] Brown, T. et al (2020) Language models are few-shot learners, https://arxiv.org/abs/2005.14165

[CK] Critch, A. and Krueger, D. (2020) AI research considerations for human existential safety (ARCHES), https://arxiv.org/abs/2006.04948

[FDS] Feng, D., Gomes, C. and Selman, B. (2020) A novel automated curriculum strategy to solve hard Sokoban planning instances, 34th Conference on Neural Information Processing Systems (NeurIPS 2020).

[G] Good, I.J. (1966) Speculations concerning the first ultraintelligent machine, Advances in Computers 6, 31-88.

[GSDZE] Grace, K., Salvatier, J., Dafoe, A., Zhang, B. and Evans, O. (2017) When will AI exceed human performance? Evidence from AI experts, https://arxiv.org/abs/1705.08807

[H] Häggström, O. (2021) Tänkande maskiner: Den artificiella intelligensens genombrott, Fri Tanke, Stockholm.

[KEWGMI] Kenton, Z., Everitt, T., Weidinger, L., Gabriel, I., Mikulik, V. and Irving, G. (2021) Alignment of language agents, https://arxiv.org/abs/2103.14659

[MB] Müller, V. and Bostrom, N. (2016) Future progress in artificial intelligence: A survey of expert opinion, in Fundamental Issues of Artificial Intelligence (ed. V. Müller), Springer, Berlin, p 554-571.

[PS] Perry, L. and Selman, B. (2021) Bart Selman on the promises and perils of artificial intelligence, Future of Life Institute Podcast, May 21.

[P18a] Pinker, S. (2018) Enlightenment Now: The Case for Reason, Science and Humanism, Viking, New York.

[P18b] Pinker, S. (2018) We’re told to fear robots. But why do we think they’ll turn on us? Popular Science, February 14.

[RWAACBD] Radford A., Wu, J., Amodei, D., Amodei, D., Clark, J., Brundage, M. and Sutskever, I. (2019) Better language models and their implications, OpenAI, February 14, https://openai.com/blog/better-language-models/

[Ru] Russell, S. (2019) Human Compatible: Artificial Intelligence and the Problem of Control, Viking, New York.

[SR] Sadler, M. and Regan, N. (2019) Game Changer: AlphaZero’s Ground-Breaking Chess Strategies and the Promise of AI, New In Chess, Alkmaar, NL.

[Si] Silver, D. et al (2018) A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play, Science 362, 1140-1144.

[So] Sotala, K. (2020) I keep seeing all kinds of crazy reports about people's experiences with GPT-3, so I figured that I'd collect a thread of them, Twitter, July 15.

[V] Vincent, J. (2020) AI camera operator repeatedly confuses bald head for soccer ball during live stream, The Verge, November 3.

[W] Waters, R. (2018) Why we are in danger of overestimating AI, Financial Times, February 5.

[Y08] Yudkowsky, E. (2008) Artificial intelligence as a positive and negative factor in global risk, in Global Catastrophic Risks (ed. N. Bostrom and M. Cirkovic), Oxford University Press, Oxford, p 308–345.

[Y17] Yudkowsky, E. (2017) There’s no fire alarm for artificial general intelligence, Machine Intelligence Research Institute, Berkeley, CA.

Aktuella poddframträdanden

Den senaste veckan har inte mindre än tre poddavsnitt där jag medverkar släppts:

• Jag är med i två avsnitt på raken av Johan Landgrens engelskspråkiga videopodd Evolution Show, i vilka han med energi och entusiasm frågar ut mig om AI med avstamp från min nya bok Tänkande maskiner:
  • Why artificial superintellignce can’t be ignored no more, or switched off later, 2 juni 2021.
  • AI alignment or paperclip planet, 9 juni 2021.
• Däremellan hann jag med att medverka i avsnittet Om vi bor i en datorsimulering¹ (3 juni 2021) i den lundensiska podden Om filosofers liv och tankar med Fredrik Eriksson och Martin Jönsson.

Och det här är kanske också ett tillfälle så gott som något att jag inom kort är redo att lansera en egen podd. Stay tuned!

Fotnot

1) Det var tack vare ett tidigare inlägg här på Häggström hävdar som Erikssson och Jönsson kom på att bjuda in mig för att diskutera Nick Bostroms simuleringsargument. Det blev ett bra samtal, men när poddmakarna på tal om att Bostrom långt ifrån var först med att lyfta tanken att den verklighet vi lever i kanske inte utgör den högsta eller mest fundamentala verklighetsnivån frågade varför det var först med Bostroms argument som jag började ta denna tanke på visst allvar, så gav jag ett lite lamt svar. Ett bättre svar hade varit följande. Det var inte (den i mitt tycke skakiga) bostromska sannolikhetskalkylen som övertygade mig. Iställdet var det hur väl hans resonemang levandegjorde möjligheten att i vår egen verklighet bädda in andra (simulerade) verkligheter, varifrån slutsatsen nästan föreslår sig självt att denna vår egen verklighet skulle kunna ligga inbäddad i en högre sådan.

Tendentiöst i DN om labbläckehypotesen

DN rapporterade i lördags om diskussionerna kring huruvida covid-19-pandemin kan ha sitt ursprung i en labbläcka från Wuhan Institute of Virology (WIV), och hur Anthony Fauci (av DN kallad "USA:s Anders Tegnell") därvid hamnat i blåsväder. Artikeln bjuder på följande passage:

En annan ingrediens som är mumma för konspirationsteoretikerna är att Wuhan-labbet fått internationella bidrag för sin forskning - bland annat från den smittskyddsmyndighet som Anthony Fauci är chef för - och det påstås också att det bedrevs viss forskning som syftade till att förändra virus.

Två ordval här får mig att reagera. För det första, "påstås". Vadå "påstås"? Att gain-of-function-forskning¹ bedrivits vid WIV är inte något löst påstående av några opålitliga tyckare, utan ett faktum som även WIV-forskarna själva stolt givit spridning åt. Se exempelvis Nature Medicine-artikeln A SARS-like cluster of circulating bat coronaviruses shows potential for human emergence från 2015, med medverkan av WIV-forskare under ledning av Shi Zhengli.

För det andra, "konspirationsteoretikerna". DN:s reporter Juan Flores gör sitt bästa att framställa labbläckediskussioner som konspirationsteorier. Men att gain-of-function-forskning förekommer på viruslaboratorier här och var inklusive på WIV är som sagt obstridligt, liksom det faktum att många incidenter förekommit genom historien (inte minst i samband med sovjetiska biovapenprogram) där farliga smittämnen läckt från biolaboratorier. Härtill är även bristen på transparens hos kinesiska myndigheter ett okontroversiellt faktum. Om vi lägger samman dessa saker med det osäkra evidensläget (troligtvis finns inte någon enda människa som med säkerhet känner till virusets ursprung) och den allmänmänskliga benägenheten att önsketäkna och skylla ifrån sig, så inses lätt att labbläckehypotesen inte förutsätter några konspirationer eller hemliga överenskommelser i rökiga rum.

Ändå var det så labbläckehypotesen framställdes genom hela 2020: som en konspirationsteori. Därigenom blev ämnet mer eller mindre tabu i anständiga kretsar.² Tongivande härvidlag blev den Lancet-artikel i början av 2020, med en rad tunga namn på författarlistan, som förkunnade att "We stand together to strongly condemn conspiracy theories suggesting that COVID-19 does not have a natural origin".³

Tonläget har emellertid under 2021 förändrats, mycket tack vare ett par gedigna artiklar - av Nicholas Baker i New York Magazine, respektive Nicholas Wade i Bulletin of the Atomic Scientists - som pekar dels på svagheterna i den evidens som framhölls i Lancet-artikeln, dels på omfattande annan evidens som mer tyder på en labbläcka.⁴ Allt fler seriösa tänkare och debattörer betraktar nu labbläckehypotesen som minst lika sannolik som hypotesen om virusets naturliga ursprung,⁵ och tabut får nu anses tillräckligt brutet för att möjliggöra förutsättningslös och seriös diskussion i frågan. Men DN har inte hängt med, och fortsätter att vifta med konspirationsteoristämpeln.

Jag skulle gärna se att DN tänkte om på denna punkt, för frågan om covid-virusets ursprung är viktig. Det handlar inte i första hand om någon historisk kuriositet eller om att avgöra den uppmärksammade vadslagningen mellan Martin Rees och Steven Pinker, eller ens om att peka finger mot de eventuella skyldiga, utan om att försätta oss i ett så bra kunskapsläge som möjligt för att förebygga nästa pandemi, som mycket väl kan komma att bli långt värre än covid-19.

Fotnoter

1) Med gain-of-function-forskning avses modifiering av virus eller andra smittämnen för att göra dem mer smittsamma eller farligare. Avsikten är att lära sig mer om vad mutationer i naturen kan tänkas åstadkomma och därigenom öka vår beredskap inför framtida smittoutbrott. Inom bland annat xrisk-forskningen är vi emellertid många som anser att risken för labbläckor gör gain-of-function-forskningen oacceptabelt farlig. Jag berörde saken kort i min bok Here Be Dragons från 2016, och uttryckte tillfredsställelse över att Obamaadministrationen 2014 beslutat om att förbjuda federal finansiering av gain-of-function-forskning, men detta förbud upphävdes några år senare under Trump (och Fauci), och hur som helst så behövs såklart skarpare lagstiftning än så för att säkerställa att vårdslös forskning av detta slag upphör.

2) I mer oanständiga kretsar var det däremot fritt fram, något som kan ha bidragit ytterligare till att misskreditera labbläckehypotesen bland anständigt folk.

3) Artikeln meddelar också "We declare no competing interests", vilket är vilseledande med tanke på att initiativtagaren till artikeln, Peter Daszak, har starka kopplingar till gain-of-function-forskningen vid WIV.

4) Den som hellre läser på svenska kan alternativt vända sig till Ola Wongs artikel i Kvartal.

5) Bland dem som de senaste veckorna till och med vågat uppge en subjektiv bayesiansk sannolikhet för labbläckehypotesen återfinns bland andra jag själv (55%), Nate Silver (60%), och Eliezer Yudkowsky (80%).