lördag 24 juli 2021

Häggström hävdar tio år!

Idag är det på dagen tio år sedan som Häggström hävdar såg dagens ljus. Jubileet sammanfaller nära i tid med en annan, mer uppmärksammad och mer makaber, tioårsdag, och som jag framhöll i det första blogginlägget är det inte helt och hållet någon tillfällighet:
    Det är inte en slump att jag lanserar min blogg blott ett par dagar efter de ohyggliga terrordåden i Oslo och på Utöya. Min starkaste reaktion, utöver fasa över det lidande som gärningsmannen orsakat och de många människoliv han släckt, är en känsla av beslutsamhet: Vi som tror på demokrati, mänskliga rättigheter och det öppna samhället skall fortsätta arbeta för dessa värden utan att låta oss skrämmas av galna extremister. Sjösättandet av bloggen får gärna tolkas som en markering i den riktningen.
Längre fram i samma bloggpost meddelar jag att jag avser att "på bloggen kommentera både vetenskapliga resultat och politiska/ideologiska spörsmål".1 Denna utfästelse tycker jag mig ha infriat, i de cirka 800 bloggposter som sedan följt.

Som intensivast arbetade jag med bloggen de första fem-sex åren, då jag snittade ett par bloggposter i veckan, och var angelägen om att leverera ett någorlunda kontinuerligt flöde av intressant innehåll. Nu är ambitionen lägre, och jag använder bloggen framför allt som skyltfönster för mina övriga publika aktiviteter, som exempelvis min senaste bok Tänkande maskiner,2 och den nystartade podden Vetenskapligt med Häggström & Livh.

Låt mig fira tioårsdagen med att lyfta det gångna decenniets tre mest lästa inlägg på bloggen. Notabelt är att alla tre kom inom en och samma 18-månadersperiod, som eventuellt kan betecknas som bloggens (hittills) främsta glansperiod.

Fotnoter

1) Omedelbart därefter meddelar jag att "denna blandning är inte oproblematisk", ett tema jag utvecklat mer på djupet bland annat i ett offentligt samtal med Hanna Jedvik i höstas.

2) Jag kan passa på att meddela att boken nyligen fått ett par (med svenska mått mätt) högprofilerade recensioner: Båda recensionerna är mestadels positiva, och i synnerhet Fleischer bjuder på några spänstiga passager jag gärna citerar:
    Ganska tidigt in i ”Tänkande maskiner” finner sig läsaren på ett sluttande plan ner mot en bottenlös fasa. Tänk en myggsvärm, fast varje mygga är en liten robot utrustad med nervgift. Svärmen tar hjälp av ansiktsigenkänning för att finna och likvidera sina offer. Tekniken för sådana mördarrobotar behöver inte ligga jättemånga år fram i tiden, redo att släppas på svarta marknaden. [...]

    Häggström är ingen domedagsprofet. Men för den som tänker att en AI-apokalyps borde gå att stoppas enkelt, genom att bara lägga in ett simpelt förbehåll i programkoden, visar den här boken klart och tydligt varför saken är så mycket svårare. Pedagogiken är imponerande, därtill är språket ovanligt väl genomarbetat och litteraturhänvisningarna en guldgruva för den som vill gå djupare. ”Tänkande maskiner” kan faktiskt läsas utan särskilda förkunskaper, varken inom matematisk logik eller filosofisk etik – de två hållpunkterna för de spekulativa bågar som spänns. Självklart får då andra perspektiv stryka på foten. Trots det utsökt balanserade anslaget så framträder framtiden hos Häggström som ett val mellan två vägar: himmel och helvete.

tisdag 20 juli 2021

Vetenskapligt med Häggström & Livh

Stefan Livhs och min nya podd Vetenskapligt med Häggström & Livh går nu att ta del av via de vanliga poddplattformarna, som denna. Så här presenterar vi podden:
    En liten podd om de stora ämnena. Vad säger forskningen om hur vi kan säkerställa en ljus framtid för mänskligheten? Hur hejdar vi den globala uppvärmningen, hur skyddar vi oss mot framtida pandemier, och hur farlig kan artificiell superintelligens bli?

    Olle Häggström är professor i matematisk statistik vid Chalmers och Göteborgs universitet, och Stefan Livh är känd från sina många program i Sveriges Radio. Med hjälp av Olles forskarvänner lär vi oss om vetenskapen och vad den kan säga om framtiden.

    Framtiden är inte vad den en gång var. Den kan bli ännu bättre!

    Podcasten görs i samarbete med Naturvetenskapliga fakulteten vid Göteborgs Universitet.

Huvudnumret i vårt första avsnitt är ett samtal med den oförliknelige framtidsforskaren och kollegan Anders Sandberg. Fler avsnitt kommer!

tisdag 6 juli 2021

Artificial general intelligence and the common sense argument

Consider the distinction between narrow AI and artificial general intelligence (AGI), the former being AI specialized on a limited range of capabilities and tasks, and the latter denoting a hypothetical future AI technology exhibiting the flexibility and the full range of cognitive capabilities that we associate with human intelligence. Timelines for when (if ever) AGI will be built are highly uncertain [MB,GSDZE], but scientific debate on the issue has become more pressing in recent years, following work on possible catastrophic consequences of an AGI breakthrough unless sufficient care is taken in aligning the machine’s goals with human values [Y08,Bo,Ru,H].

A common argument for long or infinite timelines until AGI is to point to some example where present-day AI performs badly compared to humans, and to take this as a lack of “common sense” and an indication that constructing AGI is far beyond our current capabilities, whence it cannot plausibly become reality anytime soon [Bks,W,P18a,P18b]. We have all seen YouTube videos of robots tripping over their toes used for this purpose, and a recent viral case concerned an AI meant to steer a TV camera to track the ball during a football game which instead tracked the head of a bald linesman [V]. Such utter lack of common sense! An implicit or sometimes explicit conclusion tends to be that concerns about future machines taking control of the world are overblown and can be dismissed.

I believe that the central position assigned to concept of AGI in the AI futurology and AI safety literature has, via the following implicit narrative, given undue credence to the idea that AI existential risk is exclusively an issue concerning the far future. For AI to become AGI, we need to equip it with all of the myriad competences we associate with common sense, one after the other, and only then will it be ready to enter the spiral of self-improvement that has been suggested may lead to an intelligence explosion, superintelligence, and the ability to take over the world [G,Bo,H].

But common sense is a vague notion – it tends to be simply a label we put on any ability where humans still outperform AI. Hence, by the very definition of AGI, we will be able to point to common sense failures of AI up until the very moment AGI is created, so the argument that such failures show that AGI is a long way off is unsound; see [Y17] for a similar observation.

More importantly, however: AGI may not be necessary for the self-improvement spiral to take off. A better narrative is the following. We are already at a stage where AIs are better than humans at some cognitive tasks while humans remain better than AIs at others. For instance, AIs are better at chess [Si,SR], while humans are better at tracking a football [V]. A human pointing to the football example to show that AIs lack common sense has no more force than an AI pointing to chess to show that humans lack common sense. Neither of them fully dominates the other in terms of cognitive capabilities. Still, AI keeps improving, and rather than focusing on full dominance of AI (as encouraged by the AGI concept) the right question to ask is in what range of cognitive capacities AI needs to master in order to be able to seize power from humans. Self-improvement (i.e., constructing advanced AI) is probably a key competence here, but what does that entail?

There is probably little reason to be concerned about, say, the AlphaZero breakthrough [Si,SR], as two-player zero-sum finite board games with full information is unlikely to be the most significant part of the intelligence spectrum. More significant, probably, is the use of language, as a large fraction of what a human does to control the world is via language acts. It is also a direction of AI that has seen dramatic improvements in the last few years with large-scale natural language processors like GPT-2 and GPT-3 [RWAACBD,Bwn,So,KEWGMI]. With the launch of GPT-3, it was stressed that no new methods were employed compared to GPT-2: the improved performance was solely a consequence of brute-force upscaling. Nobody knows where the ceiling is for such upscaling, and it is therefore legitimate to ask whether the crucial ingredient to make AI’s ability to control the world surpass that of humans might lie in the brute-force expansion of such language models.

If it seems counterintuitive that an AI would attain the ability to take over the world without first having mastered common sense, consider that this happens all the time for smaller tasks. As an illustrative small-scale example, take the game of Sokoban, where the player moves around in a maze with the task of pushing a collection of boxes to a set of prespecified locations. An AI system for solving Sokoban puzzles was recently devised and exhibited superhuman abilities, but apparently without acquiring the common sense insight that every human player quickly picks up: if you push a box into a corner, it will be stuck there forever [FDS,PS]. No clear argument has been given for why efficient problem solving lacking in common sense would be impossible for a bigger task like taking over the world.

To summarize, I believe that while the notion of AGI has been helpful in the early formation of ideas in the futurology and philosophy of AI, it has also been a source of some confusion, especially via the common sense argument discussed above. AI existential risk literature might therefore benefit from a less narrow focus on the AGI concept. Such a shift of focus may be on its way, such as in the recent authoritative research agenda [CK] where talk of AGI is almost entirely abandoned in favor of other notions such as prepotent AI, meaning AI systems whose deployment would be at least as transformative to the world as humanity itself and unstoppable by humans. I welcome this shift in discourse.

References

[Bo] Bostrom, N. (2014) Superintelligence: Paths, Dangers, Strategies, Oxford University Press, Oxford.

[Bks] Brooks, R. (2017) The seven deadly sins of AI prediction, MIT Technology Review, October 6.

[Bwn] Brown, T. et al (2020) Language models are few-shot learners, https://arxiv.org/abs/2005.14165

[CK] Critch, A. and Krueger, D. (2020) AI research considerations for human existential safety (ARCHES), https://arxiv.org/abs/2006.04948

[FDS] Feng, D., Gomes, C. and Selman, B. (2020) A novel automated curriculum strategy to solve hard Sokoban planning instances, 34th Conference on Neural Information Processing Systems (NeurIPS 2020).

[G] Good, I.J. (1966) Speculations concerning the first ultraintelligent machine, Advances in Computers 6, 31-88.

[GSDZE] Grace, K., Salvatier, J., Dafoe, A., Zhang, B. and Evans, O. (2017) When will AI exceed human performance? Evidence from AI experts, https://arxiv.org/abs/1705.08807

[H] Häggström, O. (2021) Tänkande maskiner: Den artificiella intelligensens genombrott, Fri Tanke, Stockholm.

[KEWGMI] Kenton, Z., Everitt, T., Weidinger, L., Gabriel, I., Mikulik, V. and Irving, G. (2021) Alignment of language agents, https://arxiv.org/abs/2103.14659

[MB] Müller, V. and Bostrom, N. (2016) Future progress in artificial intelligence: A survey of expert opinion, in Fundamental Issues of Artificial Intelligence (ed. V. Müller), Springer, Berlin, p 554-571.

[PS] Perry, L. and Selman, B. (2021) Bart Selman on the promises and perils of artificial intelligence, Future of Life Institute Podcast, May 21.

[P18a] Pinker, S. (2018) Enlightenment Now: The Case for Reason, Science and Humanism, Viking, New York.

[P18b] Pinker, S. (2018) We’re told to fear robots. But why do we think they’ll turn on us? Popular Science, February 14.

[RWAACBD] Radford A., Wu, J., Amodei, D., Amodei, D., Clark, J., Brundage, M. and Sutskever, I. (2019) Better language models and their implications, OpenAI, February 14, https://openai.com/blog/better-language-models/

[Ru] Russell, S. (2019) Human Compatible: Artificial Intelligence and the Problem of Control, Viking, New York.

[SR] Sadler, M. and Regan, N. (2019) Game Changer: AlphaZero’s Ground-Breaking Chess Strategies and the Promise of AI, New In Chess, Alkmaar, NL.

[Si] Silver, D. et al (2018) A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play, Science 362, 1140-1144.

[So] Sotala, K. (2020) I keep seeing all kinds of crazy reports about people's experiences with GPT-3, so I figured that I'd collect a thread of them, Twitter, July 15.

[V] Vincent, J. (2020) AI camera operator repeatedly confuses bald head for soccer ball during live stream, The Verge, November 3.

[W] Waters, R. (2018) Why we are in danger of overestimating AI, Financial Times, February 5.

[Y08] Yudkowsky, E. (2008) Artificial intelligence as a positive and negative factor in global risk, in Global Catastrophic Risks (ed. N. Bostrom and M. Cirkovic), Oxford University Press, Oxford, p 308–345.

[Y17] Yudkowsky, E. (2017) There’s no fire alarm for artificial general intelligence, Machine Intelligence Research Institute, Berkeley, CA.

onsdag 9 juni 2021

Aktuella poddframträdanden

Den senaste veckan har inte mindre än tre poddavsnitt där jag medverkar släppts: Och det här är kanske också ett tillfälle så gott som något att jag inom kort är redo att lansera en egen podd. Stay tuned!

Fotnot

1) Det var tack vare ett tidigare inlägg här på Häggström hävdar som Erikssson och Jönsson kom på att bjuda in mig för att diskutera Nick Bostroms simuleringsargument. Det blev ett bra samtal, men när poddmakarna på tal om att Bostrom långt ifrån var först med att lyfta tanken att den verklighet vi lever i kanske inte utgör den högsta eller mest fundamentala verklighetsnivån frågade varför det var först med Bostroms argument som jag började ta denna tanke på visst allvar, så gav jag ett lite lamt svar. Ett bättre svar hade varit följande. Det var inte (den i mitt tycke skakiga) bostromska sannolikhetskalkylen som övertygade mig. Iställdet var det hur väl hans resonemang levandegjorde möjligheten att i vår egen verklighet bädda in andra (simulerade) verkligheter, varifrån slutsatsen nästan föreslår sig självt att denna vår egen verklighet skulle kunna ligga inbäddad i en högre sådan.

tisdag 8 juni 2021

Tendentiöst i DN om labbläckehypotesen

DN rapporterade i lördags om diskussionerna kring huruvida covid-19-pandemin kan ha sitt ursprung i en labbläcka från Wuhan Institute of Virology (WIV), och hur Anthony Fauci (av DN kallad "USA:s Anders Tegnell") därvid hamnat i blåsväder. Artikeln bjuder på följande passage:
    En annan ingrediens som är mumma för konspirationsteoretikerna är att Wuhan-labbet fått internationella bidrag för sin forskning - bland annat från den smittskyddsmyndighet som Anthony Fauci är chef för - och det påstås också att det bedrevs viss forskning som syftade till att förändra virus.
Två ordval här får mig att reagera. För det första, "påstås". Vadå "påstås"? Att gain-of-function-forskning1 bedrivits vid WIV är inte något löst påstående av några opålitliga tyckare, utan ett faktum som även WIV-forskarna själva stolt givit spridning åt. Se exempelvis Nature Medicine-artikeln A SARS-like cluster of circulating bat coronaviruses shows potential for human emergence från 2015, med medverkan av WIV-forskare under ledning av Shi Zhengli.

För det andra, "konspirationsteoretikerna". DN:s reporter Juan Flores gör sitt bästa att framställa labbläckediskussioner som konspirationsteorier. Men att gain-of-function-forskning förekommer på viruslaboratorier här och var inklusive på WIV är som sagt obstridligt, liksom det faktum att många incidenter förekommit genom historien (inte minst i samband med sovjetiska biovapenprogram) där farliga smittämnen läckt från biolaboratorier. Härtill är även bristen på transparens hos kinesiska myndigheter ett okontroversiellt faktum. Om vi lägger samman dessa saker med det osäkra evidensläget (troligtvis finns inte någon enda människa som med säkerhet känner till virusets ursprung) och den allmänmänskliga benägenheten att önsketäkna och skylla ifrån sig, så inses lätt att labbläckehypotesen inte förutsätter några konspirationer eller hemliga överenskommelser i rökiga rum.

Ändå var det så labbläckehypotesen framställdes genom hela 2020: som en konspirationsteori. Därigenom blev ämnet mer eller mindre tabu i anständiga kretsar.2 Tongivande härvidlag blev den Lancet-artikel i början av 2020, med en rad tunga namn på författarlistan, som förkunnade att "We stand together to strongly condemn conspiracy theories suggesting that COVID-19 does not have a natural origin".3

Tonläget har emellertid under 2021 förändrats, mycket tack vare ett par gedigna artiklar - av Nicholas Baker i New York Magazine, respektive Nicholas Wade i Bulletin of the Atomic Scientists - som pekar dels på svagheterna i den evidens som framhölls i Lancet-artikeln, dels på omfattande annan evidens som mer tyder på en labbläcka.4 Allt fler seriösa tänkare och debattörer betraktar nu labbläckehypotesen som minst lika sannolik som hypotesen om virusets naturliga ursprung,5 och tabut får nu anses tillräckligt brutet för att möjliggöra förutsättningslös och seriös diskussion i frågan. Men DN har inte hängt med, och fortsätter att vifta med konspirationsteoristämpeln.

Jag skulle gärna se att DN tänkte om på denna punkt, för frågan om covid-virusets ursprung är viktig. Det handlar inte i första hand om någon historisk kuriositet eller om att avgöra den uppmärksammade vadslagningen mellan Martin Rees och Steven Pinker, eller ens om att peka finger mot de eventuella skyldiga, utan om att försätta oss i ett så bra kunskapsläge som möjligt för att förebygga nästa pandemi, som mycket väl kan komma att bli långt värre än covid-19.

Fotnoter

1) Med gain-of-function-forskning avses modifiering av virus eller andra smittämnen för att göra dem mer smittsamma eller farligare. Avsikten är att lära sig mer om vad mutationer i naturen kan tänkas åstadkomma och därigenom öka vår beredskap inför framtida smittoutbrott. Inom bland annat xrisk-forskningen är vi emellertid många som anser att risken för labbläckor gör gain-of-function-forskningen oacceptabelt farlig. Jag berörde saken kort i min bok Here Be Dragons från 2016, och uttryckte tillfredsställelse över att Obamaadministrationen 2014 beslutat om att förbjuda federal finansiering av gain-of-function-forskning, men detta förbud upphävdes några år senare under Trump (och Fauci), och hur som helst så behövs såklart skarpare lagstiftning än så för att säkerställa att vårdslös forskning av detta slag upphör.

2) I mer oanständiga kretsar var det däremot fritt fram, något som kan ha bidragit ytterligare till att misskreditera labbläckehypotesen bland anständigt folk.

3) Artikeln meddelar också "We declare no competing interests", vilket är vilseledande med tanke på att initiativtagaren till artikeln, Peter Daszak, har starka kopplingar till gain-of-function-forskningen vid WIV.

4) Den som hellre läser på svenska kan alternativt vända sig till Ola Wongs artikel i Kvartal.

5) Bland dem som de senaste veckorna till och med vågat uppge en subjektiv bayesiansk sannolikhet för labbläckehypotesen återfinns bland andra jag själv (55%), Nate Silver (60%), och Eliezer Yudkowsky (80%).

måndag 10 maj 2021

måndag 26 april 2021

Tänkande maskiner nu på bokhandelsdiskarna!

Vi skriver idag måndagen den 26 april 2021 - dagen då min nya bok Tänkande maskiner: Den artificiella intelligensens genombrott äntligen släpps till försäljning. Köp den hos era lokala bokhandlare, eller på exempelvis Bokus eller Adlibris! Och kom gärna på något av de digitala evenemang som ordnas med anledning av boken. Följande två är spikade och öppna för allmänheten, men fler kommer: Som en liten aptitretare bjuder jag härmed på några inledande stycken från boken:
    En utomjordisk betraktare av vår planet skulle knappast kunna undgå att lägga märke till den dominerande ställning över andra djur och växter som Homo sapiens skaffat sig. Den manifesterar sig bland annat i storstädernas imponerande skylines och i de ofantliga arealer vi lagt under oss för jord- och skogsbruk, men också i en eskalerande atmosfärisk koldioxidhalt och i den tillbakagång av biodiversitet som brukar betecknas som planetens sjätte massutdöendeepok. Allt detta och mer därtill är människans verk. Vår dominans har dock väldigt lite att göra med vår muskelstyrka eller fysiska uthållighet: istället är det vår intelligens som ger oss ett avgörande övertag. Intelligensen är ett universalredskap, med hjälp av vilket vi lyckats med så skilda saker som att bygga broar, monument och världsomspännande mobiltelefonnät; skriva poesi; klyva atomkärnor; bekämpa pandemier; och till och med landsätta några av oss på månen. Den enorma förmåga att omstöpa världen som intelligens och tankekraft ger oss stämmer till eftertanke när vi nu är i full färd med projektet att skapa tänkande maskiner.

    Rapporteringen om artificiell intelligens (AI) har de senaste åren kommit att uppta en successivt ökande del av mediaflödet, men jag vågar påstå att detta utrymme alltjämt är långt ifrån att stå i proportion till det genomgripande inflytande som fortsatt AI-utveckling kan väntas få på samhället och våra liv. Mycket av rapporteringen har därtill ett drag av naiv framstegsoptimism, där specifika AI-tillämpningars potential att förbättra världen framhålls utan att teknikens risker och avigsidor vägs in i diskussionen. Min avsikt med denna bok är att korrigera den balansen, och ge den mer allsidiga bild av teknikens möjligheter och risker som behövs för att vi – mänskligheten – ska kunna navigera undan de svåraste blindskären och gå mot den lysande framtid som tekniken rätt hanterad kan bidra till att skapa.

    De samhällsutmaningar som AI-utvecklingen aktualiserar är av många slag. Redan existerande AI-teknik reser svåra frågor rörande allt från risken för automatiserad diskriminering, och effekter av sociala mediers AI-algoritmer, till hur vi på olika vis kan sätta AI i tjänst för att uppnå FN:s hållbarhetsmål. Jag tar i boken upp ett brett spektrum av sådana frågor, jämte ett knippe något mer långsiktiga frågor som den om vad AI-driven automatisering kan komma att innebära för arbetsmarknad och ekonomisk ojämlikhet, och vad vi eventuellt kan och bör göra för att bana väg för ett samhälle där vi arbetar mindre eller inte alls.

    Det allra största utrymmet i boken får dock den på lång sikt kanske mest betydelsefulla AI-frågan av alla, nämligen den om vad som kan väntas ske den dag vi lyckas skapa en maskin som i termer av allmänintelligens matchar eller överträffar mänsklig förmåga. Frågan avfärdas ibland som esoterisk och alltför fantasifull för att tas på allvar, men jag menar att vi inte har råd att ignorera den. Den är numera föremål för ett växande forskningsområde, och ju mer jag studerat detta område desto mer övertygad har jag blivit om att ett AI-genombrott av det slag som avses, vilket skulle försätta oss i ett läge där vi inte längre kan ta vår roll som planetens härskare för given, kommer att bli antingen det bästa eller det mest katastrofala som hänt i mänsklighetens historia. Vilket av dessa båda diametralt motsatta utfall vi landar i kommer i hög grad att bero på hur noggrant vi förberett oss och hur väl vi lyckats styra AI-utvecklingen i rätt riktning.