tisdag 7 september 2021

Befängt möte i SVT om AI-futurologi

SVT:s programserie Mötet går ut på att i 15 minuter långa avsnitt tussa ihop två personer med radikalt olika åsikt i någon fråga. I det senaste avsnitt som nu är tillgängligt på SVT Play möts Anders Hedman (docent i människa-datorinteraktion vid KTH) och Fredrik Löfgren (robotutvecklare vid Linköpings universitet) för att diskutera vår framtid med robotar och AI. Deras samtal är i stort sett från början till slut befängt, och båda två företräder ståndpunkter som (fastän helt olika) får mig att slita mitt hår över vilken närmast bottenlös naivitet som förekommer bland forskare på området.

Hedman, å ena sidan, ser datorer och robotar som själlösa skal, och är av någon anledning bombsäker på att inte bara de robotar vi har idag, utan även varje tänkbar framtida robot, saknar medvetande. Någon antydan till förklaring till varför så skulle vara fallet ges inte, och angående datorkreativitet1 avfärdar han de exempel på detta vi ser redan idag med hänvisning till att maskinen ju innerst inne ingenting förstår. Han verkar sitta så hårt fast i det jag kallar neurochauvinism2 att varje tanke på sociala relationer mellan människa och maskin fyller honom med avsky, och hans biologiska hjärna verkar rätt och slätt stängd för tanken att något annat än just biologiska hjärnor skulle kunna vara säten för kännande subjekt. I slutändan kan det för all del komma att visa sig att Hedmans medvetandemetafysik är korrekt, ty frågan om medvetandets plats i universum och vilka slags entiteter som är medvetna är alltjämt vidöppen,3 men just den saken gör hans tvärsäkerhet i frågan epistemiskt djupt omdömeslös.

Löfgren, å andra sidan, drar åt motsatt uppfattning i frågan om robotmedvetande, om än kanske inte med fullt lika hög grad av dogmatism som sin samtalspartner. Det som verkligen provocerar mig hos Löfgren är istället hans äppelkäckt bekymmersfria syn på framtida AI-utveckling. Han medger visserligen på något ställe i programmet att visst finns det risker, men detta verkar mest vara en läpparnas bekännelse, och till och med tanken på att mänskligheten skulle kunna tänkas gå under och ersättas av en population av superintelligenta robotar får honom att rycka på axlarna och säga att det är väl helt i sin ordning - evolutionens gång helt enkelt. Den sammanblandning han här gör mellan intelligensnivå och moraliskt värde gör att jag nästan känner förståelse för Hedman när denne anklagar Löfgren för fascism (fastän han gör det på ogenomtänkta grunder). Att världen skulle kunna gå mot en ljus framtid ifall robotar ersätter människor är som jag ser det inte alls otänkbart, men att så automatiskt skulle bli fallet är naivt att ta för givet, och man kan undra hur Löfgren ser på något så groteskt motbjudande och meningslöst som en gemapokalyps.4

En riktigt dålig diskussion blev det hur som helst, och på sätt och vis är jag medskyldig till detta. I våras var jag nämligen indragen i långt gångna underhandlingar om att medverka som motpart åt Fredrik Löfgren i detta program. Jag vill gärna tänka mig att en sådan konfrontation hade kunnat bli betydligt vettigare än det som nu blev. Säker kan jag dock inte vara, bland annat med tanke på att det handlar om flera timmars inspelning som brutalt klipps ned till 15 minuter, och klippning kan ju göras illasinnat. (Av samma skäl kan det i princip vara så att både Hedman och Löfgren är betydligt mindre flänga än de framstår i programmet, och därför bör denna bloggpost för säkerhets skulle läsas som att den inte handlar om Hedman och Löfgren själva utan bara om de nidbilder av dem som SVT presenterat.)

Tacksam känner jag mig hur som helst över att jag drog mig ur, vilket jag tog chansen att göra när någon programassistent jag inte minns namnet på för tredje gången ville flytta på det inspelningstillfälle jag med stor möda gjort plats för i min kalender. Vid det laget hade jag hunnit se det bisarra och snudd på lyteskomiska avsnitt i vilket min gode vän Christer Sturmark konfronteras med en galen spiritist, vilket gav mig kalla fötter. Det beryktade Saltkråkan-avsnittet, som om möjligt är ännu värre, såg jag först senare, och jag gratulerade mig själv ännu en gång till att ha sluppit undan medverkan i ett sådant spektakel.

Fotnoter

1) Se s 40-43 i min bok Tänkande maskiner.

2) Tänkande maskiner, s 236.

3) Tänkande maskiner, s 223-241.

4) Tänkande maskiner, s 103-111.

torsdag 2 september 2021

Interviewed by Erich Grunewald

I was recently interviewed by Erich Grunewald, who posted the interview on his blog (with a linkpost also at LessWrong). We covered a variety of topics, but the main focus was on Sweden: its intellectual, academic and political landscape, and how I navigate these waters. I feel it turned out fairly intereting, and even those readers who know me well are likely to find out a thing or two about me that they didn't already know.

måndag 30 augusti 2021

AI-tema i nya numret av Respons

Alla som har anledning att intressera sig för AI-teknikens framtida samhällskonsekvenser (dvs kort sagt alla) bör läsa ett par av texterna i det nyutkomna tidskriftsnumret Respons 4/2021: Jag skall här kort kommentera den andra av dessa. Låt mig till att börja med understryka att jag verkligen uppskattar när Helena Granström tar sig an något jag skrivit (det har hänt förr). Denna gång hade jag faktiskt på känn att en recension av Tänkande maskiner från henne nog var på gång, sedan en av hennes krönikor i P1:s Godmorgon Världen i somras bjudit på ett par vändningar som väldigt mycket lät som om inspirationen till dem hämtats i min bok. Hon är alltid påläst, och tenderar att anlägga perspektiv som skiljer sig lagom mycket från mina för att intressanta spänningar i synen på världen skall komma i dagen.

Av den nu aktuella recensionen framgår att Granström på det stora hela är positivt inställd till min bok. Men i sista stycket av recensionen blir det tydligt hur starkt provocerad hon är av ett påpekande i boken som hon återger:
    När [datorspelen och de virtuella världarna] nått samma variationsrikedom som den fysiska världen inställer sig frågan på vilket sätt de skulle vara sämre.
De sista meningarna av sin recension ägnar hon åt att inskärpa värdet av den fysiska verkligheten, dock utan att lyckas peka ut någon egenskap hos denna som påvisats vara omöjlig att återskapa i en virtuell verklighet. Hon menar att min fråga
    bottnar i ett grundläggande ointresse för det som kanske i slutändan visar det enda som skiljer oss från maskinerna, oavsett om de är reklamalgoritmer eller ”sociala robotar”, nämligen att vi besitter en subjektivitet grundad i kroppslig erfarenhet,
men med risk för att låta en smula gnällig vill jag här tillbakavisa hennes påstående om ”ointresse”. Min fråga grundar sig (bland annat) i att jag väldigt gärna vill förstå huruvida vårt besittande av ”en subjektivitet grundad i kroppslig erfarenhet” verkligen är något som fundamentalt skiljer oss från maskinerna, men jag tar inte för givet att så är fallet, vilket jag vill mena indikerar intresse snarare än ointresse.

onsdag 18 augusti 2021

Ekonomi och astronomi på vår nya podd

Efter det tidigare annonserade premiäravsnittet har vi denna månad hunnit lägga ut ytterligare två avsnitt av podden Vetenskapligt med Häggström & Livh. Först talade vi med Linda Thunström från University of Wyoming om hennes många påpassliga tillämpningar av nationalekonomiska metoder på olika samhällsfenomen (inklusive covid-19-pandemin), och därefter med Maria Sundin på Göteborgs universitet om allehanda entiteter på stjärnhimlen som väcker vår nyfikenhet, inklusive den gäckande rymdstenen Oumuamua och sökandet efter spår av liv på exoplaneter. Mer är på gång, men här är de tre avsnitt vi hittills publicerat:

lördag 24 juli 2021

Häggström hävdar tio år!

Idag är det på dagen tio år sedan som Häggström hävdar såg dagens ljus. Jubileet sammanfaller nära i tid med en annan, mer uppmärksammad och mer makaber, tioårsdag, och som jag framhöll i det första blogginlägget är det inte helt och hållet någon tillfällighet:
    Det är inte en slump att jag lanserar min blogg blott ett par dagar efter de ohyggliga terrordåden i Oslo och på Utöya. Min starkaste reaktion, utöver fasa över det lidande som gärningsmannen orsakat och de många människoliv han släckt, är en känsla av beslutsamhet: Vi som tror på demokrati, mänskliga rättigheter och det öppna samhället skall fortsätta arbeta för dessa värden utan att låta oss skrämmas av galna extremister. Sjösättandet av bloggen får gärna tolkas som en markering i den riktningen.
Längre fram i samma bloggpost meddelar jag att jag avser att "på bloggen kommentera både vetenskapliga resultat och politiska/ideologiska spörsmål".1 Denna utfästelse tycker jag mig ha infriat, i de cirka 800 bloggposter som sedan följt.

Som intensivast arbetade jag med bloggen de första fem-sex åren, då jag snittade ett par bloggposter i veckan, och var angelägen om att leverera ett någorlunda kontinuerligt flöde av intressant innehåll. Nu är ambitionen lägre, och jag använder bloggen framför allt som skyltfönster för mina övriga publika aktiviteter, som exempelvis min senaste bok Tänkande maskiner,2 och den nystartade podden Vetenskapligt med Häggström & Livh.

Låt mig fira tioårsdagen med att lyfta det gångna decenniets tre mest lästa inlägg på bloggen. Notabelt är att alla tre kom inom en och samma 18-månadersperiod, som eventuellt kan betecknas som bloggens (hittills) främsta glansperiod.

Fotnoter

1) Omedelbart därefter meddelar jag att "denna blandning är inte oproblematisk", ett tema jag utvecklat mer på djupet bland annat i ett offentligt samtal med Hanna Jedvik i höstas.

2) Jag kan passa på att meddela att boken nyligen fått ett par (med svenska mått mätt) högprofilerade recensioner: Båda recensionerna är mestadels positiva, och i synnerhet Fleischer bjuder på några spänstiga passager jag gärna citerar:
    Ganska tidigt in i ”Tänkande maskiner” finner sig läsaren på ett sluttande plan ner mot en bottenlös fasa. Tänk en myggsvärm, fast varje mygga är en liten robot utrustad med nervgift. Svärmen tar hjälp av ansiktsigenkänning för att finna och likvidera sina offer. Tekniken för sådana mördarrobotar behöver inte ligga jättemånga år fram i tiden, redo att släppas på svarta marknaden. [...]

    Häggström är ingen domedagsprofet. Men för den som tänker att en AI-apokalyps borde gå att stoppas enkelt, genom att bara lägga in ett simpelt förbehåll i programkoden, visar den här boken klart och tydligt varför saken är så mycket svårare. Pedagogiken är imponerande, därtill är språket ovanligt väl genomarbetat och litteraturhänvisningarna en guldgruva för den som vill gå djupare. ”Tänkande maskiner” kan faktiskt läsas utan särskilda förkunskaper, varken inom matematisk logik eller filosofisk etik – de två hållpunkterna för de spekulativa bågar som spänns. Självklart får då andra perspektiv stryka på foten. Trots det utsökt balanserade anslaget så framträder framtiden hos Häggström som ett val mellan två vägar: himmel och helvete.

tisdag 20 juli 2021

Vetenskapligt med Häggström & Livh

Stefan Livhs och min nya podd Vetenskapligt med Häggström & Livh går nu att ta del av via de vanliga poddplattformarna, som denna. Så här presenterar vi podden:
    En liten podd om de stora ämnena. Vad säger forskningen om hur vi kan säkerställa en ljus framtid för mänskligheten? Hur hejdar vi den globala uppvärmningen, hur skyddar vi oss mot framtida pandemier, och hur farlig kan artificiell superintelligens bli?

    Olle Häggström är professor i matematisk statistik vid Chalmers och Göteborgs universitet, och Stefan Livh är känd från sina många program i Sveriges Radio. Med hjälp av Olles forskarvänner lär vi oss om vetenskapen och vad den kan säga om framtiden.

    Framtiden är inte vad den en gång var. Den kan bli ännu bättre!

    Podcasten görs i samarbete med Naturvetenskapliga fakulteten vid Göteborgs Universitet.

Huvudnumret i vårt första avsnitt är ett samtal med den oförliknelige framtidsforskaren och kollegan Anders Sandberg. Fler avsnitt kommer!

tisdag 6 juli 2021

Artificial general intelligence and the common sense argument

Consider the distinction between narrow AI and artificial general intelligence (AGI), the former being AI specialized on a limited range of capabilities and tasks, and the latter denoting a hypothetical future AI technology exhibiting the flexibility and the full range of cognitive capabilities that we associate with human intelligence. Timelines for when (if ever) AGI will be built are highly uncertain [MB,GSDZE], but scientific debate on the issue has become more pressing in recent years, following work on possible catastrophic consequences of an AGI breakthrough unless sufficient care is taken in aligning the machine’s goals with human values [Y08,Bo,Ru,H].

A common argument for long or infinite timelines until AGI is to point to some example where present-day AI performs badly compared to humans, and to take this as a lack of “common sense” and an indication that constructing AGI is far beyond our current capabilities, whence it cannot plausibly become reality anytime soon [Bks,W,P18a,P18b]. We have all seen YouTube videos of robots tripping over their toes used for this purpose, and a recent viral case concerned an AI meant to steer a TV camera to track the ball during a football game which instead tracked the head of a bald linesman [V]. Such utter lack of common sense! An implicit or sometimes explicit conclusion tends to be that concerns about future machines taking control of the world are overblown and can be dismissed.

I believe that the central position assigned to concept of AGI in the AI futurology and AI safety literature has, via the following implicit narrative, given undue credence to the idea that AI existential risk is exclusively an issue concerning the far future. For AI to become AGI, we need to equip it with all of the myriad competences we associate with common sense, one after the other, and only then will it be ready to enter the spiral of self-improvement that has been suggested may lead to an intelligence explosion, superintelligence, and the ability to take over the world [G,Bo,H].

But common sense is a vague notion – it tends to be simply a label we put on any ability where humans still outperform AI. Hence, by the very definition of AGI, we will be able to point to common sense failures of AI up until the very moment AGI is created, so the argument that such failures show that AGI is a long way off is unsound; see [Y17] for a similar observation.

More importantly, however: AGI may not be necessary for the self-improvement spiral to take off. A better narrative is the following. We are already at a stage where AIs are better than humans at some cognitive tasks while humans remain better than AIs at others. For instance, AIs are better at chess [Si,SR], while humans are better at tracking a football [V]. A human pointing to the football example to show that AIs lack common sense has no more force than an AI pointing to chess to show that humans lack common sense. Neither of them fully dominates the other in terms of cognitive capabilities. Still, AI keeps improving, and rather than focusing on full dominance of AI (as encouraged by the AGI concept) the right question to ask is in what range of cognitive capacities AI needs to master in order to be able to seize power from humans. Self-improvement (i.e., constructing advanced AI) is probably a key competence here, but what does that entail?

There is probably little reason to be concerned about, say, the AlphaZero breakthrough [Si,SR], as two-player zero-sum finite board games with full information is unlikely to be the most significant part of the intelligence spectrum. More significant, probably, is the use of language, as a large fraction of what a human does to control the world is via language acts. It is also a direction of AI that has seen dramatic improvements in the last few years with large-scale natural language processors like GPT-2 and GPT-3 [RWAACBD,Bwn,So,KEWGMI]. With the launch of GPT-3, it was stressed that no new methods were employed compared to GPT-2: the improved performance was solely a consequence of brute-force upscaling. Nobody knows where the ceiling is for such upscaling, and it is therefore legitimate to ask whether the crucial ingredient to make AI’s ability to control the world surpass that of humans might lie in the brute-force expansion of such language models.

If it seems counterintuitive that an AI would attain the ability to take over the world without first having mastered common sense, consider that this happens all the time for smaller tasks. As an illustrative small-scale example, take the game of Sokoban, where the player moves around in a maze with the task of pushing a collection of boxes to a set of prespecified locations. An AI system for solving Sokoban puzzles was recently devised and exhibited superhuman abilities, but apparently without acquiring the common sense insight that every human player quickly picks up: if you push a box into a corner, it will be stuck there forever [FDS,PS]. No clear argument has been given for why efficient problem solving lacking in common sense would be impossible for a bigger task like taking over the world.

To summarize, I believe that while the notion of AGI has been helpful in the early formation of ideas in the futurology and philosophy of AI, it has also been a source of some confusion, especially via the common sense argument discussed above. AI existential risk literature might therefore benefit from a less narrow focus on the AGI concept. Such a shift of focus may be on its way, such as in the recent authoritative research agenda [CK] where talk of AGI is almost entirely abandoned in favor of other notions such as prepotent AI, meaning AI systems whose deployment would be at least as transformative to the world as humanity itself and unstoppable by humans. I welcome this shift in discourse.

References

[Bo] Bostrom, N. (2014) Superintelligence: Paths, Dangers, Strategies, Oxford University Press, Oxford.

[Bks] Brooks, R. (2017) The seven deadly sins of AI prediction, MIT Technology Review, October 6.

[Bwn] Brown, T. et al (2020) Language models are few-shot learners, https://arxiv.org/abs/2005.14165

[CK] Critch, A. and Krueger, D. (2020) AI research considerations for human existential safety (ARCHES), https://arxiv.org/abs/2006.04948

[FDS] Feng, D., Gomes, C. and Selman, B. (2020) A novel automated curriculum strategy to solve hard Sokoban planning instances, 34th Conference on Neural Information Processing Systems (NeurIPS 2020).

[G] Good, I.J. (1966) Speculations concerning the first ultraintelligent machine, Advances in Computers 6, 31-88.

[GSDZE] Grace, K., Salvatier, J., Dafoe, A., Zhang, B. and Evans, O. (2017) When will AI exceed human performance? Evidence from AI experts, https://arxiv.org/abs/1705.08807

[H] Häggström, O. (2021) Tänkande maskiner: Den artificiella intelligensens genombrott, Fri Tanke, Stockholm.

[KEWGMI] Kenton, Z., Everitt, T., Weidinger, L., Gabriel, I., Mikulik, V. and Irving, G. (2021) Alignment of language agents, https://arxiv.org/abs/2103.14659

[MB] Müller, V. and Bostrom, N. (2016) Future progress in artificial intelligence: A survey of expert opinion, in Fundamental Issues of Artificial Intelligence (ed. V. Müller), Springer, Berlin, p 554-571.

[PS] Perry, L. and Selman, B. (2021) Bart Selman on the promises and perils of artificial intelligence, Future of Life Institute Podcast, May 21.

[P18a] Pinker, S. (2018) Enlightenment Now: The Case for Reason, Science and Humanism, Viking, New York.

[P18b] Pinker, S. (2018) We’re told to fear robots. But why do we think they’ll turn on us? Popular Science, February 14.

[RWAACBD] Radford A., Wu, J., Amodei, D., Amodei, D., Clark, J., Brundage, M. and Sutskever, I. (2019) Better language models and their implications, OpenAI, February 14, https://openai.com/blog/better-language-models/

[Ru] Russell, S. (2019) Human Compatible: Artificial Intelligence and the Problem of Control, Viking, New York.

[SR] Sadler, M. and Regan, N. (2019) Game Changer: AlphaZero’s Ground-Breaking Chess Strategies and the Promise of AI, New In Chess, Alkmaar, NL.

[Si] Silver, D. et al (2018) A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play, Science 362, 1140-1144.

[So] Sotala, K. (2020) I keep seeing all kinds of crazy reports about people's experiences with GPT-3, so I figured that I'd collect a thread of them, Twitter, July 15.

[V] Vincent, J. (2020) AI camera operator repeatedly confuses bald head for soccer ball during live stream, The Verge, November 3.

[W] Waters, R. (2018) Why we are in danger of overestimating AI, Financial Times, February 5.

[Y08] Yudkowsky, E. (2008) Artificial intelligence as a positive and negative factor in global risk, in Global Catastrophic Risks (ed. N. Bostrom and M. Cirkovic), Oxford University Press, Oxford, p 308–345.

[Y17] Yudkowsky, E. (2017) There’s no fire alarm for artificial general intelligence, Machine Intelligence Research Institute, Berkeley, CA.