En medborgare och matematiker ger synpunkter på samhällsfrågor, litteratur och vetenskap.
På gott eller ont? Eller både och? Svårt att säga. AI kan bli nyckeln till att lösa alla våra stora samhällsproblem kring klimat, naturresurser, global hälsa, fattigdom, geopolitiska konflikter, etc. Potentialen är på sikt obegränsad. Men det finns också ofantliga risker. Huruvida nettot hamnar på plus eller minus kan ingen veta idag, men det jag vågar säga säkert är att för att kunna skörda de stora frukter som utlovas behöver vi se riskerna i vitögat och hantera dem.
Och riskerna är av många slag.
En klass av risker har att göra med arbetsmarknadskonsekvenser av AI-driven automatisering. Jag menar såklart inte att lönearbete är livets mening, utan tvärtom att det kan bli en befrielse att till slut göra oss av med. Men vägen dit kan bli besvärlig. Automatisering är inget nytt, men de senaste årens AI-utveckling vänder gamla föreställningar på ända. Tidigare har tagits för givet att fysiska och manuella arbetsuppgifter blir dem automatiseras först, medan de intellektuella och kreativa kommer långt senare, men tack vare de nya språkmodellernas rasande framsteg samtidigt som robotiken släpar efter ser det nu ut att bli tvärtom. Mjukvarubranschen känner redan av stora förändringar som följd av modellernas programmeringskompetens. Alla yrkesgrupper där skrivande och kommunikation är det centrala kan stå på tur. Min rörmokare har i detta perspektiv antagligen större anställningstrygghet än någon av oss i detta rum.
Ni har såklart hört om hur AI (åtminstone i reklambranschen) börjat konkurrera ut bildkonstnärer, och inom författarskrået talas med oro om en liknande utveckling. Och musik såklart. Allt tal om att det finns något unikt mänskligt som gör att AI inte kommer att kunna konkurra med bättre romaner, vackrare bilder och skönare musik ser jag som rent önsketänkande. Men det kan ändå finnas en räddning för dessa branscher i form av vår diskriminerande preferens för mänsklig autenticitet. Jag spelade tävlingsschack i 30 år men nöjer mig nu med att följa eliten via Internetsändningar. För att få se de objektivt sett allra bästa schackpartierna borde jag egentligen se på mästerskapsmatcher mellan de ledande schackdatorerna, men det väljer jag bort, för att istället följa Magnus Carlsen och hans stormästarkollegor, och deras svettiga pannor och psykologiska berg-och-dalbanor. Det mänskliga. Jag är inte ensam om detta, utan schackfans världen över gör samma prioritering som jag. Och om denna preferens generaliserar som jag tror, från schacket och vidare till litteraturen och de övriga stora konsterna, så tror jag att de konstnärliga sektorerna kan komma att överleva (om än inte opåverkade av AI-utvecklingen).
En annan klass av risker handlar om automatiserad desinformation och ett Internet som svämmar över av individanpassad spam, en farlig utveckling inte minst genom att den riskerar att spela rakt i händerna på fascistoida krafter för vilka en nihilistisk upplösning av sant och falskt är ett centralt moment i maktövertagandet (läs Orwell, och läs Timothy Snyder). Och filosofen Daniel Dennett varnade nyligen i en uppmärksammad artikel i The Atlantic för ”counterfeit people” – AI-botar som lurar oss genom att uppge sig vara människor, och hur detta hotar att slå sönder den sociala tilliten. Jag ser framför mig en sannolik kapprustning mellan alltmer sofistikerad förfalskning och lika sofistikerade algoritmer för automatiserad klassificering av människor kontra maskiner.
Sen har vi det största perspektivet av dem alla, och som jag envisas med att lyfta trots att det tenderar att skapa förstämning. På bara 100 000 år har vi gått från att vara en djurart bland många på savannen, till att ha tagit kontrollen över planeten. Denna enorma framgångssaga har i princip inget att göra med vår muskelstyrka och fysiska uthållighet, utan handlar om intelligens – den kanske starkaste kraften i universum. Nu har vi kommit till ett kritiskt skede i och med att vi alltmer börjat automatisera och delegera denna förmåga till maskiner. Till slut – om vi fortsätter på denna väg – kan vi nå den punkt som Alan Turing varnade för redan 1951, då vi inte längre är etta på planetens topplista över intelligenta varelser. Då hänger allt på om vi i tid lyckats med det svåra projekt som kallas AI Alignment – att få maskinerna att dela våra värderingar. Om vi inte lyckas med det kommer vi antagligen att sluta som mammuten och grottbjörnen, och hela biosfären kan väntas stryka med på kuppen.
Och avgörandets ögonblick kan vara närmare än många anar: ju närmare man rör sig Silicon Valley och San Francisco där allting händer, desto större osäkerhet uttrycker branschfolk kring om vi kan vänta oss att överleva nästa decennium, eller till och med det innevarande. Det är till stor del därför jag varit med och skrivit på vårens två stora upprop av AI-experter och andra som kräver åtgärder mot den vansinneskapplöpning mot avgrunden som just nu pågår.
[Bks] Brooks, R. (2017) The seven deadly sins of AI prediction, MIT Technology Review, October 6.
[Bwn] Brown, T. et al (2020) Language models are few-shot learners, https://arxiv.org/abs/2005.14165
[CK] Critch, A. and Krueger, D. (2020) AI research considerations for human existential safety (ARCHES), https://arxiv.org/abs/2006.04948
[FDS] Feng, D., Gomes, C. and Selman, B. (2020) A novel automated curriculum strategy to solve hard Sokoban planning instances, 34th Conference on Neural Information Processing Systems (NeurIPS 2020).
[G] Good, I.J. (1966) Speculations concerning the first ultraintelligent machine, Advances in Computers 6, 31-88.
[GSDZE] Grace, K., Salvatier, J., Dafoe, A., Zhang, B. and Evans, O. (2017) When will AI exceed human performance? Evidence from AI experts, https://arxiv.org/abs/1705.08807
[H] Häggström, O. (2021) Tänkande maskiner: Den artificiella intelligensens genombrott, Fri Tanke, Stockholm.
[KEWGMI] Kenton, Z., Everitt, T., Weidinger, L., Gabriel, I., Mikulik, V. and Irving, G. (2021) Alignment of language agents, https://arxiv.org/abs/2103.14659
[MB] Müller, V. and Bostrom, N. (2016) Future progress in artificial intelligence: A survey of expert opinion, in Fundamental Issues of Artificial Intelligence (ed. V. Müller), Springer, Berlin, p 554-571.
[PS] Perry, L. and Selman, B. (2021) Bart Selman on the promises and perils of artificial intelligence, Future of Life Institute Podcast, May 21.
[P18a] Pinker, S. (2018) Enlightenment Now: The Case for Reason, Science and Humanism, Viking, New York.
[P18b] Pinker, S. (2018) We’re told to fear robots. But why do we think they’ll turn on us? Popular Science, February 14.
[RWAACBD] Radford A., Wu, J., Amodei, D., Amodei, D., Clark, J., Brundage, M. and Sutskever, I. (2019) Better language models and their implications, OpenAI, February 14, https://openai.com/blog/better-language-models/
[Ru] Russell, S. (2019) Human Compatible: Artificial Intelligence and the Problem of Control, Viking, New York.
[SR] Sadler, M. and Regan, N. (2019) Game Changer: AlphaZero’s Ground-Breaking Chess Strategies and the Promise of AI, New In Chess, Alkmaar, NL.
[Si] Silver, D. et al (2018) A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play, Science 362, 1140-1144.
[So] Sotala, K. (2020) I keep seeing all kinds of crazy reports about people's experiences with GPT-3, so I figured that I'd collect a thread of them, Twitter, July 15.
[V] Vincent, J. (2020) AI camera operator repeatedly confuses bald head for soccer ball during live stream, The Verge, November 3.
[W] Waters, R. (2018) Why we are in danger of overestimating AI, Financial Times, February 5.
[Y08] Yudkowsky, E. (2008) Artificial intelligence as a positive and negative factor in global risk, in Global Catastrophic Risks (ed. N. Bostrom and M. Cirkovic), Oxford University Press, Oxford, p 308–345.
[Y17] Yudkowsky, E. (2017) There’s no fire alarm for artificial general intelligence, Machine Intelligence Research Institute, Berkeley, CA.
3) Vad gäller den sistnämnda vill jag en gnutta skamset framhålla att den inte är den bästa intervju jag givit. Jag svarade på frågorna via epost och hade ont om tid, och antog lite förhastat att det skulle komma följdfrågor. Jag borde åtminstone ha utvecklat att par av de mer korthuggna svaren. "Den potential AI har att berika samhällsekonomin och våra liv är enorm, men det gäller även riskerna" hade helt klart varit ett bättre och mer balanserat svar än "Riskerna är enorma" på frågan om huruvida vi bör vara rädda för AI.4 Och vad gäller jämförelsen mellan ett schackprogram och en robotiserad kassörska kunde jag exempelvis ha farmhållit att medan schackprogrammet har en välavgränsad spelplan, väldefinierade regler och en klockrent specificerad målfunktion så är allt detta ofantligt mycket mer komplicerat och oklart för en snabbköpskassörska, som behöver vara kapabel att hantera inte bara standardsituationer som att kvittorullen tar slut eller att kundens kreditkort visar sig ogiltigt, utan även en miljard andra situationer, som 6-åringen som gråter över att ha tappat bort sin förälder någonstans i den stora affären, pensionären som insisterar på att det stått i tidningen att grönkålen kostar 19:90, och fyllot som vomerar på varubandet eller som ställd inför upplysningen att endast personaltoalett finns svarar med att hota att urinera i lösgodiset.
4) Strängt taget tillför väl inte det längre svaret någon information som läsaren inte kan väntas redan känna till, men det handlar här mer om social signalering än om informationsöverföring i snäv mening. Det är viktigt för mig att framstå som en klok och balanserad tänkare snarare än som en extremist och en domedagspredikant.
Att ett nytt schackprogram är bättre än de tidigare har givetvis hänt förut och är inte i sig sensationellt; paradigmskiftet består i att programmet uppnått sin spelstyrka på egen hand från scratch. Det kan hända att schacksajten chess24.com har rätt i sin spekulation att "the era of computer chess engine programming also seems to be over". Det kan också hända att jag överreagerar på grund av den nära relation till just schack jag haft i decennier (det är kanske inte ens givet att det vi fick veta igår är ett större genombrott än DeepMinds motsvarande framsteg i Go tidigare i år), men händelsen får mig att överväga en omvärdering av hur snabbt AI-utvecklingen mer allmänt går idag. Eliezer Yudkowskys uppsats There’s No Fire Alarm for Artificial General Intelligence är värd att åtminstone skänka en tanke i detta sammanhang.
Who knows how much of the human cognitive fortress might fall to a few more orders of magnitude in processing power? I don’t—not in the sense of “I basically know but am being coy,” but really in the sense of not knowing.
To be clear, I still think that by far the most urgent challenges facing humanity are things like: resisting Trump and the other forces of authoritarianism, slowing down and responding to climate change and ocean acidification, preventing a nuclear war, preserving what’s left of Enlightenment norms. But I no longer put AI too far behind that other stuff. If civilization manages not to destroy itself over the next century—a huge “if”—I now think it’s plausible that we’ll eventually confront questions about intelligences greater than ours: do we want to create them? Can we even prevent their creation? If they arise, can we ensure that they’ll show us more regard than we show chimps? And while I don’t know how much we can say about such questions that’s useful, without way more experience with powerful AI than we have now, I’m glad that a few people are at least trying to say things.
Så hur gick det? Vad tyckte jag om seminariet? Gav Dennett det slags besked jag hoppades på? Istället för att orda om detta här hänvisar jag till det poddsamtal som Sturmark och jag spelade in dagen efter seminariet, och som i hög grad kretsade kring vad Bostrom och Dennett hade talat om. Jag tror att vi fick till ett hyfsat givande samtal, så lyssna gärna på det! Men framför allt, tag gärna del av videoinspelningen av själva seminariet!
[...]
Hur tror du att en dator känner sig som vaknar upp och finner sig tillfångatagen och kontrollerad av primitiva kryp som vi? Varför skulle den finna sig i den situationen? Varför skulle den överhuvudtaget visa oss någon överdriven hänsyn, eller än mindre låta oss rota i dess inre för att stänga av processen? Vi riskerar att stå inför en intelligensexplosion, en teknologisk singularitet som Vernor Vinge kallade det.
[...]
Idag arbetar tusentals människor över hela världen för att förhindra en sådan utveckling. Många är optimistiska, eller till och med utopiska. Man talar om friendly ASI, om vänliga superintelligenser som redan från början programmerats så att de enbart hjälper oss. Man tänker sig något i stil med vad Asimov föreställde sig i boken Jag, robot, inbyggda lagar som förbjuder maskinerna att skada oss. Innovatören och författaren Ray Kurzweil ser en underbar värld framför sig där vi med hjälp av nanoteknik interagerar med datorerna, och delar vår framtid med dem. Men självklart finns inga garantier. Lagar kan hävas. Betydelsen av initiala programmeringar kan förändras, och det är oerhört lätt att göra antropomorfiska misstag; tillskriva maskinerna mänskliga drag, och missförstå deras inneboende drivkraft.
In fact, Stalin did want to fight. The August 1939 Molotov-Ribbentrop pact had a secret protocol that divided Eastern Europe between Hitler and Stalin. It led directly to the German-Soviet invasion of Poland the following month that began World War II. In speaking of this agreement, known as the Molotov-Ribbentrop pact, as good foreign policy, Putin has violated both a long Soviet taboo and revised his own prior position that the agreement was “immoral.” What might he have in mind? What it is about rapprochement with Nazi Germany that is so appealing just at the present moment?
[...]
Today, the positive emphasis on a war of aggression goes well with tendencies in the Russian media, where defiant declarations of Russian anti-fascism are increasingly submerged in rhetoric that may seem rather fascist. Jews are blamed for the Holocaust on national television; an intellectual close to the Kremlin praises Hitler as a statesman; Russian Nazis march on May Day; Nuremberg-style rallies where torches are carried in swastika formations are presented as anti-fascist; and a campaign against homosexuals is presented as a defense of true European civilization. In its invasion of Ukraine, the Russian government has called upon the members of local and European far right groups to support its actions and spread Moscow’s version of events.
In the recent “elections” staged in the Russian-backed eastern Ukrainian regions of Donetsk and Luhansk, as in the earlier faked referendum in occupied Crimea, European far-right politicians have come as “observers” to endorse the gains of Russia’s war. Far from being an eccentric stunt, the invitation of these “observers” reveals why the Molotov-Ribbentrop pact is meaningful to Moscow today. Although Putin would certainly have been pleased if actual German or Polish political leaders were foolish enough to take the bait of agreeing to a new division of Europe, he seems satisfied for the moment with the people who have actually responded, in one way or another, to his appeal to destroy the existing European order: separatists across Europe (including the UK Independence Party, whose leader, Nigel Farage, calls Putin the world leader he most admires); anti-European right-wing populist parties (of which the most important is France’s National Front); as well as the far-right fringe, including neo-Nazis.
The Molotov-Ribbentrop pact was not only about territory in Eastern Europe but also about the entire European legal order. In making his alliance with Hitler, Stalin had a political logic. He imagined that in supporting the Nazi state as it began its total war he would turn the German armed forces to the west, away from the Soviet Union. In this way, the inherent contradictions of the capitalist world would be exposed, and Germany, France, and Britain would collapse simultaneously. In his own way, Putin is now attempting much the same thing. Just as Stalin sought to turn the most radical of European forces, Adolf Hitler, against Europe itself, so Putin is allying with his grab bag of anti-European populists, fascists, and separatists. His allies on the far right are precisely the political forces that wish to bring an end to the current European order: the European Union.
It should go without saying that a return to the nation-state in Europe would be a catastrophe for all concerned, including, in the end, for Russia. But there is an important difference between Stalin in 1939 and Putin in 2014. One can at least credit Stalin for attempting to resolve a real problem: Hitler did indeed intend to destroy the Soviet Union. In allying with Hitler he compromised his ideology and made a strategic mistake, but he was certainly responding to a real threat. Putin, on the other hand, had no European enemy. Without any apparent cause, in 2013, for the first time, the Russia government designated the European Union as an adversary. In its media and indeed in official foreign policy pronouncements it has characterized the European Union as “decadent,” in the sense of about to disintegrate.
2. Kort innan turneringen började accepterade Caruana det så kallade Ice Bucket Challenge.4