Leo Szilard the satirist

Of all the 20th century physicists who contributed to the intellectually magnificent project of putting human civilization on the brink of destruction, and who reflected afterwards on the ethics of doing so, my favorite is probably Leo Szilard. It has now been brought to my attention (by Jason Crawford) that Szilard was also an excellent satirist. Here's his 1948 (very) short story Tha Mark Gable Foundation:

"I have earned a very large sum of money" - said Mr. Gable, turning to me, "with very little work. And now I am thinking of setting up a Trust Fund. I want to do something that will really contribute to the happiness of the mankind; but it is very difficult to know what to do with money. When Mr. Rosenblatt told me that you would be here tonight I asked the Mayor to invite me. I certainly would value your advice."

"Would you intend to do anything for the advancement of science?" I asked.

"No," Mark Gable said, "I believe scientific progress is too fast as it is."

"I share your feeling about this point," I said with the fervor of conviction, "but then, why not do something about the retardation of scientific progress?"

"That I would very much like to do," Mark Gable said, "but how do I go about it?"

"Well," I said, "I think that should not be very difficult. As a matter of fact, I think it should be quite easy. You could set up a Foundation, with an annual endowment of thirty million dollars. Research workers in need of funds could apply for grants, if they could make out a convincing case. Have ten committees, each composed of twelve scientists, appointed to pass on these applications. Take the most active scientists out of the laboratory and make them members of these committees. And the very best men in the field should be appointed as Chairmen at salaries of $50,000 each. Also have about twenty prizes of $100,000 each for the best scientific papers of the year. This is just about all you would have to do. Your lawyers could easily prepare a Charter for the Foundation. As a matter of fact, any of the National Science Foundation Bills which had been introduced in the 79th and 80th Congress could perfectly well serve as a model."

"I think you had better explain to Mr. Gable why this Foundation would in fact retard the progress of science," said a bespectacled young man sitting at the far end of the table, whose name I didn't get at the time of introduction.

"It should be obvious" - I said - "First of all, the best scientists would be removed from their laboratories and kept busy on committees passing on applications for funds. Secondly, the scientific workers in need of funds will concentrate on problems which are considered promising and are pretty certain to lead to publishable results. For a few years there may be a great increase in scientific output; but by going after the obvious, pretty soon Science will dry out. Science will become something like a parlor game. Some things will be considered interesting, others will not. There will be fashions. Those who follow the fashion will get grants. Those who won't, will not, and pretty soon they will learn to follow the fashion too."

Utredningen om medicinsk åldersbedömning nedlagd

Kort efter att den dåvarande regeringen sommaren 2020 tillsatte en utredning om Rättsmedicinalverkets (RMV) metod för medicinsk åldersbedömning utsågs jag som ledamot i den expertgrupp som skulle assistera enmansutredaren Maria Eka i hennes arbete. Detta uppdrag fick ett hastigt slut igår, den 22 december 2022, då den nuvarande regeringen tog beslut om att lägga ned utredningen. Beskedet gjorde mig bestört, då det (enligt min mening helt felaktigt) pekar på att frågor om rättssäkerhet med mera vid medicinsk åldersbedömning av ensamkommande flyktingbarn inte anses viktiga nog att förtjäna fortsatt tankearbete.

Fastän jag på några punkter är försiktigt kritisk mot utredningens arbete,¹ menar jag att det enda rimliga hade varit att låta den fullfölja sitt arbete, och att den plötsliga nedläggningen utgör ett slags epistemisk vandalisering. Som väl är finns i alla fall utredningens delbetänkande från i oktober förra året, men något slutbetänkande blir det alltså inte.

Fotnot

1) Mina huvudsakliga kritiska synpunkter är tre till antalet:

• Utredningsarbetet ålades ett tidsschema som redan från början var så till den grad utdraget (deadline för slutbetänkandet var satt till den 31 maj 2024, nära fyra år efter utredningens sjösättning) att det är svårt att föreställa sig en rimlig saklig motivering till det. Snarare tror jag att det handlade om att man ville ge dåvarande justitieminister Morgan Johansson rejält med arbetsro i frågan.
• I expertgruppen ingick personer från en rad organisationer och myndigheter med fingrar med i själva den verksamhet utredningen var satt att granska. Skälet till det är uppenbart: dessa organisationer sitter på kunskap av intresse för utredningen. Dock finns lika uppenbara nackdelar, vilka i början av utredningens arbete lyftes i bland annat Läkartidningen. Utan att nämna några namn eller gå in på några detaljer i vad som sagts i expertgruppen kan jag med facit i hand konstatera att den intellektuella nivån på diskussionerna ofta blev lidande till följd av att vissa ledamöter såg det förutsättningslösa och opartiska dryftandet av sakfrågor som ett i bästa fall sekundärt uppdrag, och istället betraktade sitt primära uppdrag som att söka undvika kritik mot den egna organisationen. Jag tror att denna erfarenhet är värd att beakta inför kommande statliga utredningar med liknande problematik; förhoppningsvis går det att hitta sätt att organisera dessa som är mer gynnsamma för nivån på deras arbete.
• Utredningen var enligt min mening alltför snävt fokuserad på RMV:s metod för medicinsk åldersbedömning, på bekostnad av den bredare frågan om vad som är en (etiskt, juridiskt, mättekniskt och beslutsteoretiskt) lämplig eller rentav optimal sådan metod. Direktviv är direktiv, kan man hävda, men frågan om huruvida RMV:s metod är lämplig kan inte frikopplas från den om huruvida bättre alternativ finns.

ChatGPT and AI Alignment

Just over two weeks ago, on November 30, OpenAI released its ChatGPT, and since then, everyone's talking about it. Me too. In this newly recorded 47-minute lecture I offer some thoughts on what it means for the AI Alignment problem.

Scott Aaronson on AI safety

Many times over the last few years I've made attempts at lectures giving an overview about what kinds of futures for humanity the unfolding saga of AI development may lead to, and about what is being done within the still small but rapidly growing field of AI alignment with the goal of improving the odds for a benign outcome. Some of these attempts are available in video format in earlier Häggström hävdar blog posts and elsewhere. They have varied in quality, and in a few instances I've walked away from the podium with something resembling a sense of having nailed the topic as best as I can hope to, but to tell the truth I have never ever come even close to the level exhibited by the brilliant and inimitable Scott Aaronson in the talk hosted by AT Austin's EA (Effective Altruism) group he gave a couple of weeks ago, on November 14, 2022. Warmly recommended!

Slaughterbots and Diplomacy

The most vivid and pedagogically useful explanation of the near-term dangers implied by the development of AI technology for military drones that I know of has been the famous Slaughterbots video, produced in 2017 by the Future of Life Institute and featuring leading AI safety researcher Stuart Russell. I've been showing it to my students every year since 2018, along with proclamations such as ''Potential dangers in AI lurk everywhere, but if I were to single out one application area as the absolutely most reckless one as a playground for development of cutting-edge AI technology, I'd say killer robots''.

Just this week, two event have come to my attention that cause me to update on this and perhaps modify my lectures slightly:

1. A large part of the Slaughterbots video is a fictional promotion event for a new autonomous killer drone product. But why stick to fiction when we can have the real thing? The Israeli defense electronics company Elbit Systems has released a promotion video for their latest lethal AI product. Their tone and content are reminiscent the Slaughterbots video but without any hint of irony or admission that AI technology for killing people could be dangerous or bad. Here's what we get when reality imitates fiction:

2. Facebook's (or Meta as they now call themselves) AI lab just announced how they built an AI that performs on (at least) human level at the game of Diplomacy. Given the role of Bostrom's treacherous turn concept and related deception problems (as outlined in the recent very important report by Ajeya Cotra) in exacerbating AI existential risk, I should perhaps consider modifying the proclamation above to something like ''Potential dangers in AI lurk everywhere, but if I were to single out one application area as the absolutely most reckless one as a playground for development of cutting-edge AI technology, I'd say games where the winning moves consist of manipulating human opponents into acting in your interest and then stabbing their back''.

Min recension av MacAskills What We Owe the Future

I ett blogginlägg i förra månaden utlovade jag en recension av William MacAskills nya bok What We Owe the Future. För er som otåligt väntat på denna är tiden nu kommen, för min text Filosoferna som tänker stort om framtiden har denna morgon publicerats på Dagens Arena.

(I själva verket skickade jag in mitt manus redan i början av september, i förhoppningen att de som helt digitalt forum skulle kunna arbeta med korta pressläggningstider - vilket passade mig bra eftersom jag gärna ville ansluta till anglosfärens mycket omfattande uppmärksamhet kring bokens lansering i augusti, och dessutom hoppades kunna sätta agendan för diskussion om boken på svenska. Föga anade jag att ett svenskt riksdagsval med tillhörande regeringsförhandlingar skulle innebära att allt material av mer blickhöjande och långsiktig karaktär skulle läggas på is även i digitala tidskrifter.)

Så här inleder jag min text:

Varför skall vi göra något för framtida generationer – vad har de någonsin gjort för oss? Den unge Oxfordfilosofen William MacAskill försöker i sin nyutkomna bok What We Owe the Future ge ett noggrant och gravallvarligt svar på denna populära ironiska cynism. Vi har, menar han, starka moraliska skäl att verka för en bra värld åt kommande generationer. Så långt är hans idé knappast särskilt originell. Det är en gammal visdom att ett samhälle är gott när gamla människor planterar träd i vilkas skugga de aldrig kan räkna med att få svalka, och medeltida katedralbyggen som kunde spänna över många århundraden genomfördes enligt samma princip. Tanken om att arbeta för en bättre framtid är central i både miljörörelsen och andra politiska inriktningar.

För att förstå vad som är så nytt och omvälvande i MacAskills budskap att han talar om ”en moralisk revolution” kan vi börja med att titta på hans bakgrund. Som student i Oxford i slutet av 00-talet var han tillsammans med ett litet antal jämnåriga idealister drivande i att skapa det filosofiska tankesystem som kommit att benämnas effektiv altruism (EA), och i att grunda den sociala rörelse som bär samma namn. Grundidén är att inte nöja sig med att idka välgörenhet, utan se till att man gör så stor nytta som möjligt med de resurser man har. Inte heller detta låter särskilt originellt, men det allvar och den systematik som EA-rörelsen kommit att ägna effektivitetsfrågan avviker kraftigt från hur de flesta av oss är vana att tänka. Den som står i begrepp att köpa en bil, en telefon eller ett paket frukostflingor är ofta angelägen om att få bästa möjliga valuta för pengarna, medan den som är på väg att ge pengar till välgörenhet sällan ens reflekterar över om UNHCR gör mer nytta per donerad krona än Rädda Barnen eller vice versa. Det var till stor del insikten att effektiviteten – mängd nytta per donerad krona – kan skilja sig drastiskt mellan olika projekt och välgörenhetsorganisationer som drev de tidiga EA-entusiasterna. Vad som menas med ”nytta” i detta sammanhang är delvis en öppen fråga, men ett exempel är ”antal räddade levnadsår”, och de fann en gammal rapport från Världsbanken som pekade på att effektiviteten i projekt med denna inriktning kunde skilja sig åt med upp till en faktor 10 000.

Liknande tankar fanns på andra sidan Atlanten, där finansanalytikerna Holden Karnofsky och Elie Hassenfeld redan 2007 startade organisationen GiveWell, som utreder effektiviteten i olika välgörenhetsprojekt och vars topplista över effektiva sådana än idag är en viktig resurs för personer som vill donera med EA-inriktning. Listan har ofta toppats av olika malariabekämpningsprojekt i tredje världen, och genomsnittskostnaden för att via dessa rädda ett människoliv uppskattas till...

Med denna cliffhanger hoppas jag locka er vidare till min essä i Dagens Arena!

Tre flugor i en smäll (intervjuad i GU Journalen)

I mars i år hörde frilansjournalisten Lars Nicklason av sig till mig och berättade att han planerade en artikel ämnad för Göteborgs universitets tidning GU Journalen med utgångspunkt i Hanne Kjöllers bok Kris i forskningsfrågan. Kunde jag tänkas ställa upp på en intervju för en sådan artikel? Jag svarade att jag inte läst boken, men att jag i och för sig hade mycket att säga om nyttig och onyttig forskning, ineffektiviteter i forskarvärlden och eventuella kriser i diverse forskningsfrågor. Detta lät gott nog för Nicklason, och en intervju blev det - en intervju som blev så vittförgrenad att han insåg att en enda artikel i ämnet inte skulle räcka. Till slut verkar det ha blivit fyra artiklar, varav jag medverkar i följande tre:

• Publiceringshets ger dålig forskning, GU Journalen 3/2022, s 26-27.
• Kan vi dumpa förlagen?, GU Journalen 3/2022, s 28-29.
• Risker - något vi inte låtsas om, GU Journalen 4/2022, s 11.