My conversation with Seán Ó hÉigeartaigh on AI governance and AI risk

Seán Ó hÉigeartaigh, co-director of the Centre for the Study of Existential Risk at the University of Cambridge, is a leading expert on AI governance and AI risk. Earlier this week I had a stimulating discussion with him on these topics. This took place as part of the AI ethics seminar series at Chalmers, but deserves (in my humble opinion) to be seen more widely:

Min medverkan i SVT:s Utrikesbyrån igår

Angående min medverkan i SVT:s Utrikesbyrån igår (ca 11:20-12:50 in i videon på SVT Play; se även detta nyhetsklipp) vill jag framhålla att mina kritiska ord om FHM-direktör Johan Carlsons prediktion i början av mars av hur hårt Sverige i värsta fall kan komma att drabbas av coronasmittan inte rör sig om simpel efterklokhet. Minnesgoda läsare av denna blogg kan påminna sig att jag redan när det begav sig var starkt kritisk mot hans besinningslösa bedömning.

Programmet, vilket gavs rubriken Pricka rätt 2021, tycker jag som helhet blev helt ok, och inte minst är det bra att de lyfte Philip Tetlocks arbete med superforecasting. Och naturligtvis anser jag att det var ett klokt drag av dem att anlita mig som expertkommentator, men...

...de hade kunnat få betydligt större utväxling på just den saken om de hade hållt sig till den ursprungliga intention de signalerade till mig inför intervjun, nämligen att på ett mer övergripande plan diskutera de matematiska modellernas roll i prognosmakeri, istället för den snabba inzoomningen på Kinas osäkra covid-19-data.

New AI paper with James Miller and Roman Yampolskiy

The following words by Alan Turing in 1951, I have quoted before:

My contention is that machines can be constructed which will simulate the behaviour of the human mind very closely. [...] Let us now assume, for the sake of argument, that these machines are a genuine possibility, and look at the consequences of constructing them. [...] It seems probable that once the machine thinking method had started, it would not take long to outstrip our feeble powers. There would be no question of the machines dying, and they would be able to converse with each other to sharpen their wits. At some stage therefore we should have to expect the machines to take control.

It is but a small step from that ominous final sentence about machines taking over to the conclusion that when that happens, everything hinges on what they are motivated to do. The academic community's reaction to Turing's suggestion was a half-century of almost entirely ignoring it, and only the last couple of decades have seen attempts to seriously address the issues that it gives rise to. An important result of the early theory-building that has come out of this work is the so-called Omohundro-Bostrom framework for instrumental vs final AI goals. I have discussed it, e.g., in my book Here Be Dragons and in a 2019 paper in the journal Foresight.

Now, in collaboration with economist James Miller and computer scientist Roman Yampolskiy, we have another paper on the same general circle of ideas, this time with emphasis on the aspects of Omohundro-Bostrom theory that require careful scrutiny in light of the game-theoretic considerations that arise for an AI living in an environment where it needs to interact with other agents. The paper, whose title is An AGI modifying its utility function in violation of the strong orthogonality thesis, is published in the latest issue of the journal Philosophies. The abstract reads as follows:

An artificial general intelligence (AGI) might have an instrumental drive to modify its utility function to improve its ability to cooperate, bargain, promise, threaten, and resist and engage in blackmail. Such an AGI would necessarily have a utility function that was at least partially observable and that was influenced by how other agents chose to interact with it. This instrumental drive would conflict with the strong orthogonality thesis since the modifications would be influenced by the AGI’s intelligence. AGIs in highly competitive environments might converge to having nearly the same utility function, one optimized to favorably influencing other agents through game theory. Nothing in our analysis weakens arguments concerning the risks of AGI.

Read the full paper here!

The media fiasco over the Danish face mask study

The media coverage of the Danish face mask study whose results were announced last week has been deeply misleading, as I explain in my second blog post¹ at the International Statistical Institute's Statisticians React to the News. Here is how it begins:

The Swedish approach to the covid-19 crisis stands out compared to the rest of the developed world in several ways. One of these is the extremely low percentage of the population wearing face masks.

This behavior has been consistently egged on by the Public Health Agency of Sweden (FHM), who throughout the pandemic have refused to recommend the use of face masks other than in medical care. This puts them at odds with the WHO and with the global scientific community at large. There is some opposition to FHM's policy also in Sweden, but I doubt that even the report last week from the Nobel Prize awarding Royal Swedish Academy of Sciences (recommending the use of face masks) will have any effect on the FHM.

Due to the lack of transparent decision making at FHM, it remains unclear exactly why they take their unusual stance on face masks, although in my previous blog post at Statisticians React to the News I offered some speculations. When the Swedish news channel TV4 requested the scientific basis for their stance, the FHM offered a list of 37 scientific articles, and when TV4 went on to ask British expert Melinda Mills to go over it she found that the set of articles pointed overwhelmingly in the direction of face masks having a substantial effect. Astonishingly, in a recent press conference, Karin Tegmark Wisell at the FHM hinted at a fairness aspect: a face mask recommendation would induce costs that would be felt more strongly by low-income households.

Be all that as it may, the results of a Danish study (published in the Annals of Internal Medicine) on the effects of wearing a face mask were announced last week. Given the news coverage it received, it is likely to feed into and reinforce the negative attitude towards face masks that dominates in Sweden.

Read the rest of the piece here.

Footnote

1) The first one was published in August: On science, uncertainty, the atomic bomb, and covid-19.

Om en statistikerkollega som gått vilse

Av alla svenska professorer i matematisk statistik som har initialerna OH och som författat böcker som ger oförtjänt stort utrymme åt Pascals vadslagning, vem har i sina publiceringar gjort sig skyldig till de mest flagranta avvikelserna från traditionell och väluppfostrad akademisk mainstreamdiskurs?

En kuggfråga såklart. Tanken är att läsaren (i synnerhet om denne läst Avsnitt 10.4, rubricerat I am not advocating Pascal's Wager, i min senaste bok Here Be Dragons) skall komma att tänka på mig, och sedan häpna över att det faktiskt finns en person som passar ännu bättre in på beskrivningen, nämligen Ola Hössjer, professor i matematisk statistik vid Stockholms universitet.

Jag har mycket höga tankar om Hössjers matematiska kompetens, så länge han håller sig borta från teologiska spörsmål, något som dock dessvärre verkar ha kommit att uppta en allt större del av hans tankeverksamhet. Ett av de tidigare tecken på denna olyckliga trajektoria jag blev varse var hur han blev så imponerad av ett par intellektuellt undermåliga artiklar av den engelske teologen Richard Swinburne att han på egen hand ombesörjde översättning av dem för publicering i en svenskspråkig tidskrift. Därefter har Hössjer bland annat skrivit den ovan antydda bok (utgiven 2018 och med titeln Becoming a Christian: Combining Prior Belief, Evidence, and Will) i vilken han vidareutvecklar Blaise Pascals beslutsteoretiska argument för det kloka i att tro på Gud,¹ och texter till försvar för kreationism (bland annat med det besynnerliga argumentet att "evolutionsteorin gör Gud ansvarig för lidande och död"), och för idén om ett slags Adam och Eva från vilka alla andra människor härstammar. Och nu senast har han med sin norske medförfattare Steinar Thorvaldsen lyckats prångla in den synnerligen genanta artikeln Using statistical methods to model the fine-tuning of molecular machines and systems (som visar sig vara inget annat än ett billigt försök att klä det gamla stormen i skrotupplaget-argumentet i fina ord) i den vanligen fullt respektabla tidskriften Journal of Theoretical Biology.²

Det är verkligen beklämmande att åse hur en uppskattad kollega kraschar sin akademiska bana på detta vis.

Fotnoter

1) Jag blev tillräckligt nyfiken för att införskaffa boken och påbörja läsning, men gav upp efter ett eller ett par kapitel av outhärdlig smörja.

2) Jag behöver inte här fördjupa mig i detaljerna i detta debacle, eftersom biologen Lars Johan Erkell vid Göteborgs universitet gör det fullödigt i en serie om inte mindre än sju bloggposter (del ett, del två, del tre, del fyra, del fem, del sex, del sju).

20 Lessons for November-December 2020

I have called your attention to the important writings of historian Timothy Snyder before (such as here, here, here). Now he is back, with a message more urgent than ever:

Framträdanden i november

Nästa månad (november 2020) gör jag en hel del föredrags- och panelframträdanden, varav följande är öppna för allmänheten och i de flesta fall digitalt:

• Tisdagen den 3 november deltar jag på CHAIR Annual Workshop 2020 med ett kort-kort föredrag rubricerat AI ethics at Chalmers.
• På kvällen samma dag, tisdagen den 3 november, blir jag kl 19.00 intervjuad inom ramen för Göteborgs universitets seminarieserie Forskaren som aktivist.
• Tisdagen den 10 november kl 16.30 deltar jag i panelsamtalet Matematiken som styr våra liv, som en del av en annan seminarieserie i Göteborgs universitets regi, rubricerad Hur vet vi det? Forskare diskuterar.
• Torsdagen den 19 november kl 12.00-15.30 är det dags för ännu ett arrangemang av Göteborgs universitet: seminariet Forskaren som människa: om forskarens inre liv, vilket kretsar kring Stefan Svallfors bok The Inner World of Research: On Academic Labor. Stefan är huvudtalare, men jag är med i egenskap av forskare, människa och en av bokens protagonister. Mötet äger rum på Jonsereds herrgård och sänts inte digitalt, varför föranmälan krävs och antalet platser är begränsat. [Edit 2 nov: Pga nya coronarestriktioner är detta evenemang skjutet på framtiden.]
• Tisdagen den 24 november äger Institutet för Framtidsstudiers workshop Demokrati och värderingar i tider av kris rum inom ramen för de så kallade Internetdagarna, och jag framträder tillsammans med filosofen Orri Stefánsson i ett samtal rubricerat Matematisk modellering, statistik och riskhantering.
• Dagen efter, onsdagen den 25 november kl 10.00, bidrar jag till Institutet för Framtidsstudiers forskarsesminuarium med ett föredrag rubricerat Bayesian and non-Bayesian epistemic attitudes, with applications to the atomic bomb, artificial intelligence, covid-19 and existential risk.

Konstig DN-artikel om covid-19-strategier

Igår, söndagen den 13 september, stod en konstig artikel om covid-19-strategier, rubricerad Hammaren och dansen - en strategi som kom av sig, att läsa i DN. För att förklara mitt lite negativa omdöme om den, låt mig först backa i tiden en smula.

Ett problem med den svenska debatten om hantering av coronakrisen har sedan i våras varit den bitvis otydliga kommunikationen från Folkhälsomyndighetens (FHM) sida. Tillsammans med fyra forskarkollegor gjorde jag i DN den 30 april ett försök att bidra till förbättrad klarhet genom att från den internationella debatten lyfta in den centrala distinktionen mellan mitigation- och suppression-strategier. Strategier av det första slaget utgår ifrån att smittspridningen inte kan upphöra förrän tillräckligt stor andel av befolkningen smittats för att ge upphov till flockimmunitet (ingen vet exakt hur stor denna andel är, men den siffra som oftast citerades i våras var 60%)¹. Strategier av det andra slaget gör inte detta antagande, utan bygger på ambitionen att hålla det totala antalet smittade betydligt lägre, fram tills dess viruset kan oskadliggöras med exempelvis ett vaccin. Valet mellan mitigation och suppression gör potentiellt stor skillnad för hur angeläget det är att trycka ned smittan: med en suppression-strategi är varje undvikande av smitta ett rejält plus, medan det med en mitigation-strategi är mindre betydelsefullt så länge man lyckas "platta till kurvan" (för att använda ett uttryck som snabbt blev slitet) tillräckligt för att inte överbelasta vården.

I mars-april signalerade FHM att det var mitigation man siktade på, kanske allra tydligast i Aftonbladet den 16 mars.² Sedan började man gradvis slira, och under sommaren har smittan gått ned till nivåer långt lägre än vad en renodlad mitigation-strategi motiverar. Kanske är det rimligt att (som Ina Hallström föreslagit) tala om att vi, likt Island gjorde i ett tidigare skede, åstadkommit en "accidental suppression". Sedan detta visat sig vara möjligt, även utan drakoniska åtgärder av kinesiskt snitt, framstår det som allt mer naturligt att fortsätta på den linjen, men att göra det med så lätt hand som möjligt för att på så vis inte hämma ekonomin och människors tillvaro mer än nödvändigt. Företrädare för FHM har dock varit ovilliga att tala klarspråk om ett sådant strategibyte, men två regeringskungörelser ger en ledtråd om att man nu tänker mer i suppression-termer. Den 7 april hette det så här:

Det övergripande målet med regeringens arbete är att minska takten på smittspridningen, det vill säga att platta till kurvan så att inte väldigt många blir sjuka samtidigt.

Den 8 juli hette det istället:

Folkhälsomyndigheten bedömer insatser som bör genomföras för att tidigt upptäcka nya utbrott, minska smittspridningen och minimera antalet sjukdoms- och dödsfall.

I vår DN-artikel den 30 april lånade vi ett uttryck som hade etablerats i engelskspråkig diskurs, då vi istället för att använda termen suppression talade om Hammaren och Dansen, där Hammaren symboliserar den fas då man så snabbt det går trycker ned smittan, och Dansen beskriver den längre efterföljande fas då man noggrant övervakar utvecklingen och håller beredskap att snabbt kväsa nya utbrott innan de hunnit få allmän geografisk spridning. Det andra av regeringscitaten ovan tyder på att det som nu pågår (i Sverige precis som i grannländerna) är just Dansen, och mer stöd för den tolkningen ger FHM-uttalanden som det de gjorde den 1 september om att

snabbt bekämpa lokala utbrott av covid-19 är centralt för att undvika en ökande smittspridning. En förutsättning för snabba insatser är att det finns tydliga regionala och lokala strukturer kring hur utbrott ska hanteras och upparbetade kontaktvägar mellan olika aktörer, till exempel lokaltrafik och skolledningar.

Döm om min förvåning när jag i DN igår skådade en artikel med rubriken Hammaren och dansen - en strategi som kom av sig. Inget belägg ges i texten - som bygger på en intervju med Harvardprofessorn Martin Kulldorff - för rubrikens (direkt felaktiga) påstående att Hammaren och Dansen kommit av sig. Fokus i artikeln hamnar istället på det irrelevanta faktum att den herre vid namn Tomas Pueyo som hittade på det spänstiga strategibenämningen saknar vetenskapliga kvalifikationer. Min förvåning över artikeln var så stor att jag skrev till artikelförfattaren - DN:s vanligen alldeles utmärkta vetenskapsredaktör Maria Gunther³ - och påtalade hur konstig jag fann den:

From: Olle Häggström
Sent: Sunday, September 13, 2020 14:16
To: maria.gunther@dn.se
Subject: Kulldorff, Hammaren och Dansen

Hej Maria

Jag såg din intervju med Martin Kulldorff idag. Om du vill intervjua mig för en uppföljande diskussion står jag till förfogande, för jag tycker att den verklighetsbild som förmedlas i intervjun är skev.

Jag tänker inte i första hand på att budskapet i vår artikel den 30 april vanställts (vi förespråkade inte någon specifik strategi, utan efterfrågade öppen diskussion kring och synliggörande av det svåra valet mellan suppression och mitigation, och framhöll att våra "överväganden behöver dock införlivas i en bredare kalkyl som tar hänsyn till bland annat de psykologiska och ekonomiska effekter som en mer omfattande tillfällig nedstängning av olika samhällssektorer kan medföra. Vi vill inte låta påskina att det är ett enkelt val").

Det jag tänker på är istället det underliga i att hävda att H&D - som ju bara är ett lite spänstigare namn på den väletablerade idén om suppression - kommit av sig, just i det skede då det står klart att FHM:s mitigation-strategi övergått mycket tydligt i suppression, och då vi på liknande vis som alla andra europeiska länder nu försöker sköta Dansen så smidigt som möjligt (efter ett Hammarslag som i vårt fall var lite mjäkigare och mer utdraget än i grannländerna).

Låt mig slutligen påpeka att Kulldorff är en särling och en outlier i vetenskapssamhället som i detta läge fortsätter att plädera för mitigation/flockimmunitetsstrategi (https://www.spectator.co.uk/article/herd-immunity-is-still-key-in-the-fight-against-covid-19). Du framställer det i artikeln som positivt att vi i Sverige till slut lyckats få ned smittan till så låga nivåer som vi nu ser, och jag instämmer naturligtvis, men det hade varit intressant att få veta Kulldorffs syn på det. För att halva befolkningen (eller vilken proportion därikring som skulle krävas för flockimmunitet) skall nås av smittan skulle det med nuvarande smittnivåer ta i storleksordningen ett decennium, så för att hans tankar skall gå ihop gissar jag att han önskar se smittan ta högre fart - men kanske tänker han på något annat vis.

Bästa hälsningar,

Olle

Vi får se om hon besvarar min invit!

Fotnoter

1) En uppmärksammad Science-artikel av Tom Britton et al föreslog skäl till att den siffran skulle kunna justeres ned, kanske till någonstans mellan 40% och 50%.

2) Se även Emanuel Karlstens gräv om FHM:s förehavanden under våren i Expressen den 12 augusti.

3) Särskilt nöjd är jag med den intervju med Anders Sandberg och mig om existentiell risk hon gjorde i september 2017.

Writing about science, uncertainty, the atomic bomb and covid-19 for the International Statistical Institute

Some weeks ago, the International Statistical Institute launched their new blog Statisticians React to the News. I've agreed to serve as a regular contribution, and today my first blog post there, entitled On science, uncertainty, the atomic bomb, and covid-19, has been published. Here is how it begins:

To be conservative in one's assumptions is a much-celebrated virtue in science, but the term carries an ambiguity that deserves highlighting. In 1939, at Columbia University in New York and just six years after he had come up with the crucial idea of a neutron-induced nuclear chain reaction, Hungarian-born phycisist Leo Szilard worked with his colleague Enrico Fermi on trying to make the chain reaction happen, to enable harvesting the energy contained in the nucleus, possibly leading to the creation of the atomic bomb. Szilard later reflected on his disagreement with Fermi over how to think about the possible outcomes of their work:
Fermi thought that the conservative thing was to play down the possibility that this may happen, and I thought the conservative thing was to assume that it would happen and take all the necessary precautions.
Their disagreement seems not to have been primarily one of substance - they both thought it wide open whether their experiments would succeed or not - but rather of how to think about this uncertainty. It seems they both took asymmetric views on this, but Szilard's one is easiest to understand: we are already used to living without man-made nuclear chain reactions since forever, so the outcome that is more liekly to have unforseen consequences and therefore more urgent to think thorugh is if we step into the brave new world where such chain reactions exist. As to Fermi, a succinct summary of his position is that he was acting Goofus, meaning that...

Read the rest of the blog post here!

Sten Kaijser, den gamle klimatförnekaren

I februari 2014 skrev jag här på bloggen ett terminologiskt inlägg helt och hållet ägnat ordet klimatförnekare. Jag avhandlade en rad av dess för- och nackdelar, men landade i ståndpunkten att ordet är värdefullt att ha i sin vokabulär, och inte utan vidare kan bytas ut mot något av dess oftast föreslagna nästan-synonymer. I bloggpostens Fotnot 1 återgav jag (fritt ur minnet) ett replikskifte jag vid minst två tillfällen hade haft med före detta¹ vännen och matematikerkollegan Sten Kaijser:

OH: [bla bla bla] klimatförnekare [bla bla]

SK: Klimatförnekare är ett så urbota löjligt ord - ingen förnekar väl att det existerar ett klimat! Själv kallar jag mig klimatskeptiker.

OH: Ojdå, Sten, betyder det att du är skeptisk till att det existerar ett klimat?

Då Stens inlärningskurva i klimatrelaterade frågor även i övrigt visat sig beklämmande platt gissar jag att han än idag och med samma löjlighetargument som tidigare avvisar ordet klimatförnekare. Därför är det inte utan ett visst mått av skadeglad triumf jag noterar att han i en rubrik i gårdagens Dagens Nyheter benämns just - klimatförnekare!

Fotnot

1) Att Sten och jag sedan april 2011 inte är on speaking terms får nog till större delen skyllas på mig och min långsinthet. I grunden handlar det om att jag inte står ut med kollegor som missbrukar sina professorstitlar till att driva vetenskapsfientliga desinformationskampanjer, men den utlösande orsaken till sammanbrottet var hur Sten, då vi möttes i samband med föreningen Vetenskap och Folkbildnings årsmöte 2011 (där han dök upp för att protestera mot att 2010 års förvillarpris), vägrade ta avstånd från hans klimatförnekarkompis Ingemar Nordins då dagsaktuella och vidriga utbrott mot några av mina vänner, vilka hade kritiserat Nordins antivetenskapliga verksamhet och därför anklagades bland annat för att vara "emotionellt sjuka" och besitta ett "patologiskt hat".

My conversation with James Miller on the Swedish covid-19 strategy

There has been much talk the last few days about the interview that Swedish Minister for Foreign Affairs Ann Linde did with German broadcaster Deutsche Welle about the Swedish covid-19 strategy. The combination of arrogance and ignorance she displayed made the interview painful to watch.

Last Thursday American economist James Miller and I recorded an episode of his podcast Future Strategist on the same topic. The episode can now be heard on Soundcloud or Poddtoppen or whatever is your favorite pod platform. I tried to give a fair and level-headed account of the Swedish approach to covid-19 and how it differs from those of other countries, but I'll leave it to the listener to judge whether I've mitigated the damage to Sweden's international reputation done by Linde, or if I exasperated the situation even further. Either way, the sound quality was unfortunately not great.

Academic freedom and the case of Stephen Hsu

Since reading the excellent book The Coddling of the American Mind by Greg Lukianoff and Jonathan Haidt last year, I have become more acutely aware of how increasingly bad the situation is becoming for academic freedom in the United States. We see similar tendencies in Sweden, but the situation across the Atlantic appears worse.

Further incidents after the publication of Lukianoff and Haidt underline how bad the situation is. A few days ago I learned (via Slate Star Codex) about the case of Stephen Hsu, a physics professor at Michigan State University, who was also (until yesterday) their VP in charge of research and graduate studies. Since June 10, he has been that target of an angry mob (starting with a Twitter thread from the Michigan State Graduate Employees Union) calling for his removal as VP, based on unsubstantiated and (frankly speaking) ridiculous charges of racism.

I am now reached by the highly distressing news that the president of Michigan State University has caved in to the mob and asked Hsu to resign. Hsu complied, albeit under protest. This is terrible. Academic freedom is under assault, and (to borrow Hsu's own words) "Academics and Scientists must not submit to mob rule".

EA and me

I was recently asked to contribute a 150-word text about my relation to effective altruism (EA), for publication in a pamphlet-of-sorts along with similar texts from other supporters of EA. I submitted the text below. After a couple of rounds of email exchange with the editor about how my text could be made less controversial we came to a standstill, and the text was rejected. I nevertheless like it, so am happy to share it here, with URL links added for your convenience:

About a decade ago I began my mid-career shift from being a typical ivory tower mathematics professor towards an increasing focus on AI safety, existential risk and related topics. This move was largely driven by the EA-like idea of wanting to address the world's most pressing issues. Yet the EA movement appeared on my radar only gradually. Initially I was skeptical, as ranking ways to do good in terms of efficiency reminded me of Bjorn Lomborg’s ploy that we shouldn’t fight climate change because fighting malaria is more cost effective. Of course there are many things we ought to do! But when in 2017 I read Will MacAskill’s Doing Good Better, I realized that current EA thinking is less naive than I thought. I have since then become increasingly impressed by all the good theoretical and practical work done in EA, and I now consider myself a warm supporter of both the movement and its core ideas.

Is GPT-3 one more step towards artificial general intelligence?

How does the pandemic affect the long-distance race between (and now I borrow Nick Bostrom's metaphor) the galloping stallion which is humanity's technological capability, and the foal on unsteady legs which is humanity's wisdom? I don't know, but it does seem that AI development is the kind of activity that can move on pretty much unhampered by lockdowns etc. Last week, OpenAI announced their stunning natural language processor GPT-3, which is an enormously scaled-up sequel to their amazing and much-discussed GPT-2 last year. Yannic Kilcher at ETH has gone over their paper carefully and offers his insights in a very instructive video lecture:

The attentive viewer will notice that Kilcher, while accepting that GPT-3 does a bunch of impressive-looking things, what it does is not so much reasoning as pattern matching and copy-paste. This can be interpreted as Kilcher leaning in the direction of a negative answer to the question in the title of the present blog post. I am personally somewhat more inclined towards a positive answer, as is prominent tech blogger gwern:

GPT-3 is scary because it’s a tiny model compared to what’s possible, with a simple uniform architecture trained in the dumbest way possible (prediction of next text token) on a single impoverished modality (random Internet text dumps) on tiny data (fits on a laptop), and yet, the first version already manifests crazy runtime meta-learning - and the scaling curves still are not bending! [...] In 2010, who would have predicted these enormous models would just develop all these capabilities spontaneously, aside from a few diehard connectionists written off as willfully-deluded old-school fanatics by the rest of the AI community? [...] GPT-3 is hamstrung by its training & data, but just simply training a big model on a lot of data induces meta-learning without even the slightest bit of meta-learning architecture being built in; and in general, training on more and harder tasks creates ever more human-like performance, generalization, and robustness.

The semi-fictitional dialogue between an anonymous machine learning researcher NN, and Scott Alexander, in connection with last year's release of GPT-2, is worth recalling again:

NN: I still think GPT-2 is a brute-force statistical pattern matcher which blends up the internet and gives you back a slightly unappetizing slurry of it when asked.

SA: Yeah, well, your mom is a brute-force statistical pattern matcher which blends up the internet and gives you back a slightly unappetizing slurry of it when asked.

My conversation with Jaan Tallinn on AI risk and AI ethics in the age of covid-19

Today, as part of the AI ethics seminar series at Chalmers, I had a conversation with Jaan Tallinn that was broadcast live on Zoom. The topic of the day was AI risk and AI ethics in the age of covid-19, and a live recording of the discussion is available here.

One topic that was mentioned in our conversation is the (possibly crucial) role of embedded agency in AI alignment. I will have more to say about that in another live talk, on Wednesday next week, May 27, at 14:00 CEST. It's a Svenska statistikfrämjandet event, to which you can register here, and the title of my talk is AI alignment, embedded agency and decision theory.

Fortsatt debatt i DN om coronastrategier

Som tidigare meddelats här på bloggen publicerade jag tillsammans med Olof Johansson Stenman, Joacim Rocklöv, Stefan Schubert och Markus Stoor på Valborgsmässoafton en debattartikel i DN rubricerad Alternativ coronastrategi för Sverige kan rädda liv. I måndags kom Martin Kulldorffs replik Hög dödlighet idag kan ge färre döda på sikt, och igår publicerades vår slutreplik Låt en kommission utvärdera svenska coronastrategin, där vi utöver att svara Kulldorff passade på att anknyta till ett par andra reaktioner på vår ursprungsartikel: en TT-intervju med Anders Tegnell, och en ledarkrönika i DN av Lars Calmfors. Så här inleds vår slutreplik:

Martin Kulldorff argumenterar i sin replik för att Sverige även i fortsättningen endast bör bromsa Covid-19, och inte försöka stoppa den: vad vi i vår artikel kallade "bromsstrategin". Vi välkomnar hans replik varmt eftersom huvudbudskapet i vår debattartikel var just att det behövs mer öppen diskussion om fördelar och nackdelar med olika coronastrategier.

Man kan diskutera hur de olika strategierna ser ut och vad de bör kallas. Kulldorff menar att den svenska strategin bör kallas "åldersstrategin" eftersom ett effektivt skydd av de äldre minskar konsekvenserna av den smittspridning som krävs för att nå flockimmunitet. Vi håller med om att det är klokt att särskilt skydda de äldre. Men valet kvarstår mellan att enbart bromsa smittan till nivåer sjukvården klarar av ("bromsstrategin") och att snabbare försöka få ner den till lägre nivåer, som till exempel Norge har gjort ("hammaren och dansen").

Här är det viktigt att skilja mellan övergripande strategi, å ena sidan, och konkreta åtgärder med vars hjälp man implementerar den strategin, å den andra. "Hammaren och dansen" är en övergripande strategi, som syftar till att först få ner smittan till låga nivåer, och sedan se till att den hålls nere eller trycks tillbaka ytterligare.

För att genomföra denna strategi behövs...

Läs den spännande fortsättningen här!

På DN Debatt om det fundamentala vägvalet i svensk coronastrategi

Jag har åter begått debattartikel i ämnet covid-19. Tillsammans med Olof Johansson Stenman, Joacim Rocklöv, Stefan Schubert och Markus Stoor försöker vi dra uppmärksamheten till det fundamentala vägvalet i svensk coronastrategi. Artikeln fick rubriken Alternativ coronastrategi för Sverige kan rädda liv, och inleds på följande vis:

Den svenska corona­debatten handlar till stor del om frågor som Folkhälsomyndighetens kommunikation, huruvida intensivvården klarar trycket och skillnader mellan Sverige och andra länder i åtgärder för fysisk distansering. De är alla viktiga frågor, men vi menar att debatten nästan helt missat det allra viktigaste: ett mer fundamentalt strategival som sällan berörs.

Hur ska man hantera farliga och smittsamma sjukdomar? Ett sätt är att utrota sjukdomen, som skedde med exempelvis smittkoppor. Efter framgångsrik bekämpning kunde den förklaras utrotad 1980. Vad gäller covid-19 hade utrotning kanske varit möjlig på ett tidigt stadium av den inhemskt kinesiska spridningen, men är i nuläget knappast realistiskt.

De alternativ som därmed återstår är huvudsakligen två: å ena sidan vad man kan kalla "bromsstrategin", och å andra sidan det som i den internationella debatten har kommit att kallas "hammaren och dansen" (i den vetenskapliga litteraturen benämns de oftast "mitigation" respektive "suppression").

Folkhälsomyndigheten bestämde sig tidigt för "bromsstrategin". Tanken är att epidemin bara kan hejdas genom att en tillräcklig andel av befolkningen smittas för att uppnå så kallad flock­immunitet. För covid-19 är den vanligaste bedömningen att denna andel är omkring 60 procent. Utmaningen ligger då i att se till att smittan sveper genom befolkningen tillräckligt långsamt och kontrollerat för att sjukvården inte ska överlastas. Smittan ska inte stoppas, endast bromsas.

"Hammaren och dansen" är en mer ambitiös strategi. I inledningsfasen - Hammaren - inför man...

Med denna lilla cliffhanger uppmanar jag er att läsa fortsättningen i DN, och jag hoppas att chefredaktör Wolodarski fortsatt lever upp till sitt löfte om slopad betalvägg för coronaartiklar.

The Journal of Controversial Ideas has now been launched

A bit over a year ago, I announced that I had been recruited to the editorial board of the yet-to-be-launched Journal of Controversial Ideas. Well, the time has now come: the journal is officially up and running, and is accepting submissions. Have a look at the editorial board, which includes names that make me a bit starstruck to stand along with.

Johan Giesecke om covid-19 och den svenska strategin

I förgår kommenterade jag i en intervju i brittiska The Independent det svenska covid-19-läget. Ett med rätta mer uppmärksammat svenskt framträdande i brittiska nyhetsmedia samma dag var UnHerds djupintervju med förre statsepidemiologen Johan Giesecke. Rekommenderas varmt:

Giesecke har en välgörande no-nonsense-attityd och är inte rädd för att svara klart ja eller klart nej på frågor han får. Under antagandet att han och svenska FHM (Folkhälsomyndigheten) har snarlik syn på epidemin (vilket förefaller rimligt) ger denna intervju bättre inblick i FHM:s tänkande än ett dussin FHM-presskonferenser.

Samtidigt som Gieseckes klara raka svar är uppfriskande kan jag inte låta bli att förundras över hans tvärsäkerhet i ett knippe ännu öppna vetenskapliga frågor: hur stort är mörkertalet av smittade, hur stor är andelen asymptomatiskt smittade, och hur stor är virusets dödlighet? Dessa frågor är starkt korrelerade, på så vis att höga svar på de båda första sannolikt för med sig ett lågt svar på den sista, och vice versa. Giesecke är övertygad om att mörkertalet är stort, andelen asymptomatiskt smittade är hög, och dödligheten låg. Om han har rätt om dessa saker talar det för att den svenska flockimmunitetsstrategin¹ är förnuftig, och att de strategier som istället går ut på att kväsa viruset så snabbt som möjligt är förfelade.

Vad jag främst saknar i intervjun är att få veta på vilka grunder Giesecke gör dessa bedömningar, och hur han ställer sig till den evidens som pekar i motsatt riktning. Specifikt hävdar han att covid-19-virusets dödlighet ligger någonstans i trakterna kring 0,1%, men om man kikar på statistik från det hårt drabbade New York City framstår 0,1% som snudd på orealistiskt optimistiskt. Stadens befokning uppskattades 2018 till 8,4 miljoner, och enligt aktuell dödsfallsrapportering den 18 april föreligger 8448 bekräftade covid-19-dödsfall. Med en direkt division här hamnar vi ganska precis på Gieseckes föreslagna dödlighet, men det vore förhastat, av följande skäl:

• Det förefaller osannolikt att 100% av New York City-borna skulle vara smittade.
• Dödsfallen har ingalunda upphört, även om det igår kom glada rapporter om att det dagliga dödstalet för första gången på veckor var nere under 550. [Edit: Det där blev lite missvisande, då siffran 550 gäller delstaten New York, inte New York City.]
• Siffran 8448 kommer från den officiella statistikens confirmed deaths, men till dessa kan vi eventuellt lägga merparten av de 4264 probable deaths (definierade som "people who did not have a positive COVID-19 laboratory test, but their death certificate lists as the cause of death 'COVID-19' or an equivalent") som också rapporteras.

Alla dessa tre korrigeringar pekar i samma riktning - mot en högre dödlighet - och sammantaget tycker jag att det ser ut som att en gissning om smittans dödlighet i New York City på mindre än 0,2% vore orimligt optimistisk. Dödligheten kan såklart tänkas variera geografiskt som en följd av olika genpoolsammansättningar och allehanda miljöfaktorer, men här finns i alla fall något Giesecke behöver förklara om han skall stå fast vid sina bedömningar. Ännu mer alarmerande siffror finns att hitta i diverse kommuner i norra Italien, där som exempel kan nämnas rapporter i förra månaden från staden Vertova med 4600 invånare varav 36 gått bort i covid-19, dvs 0,8% av stadens befolkning.

Fotnot

1) Både FHM och Giesecke värjer sig mot beteckningen flockimmunitetsstrategi, men själv anser jag (liksom Stefan Schubert) att det är vettigt att kalla en spade för en spade.

Om FHM:s arbete med covid-19

Följande är lite jobbigt att säga rent ut, men mitt förtroende för FHM:s (Folkhälsomyndighetens) arbete med att bedöma och förutse spridningen av covid-19 svajar.

Det är jobbigt av två skäl: för det första att kritik mot FHM av många i min omgivning uppfattas som illojalt och opatriotiskt i ett läge där det är viktigt att vi alla inordnar oss i deras rekommendationer, och för det andra att jag riskerar att framstå som en Dunning-Kruger-anfäktad amatör (jag är ju trots allt inte epidemiolog) som tror mig veta bättre än experterna. Och det är ju helt sant att det är viktigt med bred och lojal folklig uppslutning kring den anbefallna strategin, men samtidigt menar jag att det är också viktigt att inte FHM upphöjs till något slags ofelbara gudar, immuna mot kritik. Likaså är det sant att jag genom att ventilera konträra ståndpunkter riskerar att framstå som något slags epidemiologins motsvarighet till en klimatförnekare, något som blir extra pinsamt av att jag genom åren lagt så stor kraft på att bemöta klimatförnekare, och hävdat att de uppvisar epistemsk omdömeslöshet genom att med (exempelvis) professorlig auktoritet uttala sig om saker de knappt vet något om.

Och det är sannerligen mycket jag inte vet om hur FHM arbetar och vilka deras vetenskapliga underlag och principer är. Kanske är därför det jag säger i det följande blott ett uttryck för min okunskap. Jag kan rätt och slätt ha fel. Men låt mig ändå förklara vad som bekymrar mig.

Ett tidigt frö till min skepsis såddes när FHM:s generaldirektör Johan Carlson den 2 mars beskrev utsikten om 10.000-15.000 insjuknade i Sverige som ett värsta fall-scenario. Detta var i mina ögon en uppenbart orimlig bedömning, men jag valde att hålla öppet för att Carlson menade något annat än det jag tyckte mig höra.

Ytterligare bekymmersam fann jag FHM:s rapport i slutet av mars om skattat behov av slutenvårdsplatser. Jag och några kollegor kämpade hårt med att tolka den ytterst knapphändiga informationen i rapporten, och en del frågetecken lyckades vi räta ut, men jag kände ett kvardröjande obehag inför rapportens påstående att de "modellerar ingen asymptomatisk smitta, bara rapporterade fall".¹ Vad är det de säger? Hur i hela himmelens namn skall man kunna göra vettiga prediktioner av det kommande behovet av vårdplatser om ens modeller överhuvudtaget inte befattar sig med smittans totala utbredning i samhället? En modell som inte tar med något i sammanhanget så fundamentalt kan väl knappt ens kallas modell, utan är väl mer att betrakta som en höftning eller en kurvanpassning? Så kanske borde inte deras påstående tas bokstavligt? Jag blev inte klok på detta.

När P1:s Vetenskapsradion den 7 april sände ett reportage om arbetet på FHM fick vi höra analyschefen Lisa Brouwers ganska tydligt bekräfta och motivera det påstående i vårdplatsbehovsrapporten som jag funnit så svårsmält och underligt. På en fråga om den kritik som riktats mot FHM för att de inte beaktar aktuell spjutspetsforskning kring epidemimodellering, som den från Imperial College,² svarade hon så här, med start cirka 3:20 in i programmet:

Vi har ganska tidigt gjort bedömningen att [vi inte vill] använda de dynamiska modellerna, som motsvarar de som Imperial College och andra har publicerat, utan att ha kunskap om hur stor andel till exempel som blir smittade utan att få symptom, och huruvida de som blir smittade utan att få symptom, huruvida de smittar andra i sin tur: att stoppa in sådana antaganden i en modell har vi valt att inte göra. Vi tycker inte det är meningsfullt, vi tycker inte det är bra att göra den typen av övningar innan kunskapen blir bättre. För det ger resultat som kan leda till felaktiga beslut.

Det är förvisso sant att exempelvis andelen asymptomatiskt smittade är en höggradigt okänd parameter, och det är likaledes sant att om vi naivt kör en modell med ett felaktigt värde på en sådan parameter så riskerar vi att få ett vilseledande svar, vilket i sin tur kan leda till dåliga beslut. Men detta problem försvinner inte av att man använder en mer primitiv modell som inte explicit inbegriper den felande kvantiteten.³ Att göra så är enligt min mening att sopa problemet med osäkerheten i (i detta fall) andelen asymptomatiskt smittade under mattan. Ett mycket bättre förfarande vore att prova den mer avancerade modellen, där den okända parametern (eller parametrarna) explicit finns med, för en uppsättning olika parametervärden, valda inom ett brett intervall men ändå inom rimlighetens ramar (eller ännu hellre valda enligt en välgenomtänkt Bayesiansk a priori-fördelning för parametern ifråga). Detta skulle ge ett spektrum av olika utfall när man kör modellen, och om modellen är bra ger detta spektrum en fingervisning inte bara om hur stort vårdplatsbehovet (eller vad det nu är man eftersöker) kan tänkas bli, utan också om hur stor osäkherheten är.

Intrycket jag får (men som jag alltjämt hoppas är felaktigt, och jag vill väldigt gärna bli överbevisad om detta) är att epidemiologerna på FHM inte begriper det här, och att det får dem att avstå från att ta hjälp av den bästa cutting edge-kunskap om modellering av covid-19 som finns där ute. Risken finns att detta får dem att göra sämre bedömningar och gå ut med sämre rekommendationer än de annars skulle ha gjort.

Fotnoter

1) En nyare version av rapporten finns här, och den förbryllande formuleingen finns kvar.

2) Besläktad modellering, men specifikt för Sverige, finns i ett aktuellt arbete av Jocim Rocklövs grupp i Umeå.

3) Brusselaers m.fl. inskärpte samma poäng i SvD igår.

Ett knippe tankar och förslag om AI-politik

I förrgår levererade jag min utredning "En grön AI-politik?", beställd av Miljöpartiet. Så här lyder inledningsstyckena:

Denna korta utredning är ett svar på en förfrågan om inspel till Miljöpartiet de grönas arbete med att på riksnivå formulera en sammanhängande politik kring AI (artificiell intelligens). Behovet av sådan politik är stort, men jag har inte medvetet gjort något för att anpassa mina rekommendationer specifikt till Miljöpartiets eventuella politisk-strategiska behov, utan har istället helt enkelt försökt peka ut vad som vore bra för samhället snarare än för något visst parti. Jag väljer att lita till att mina grundläggande värderingar - i vilka ideal om hållbarhet, social rättvisa och omsorg om kommande generationer utgör bärande element - står i tillräckligt god samklang med Miljöpartiets för att mina idéer och bedömningar skall vara användbara i deras arbete.

I diskussionerna inför detta arbete bad jag om tillåtelse att fritt sprida rapporten, vilket beviljades. Detta betyder att det står fritt för inte bara Miljöpartiet, utan även vilket annat parti (eller vilken annan samhällsintressent) som helst att använda min utredning. Det välkomnar jag i så fall, men kanske ännu bättre vore om dessa andra partier följde Miljöpartiets exempel genom att beställa egna utredningar från andra experter inom fältet AI-etik/AI-risk/AI-futurologi/etc, som kan tänkas göra andra avvägningar än jag om vad som främst bör lyftas fram. Den AI-politiska diskussionen behöver en mångfald av olika perspektiv.

Medan jag nu (i mars 2020) lägger sista handen vid denna rapport är covid-19-pandemin under full upprullning. Även om jag på ett par ställen i rapporten gör mindre anspelningar på denna kris har jag valt att inte dra några starka slutsatser av den rörande vad samhället behöver: allt går just nu väldigt snabbt, och varje försök att summera vilka mer långsiktiga politiska åtgärder som krisen föranleder riskerar att inom några månader vara föråldrade.

Att ge någon heltäckande bild av de samhällsutmaningar som AI-utvecklingen reser går knappast inom ramen för en begränsad utredning som denna, men efter en ansats i Avsnitt 2 att kort ringa in begreppet AI går jag i Avsnitt 3 igenom vad jag bedömer som de viktigaste kategorierna av sådana utmaningar. Att föreslå åtgärder är en långt mer grannlaga uppgift än att bara beskriva problemen, men i Avsnitt 4, som till större delen följer samma indelning som Avsnitt 3, gör jag ett försök, följt av några avslutande tankar i Avsnitt 5.

Läs hela min rapport här!

Mer om coronaviruset i SvD idag

Folkhälsomyndigheten har av allt att döma gjort ett mycket gott arbete med smittspårning de senaste veckorna, men när det gäller anvisningar till allmänheten har de varit på tok för veka. Tillsammans med matematikerkollegorna Tom Britton, Peter Jagers och Holger Rootzén skriver jag i SvD idag, och sätter ned foten rörande vikten av att bromsa smittspridningen, samt föreslår följande anvisningar:

"Det är förvisso så att alla åtgärder nedan inte har evidensbaserad effekt, men eftersom de är enkla och billiga och inte inkräktar på individers frihet eller på samhället i stort, bör följande med en gång läggas till i Folkhälsomyndighetens rekommendationer:

1. Undvik ta i hand, kramas, ge kindkyssar.
2. Om du är äldre eller kroniskt sjuk, håll dig på avstånd och be andra ta hänsyn.
3. Besök inte gamla och sjuka i onödan – det kan du göra desto mer när epidemin är över.
4. Om du har feber och hosta, stanna hemma, med en gång, och tills du är alldeles frisk.
5. Om någon i din familj är sjuk, passa på så att du inte smittar andra.
6. Byt ut fysiska möten mot virtuella.
7. Undvik stora folksamlingar och tåg och bussar i rusningstid."

Saker och ting händer snabbt nu, och vissa av anvisningarna har redan hunnit anammas från officiellt håll sedan vi skrev texten, vilket såklart är bra... mer av den varan tack!

I artikeln understryker vi situationens allvar, men vi kunde ha tagit i hårdare. Angela Merkels uppmärksammade uttalande om att smittan kan nå upp till 70% av tyskar kan mycket väl besannas, försåvida inte hon och andra ledare förmår genomföra drakoniska åtgärder av kinesiskt snitt. I annat fall riskerar vi att stå inför tidernas sjukvårdskris, med kraftigt förhöjd dödlighet hos smittan som följd. Som jämförelse kan nämnas att i Wuhan och Lombariet, där i runda slängar 0.1% av befolkningen smittats, har sjukvården blivit kraftigt överlastad.

Kort om nCoV

Snabb bloggpost (trots att jag inte har tid) för att helt kort ge min syn på situationen rörande viruset 2019-nCoV och den resulterande sjukdomen covid-19. Situationen är potentiellt väldigt allvarlig, men kunskapsläget är ännu ytterst ofullständigt, vilket gör uppgiften att rätt kommunicera läget svår för Folkhälsomyndigheten och andra myndigheter. Att kommunicera osäkerheter är en erkänt mycket svår konst, och när man vänder sig till allmänheten är överförenklingar snudd på oundvikliga. En drastisk illustration finner vi i skillnderna i olika nordiska länders kommunikationsstrategier. Ur DN häromdagen:

Norge planerar utifrån ett allmänt pandemiscenario där norrmännen räknar med att 25 procent i värsta fall kan insjukna i coronaviruset. Danskarna utgår från ett lägre antal, 10–15 procent. Folkhälsomyndighetens generaldirektör Johan Carlson ville under tisdagen inte nämna motsvarande siffra för Sverige. Han har sagt att det, utifrån vad man sett i de drabbade länderna, i värsta fall kan röra som 1-1,5 promille som kan insjukna.

Uppenbarligen gör man här helt olika tolkningar av vad som menas med "i värsta fall", och av artighetsskäl skall jag inte här ge mig på någon närmare recension av Johan Carlsons bruk av begreppet, annat än att upprepa att kommunikation av osäkerhet som sagt är svårt.

Självklart skall vi lyssna på Folkhälsomyndigheten, men faktum är att det finns möjlighet för den enskilde att skaffa sig ett bättre och mer nyanserat kunskapsläge genom att inte nöja sig med att lyssna till officiella myndighetskanaler, utan också försöka komplettera med annat - förutsatt att man inte går ned sig i foliehattsträsket utan hittar bättre källor. Här är två texter som jag finner värdefulla och bedömer som pålitliga och nyanserade:

• Signaturen eca: COVID-19 brief for friends and family, Effective Altruism Forum, 28 februari.
• Scott Alexander: Coronavirus: link, speculation, open thread, Slate Star Codex, 2 mars.

Båda texterna har hunnit bli några dagar gamla och läget ändras snabbt, men de ger ändå analyser och bedömningar som fortsatt är av intresse. Och det finns vissa centrala lärdomar som inte blir gamla. Häribland:

Ta hand om er därute, tvätta händerna ofta, och låt för bövelen bli att skaka hand! Det finns alternativ.

Om EU-kommissionen och AI i P4 Göteborg

Mitt snack idag med Stefan Livh och Ehwa Lindström i Förmiddag i P4 Göteborg av Förmiddag i P4 Göteborg (från cirka 1:35:20 in i sändningen, och fram till cirka 1:56:30) kom främst att handla om övervakning och AI samt EU-kommissionens politiska AI-initiativ förra veckan, men vi berörde också som hastigast det nya coronaviruset och det faktum att jag fått en ny namnsdag.

Högt i tak på Institutet för framtidsstudier

Jag arbetar sedan några år tillbaka deltid på Institutet för framtidsstudier (IF) i Stockholm. Jag gillar dess kreativa och tvärvetenskapliga miljö. Det passsar mig också utmärkt att där är minst lika högt i tak som på universiteten, och jag tror inte att någon av forskarna där känner minsta press att be chefen om tillåtelse innan man gör eventuellt kontroversiella mediauttalanden. En IF-medarbetare som i helgen utnyttjat denna förträffliga takhöjd är Anders Ekholm, som i P1-programmet Godmorgon världen igår gav följande intervjusvar (med start cirka 1:02:50 in i sändningen), på tal om det utspel om europeisk AI-politik som EU-kommissionen levererade i onsdags.

AE: Av de här tre [USA, Kina, Europa] ligger vi väl på femte plats eller så. Vi är otroligt långt efter, och det har ju flera olika orsaker, bland annat det som hon [EU-kommissionens digitaliseringskommissionär Margrethe Vestager] också pratade om. [...] För väldigt mycket av det är ju inte hur bra det var med AI, utan alla problem det var med att dela data och alla olika typer av metafrågor. Man skulle kunna jämföra [med] om vi var i ett riktigt krig, men alla hade svärd, och så plötsligt har [...] vår fiende börjat med skjutvapen. Och så tänker vi jävlar, det här måste vi också ha, vi är ju chanslösa med svärd. Men våra första frågor blir [istället] "är inte skjutvapen farliga, [...] de kan ju också användas till onda saker, skjuta våra egna medborgare och massmord och sådant [...]". Så vi börjar att fundera på alla bifrågorna och bivillkoren, som inte är oviktiga men som faktiskt inte är det viktigaste: hur tränar vi oss på att bli bättre och hur får vi nytta av den nya teknologin?

Reportern: Så vad är det du säger, att EU är för ängsliga?

AE: Ja, det är därför Europa kommer på femte plats av tre, för att vi är så änsgliga och vi börjar fundera på bivillkoren innan vi börjat ens [ohörbart] några nyttor.

Well, nu är det min tur att begagna mig av IF:s utmärkta takhöjd.

AE hävdar alltså att risköverväganden och AI-etik är en bisak, och att om vi skall sluta hamna på efterkälken behöver vi tagga ned det här tramsandet om att tänka proaktivt kring samhällskonsekvenser och risker. Han är knappast ensam om sin åsikt, men sällan eller aldrig har jag hört den uttalas så oförblommerat, och låt mig härmed anmäla avvikande uppfattning. Risk och etik är inte någon bisak man kan nöja sig med att tänka på efteråt när AI-tekniken väl utvecklats och rullat ut i samhället, utan det är fullkomligt centralt, och AE representerar inte någon entydig konsensus- eller partilinje på IF.

Artificiell intelligens på Aftonstjärnan

Den nya norska dokumentärfilmen iHuman handlar om utvecklingen inom artificiell intelligens och de genomgripande konsekvenser den kan få för samhället och våra liv. Filmen är visuellt suggestiv och ställer några av de viktigaste frågor vi idag står inför, men hade med fördel kunnat går mer på djupet med några av dem. Ändå rekommenderar jag den varmt (annat än för dem som föredrar att sticka huvudet i sanden och låtsas att livet kommer att gå vidare ungefär som förr). Här är trailern:

Filmen visades igår på den gamla fina biografen Aftonstjärnan, som en del i det som numera benämns Göteborg Film Festival. Efter filmen deltog jag i ett panelsamtal med Jonas Holmberg, Dorna Behdadi och Sam Ghazi:

No free lunch?

Huruvida gratisluncher existerar eller inte har ju av och till varit föremål för het debatt (se t.ex. mina gamla gräl med den amerikanske matematikern och neokreationisten William Dembski), men nu på måndag ser frågan ut att avgöras i ett samarrangemang här på Chalmers mellan föreningarna Chalmers Students for Sustainability och Effective Altruism Chalmers; se mötets Facebooksida för mer information. Kom och lyssna, kom och ät!