onsdag 27 juni 2018

Thinking in advance, in Uppsala

Tomorrow, June 28, at the Analysis of Algorithms conference in Uppsala, I will give my talk Thinking in advance about the last algorithm we ever need to invent, based on my proceedings contribution with the same title. It begins at 13:30 in the Gunnar Johansson lecture hall, Blåsenhus, von Kraemers Allé 1A, and in case readers in the Uppsala region are interested it seems that it will be easy for conference non-participants to sneak in to hear my talk.

fredag 15 juni 2018

Livet med AI

Stiftelsen för strategisk forskning har i dagarna färdigställt rapporten Livet med AI, som bjuder på en rad olika perspektiv på artificiell intelligens och vad tekniken kan innebära i framtiden. Bakom de olika kapitlen står ett tiotal olika författare, varav jag själv skrivit kapitlet AI-utvecklingens yttersta risker, vilket återfinns på sidorna 10-15 i rapporten,1 och vars text är ny fastän trogna läsare kan känna igen en del av mina käpphästar exempelvis från uppsatserna Remarks on artificial intelligence and rational optimism och Vetenskap på gott och ont.

Fotnot

1) Ett smärre missöde, till följd av att jag förbisåg det snabba korrekturläsningsmomentet i produktionen av rapporten, är att det inte markerats med normal tydlighet att andra stycket på sidan 12 helt och hållet är ett citat, men för den som läser noga framgår det nog ändå.

torsdag 7 juni 2018

Kärnvapenfrågan är på dödligt allvar

I Dagens Arena publicerades idag en essä jag författat med rubriken "Överlever vi 70 år till med kärnvapen?". Till större delen tar den sig formen av en recension av Daniel Ellsbergs aktuella och extremt viktiga bok The Doomsday Machine: Confessions of a Nuclear War Planner. Här några korta stycken ur essän:
    Risken för globalt kärnvapenkrig [är] något vi haft hängande över oss ända sedan tidigt 1950-tal. I samband med Berlinmurens fall och Sovjetunionens upplösning åren kring 1990 försvann kärnvapenfrågan i hög grad från det allmänna medvetandet, vilket var en kollektiv missbedömning av stora mått. Även om det globala antalet kärnvapenstridsspetsar minskat till mindre än en tredjedel av vad det var som mest, försvann aldrig hotet om en kärnvapenapokalyps. Medvetenheten om problemet har i någon mån återvänt i samband med att en man med en tioårings impulskontroll, stingslighet och allmänna mognad i januari 2017 utsågs till högste befälhavare för världens mäktigaste militärmakt, men är ändå inte tillbaka på den nivå som gällde under delar av det kalla kriget.

    Den amerikanske före detta krigsanalytikern Daniel Ellsberg vill med sin aktuella bok The Doomsday Machine: Confessions of a Nuclear War Planner (Bloomsbury Press, 2017) väcka oss ur denna slummer och få oss att inse farans omfattning. Kärnvapenhotet är inget mindre än ett existentiellt hot, det vill säga ett hot som om det vill sig illa kan bli slutet för mänskligheten. Visserligen finns inte tillräckligt många kärnvapen för att döda hela jordens befolkning i själva kriget, men följdverkningarna, inklusive den atomvinter som väntas förmörka himlen och slå ut allt jordbruk under flera år, riskerar att bli så stora att det är ytterst osäkert om de återstående civilisationsspillrorna skulle klara sig särskilt länge.

    Ellsberg är en intressant och på många vis beundransvärd person. Han föddes 1931, han doktorerade vid Harvard på en briljant avhandling om beslutsteori, och han arbetade under 1960-talet som militärstrategisk konsult vid det amerikanska försvarsdepartementet. Denna karriär fick emellertid ett abrupt slut då han 1971 läckte de så kallade Pentagon Papers, en samling topphemliga dokument som delvis kom att publiceras i New York Times och Washington Post, och som klargjorde Johnsonadministrationens systematiska lögner (gentemot inte bara allmänheten utan också den amerikanska kongressen) om Vietnamkriget. Ellsberg erkände öppet att det var han som var läckan, något som normalt skulle ha renderat honom ett mångårigt fängelsestraff för spioneri, men en sinkadusartad omständighet med förgreningar i Watergateskandalen gjorde att domaren i maj 1973 såg sig nödsakad att lägga ned åtalet mot honom. Sedan dess har Ellsberg verkat som opinionsbildare och politisk aktivist, och The Doomsday Machine kan ses som kulmen på detta arbete.

    Boken präglas av skarpsinne och en brinnande moralisk låga, och har sitt allra största värde i författarens unika erfarenheter från åren som militärstrategisk insider. Det man som läsare framför allt får med sig är vilken grad av tur vi har haft som så här långt överlevt hotet om globalt kärnvapenkrig.

Läs hela min text här!

tisdag 29 maj 2018

Om friskolor och betyg

Nationalekonomen Jonas Vlachos offentliggjorde häromdagen sin viktiga rapport Trust-Based Evaluation in a Market-Oriented School System, där han påvisar skillnader i betygsättningspraxis mellan friskolor och kommunala skolor. Jag uppmärksammandes på Vlachos rapport av vännen och matematikutbildningsforskaren Ola Helenius, vars kloka reflektion på Facebook jag fått tillstånd att citera i sin helhet:
    I Sverige tycker vi att en elevs lärare är den som bäst bedömer elevens kunskaper och därför låter vi lärare sätta betyg på sina elever. Det är ett betygssystem som bygger på tillit.

    Vi har dock också ett utpräglat marknadssystem för skolan. Höga betyg är en konkurrensfördel, så det skapar incitament för skolor alla att sätta högre betyg än vad elevernas kunskapsnivåer förtjänar. I klarspråk kan man säga att skolor drivs att fuska med betygen för att skaffa sig bättre positioner på marknaden.

    Om alla skolor gjorde detta lika mycket skulle det ändå vara dåligt, för det leder till betygsinflation. Men det skulle vara ett slags rättvist fusk. Så är det dock inte. Friskolor fuskar mer. Och de stora vinstdrivande koncernernas skolor fuskar mycket mer. Jättemycket faktiskt, och värst är Kunskapsskolan och Internationella Engelska skolan.

    Det här visar Jonas Vlachos i en ny rapport. Han använder inte termen fusk, men jag tycker att det är en rimlig term.

    Man ser ibland argument för att friskolorna är bra, för att de har bättre kunskapsresultat. Men Jonas visar att HELA betygsövertaget som t ex Kunskapsskolan har över kommunala skolan kan förklaras av Kunskapsskolans tendens att sätta högre betyg (relativt de resultat som elever visat på prov) än den kommunala skolan.

    Det här är ju inte bara orättvist. Det underminerar på flera sätt förtroendet för både skolsystemet och betygssystemet. Det kommer också tvinga oss att överge ett system där vi litar på att lärare som bedömare av elevers kunskap. Dessutom har hela det här fusket i sig skapat möjlighet att propagera för förträffligheten hos de vinstdrivande skolorna på falska grunder.

    Internationella Engelska skolan och Kunskapsskolan, som är de värsta här, borde skämmas. Men det borde även de politiker som var naiva nog att införa det här systemet.

torsdag 17 maj 2018

An open letter to Google

Dear Google,

I recently became aware of Project Maven, in which you assist the Pentagon in applying cutting-edge AI technology to give military drones the ability to identify humans. And I thought this is as good a time as any to remind you of these little words of wisdom: Don't be evil.

Let me repeat:

Be.

With kind regards,

Olle Häggström
Concerned world citizen

måndag 14 maj 2018

Two well-known arguments why an AI breakthrough is not imminent

Much of my recent writing has concerned future scenarios where an artificial intelligence (AI) breakthrough leads to a situation where we humans are no longer the smartest agents on the planet in terms of general intelligence, in which case we cannot (I argue) count on automatically remaining in control; see, e.g., Chapter 4 in my book Here Be Dragons: Science, Technology and the Future of Humanity, or my paper Remarks on artificial intelligence and rational optimism. I am aware of many popular arguments for why such a breakthrough is not around the corner but can only be expected in the far future or not at all, and while I remain open to the conclusion possibly being right, I typically find the arguments themselves at most moderately convincing.1 In this blog post I will briefly consider two such arguments, and give pointers to related and important recent developments. The first such argument is one that I've considered silly for as long as I've given any thought at all to these matters; this goes back at least to my early twenties. The second argument is perhaps more interesting, and in fact one that I've mostly been taking very seriously.

1. A computer program can never do anything creative, as all it does is to blindly execute what it has been programmed to do.

This argument is hard to take seriously, because if we do, we must also accept that a human being such as myself cannot be creative, as all I can do is to blindly execute what my genes and my environment have programmed me to do (this touches on the tedious old free will debate). Or we might actually bite that bullet and accept that humans cannot be creative, but with such a restrictive view of creativity the argument no longer works, as creativity will not be needed to outsmart us in terms of general intelligence. Anyway, the recent and intellectually crowd-sourced paper The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities offers a fascinating collection of counterexamples to the claim that computer programs cannot be creative.

2. We should distinguish between narrow AI and artificial general intelligence (AGI). Therefore, as far as a future AGI breakthrough is concerned, we should not be taken in by the current AI hype, because it is all just a bunch of narrow AI applications, irrelevant to AGI.

The dichotomy between narrow AI and AGI is worth emphasizing, as UC Berkeley computer scientist Michael Jordan does in his interesting recent essay Artificial Intelligence  - The Revolution Hasn’t Happened Yet. That discourse offers a healthy dose of skepticism concerning the imminence of AGI. And while the claim that progress in narrow AI is not automatically a stepping stone towards AGI seems right, the oft-repeated stronger claim that no progress in narrow AI can serve as such a stepping stone seems unwarranted. Can we be sure that the poor guy in the cartoon on the right (borrowed from Ray Kurzweil's 2005 book; click here for a larger image) can carry on much longer in his desperate production of examples of what only humans can do? Do we really know that AGI will not eventually emerge from a sufficiently broad range of specialized AI capabilities? Can we really trust Thore Husfeldt's image suggesting that Machine Learning Hill is just an isolated hill rather than a slope leading up towards Mount Improbable where real AGI can be found? I must admit that my certainty about such a topography in the landscape of computer programs is somewhat eroded by recent dramatic advances in AI applications. I've previously mentioned as an example AlphaZero's extraordinary and self-taught way of playing chess, made public in December last year. Even more striking is last week's demonstration of the Google Duplex personal assistant's ability to make intelligent phone conversations. Have a look:3

Footnotes

1) See Eliezer Yudkowsky's recent There’s No Fire Alarm for Artificial General Intelligence for a very interesting comment on the lack of convincing arguments for the non-imminence of an AI breakthrough.

2) The image appears some 22:30 into the video, but I really recommend watching Thore's entire talk, which is both instructive and entertaining, and which I had the privilege of hosting in Gothenburg last year.

3) See also the accompanying video exhibiting a wider range of Google AI products. I am a bit dismayed by its evangelical tone: we are told what wonderful enhancements of our lives these products offer, and there is no mention at all of possible social downsides or risks. Of course I realize that this is the way of the commercial sector, but I also think a company of Google's unique and stupendous power has a duty to rise above that narrow-minded logic. Don't be evil, goddamnit!

torsdag 3 maj 2018

Rekommenderad läsning: Aaronson om Caplan om utbildning

Den amerikanske nationalekonomen Bryan Caplans The Case Against Education: Why the Education System is a Waste of Time and Money är en av de mest störande böcker jag läst på länge, och den är det i kraft av att presentera mångfacetterad empirisk evidens och starka argument för slutsatser jag finner motbjudande. Caplans slutsatser kan sammanfattas i två huvudpunkter. För det första att utbildning överlag handlar mindre om att skaffa sig kunskaper än om att signalera sin allmänna arbetsduglighet (vilken Caplan kokar ned till de tre huvudkomponenterna intelligens, arbetsvillighet, och foglighet). Och för det andra att medan utbildning (ofta) är lönsam för individen, så är den (på det hela taget) olönsam för samhället som helhet. De båda slutsatserna är relaterade på följande vis: om det stämmer att utbildning mest handlar om signalering för att skaffa sig konkurrenskraft på arbetsmarknaden, så är det naturligt att tänka sig att det positiva utbyte jag får av att utbilda mig i hög grad kancelleras av det negativa utbyte (fortfarande av min utbildning) som mina potentiella konkurrenter på arbetsmarknaden får genom att hamna i en svagare konkurrensställning gentemot mig. Om deras totala negativa utbyte är tillräckligt stort kan utbildningen gå från att vara lönsam för mig till att vara olönsam på aggregerad (dvs samhälls-)nivå.

Vad är det då jag finner motbjudande med dessa slutsatser? Mycket kort uttryckt handlar det om att jag är en varm vän av utbildning och att jag alltid har trott på det som en väg till allmänt välstånd, men om det verkligen stämmer som Caplan säger att utbildning är olönsam på samhällsnivå så blir jag tvungen att revidera åtminstone delen om utbildning som väg till allmänt välstånd.

Aningen mindre kort handlar det om externalitetsinternalisering, en nationalekonomisk princip som (i ofullständig sammanfattning) säger att när en individs handlande har negativa återverkningar på tredje part så blir det bäst för helheten om samhällssystemet korrigeras på sådant vis att individen själv bär kostnaderna för dessa återverkningar. Koldioxiden är ett bra exempel: när jag kör bil och därigenom släpper ut koldioxid i atmosfären ger det en negativ klimatpåverkan som till största delen drabbar andra än mig själv, och externalitetsinternaliseringsprincipen säger då att mina utsläpp borde beskattas. En mycket god idé, och jag är allmänt en vän av externalitetsinternalisering (som tumregel i samhällsplanering, om än inte som helig princip att följas dogmatiskt). Problemet här är att om vi håller fast vid det och om Caplans slutsatser är riktiga så borde utbildning beskattas, snarare än subventioneras såsom fallet är idag. Sannerligen en motbjudande tanke!

Problemet för mig personligen är att jag ömt vårdar en bild av mig själv såsom rationell, och om jag accepterar argument som starka utan att finna minst lika starka motargument så kräver rationaliteten att jag accepterar argumentens slutsatser. Detta har skapat en spänning i mitt huvud som legat kvar oförlöst allt sedan jag för ett par månader sedan läste Caplans bok, och jag har därför hett önskat finna motargument kraftfulla nog att skjuta de utbildningsskeptiska slutsatserna i sank. Jag har inte funnit dem ännu, men Scott Aaronsons ambitiösa recension av boken är ett steg i den önskade riktningen och det bästa sådant steg jag hittills tagit del av. Recensionen är verkligen läsvärd, inte minst för den som vill förstå huvuddragen i Caplans bok och den empiri som åberopas utan att behöva läsa en hel bok, för Aaronson ger en utförlig och rättvis sammanfattning av dessa innan han ger sig i kast med sina motargument. För den som med intellektuellt allvar intresserar sig för utbildningsfrågor är jag nästan böjd att utnämna det till obligatoriskt att ta del av Caplans tankegångar, antingen via Aaronson eller genom att gå direkt till boken.

måndag 16 april 2018

Till storms mot de akademisk-romantiska och ekonomistisk-vulgära synsätten

I oktober förra året bidrog jag till ett symposium rubricerat Vetenskaplig redlighet och oredlighet arrangerat av Kungliga Vetenskaps- och Vitterhets-Samhället i Göteborg, och ombads efteråt stöpa om mitt föredrag till skriftligt format för publicering i en samlingsvolym ägnad symposiet. Jag är nu färdig med min uppsats, vilken (liksom mitt föredrag) fick rubriken... Uppsatsen kan beskrivas som ett 10-sidigt destillat av den forskaretiska ståndpunkt som präglar min bok Here Be Dragons: Science, Technology and the Future of Humanity från 2016 - en ståndpunkt som jag definierar i kontrast mot de vanligt förekommande synsätt jag valt att kalla de akademisk-romantiska och ekonomistisk-vulgära (varav jag själv bär på en dragning mot det förstnämnda, fast jag här tar avstånd från det). Om någon tycker att uppsatsen känns som en enda lång moralkaka så... javisst, lite så är det nog. Men läs den ändå!

onsdag 11 april 2018

Jag är emot mördarrobotar och hoppas att Sveriges riksdag instämmer

Sommaren 2015 anslöt jag mig till tusentals andra forskare i undertecknandet av ett öppet brev som uppmanade till moratorium mot utveckling av AI-teknologi för så kallade autonoma vapen - eller mördarrobotar som de med en inte fullt lika artig term också benämns. Frågans tyngd framgår av följande passage ur brevet:
    If any major military power pushes ahead with AI weapon development, a global arms race is virtually inevitable, and the endpoint of this technological trajectory is obvious: autonomous weapons will become the Kalashnikovs of tomorrow. Unlike nuclear weapons, they require no costly or hard-to-obtain raw materials, so they will become ubiquitous and cheap for all significant military powers to mass-produce. It will only be a matter of time until they appear on the black market and in the hands of terrorists, dictators wishing to better control their populace, warlords wishing to perpetrate ethnic cleansing, etc. Autonomous weapons are ideal for tasks such as assassinations, destabilizing nations, subduing populations and selectively killing a particular ethnic group. We therefore believe that a military AI arms race would not be beneficial for humanity.
I morgon torsdag har Sveriges riksdag möjlighet att göra motsvarande ställningstagande genom att bifalla en motion från den miljöpartistiske riksdagsmannen Carl Schlyter om att Sverige skall verka för ett internationellt förbud mot mördarrobotar. I en debattartikel i dagens nummer av Dagens Samhälle tillsammans med Anders Sandberg, Carin Ism, Max Tegmark och Markus Anderljung uttrycker vi en förhoppning om att riksdagen tar detta lilla steg på vägen mot en säkrare och bättre värld.

fredag 6 april 2018

Vetenskapsfestivalen 2018 närmar sig

Årets Vetenskapsfestival i Göteborg närmar sig, och i det som vanligt digra programmet finns inte mindre än tre programpunkter i vilka jag medverkar:
  • Artificiell intelligens - bara av godo? Om detta ämne samtalar jag med Ulrika Lindstrand och Lisa Bondesson (båda från Sveriges Ingenjörer) onsdagen den 18 april kl 12.00 på Chalmers, lokal HB3, Hörsalsvägen 10.

  • Mitt andra panelsamtal den onsdagen har rubriken Vita lögner och andra lögner. Övriga medverkande är Eva Staxäng (programproducent på Jonsereds herrgård), Christian Lenemark (lektor i litteraturvetenskap vid Göteborgs universitet) och Christer Borg (psykolog), och det hela går av stapeln onsdagen den 18 april kl 17.30 på Pedagogen, Västra Hamngatan 25, Hus A, Kjell Härnqvistsalen.

  • Söndagen den 22 april klockan 15.00 talar jag över ämnet Konkurrens eller samarbete, vilket i programmet sammanfattas som följer:
      Den filosofiska grundtanken bakom marknadsekonomin är att om var och en drivs av egennytta, så blir utfallet bra för kollektivet och samhället. Men stämmer det alltid? Oroande exempel dyker upp inom t.ex. klimatförändringar, kapprustning och artificiell intelligens.1
    Det äger rum på Pedagogen, Västra Hamngatan 25, Hus A, sal AK2 137.

Fotnot

1) Genom ett arrangörssjabbel kom en tidigare version av programmet att ange såväl en annan rubrik som en annan sammanfattning vilken innehöll ett svepande påstående ("det egennyttiga handlandet leder till katastrofala resultat för kollektivet") som jag inte vill förknippas med utan tvärtom tar avstånd från.

fredag 30 mars 2018

A spectacularly uneven AI report

Earlier this week, the EU Parliament's STOA (Science and Technology Options Assessment) committee released the report "Should we fear artificial intelligence?", whose quality is so spectacularly uneven that I don't think I've ever seen anything quite like it. It builds on a seminar in Brussels in October last year, which I've reported on before on this blog. Four authors have contributed one chapter each. Of the four chapters, three are very good two are of very high quality, one is of a quality level that my modesty forbids me to comment on, and one is abysmally bad. Let me list them here, not in the order they appear in the report, but in one that gives a slightly better dramatic effect.
  • Miles Brundage: Scaling Up Humanity: The Case for Conditional Optimism about Artificial Intelligence.

    In this chapter, Brundage (a research fellow at the Future of Humanity Institute) is very clear about the distinction between conditional optimism and just plain old optimism. He's not saying that an AI breakthrough will have good consequences (that would be plain old optimism). Rather, he's saying that if it has good consequences, i.e., if it doesn't cause humanity's extinction or throw us permanently into the jaws of Moloch, then there's a chance the outcome will be very, very good (this is conditional optimism).

  • Thomas Metzinger: Towards a Global Artificial Intelligence Charter.

    Here the well-know German philosopher Thomas Metzinger lists a number of risks that come with future AI development, ranging from well-known ones concerning technological unemployment or autonomous weapons to more exotic ones arising from the possibility of constructing machines with the capacity to suffer. He emphasizes the urgent need for legislation and other government action.

  • Olle Häggström: Remarks on Artificial Intelligence and Rational Optimism.

    This text is already familiar to readers of this blog. It is my humble attempt to sketch, in a balanced way, some of the main arguments for why the wrong kind of AI breakthrough might well be an existential risk to humanity.

  • Peter Bentley: The Three Laws of Artificial Intelligence: Dispelling Common Myths.

    Bentley assigns great significance to the fact that he is an AI developer. Thus, he says, he is (unlike us co-contributors to the report) among "the people who understand AI the most: the computer scientists and engineers who spend their days building the smart solutions, applying them to new products, and testing them". Why exactly expertise in developing AI and expertise in AI futurology necessarily coincide in this way (after all, it is rarely claimed that farmers are in a privileged position to make predictions about the future of agriculture) is not explained. In any case, he claims to debunk a number of myths, in order to arrive at the position which is perhaps best expressed in the words he chose to utter at the seminar in October: superhumanly intelligent AI "is not going to emerge, that’s the point! It’s entirely irrational to even conceive that it will emerge" [video from the event, at 12:08:45]. He relies more on naked unsupported claims than on actual arguments, however. In fact, there is hardly any end to the inanity of his chapter. It is very hard to comment on at all without falling into a condescending tone, but let me nevertheless risk listing a few of its very many very weak points:

    1. Bentley pretends to speak on behalf of AI experts - in his narrow sense of what such expertise entails. But it is easy to give examples of leading AI experts who, unlike him, take AI safety and apocalyptic AI scenarios seriously, such as Stuart Russell and Murray Shanahan. AI experts are in fact highly divided in this issue, as demonstrated in surveys. Bentley really should know this, as in his chapter he actually cites one of these surveys (but quotes it in shamelessly misleading fashion).

    2. In his desperate search for arguments to back up his central claim about the impossibility of building a superintelligent AI, Bentley waves at the so-called No Free Lunch theorem. As I explained in my paper Intelligent design and the NFL theorems a decade ago, this result is an utter triviality, which basically says that in a world with no structure at all, no better way than brute force exists if you want to find something. Fortunately, in a world such as ours which has structure, the result does not apply. Basically the only thing that the result has going for it is its cool name, something that creationist charlatan William Dembski exploited energetically to try to give the impression that biological evolution is impossible, and now Peter Bentley is attempting the analogous trick for superintelligent AI.

    3. At one point in his chapter, Bentley proclaims that "even if we could create a super-intelligence, there is no evidence that such a super-intelligent AI would ever wish to harm us". What the hell? Bentley knows about Omohundro-Bostrom theory for instrumental vs final AI goals (see my chapter in the report for a brief introduction) and how it predicts catastrophic consequences in case we fail to equip the superintelligent AI with goals that are well-aligned with human values. He knows it by virtue of having read my book Here Be Dragons (or at least he cites it and quotes it), on top of which he actually heard me present the topic at the Brussels seminar in October. Perhaps he has reasons to believe Omohundro-Bostrom theory to be flawed, in which case he should explain why. Simply stating out of the blue, as he does, that no reason exists for believing that a superintelligent AI might turn agianst us is deeply dishonest.

    4. Bentley spends a large part of his chapter attacking the silly straw man that the mere progress of Moore's law, giving increasing access to computer power, will somehow spontaneously create superintelligent AI. Many serious thinkers speculate about an AI breakthrough, but none of them (not even Ray Kurzweil) think computer power on its own will be enough.

    5. The more advanced an AI gets, the more involved will the testing step of its development be, claims Bentley, and goes on to argue that the amount of testing needed grows exponentially with the complexity of the situation, essentially preventing rapid development of advanced AI. His premise for this is that "partial testing is not sufficient - the intelligence must be tested on all likely permutations of the problem for its designed lifetime otherwise its capabilities may not be trustable", and to illustrate the immensity of this task he points out that if the machine's input consists of a mere 100 variables that each can take 10 values, then there are 10100 cases to test. And for readers for whom it is not evident that 10100 is a very large number, he writes it in decimal. Oh please. If Bentley doesn't know that "partial testing" is what all engineering projects need to resort to, then I'm beginning to wonder what planet he comes from. Here's a piece of homework for him: calculate how many cases the developers of the latest version of Microsoft Word would have needed to test, in order not to fall back on "partial testing", and how many pages would be needed for writing that number in decimal.

    6. Among the four contributors to the report, Bentley is alone in claiming to be able to predict the future. He just knows that superintelligent AI will not happen. Funny, then, that not even his claim that "we are terrible at predicting the future, and almost without exception the predictions (even by world experts) are completely wrong" doesn't seem to induce as much as a iota of empistemic humility into his prophecy.

    7. In the final paragraph of his chapter, Bentley reveals his motivation for writing it: "Do not be fearful of AI - marvel at the persistence and skill of those human specialists who are dedicating their lives to help create it. And appreciate that AI is helping to improve our lives every day." He is simply offended! He and his colleagues work so hard on AI, they just want to make the world a better place, and along comes a bunch of other people who have the insolence to come and talk about AI risks. How dare they! Well, I've got news for Bentley: The future development of AI comes with big risks, and to see that we do not even need to invoke the kind of superintelligence breakthrough that is the topic of the present discussion. There are plenty of more down-to-earth reasons to be "fearful" of what may come out of AI. One such example, which I touch upon in my own chapter in the report, is the development of AI technology for autonomous weapons, and how to keep this technology away from the hands of terrorists.

A few days after the report came out, Steven Pinker tweeted that he "especially recommend[s] AI expert Peter Bentley's 'The Three Laws of Artificial Intelligence: Dispelling Common Myths' (I make similar arguments in Enlightenment Now)". I find this astonishing. Is it really possible that Pinker is that blind to the errors and shortcomings in Bentley's chapter? Is there a name for the fallacy "I like the conclusion, therefore I am willing to accept any sort of crap as arguments"?

lördag 17 mars 2018

Om växthusgasutsläpp och invandring

Ett gäng forskare och biståndsarbetare med Frank Götmark (professor i ekologi vid Göteborgs universitet) i spetsen publicerade igår en debattartikel i Svenska Dagbladet med rubriken Miljöskäl talar för mer begränsad invandring. I korta drag är deras argument följande.
    Ett lands växthusgasutsläpp (liksom annan miljöbelastning) tenderar att öka med ökad folkmängd. Om invandringen till ett land är stor leder det till ökad folkmängd. Eftersom det är angeläget att hålla nere de svenska växthusgasutsläppen leder detta till att vi bör begränsa invandringen.
Det finns ett korn av sanning i deras resonemang, men jag vill mena att artikeln är opedagogiskt och oklart framställd på ett sätt som för tankarna mer till politisk retorik än till det slags saklighet som bör vara ledstjärna för forskare som deltar i samhällsdebatten. Detta då avgörande premisser för resonemanget sopas under mattan.

En uppenbar första invändning för en kritisk läsare som tar del av Götmarks m.fl. artikel är följande. Växthusgasutsläpp är ett globalt problem och inte ett svenskt, och även om invandring till Sverige riskerar leda till ökade växthusgasutsläpp i Sverige så är det inte uppenbart att det leder till en ökning av de globala utsläppen, eftersom vi behöver ta med minskningen i de länder invandrarna kommer ifrån i kalkylen.

Detta kan Götmark m.fl. givetvis besvara. Det troligaste är att de tänker sig att en invandrare till Sverige typiskt kommer från något land med lägre växthusgasutsläpp. Flyktingpojken Rashid från Afghanistan kommer från ett land där CO2-utsläppen per capita och år är 0,7 ton, och anländer till ett där motsvarande siffra är 4,6 (siffror från 2013). Det är rimligt att tänka sig att flytten från Afghanistan till Sverige leder till att Rashids CO2-avtryck rör sig bort från typiskt afghansk nivå i riktning mot typiskt svensk nivå, vilket alltså resulterar i ökade utsläpp.

Resonemanget bygger på att de svenska utsläppen per capita ligger på ohållbar nivå, och därtill på högre nivå än de länder varifrån flertalet invandrare kommer. Detta är sant idag, men kommer det att fortsätta vara sant i framtiden? Götmark m.fl. tycks ta för givet att det kommer att hålla i sig åtminstone fram till 2100, ty i annat fall skulle deras diagram över svensk befolkningsutveckling fram till dess under olika antaganden om invandringsvolym vara irrelevant. Själv anser jag (liksom många andrda, som Naturvårdsverket) att Sverige bör minska sina utsläpp snabbt, och bli koldioxidneutralt långt långt före 2100. Jag ser inga godtagbara moraliska argument för att vi skulle kunna fortsätta tillåta oss en utsläppsnivå som är globalt ohållbar och ligger högre än andra länder. Så snart vi rättat till den saken faller den götmarkska argumentationen.

Artikelförfattarna är givetvis i sin fulla rätt att ha annan uppfattning än jag i denna moraliska fråga, men de borde enligt min mening ha uttryckt sig mer i klartext. Då hade det t.ex. kunna låta så här:
    Vi anser att vi här i Sverige kan tillåta oss att tillskansa oss en hög levnadsstandard baserad på CO2-utsläpp som är högre än vad som är globalt hållbart, och högre än i andra länder. Detta privilegium bör vi dock vara ytterst försiktiga med att dela med oss av till Rashid och andra utlänningar, ty vår planet håller inte för om alla skulle leva som vi.

måndag 12 mars 2018

Lite radioprat om Elon Musks senaste AI-utspel

Elon Musk framträdde igår på en teknik- och kulturfestival i Austin, Texas. En av de saker som väckte störst uppmärksamhet var hans påstående att AI (artificiell intelligens) innebär en ännu större risk för mänskligheten än kärnvapenfaran. Så här lät det:

Jag inbjöds tidigare idag att kommentera detta i radioprogrammet Nordegren & Epstein i P1 - lyssna gärna på det! Inslaget om Elon Musk börjar ca 30:15 in i programmet, och jag kommer in i diskussionen vid pass 33:00.

måndag 26 februari 2018

Standardfraser

Manualer för hur man från en begränsad uppsättning ord kan kombinera ihop ett stort antal standardfraser, som i nedanstående bild, har jag stött på förut. Alla sådana som jag sett tidigare har haft satirisk avsikt, med budskap i stil med "se här hur andefattiga ledartexter/schlagersånger/bokrecensioner/bröllopstal/whatever är", men i det här fallet verkar avsikten vara gravallvarlig, och någon tillstymmelse till glimt i ögat har jag inte lyckats urskilja i Karolinska institutets Frasbank med metatext (som nära och troget följer en engelskspråkig motsvarighet). Avsikten är att bistå med standardiserade fraser till vetenskapliga rapporter på svenska. Dessa är uppdelade i avdelningar och underavdelningar, och i avdelning "Att vara kritisk", underavdelning "Erbjuda konstruktiva förslag", finner vi följande schema.

Anklaga mig gärna för att vara en bakåtsträvande akademikersnobb, men jag när en romantisk dröm om att forskningsverksamheten vid våra universitet skall inbegripa ett intellektuellt tankearbete, och att detta skall återspeglas i vetenskapliga texter. Jag vill helst att en vetenskaplig rapport mer skall likna en essä än en förtryckt deklarationsblankett eller ett Excel-blad, och jag undviker därför att ge mina studenter alltför detaljerade instruktioner om rapporters exakta utformning. Onödigt detaljerade ramar är kreativitetsdödande och leder till svårt stereotypa texter. Ni kan nog rutinen: Introduktion, Bakgrund, Metoder, Analys, Resultat, Slutsatser, och såklart det noggranna utraderandet av varje tecken på att författaren är en människa med egen personlighet. Att den vetenskapliga rapporten skulle bjuda på något som ens tillnärmelsevis liknar litterära kvaliteter är inte att tänka på.

Givetvis är jag medveten om att jag kämpar i motvind. Många forskare (inte minst inom de naturvetenskapliga och medicinska ämnessfärerna) finner den stereotypa formen praktisk, dels för att snabbt kunna hitta relevant information i vetenskapliga artiklar utan att behöva bemöda sig om att läsa dem från början till slut, men också för att underlätta massproduktion i den egna forskargruppen. Bland annat av det skälet brukar detaljerade skrivmanualer välkomnas, och det finns gott om sådana, men KI:s frasbank är bland det värsta jag sett i den vägen.

Jag kan föreställa mig ett försvar för frasbanken längs linjen att den vetenskapliga skriv- och publiceringstraditionen ju är som den är, och att det är bra att hjälpa studenter och unga forskare att anpassa sig till denna. Mitt svar på det är att när den rådande traditionen är själsdödande stereotyp så bör den bekämpas, inte understödjas.

tisdag 20 februari 2018

Existentiell risk i Stockholm

På onsdag kväll i nästa vecka, den 28 februari, håller jag föredrag i Stockholm med rubriken Existential risks to humanity. Tidpunkt 17.30-18.30, plats Stockholms uiversitet, Universitetsvägen 10A, Södra huset, sal D7. Arrangör är föreningen Effektiv Altruism Sverige, och i deras inbjudan till föredraget finns följande sammanfattning:
    During the 21st century, extraordinary and perhaps disruptive advances can be expected within biotechnology, nanotechnology, and machine intelligence. The potential benefits of all these technologies are enormous, but so are the risks, including the possibility of human extinction.

    In this lecture, Olle Häggström will discuss some of the major existential risks facing humanity in the coming century or so, and explain why he thinks that the currently predominant attitude towards research and development - tantamount to running blindfolded at full speed through a minefield - ought to be revised in favor of more foresight and more caution.

    [...]

    Olle Häggström is a professor of mathematical statistics at Chalmers University of Technology. His most noted research achievements are in probability theory, but his cross-disciplinary research interests are wide-ranging and include climate science, artificial intelligence, and philosophy. The talk will be partly based on his 2016 book Here Be Dragons: Science, Technology and the Future of Humanity.

måndag 12 februari 2018

Meningsutbyte med Bo Rothstein om matematisk modellering

Bo Rothstein är med varje rimligt mått mätt en av Sveriges mest framstående statsvetare, och på tidningarnas debattsidor utgör han en frisk fläkt. Ibland går han dock en smula överstyr i sin argumentation, som i gårdagens artikel på DN Debatt, rubricerad Felaktig tolkning av metoo riskerar att skada tilliten. Det finns mycket att diskutera och kritisera i den artikeln, men här skall jag uppehålla mig vid en enda detalj, nämligen följande passage:
    [På] min egen arbetsplats, Göteborgs universitet, [utförs] ett antal undersökningar [...] där de tillfrågade fått svara på frågan om de under det senaste året utsatts för sexuella trakasserier. Resultatet är att cirka 2 procent av kvinnorna uppger att de blivit utsatta (och ungefär 1 procent av männen).

    Det är statistiskt inte helt enkelt att översätta dessa två procent per år till längre tidsperioder, men om man utgår från en anställningstid om 20 år är en någotsånär rimlig uppskattning att femton procent av de anställda kvinnorna blivit utsatta för vad de själva uppfattar vara sexuella trakasserier någon gång under en tjugoårsperiod.

Dessa 15% synes mig gripna ur luften, något som föranledde mig att igår skriva en Facebookuppdatering med följande innehåll.
    En sak jag inte begriper med den här artikeln är detta: om man är kritisk mot metoo och tycker att ett huvudproblem är att det är tyst kring vetenskapliga resultat om hur vanligt förekommande sexuella trakasserier är, på vad sätt skulle det då förbättra situationen att en ledande statsvetarprofessor killgissar1 på DN Debatt att 15% av kvinnliga anställda vid Göteborgs universitet blivit utsatta för sexuella trakasserier under sistlidna 20-årsperiod?
Jag skrev dock detta med en lite obehaglig magkänsla av att jag själv faktiskt kunde tänkas ha bidragit (om än helt oavsiktligt) till den av Rothstein anförda procentsiffran. Den 27 november förra året tog jag nämligen del av en Facebookuppdatering från samme Rothstein, där han frågade huruvida en årlig trakasserisannolikhet om 1,6% (en sifferuppgift som härrör från samma undersökning vid Göteborgs universitet men som avser en poolning av grupperna män och kvinnor) kunde översättas till en 32%-ig sannolikhet att bli trakasserad någon gång under en 20-årsperiod. Jag svarade nej, och Rothstein bad mig utveckla, varvid jag utvecklade:
    Det första du skall tänka på är huruvida du har tillräcklig information för att besvara din fråga. Det har du inte här, för sannolikheten att trakasseras inom loppet av en tjugoårsperiod beror inte bara på den årliga sannolikheten, utan också på beroendestrukturen mellan att trakasseras ett år och ett annat år. Givet att den årliga siffran är rätt kan, beroende på denna beroendestruktur, tjugoårssannolikheten landa var som helst mellan 1,6% och 32%. För att få fram en exaktare siffra krävs modellantaganden. Tre exempel:

    (1) Om trakasseri ett år immuniserar en person mot trakasseri alla kommande år (ett fullständigt orimligt antagande), så att det varje år uteslutande är nya personer som syns i statistiken, så fungerar din kalkyl, och svaret blir 32%.

    (2) Om det ständigt är exakt samma personer som trakasseras (ett lika orimligt antagande) så att inga nya kommer in i statisktiken under ett nytt år, så blir svaret 1,6%.

    (3) Om statistiskt oberoende gäller mellan att en person blir trakasserad ett år och nästa (ett måhända aningen mindre orimligt antagande, men fortfarande orimligt), dvs noll korrelation, så fungerar den Lindbomska kalkylen1 nedan, och svaret blir 27,6%.

    Många alternativa modellantaganden är möjliga. Så vad är sanningen? I slutändan är det en empirisk fråga. Intill dess vi kan besvara den gissar jag (tentativt) att positiv men inte fullständig korrelation föreligger mellan trakasseri mot en och samma person ett år och ett annat, så att det rätta svaret i så fall hamnar någonstans mellan (2) och (3).

Min obehagliga magkänsla besannades för någon timme sedan, då Rothstein kommenterade på Facebook med följande ord.
    Modellantaganden har jag fått från Olle Häggström själv [se ovan] när jag får några månader sedan frågade honom hur man skulle resonera om detta. Som ni kan se [...] är hans egen "gissning" att man hamnar någonstans mellan 1,6% och 27,6. Och då blir det väl som jag skrev, runt 15%.

    [...]

    Kan tillägga att jag inte är förtjust i att bli förolämpad ("killgissning"). Jag är inte statistiker men har gjort så gott jag kunnat i detta genom att tillfråga en av landets främsta matematiska statistiker. Har jag gjort fel så vi jag naturligtvis rätta till det men tonen i många av dessa kommentarer ger mig avsmak

Mitt svar till honom:
    Det här var inte helt bra, Bo. Om du faktiskt på allvar tolkar något av det jag skrev på din FB den 27 november som stöd för din siffra 15% så ber jag härmed att å det bestämdaste få dementera detta.

    Att "tillfråga en av landets främsta matematiska statistiker" är naturligtvis en god idé i sådana här sammanhang, men det hade varit en ännu bättre idé om du hade fullföljt den strategin lite ihärdigare innan du vände dig till DN Debatt. Du hade exempelvis kunnat fråga mig (a) huruvida medelvärdet mellan två ytterlighetspunkter automatiskt ger en rimlig uppskattning, och (b) huruvida kvantifieringarna "någonstans mellan 1,6% och 27,6%" och "runt 15%" är att betrakta som synonyma. Mitt svar hade blivit ett kraftfullt nej på båda frågorna.

Rothstein valde då att insistera på att det jag skrivit utgjorde stöd för hans 15%:
    Olle, tråkigt att du inte vågar stå för vad du faktiskt skrev, eller åtminstone erkänna att du uttryckt dig på ett sätt som gjort min tolkning helt av vad du skrev rimlig. Igen, du avslutar med följande
      Så vad är sanningen? I slutändan är det en empirisk fråga. Intill dess vi kan besvara den gissar jag (tentativt) att positiv men inte fullständig korrelation föreligger mellan trakasseri mot en och samma person ett år och ett annat, så att det rätta svaret i så fall hamnar någonstans mellan (2) och (3).
    Modell 2 var 1,6 procent, modell var 27, 6 procent. "Mellan" måste enligt svenskt språkbruk ses som en mittpunkt, och då hamnar man något under 15%.
Mitt korta svar på det:
    Jag står för det jag skrev, Bo. Och är ärligt talat lite chockad över hur du valt att vantolka detta.

Där tog dessvärre diskussionen slut, i och med att Rothstein, tydligen en smula förnärmad, valde att trycka på Facebooks avfriendningsknapp.

Fotnoter

1) I (den ganska omfattande) kommentarstråden fick jag viss berättigad kritik för ordvalet "killgissar" (inte bara från Rothstein). Ordet anbefalles visserligen av statliga Institutet för språk och folkminnen som ett av 2017 års nyord, men är likväl inte särskilt lyckat.

2) Nämligen uträkningen 1 - (1-0,016)20 = 0,276.

tisdag 30 januari 2018

Två tankar i huvudet samtidigt

Tydligen var det så att SVT:s samhällsprogram Agenda i söndags planerades bjuda på en debatt på det brännande temat "Är det samhällets eller individens ansvar att minska flygandet för att rädda klimatet?"1 - ett inslag som dock gick om intet eftersom Ingvar Kamprads bortgång kom emellan och behövde ägnas en stor del av programmet. Som en ringa kompensation för det uteblivna inslaget erbjuder jag härmed mina två cent i frågan. Jag tycker att vi borde kunna hålla två tankar i huvudet samtidigt:

Å ena sidan. Klart som tusan att individen har ett ansvar för att inte belasta vår jord med mer än sin rättmätiga andel (typ en 7500000000:e-del, förutsatt att man inte har väldigt övertygande argument2 för en mer ojämn fördelning) av vad som är hållbart. Envar som flyger mer än så beter sig oansvarigt och skurkaktigt.

Å andra sidan. Med tanke på folks allmäna skurkaktighet och usla track record när det gäller att ta ansvar för vår planetära hållbarhet (mea culpa), så blir det nog likförbannat nödvändigt för samhället att gripa in och sätta stopp för det hejdlösa flygandet.

Fotnoter

1) Flygets klimatpåverkan är något som bl.a. några av mina Chalmerkollegor sysslat med. Se exempelvis rapporten Svenska handlingsalternativ för att minska flygets klimatpåverkan av Jonas Åkerman, Jörgen Larsson och Anna Elofsson.

2) Ett exempel på ett argument jag inte finner övertygande är följande, som jag upplever som mycket vanligt även om det oftast lämnas outtalat: "Jomen det mesta jag flyger är ju i jobbet, och vad jag gör i jobbet har jag såklart inte något som helst personligt ansvar för."

söndag 28 januari 2018

Swing Time är läsvärd

Swing Time av Zadie Smith är en av de bästa romaner jag läst på ganska länge. Den känns naturlig att jämföra med Kjell Westös Den svavelgula himlen som jag läste i höstas, då de båda kretsar kring barndomsvänner som så småningom graviterar isär men till slut återser varandra en bit upp i medelåldern, och båda genomsyras av klassfrågor.1 I Swing Time tillkommer rasperspektiv som ett bärande element, till skillnad från i Westös bok vars handling är koncentrerad i och kring ett etniskt tämligen homogent Helsingfors. Smiths bok är mer kosmopolitisk, och utspelar sig i London, New York och ett västafrikanskt land som aldrig nämns vid namn men som verkar vara Gambia, där huvudpersonen medverkar i ett föga framgångsrikt biståndsprojekt.2 Det är ett gott betyg på Swing Time att jag finner den klart bättre än Den svavelgula himlen trots att Westö är en gammal favoritförfattare och trots att hans aktuella bok ingalunda är något misslyckande.

En sak jag fann frapperande hos Swing Time är att de fyra personer som porträtteras någorlunda utförligt - berättarjaget, hennes mamma, hennes barndomsvän Tracy, och megapopstjärnan Aimee (som om än inte i alla avseenden identisk med Madonna likväl är tydligt modellerad efter henne) - alla är kvinnor (många andra personer figurerar i boken men blir mer till bifigurer och rekvisita). Men så slog det mig att jag nog läst många böcker som på motsvarande vis domineras av ett antal män utan att reagera närmare på den saken, så själva min reaktion på detta blev en lärorik påminnelse om skevheter i hur vi ser på män respektive kvinnor.

Av de fyra personprorträtten är det berättarjagets som är mest utförligt, och ändå är det hon som likväl till slut förblir mest enigmatisk. En oro återkommer då och då om huruvida hennes på ytan innehållsrika liv ändå lider av tomhet. Den underliggande frågan om vad som är ett meningsfullt livsinnehåll får inget slutgitigt svar, men blir något man som läsare tar med sig efter att ha lagt ifrån sig boken.

Fotnoter

1) Smiths insiktsfullhet och utsökta känsla för klass- och andra sociala frågor framkommer bland annat också i en essä hon skrev i kölvattnet av Brexit och som jag tidigare lyft fram här på bloggen.

2) Handlingen i Gambia får mig att associera till en annan bra bok jag läst denna vinter: Kevin Simlers och Robin Hansons mycket intressanta The Elephant in the Brain, som jag räknar med att återkomma till här på bloggen och vars genomgående tes är att mycket av vad vi gör drivs av andra (och typiskt mindre ädla) motiv än dem vi hävdar - motiv som vi hemlighåller så noga att vi till och med lurar oss själva. I kapitel efter kapitel illustrerar författarna grundtesen på olika områden, och i kapitlet om välgörenhet hävdar de att det som driver en välgörare som regel mer handlar om att imponera på andra och visa upp dygder än om genuin önskan att göra gott. Detta påstående är givetvis oaptitligt, men samtidigt är det svårt att avvisa, och det havererade biståndsprojektet i Swing Time passar bra in Simlers och Hansons cyniska bild.

söndag 21 januari 2018

SVT:s Idévärlden om AI-risk

Veckans avsnitt av SVT:s Idévärlden behandlar risker med framtida utveckling inom artificiell intelligens (AI), och kan ses i SVT Play. AI-risk var ett framträdande tema vid det gästforskarprogrm om Existential risk to humanity som jag var med och drev vid Chalmers och Göteborgs universitet i höstas (något som t.ex. framgick av flera av föredragen vid vår publika workshop i september), och därför är det kanske inte helt ologiskt att samtliga tre gäster i SVT:programmet hämtades bland deltagarna i vårt gästforskarprogram: Anders Sandberg, Dorna Behdadi och Karim Jebari. Det blev ett riktigt bra avsnitt av Idévärlden, något som i alla fall för mig var ytterst väntat, i ljuset inte bara av de utmärkta interna diskussioner vi hade i gästforskarprogrammet, utan också av de publika paneldiskussioner jag de senaste åren deltagit i med var och en av tre: Anders, Dorna och Karim. Även programledaren Daniel Sjölin gjorde ett bra jobb.

onsdag 17 januari 2018

Two excellent contemporary writers

Two of my favorite contemporary writers, operating however in very different genres, are Ted Chiang and Scott Alexander:
  • Ted Chiang is a science fiction writer specializing in short stories. When I read his collection Stories of Your Life and Others I said to myself "wow, this guy is almost better than Greg Egan" (but let me withhold final judgement on that comparison). The book opens with Tower of Babylon, which explores a beautiful alternative cosmology more in line with what people believed in ancient times, and continues with Understand, which, albeit lacking somewhat in realism, gives what is probably the best account I've read on what it might be like to attain superintelligence - an impossible topic, yet important in view of possible future transhumanistic developments. Among the other stories in the book is the title one, Story of Your Life, which was later adapted to the Hollywood movie Arrival; I recommend both reading the story and seeing the movie (the plots diverge somewhat in interesting respects) and then listening to the podcast Very Bad Wizards discussing them.

  • Scott Alexander blogs about science, philosophy, future technologies and related topics. He often penetrates quite deeply into his chosen topic, and his posts are often longish to very long. Several of his blog posts have influenced me significantly, such as...
Excellence is writing may however be more or less genre-specific; I suspect that most good authors of university-level mathematics textbooks suck as poets, and vice versa. Another example is that when last month Ted Chiang tried his luck at writing an essay on AI futurology with the title Silicon Valley is Turning into its Own Worst Fear, his brilliance does not shine through. The gist of Chiang's argument is that superintelligent AI and capitalism are similar in that they both relentlessly optimize for something that is not entirely well-aligned with human well-being, and that since superintelligent AI does not at present exist while capitalism does, only capitalism poses a real danger. This last conclusion is a non sequitur.

And now, finally... get ready for my excuse for discussing Chiang and Alexander in the same blog post! Scott Alexander's blog post Maybe the Real Superintelligent AI is Extremely Smart Computers from earlier this week is a masterful exposition of the errors in Chiang's arguments. When I first saw Chiang's essay, I saw mostly the same errors that Alexander saw, but would never have been able to explain them quite as pedagogically as he does. Do read it (Alexander's blog post, that is), as I have nothing to add to it.

lördag 13 januari 2018

Science Magazine on existential risk

I recommend reading the news article on existential risk research featured in Science Magazine this week. Several prominent researchers are interviewed, including physicist Max Tegmark, who should by now be well known to regular readers of this blog. Like philosopher Nick Bostrom, whose work (including his excellent 2014 book Superintelligence) is discussed in the article, he emphasizes a possible future breakthrough in artificial intelligence (AI) as one of the main existential risks to humanity. Tegmark explains, as Bostrom has done before him and as I have done in an earlier blog post, that the trial-and-error method that has served humanity so well throughout history is insufficient in the presence of catastrophic risks of this magnitude:
    Scientists have an obligation to be involved, says Tegmark, because the risks are unlike any the world has faced before. Every time new technologies emerged in the past, he points out, humanity waited until their risks were apparent before learning to curtail them. Fire killed people and destroyed cities, so humans invented fire extinguishers and flame retardants. With automobiles came traffic deaths—and then seat belts and airbags. "Humanity's strategy is to learn from mistakes," Tegmark says. "When the end of the world is at stake, that is a terrible strategy."
The alternative to trial-and-error is to raise the level of foresight, and partly for this reason it is excellent that existential risk research in general and AI safety work in particular gets the kind of media exposure that the Science Magazine article exemplifies.

On the other hand, this line of research is controversial in some circuits, whence today's media logic dictates that its adversaries are heard. Recently, cognitive scientist Steven Pinker has become the perhaps most visible such adversary, and he gets to have his say in the Science Magazine article. Unfortunately, he seems to have nothing to offer beyond recycling the catchy oneliners he used when I met him face to face at the EU Parliament in Brussels in October last year - oneliners whose hollowness I later exposed in my blog post The AI meeting in Brussels last week and at greater length in my paper Remarks on artificial intelligence and rational optimism. Pinker's poor performance in these discussions gives the impression (which I will not contradict) that proponents of the position "Let's not worry about apocalyptic AI risk!" do not have good arguments for it. The impression is reinforced by how even leading AI researchers like Yann LeCun, when trying to defend that position, choose to revert to arguments on about the same level as those employed by Pinker. To me, that adds to the evidence that apocalyptic AI risk does merit taking seriously. Readers who agree with me on this and want to learn more can for instance start by reading my aforementioned paper, which offers a gentle introduction and suggestions for further reading.

fredag 5 januari 2018

Emma Frans årets folkbildare!

Kom ihåg vad jag skrev här på bloggen redan i juli 2014, långt innan Emma Frans nådde den nivå av berömmelse hon har idag:
    Emma Frans är ofta först bland svenskspråkiga skribenter med spännande nyheter om beteendevetenskap och annan forksning, och om någon vill utnämna Emmas selektion till Sveriges bästa vetenskapsblogg just nu så har jag inget att invända.
Just hennes blogg har varit halvt om halvt vilande det senaste året, men Emma arbetar desto mer med folkbildning via en rad andra kanaler, och idag har Föreningen Vetenskap och Folkbildning (VoF) tillkännagivit att hon utsetts till Årets folkbildare 2017. I skrivande stund är deras webbplats svår att nå på grund av den överlastning av trafik som tillkännagivandet givit upphov till, men på föreningens ordförande Peter Olaussons blogg Faktoider hittar vi följande uttalande:
    Föreningen Vetenskap och Folkbildning (VoF) har utsett Emma Frans, doktor i medicinsk epidemiologi, till Årets folkbildare 2017. Emma Frans tilldelas utmärkelsen för sin förmåga att på ett pedagogiskt och humoristiskt sätt sprida kunskap och förklara myter och missförstånd kring vetenskap.

    – Emma Frans har fått särskilt mycket uppmärksamhet det senaste året och det förtjänar hon. Hon är den första folkbildaren som började sin verksamhet på sociala medier och det är fortfarande där hon har sin starkaste plattform. Sociala medier har visat sig vara vår tids främsta kanal för förvillande – där behövs källkritik och folkbildning mer än någon annanstans, säger Peter Olausson, ordförande för Vetenskap och Folkbildning.

    – Men det är inte tillräckligt att behärska en kanal. Emma Frans är verksam på Twitter, och en stor tidning, och nu även i bokform. Det är så en modern folkbildare behöver arbeta: I olika kanaler med olika möjligheter och framför allt olika målgrupper.

    [...]

    Doktor Emma Frans gav under 2017 ut boken Larmrapporten - Att skilja vetenskap från trams, på Volante förlag. I boken redogör Frans på ett pedagogisk sätt för hur vi som individer kan navigera genom den djungel av information som florerar runt omkring oss dagligen. Med hjälp av lustiga anekdoter tagna ur vardagslivet beskrivs begrepp som placeboeffekten och cherry picking. Även avdelningar rörande källkritik, informationsinhämtning och statistik avhandlas med hjälp av tydliga exempel, ofta hämtade från verkligheten.

    Genom att Emma Frans uttrycker sig lättbegripligt och ofta med en stor portion humor, utan att tumma på det vetenskapliga förhållningssättet, är hon en god folkbildare i den digitala tidsåldern.

Jag instämmer i allt detta, och kan tillägga att jag funnit Emmas bok så bra, med dess närmast unika kombination av lättillgänglighet och vederhäftighet, att jag avser använda den på den kurs inom lärarutbildningen på Göteborgs universitet som jag är engagerad i.

Grattis Emma!