torsdag 17 maj 2018

An open letter to Google

Dear Google,

I recently became aware of Project Maven, in which you assist the Pentagon in applying cutting-edge AI technology to give military drones the ability to identify humans. And I thought this is as good a time as any to remind you of these little words of wisdom: Don't be evil.

Let me repeat:

Be.

With kind regards,

Olle Häggström
Concerned world citizen

måndag 14 maj 2018

Two well-known arguments why an AI breakthrough is not imminent

Much of my recent writing has concerned future scenarios where an artificial intelligence (AI) breakthrough leads to a situation where we humans are no longer the smartest agents on the planet in terms of general intelligence, in which case we cannot (I argue) count on automatically remaining in control; see, e.g., Chapter 4 in my book Here Be Dragons: Science, Technology and the Future of Humanity, or my paper Remarks on artificial intelligence and rational optimism. I am aware of many popular arguments for why such a breakthrough is not around the corner but can only be expected in the far future or not at all, and while I remain open to the conclusion possibly being right, I typically find the arguments themselves at most moderately convincing.1 In this blog post I will briefly consider two such arguments, and give pointers to related and important recent developments. The first such argument is one that I've considered silly for as long as I've given any thought at all to these matters; this goes back at least to my early twenties. The second argument is perhaps more interesting, and in fact one that I've mostly been taking very seriously.

1. A computer program can never do anything creative, as all it does is to blindly execute what it has been programmed to do.

This argument is hard to take seriously, because if we do, we must also accept that a human being such as myself cannot be creative, as all I can do is to blindly execute what my genes and my environment have programmed me to do (this touches on the tedious old free will debate). Or we might actually bite that bullet and accept that humans cannot be creative, but with such a restrictive view of creativity the argument no longer works, as creativity will not be needed to outsmart us in terms of general intelligence. Anyway, the recent and intellectually crowd-sourced paper The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities offers a fascinating collection of counterexamples to the claim that computer programs cannot be creative.

2. We should distinguish between narrow AI and artificial general intelligence (AGI). Therefore, as far as a future AGI breakthrough is concerned, we should not be taken in by the current AI hype, because it is all just a bunch of narrow AI applications, irrelevant to AGI.

The dichotomy between narrow AI and AGI is worth emphasizing, as UC Berkeley computer scientist Michael Jordan does in his interesting recent essay Artificial Intelligence  - The Revolution Hasn’t Happened Yet. That discourse offers a healthy dose of skepticism concerning the imminence of AGI. And while the claim that progress in narrow AI is not automatically a stepping stone towards AGI seems right, the oft-repeated stronger claim that no progress in narrow AI can serve as such a stepping stone seems unwarranted. Can we be sure that the poor guy in the cartoon on the right (borrowed from Ray Kurzweil's 2005 book; click here for a larger image) can carry on much longer in his desperate production of examples of what only humans can do? Do we really know that AGI will not eventually emerge from a sufficiently broad range of specialized AI capabilities? Can we really trust Thore Husfeldt's image suggesting that Machine Learning Hill is just an isolated hill rather than a slope leading up towards Mount Improbable where real AGI can be found? I must admit that my certainty about such a topography in the landscape of computer programs is somewhat eroded by recent dramatic advances in AI applications. I've previously mentioned as an example AlphaZero's extraordinary and self-taught way of playing chess, made public in December last year. Even more striking is last week's demonstration of the Google Duplex personal assistant's ability to make intelligent phone conversations. Have a look:3

Footnotes

1) See Eliezer Yudkowsky's recent There’s No Fire Alarm for Artificial General Intelligence for a very interesting comment on the lack of convincing arguments for the non-imminence of an AI breakthrough.

2) The image appears some 22:30 into the video, but I really recommend watching Thore's entire talk, which is both instructive and entertaining, and which I had the privilege of hosting in Gothenburg last year.

3) See also the accompanying video exhibiting a wider range of Google AI products. I am a bit dismayed by its evangelical tone: we are told what wonderful enhancements of our lives these products offer, and there is no mention at all of possible social downsides or risks. Of course I realize that this is the way of the commercial sector, but I also think a company of Google's unique and stupendous power has a duty to rise above that narrow-minded logic. Don't be evil, goddamnit!

torsdag 3 maj 2018

Rekommenderad läsning: Aaronson om Caplan om utbildning

Den amerikanske nationalekonomen Bryan Caplans The Case Against Education: Why the Education System is a Waste of Time and Money är en av de mest störande böcker jag läst på länge, och den är det i kraft av att presentera mångfacetterad empirisk evidens och starka argument för slutsatser jag finner motbjudande. Caplans slutsatser kan sammanfattas i två huvudpunkter. För det första att utbildning överlag handlar mindre om att skaffa sig kunskaper än om att signalera sin allmänna arbetsduglighet (vilken Caplan kokar ned till de tre huvudkomponenterna intelligens, arbetsvillighet, och foglighet). Och för det andra att medan utbildning (ofta) är lönsam för individen, så är den (på det hela taget) olönsam för samhället som helhet. De båda slutsatserna är relaterade på följande vis: om det stämmer att utbildning mest handlar om signalering för att skaffa sig konkurrenskraft på arbetsmarknaden, så är det naturligt att tänka sig att det positiva utbyte jag får av att utbilda mig i hög grad kancelleras av det negativa utbyte (fortfarande av min utbildning) som mina potentiella konkurrenter på arbetsmarknaden får genom att hamna i en svagare konkurrensställning gentemot mig. Om deras totala negativa utbyte är tillräckligt stort kan utbildningen gå från att vara lönsam för mig till att vara olönsam på aggregerad (dvs samhälls-)nivå.

Vad är det då jag finner motbjudande med dessa slutsatser? Mycket kort uttryckt handlar det om att jag är en varm vän av utbildning och att jag alltid har trott på det som en väg till allmänt välstånd, men om det verkligen stämmer som Caplan säger att utbildning är olönsam på samhällsnivå så blir jag tvungen att revidera åtminstone delen om utbildning som väg till allmänt välstånd.

Aningen mindre kort handlar det om externalitetsinternalisering, en nationalekonomisk princip som (i ofullständig sammanfattning) säger att när en individs handlande har negativa återverkningar på tredje part så blir det bäst för helheten om samhällssystemet korrigeras på sådant vis att individen själv bär kostnaderna för dessa återverkningar. Koldioxiden är ett bra exempel: när jag kör bil och därigenom släpper ut koldioxid i atmosfären ger det en negativ klimatpåverkan som till största delen drabbar andra än mig själv, och externalitetsinternaliseringsprincipen säger då att mina utsläpp borde beskattas. En mycket god idé, och jag är allmänt en vän av externalitetsinternalisering (som tumregel i samhällsplanering, om än inte som helig princip att följas dogmatiskt). Problemet här är att om vi håller fast vid det och om Caplans slutsatser är riktiga så borde utbildning beskattas, snarare än subventioneras såsom fallet är idag. Sannerligen en motbjudande tanke!

Problemet för mig personligen är att jag ömt vårdar en bild av mig själv såsom rationell, och om jag accepterar argument som starka utan att finna minst lika starka motargument så kräver rationaliteten att jag accepterar argumentens slutsatser. Detta har skapat en spänning i mitt huvud som legat kvar oförlöst allt sedan jag för ett par månader sedan läste Caplans bok, och jag har därför hett önskat finna motargument kraftfulla nog att skjuta de utbildningsskeptiska slutsatserna i sank. Jag har inte funnit dem ännu, men Scott Aaronsons ambitiösa recension av boken är ett steg i den önskade riktningen och det bästa sådant steg jag hittills tagit del av. Recensionen är verkligen läsvärd, inte minst för den som vill förstå huvuddragen i Caplans bok och den empiri som åberopas utan att behöva läsa en hel bok, för Aaronson ger en utförlig och rättvis sammanfattning av dessa innan han ger sig i kast med sina motargument. För den som med intellektuellt allvar intresserar sig för utbildningsfrågor är jag nästan böjd att utnämna det till obligatoriskt att ta del av Caplans tankegångar, antingen via Aaronson eller genom att gå direkt till boken.