An open letter calling for research on robust and beneficial AI

Research on artificial intelligence (AI) tends in general to focus too much on making the AI capable, and too little on making its effects (once it becomes capable) benign to humans and humanity. A non-obvious but important thing to realize here is that for an AI to do bad things, it is not necessary that it was built with bad intentions. Sometimes the intentions really are bad, such as when building AI systems to fly drones and shoot at people, but it is also possible for an AI built purely with good intentions to do bad things. For a drastic example, let me quote from my review of Nick Bostrom's important book Superintelligence:

Talk of the danger of AI may trigger us to think about drones and other military technology, but Bostrom emphasizes that even an AI with seemingly harmless tasks may bring about disaster. He exemplifies with a machine designed to produce paperclips. If such a machine becomes the seed of an intelligence explosion, then, unless we have planned it with extreme caution, it may well result in the entire solar system (including ourselves) being turned into a grotesque heap of paperclips.

For some slightly less drastic examples, see Steve Omohundro's paper Rational artificial intelligence for the greater good, or a talk by him from 2012 on the same topic that I posted in an earlier blog post.

An open letter calling for putting higher priority on research to make AI safe and socially beneficial has recently been posted, and signed by over a thousand names, including myself, along with prominent AI experts, philosophers, scientists and entrepreneurs like Stuart Armstrong, Nick Bostrom, Erik Brynjolfsson, Ben Goertzel, Katja Grace, Stephen Hawking, Luke Muehlhauser, Elon Musk, Peter Norvig, Steve Omohundro, Martin Rees, Stuart Russell, Anders Sandberg, Jaan Tallinn, Max Tegmark, Eliezer Yudkowsky, Roman Yampolskiy and many more. Read the letter here! And if you argee with us, do consider signing it!

BBC reports on the letter, and Anders Sandberg offers some thoughtful comments.

Ett klarläggande till herrarna Birro och Bern rörande yttrandefriheten

Det har sagts ofantligt mycket om Charlie Hebdo-attacken de senaste två dygnen, både kloka saker och mindre kloka. Till det mindre kloka hör följande Facebookuppdatering av Marcus Birro:

Sedan Birro för en tid sedan fick sparken som kolumnist i Expressen har han fört martyrgnällandent till nya höjder, men här tycker jag att han, med sin jämförelse mellan sin egen situation och de dödade på Charlie Hebdo, går bortom alla anständighetsgränser. Innan jag går loss mot Birro för detta borde jag emellertid måhända pröva tanken att jag missförstått hans ironi eller att hans utrop är ett olycksfall i arbetet. Det man finner på Birros Facebooksida verkar dock inte stödja den tanken, då han har en rad andra uppdateringar med snarlikt budskap. Exempelvis delar han, med uppenbart gillande, en anhängares uppdatering med ordalydelsen "Hör på nyheterna att expressens chefredaktör säger att det är viktigt att stå upp för yttrandefriheten...då har man ändrat policy sedan man sparkade Marcus Birro...eller gäller det bara vid terrordåd???". Så nej, något enstaka olycksfall i arbetet verkar Birros uppdatering inte vara.

En annan person som var snabbt framme med att lyfta fram Charlie Hebdo i samband med det egna yttrandefrihetsmartyrskapet är den notoriske klimatförnekarstollen Lars Bern. I ett (även med hans mått mätt) sällsynt motbjudande blogginlägg med den högtravande rubriken Det fria ordet gnölar han i himmelens sky över att han inte längre tycks ha fritt tillträde till spaltutrymme på SvD Brännpunkt. Denna belägenhet som Bern hamnat i tycks honom fullt jämförbar med Charlie Hebdo-tecknarnas öde, och han skriver att "skillnaden mellan klimatfanatiker som etablissemanget försvarar och millitanta islamister är [...] hårfin".

Well, låt mig klargöra en sak för herrarna Birro och Bern. Yttrandefriheten innebär inte någon skyldighet för vare sig Expressen eller Svenska Dagbladet att publicera era alster. Dessa dagstidningars debatt- och kultursidor är exklusiva fora som gemene man bara kan drömma om att få utrymme på. Att ni båda under en tid hade gräddfil till sådana fora betyder inte att ni har rätt till det i evighet. Men er yttrandefrihet inskränks inte av detta, ty det är fortsatt fritt fram för er att, på vanligt folks vis, lägga ut era illa formulerade stolligheter exempelvis på bloggar och på Facebook.

Jag kan i någon mån förstå er saknad efter dessa exklusiva spaltutrymmen, men den belägenhet ni hamnat i är inte på minsta vis jämförbar med situationen för de verkliga offren för bristande yttrandefrihet - de som hamnar i fängelse för sina yttranden eller dödas för sina teckningar. Den självupptagenhet och den brist på perspektiv ni ger uttryck för ger mig kväljningar.

Je suis Charlie

Gårdagens vedervärdiga, samvetslösa och dödliga våldsdåd mot satirtidskriften Charlie Hebdo i Paris - ett dåd som ser ut som en förlängning av 2005 års Muhammedkris - utgör ett försök att skrämma oss till tystnad. Men vi skall inte låta dådets ynkliga gärningsmän lyckas. Vi behöver stå upp för vår rätt att säga vår mening, inklusive och i synnerhet om vår mening är misshaglig. Läs Christopher Hitchens text från februari 2006 om vikten av att göra narr av religion!

Vi har givit vika länge nog.¹ Enough! Det är dags att lära fundamentalisterna att de inte kan stoppa oss från att påtala Guds omåttliga ondska eller en viss profets motbjudande pedofila leverne. Har de invändningar får de formulera dem verbalt, inte med kulor och gevär.

Se även följande bloggposter:

• Stora frågor och epistemisk ödmjukhet, 24 augusti 2011.
• Lösningen då argumenten tryter: ökad fanatism och hot om våld, 18 augusti 2014.
• Tack gode Gud för Lena Andersson!, 29 oktober 2011.
• For the record: lite islamkritik, 24 juli 2013.

Fotnot

1) Ivar Arpis sammanfattning ger inte någon vacker bild:

När Ayatollah Khomeini från sin sjukbädd utfärdade en fatwa mot Salman Rushdie år 1989 slöt de flesta svenska debattörer och kulturskribenter upp bakom författaren. Jan Myrdal var så gott som ensam när han kallade Rushdie för ”maktens hjon” och beskyllde honom för att gå i fronten för ”västvärldens krig mot islam”. Yttrandefriheten försvarades av den förkrossande majoriteten.

Ungefär 20 år senare tecknade Lars Vilks sin rondellhund. Hur lät det då? Akademiker, journalister och kulturskribenter fördömde den nästan unisont. Tanken att det är fel att kritisera och håna religioner, och i synnerhet islam, har blivit närmast allmänt accepterad. I dag hade troligen ingen vågat publicera Satansverserna. I dag har vi internaliserat fatwan. Och rädslan för muslimska extremister är redan utbredd även i Sverige. Och det behöver inte handla om bitsk satir.

När konstnären Elisabeth Ohlsson Wallin ställde ut bilder på Världskulturmuseet i Göteborg för ett par år sedan var temat homosexualitet inom kristendom, judendom och islam. Hon ombads dock bakom lyckta dörrar att ta bort allt med islam. Av rädsla för att stöta sig med extremister censurerades hon.

2005 censurerades konstverket Scene d’amour av algerisk-franska Louzla Darabis. Också det på Världskulturmuseet i Göteborg. Detta efter påtryckningar från vissa muslimska organisationer. Också i det verket är motivet en kärleksakt, och det innehåller även citat ur Koranen. Även den gången var man rädda.

För ett par år sedan ställde Stockholms kulturhus in dansföreställningen Celebration of womanhood av gruppen Freshest för att den innehöll en sång med Korancitat.

När Nobelmuseet 2009 skulle visa filmen Submission av Theo van Gogh och Ayaan Hirsi Ali, om kvinnors situation inom islam, kontaktade de en imam och klippte sedan bort de delar av filmen som han fann misshagliga.

Och när Lars Vilks visade upp konstnären Sooreh Heras verk Allah ho gaybar, med bilder av muslimska homosexuella män, attackerades han av uppretade åhörare vid sin föreläsning på Uppsala universitet år 2010. Föreläsningen fick ställas in.

Listan på liknande händelser kan göras mycket längre.

Att gräva en grop

Debatten med klimatförnekarna är oftast ohyggligt tröttsam (inte minst när den går över i metadebatt). Följande allegori på debatten, publicerad av Eli Rabett på hans blogg Rabett Run,¹ är däremot riktigt rolig:

Vlad: Shouldn’t we devise a way to climb out of this hole we’ve dug ourselves into?

Est: What hole? There is no hole.

Vlad: Yes there is. We are standing in it. And digging it deeper, no less.

Est: Oh, this isn’t a hole. It’s a natural variation in the landscape.

Vlad: It’s getting deeper and deeper.

Est: Yes, but not because we are digging. It is deepening due to other factors.

Vlad: Shouldn’t we at least dig more slowly?

Est: Digging more slowly is not an option. I think, perhaps, a more prudent solution would be to dig much faster.

Vlad: What!?

Läs den högintressanta fortsättningen här! Och notera gärna att vännen Lars Karlsson, återkommande kommentator här på bloggen, bidragit till dialogen med ett kort replikskifte.

Fotnot

1) Läsvärda Rabett Run är här måhända mest känd för publiceringen av en engelsk översättning av min bloggpost Om Lennart Bengtssons beklämmande färd ner i klimatförnekarträsket.

Sagan om de tolv poliskonstaplarna

Kristendomen är (enligt min mening) en intellektuellt ohållbar världsåskådning. Det finns flera sätt att slå fast detta, men ett av de mer slående är att lyfta fram (vilket jag då och då gjort här på bloggen) det så kallade teodicéproblemet: det här med att Gud är både god och allsmäktig, hur är det möjligt med alla de krig, all den svält, alla de naturkatastrofer och allt det mänskliga lidande vi ser omkring oss? Många försök till svar har givits från kristna apologeter, men de tenderar att framstå som konstlade och patetiska. Nyligen blev jag uppmärksammad på den allegoriska berättelsen The Tale of the Twelve Officers av Mark Vuletic, som sammanfattar de vanligaste av dessa försök i obamhärtigt klar belysning. Så här börjar den:

It was, of course, sad to hear that Ms. K had been slowly raped and murdered by a common thug over the course of one hour and fifty-five minutes; but when I found out that the ordeal had taken place in plain sight of twelve fully-armed off-duty police officers, who ignored her terrified cries for help, and instead just watched until the act was carried to its gruesome end, I found myself facing a personal crisis. You see, the officers had all been very close friends of mine, but now I found my trust in them shaken to its core. Fortunately, I was able to talk with them afterwards, and ask them how they could have stood by and done nothing when they could so easily have saved Ms. K.

"I thought about intervening," said the first officer, "but it occurred to me that it was obviously better for the murderer to be able to exercise his free will than to have it restricted. I deeply regret the choices he made, but that's the price of having a world with free agents. Would you rather everyone in the world were a robot? The attacker's choices certainly weren't in my control, so I can't be held responsible for his actions."

"Well," said the second officer, "my motivation was a little bit different."

Läs den spännande fortsättningen här!

Brösttoner i Uppsala

SvD Brännpunkt har idag släppt in ett osedvanligt pubertalt debattinlägg, där Christoffer Orméus, ordförande i den anrika borgerliga studentföreningen Heimdal i Uppsala, tar i så att han nästan kräks i sin upprördhet över Allianspartiernas medverkan i den blocköverskridande överenskommelse som häromdagen kom till som ett konstruktivt försök att hantera den komplicerade parlamentariska situation vi hamnat i. "Högförräderi" hojtar han, möjligen (men här erkänner jag mig spekulera ganska fritt) i hopp om att kunna lyfta sin förenings marginaliserade position i svensk samhällsdebatt till något som liknar den synlighet de åtnjöt i fornstora dagar.

Jag skulle absolut inte finna Orméus utgjutelser värda ett omnämnande här på bloggen, om det inte vore för att de osökt ger mig tillfälle att uppmärksamma läsekretsen på att jag själv för snart fem år sedan, den 25 mars 2010, bidrog till Heimdals seminarieserie. Jag var naturligtvis fullt på det klara med vad för slags stockkonservativt sällskap jag gästade, men ville inte avstå från möjligheten att, när tillfälle gavs, låta dem smaka på lite upplysning. Mitt föredrag hade rubriken Försvaret av vetenskapen - ett tvåfrontskrig, och emottogs föga entusiastiskt av de unga (samt en och annan lite äldre) uppsaliensarna i publiken, men när jag nu ser tillbaka på mitt föredragsmanuskript tycker jag likväl att det känns tillräckligt spänstigt och förståndigt för att jag nu skall vilja dra fram det på nytt.

Internetuppkoppling rakt in i hjärnan?

Kommer ni ihåg förra årets bloggpost Michael Chorost har en dator i sitt huvud, i vilken jag recenserade Michael Chorosts bok Rebuilt: How Becoming Part Computer Made Me More Human från 2005? Jag meddelade blandade känslor inför boken. Å ena sidan fann jag den ge en intressant skildring av tekniken bakom det hörselhjälpmedel som kallas cochleaimplantat, och av dess psykologiska och sociala konsekvenser. I följande stycke lyfte jag fram något av det bästa hos boken:

Att cochleaimplantatet är något helt annat än en vanlig hörapparat förstår man på ett konkret sätt då Chorost kan koppla upp sig mot exempelvis en telefon eller en CD-spelare, och på så sätt få ta del av ljudupplevelser utan att dessa härrör från några som helst ljudvågor eller vibrationer i rummet han befinner sig i. Intressant är också hur han får tillgång till alternativa programvaror som var och en ger sina karaktäristiska ljudbilder och ljudupplevelser, vilket gör att han blir osäker på hur det "sanna" ljudet verkligen låter och till slut inser att det inte finns någon objektiv sanning i frågan utan bara olika representationer.

Å andra sidan fann jag (se bloggpostens Fotnot 1) bokens långa självbiografiska partier märkligt känslokalla och mekaniska.

Min uppfattning om hans uppföljare World Wide Mind: The Coming Integration of Humanity, Machines and the Internet (2011) är mer entydigt negativ. Den obehagligt känslokalla egocentriciteten i de självbiografiska partierna återkommer i den nya boken,¹ medan denna gång även dess mer fackboksmässiga eller populärvetenskapliga passager har allvarliga brister. Chorosts tes (som innebär en helomvändning jämfört med hans kritiska inställning i den förra boken) är att vi kan och bör gå vidare från cochleaimplantattekniken, och skapa uppkopplingar mot Internet och mot varandra rakt in i våra hjärnor - uppkopplingar som allstå inte tar omvägen via våra normala sinnesorgan. De konsekvenser han tycker sig se är revolutionerande, och inkluderar upplösandet av individen i något slags kollektivt medvetande. Detta för tankarna till Star Trek-seriens skrämmande Borg-samhälle, något Chorost medger, men han associerar hellre till den ensamma människans kontaktsökande och tänker sig det utopiska tillstånd han skisserar som den ultimata kramen. Att en utveckling av det slaget på lång sikt är möjlig håller jag för någorlunda troligt, medan frågan om huruvida den är önskvärd tycks mig helt vidöppen, men det betyder inte att jag är beredd att svälja vad som helst på detta område. Chorosts futurologiska metod består i att han likt en profet fabulerar i stort sett fritt i sina berättelser om hur det kommer att bli, och understödjer sina profetior med som bäst vaga antydningar till argument. Här är en typisk passage:

Inevitably, fears will arise that some nefarious organization will try to "control" citizens' minds and actions. I believe such fears will be overblown. As I explained² earlier, the outside activation of cliques in the brain would feel different to the user than her own natural brain activity, much as a photograph is obviously a representation of a scene rather than the scene itself. It would feel artificial and contrived, and so it would be easy to know that it is imposed. Just as people today have learned to avoid spam emails that give links to fake banking websites, people tomorrow will learn to be suspicious of thoughts that feel fake (and block their senders). And just as email programs now successfully filter out most spam, phishes, and viruses, a future incarnation of the World Wide Web will have its own defenses against malicious senders. (s 197-198)

Hur kan Chorost veta allt detta? Det får vi inga besked om. Att läsa boken kort efter Nick Bostroms Superintelligence, där författaren förser varje framtidsscenario med föredömligt välavvägda reservationer och markeringar om epistemisk osäkerhet, ger en skarp kontrastverkan - en kontrast som inte faller ut till Chorosts fördel.

De mer jordnära stycken där Chorost redogör för aktuell forskning, exempelvis kring hur man med hjälp av så kallad optogenetik kan både läsa av och påverka hjärnaktivitet hos möss, är något bättre, men han har en återkommande tendens att övertolka resultaten.

Fotnoter

1) Ett typiskt exempel är följande stycke om hans (då) blivande hustru:

My new skills of patience and compassion had helped me connect with Victoria. The binding energy of eros had followed. Very well: my next workshop would be our relationship. I had never been in a relationship lasting longer than six months. I needed to learn the challenges and rewards of a long-term relationship. I would learn what it is like for our two bodies to regulate each other on a daily basis, generating subtle and deep oxytocin rewards. We would grow both individually and together. (s 166)

Rent ironiskt blir det när han i ett efterord (s 209) skriver om henne att hon "came into my life when I was halfway through the manuscript, but her warmth and humor have illuminated every page", ty ingenstans i boken står vare sig någon värme eller någon humor att finna.

2) Ordet "explained" bör här inte förstås i dess antydda betydelse "påvisat", utan hellre som "spekulerat".