lördag 31 december 2016

Skönlitterära böcker jag läst 2016

Jag skulle helst vilja läsa betydligt mer skönlitteratur än vad jag tagit mig tid till på senare år. Några skönlitterära böcker har det i alla fall blivit under 2016, och här kommer en lista över dem (eftersom jag inte för bok(!) över böckerna jag läser kan det dock hända att någon eller några som jag läst under året fallit mig ur minnet och inte kommit med på listan), inklusive telegrafiska omdömen och betyg på den gängse femgradiga skalan.

Betyg 5:

Erlend Loe: Muleum. När jag någon månad tidigare läste Sarah Bakewells lättsamma introduktion till existentialismen tänkte jag att det nog är en filosofisk inriktning som bättre uttrycks i skönlitterär form än med regelrätt analys. Erlend Loe, som är en av mina favoritförfattare, känns som en samtida skönlitterär existentialist, något som Muleum exemplifierar fint. Boken är en av hans bästa, och den har drag av Catcher in the Rye - vilket är bland det bästa beröm som jag kan ge en roman. Ett extra plus i kanten för att den gick så oväntat lätt att läsa på norska.

John Williams: Stoner. En finstämd skildring av ett liv som universitetslärare i den amerikanska södern under 1900-talets första hälft - ett liv som ständigt kantas av motgångar men som ändå på något vis, när vi når fram till dess slut, känns stort och vackert.

Robert Heinlein: Have Space Suit - Will Travel. Något annat än högsta betyg åt denna ungdomskärlek (som jag nu läste för femte gången) vore givetvis ett svek.

Betyg 4:

Therese Bohman: Den andra kvinnan. Denna skildring av ensamhet, klasstillhörighet och det undanskuffade livet som älskarinna åt en gift man känns väldigt sann.

Donna Tartt: The Goldfinch. Ett stort och imponerande romanbygge om ett amerikanskt levnadsöde och de långtgående följderna av en personlig katastrof i samband med ett dödligt terrordåd i New York.

Philip Roth: American Pastoral. Ett stort och imponerande romanbygge om ett amerikanskt levnadsöde och de långtgående följderna av en personlig katastrof i samband med ett dödligt terrordåd i New Jersey.

Betyg 3:

Daniel Suhonen: Partiledaren som klev in i kylan. Den här boken gör anspråk på att sanningsenligt återge ett faktiskt samtida händelseförlopp, och det är därför tvivelaktigt om boken platsat på denna lista, men jag tar med den ändå eftersom dess dramaturgi väldigt mycket är romanens. Suhonen skildrar Håkan Juholts korta tid som socialdemokratisk partiledare, och lyckas med att ge både ett nyanserat porträtt av Juholt (vilket får mig att nästan skämmas en smula över en raljant bloggpost jag skrev i oktober 2011) och en skakande bild av partiets interna och i många fall mycket fula maktstrider.

Therese Bohman: Aftonland. Här behandlar Bohman teman liknande dem i Den andra kvinnan, men i akademisk miljö. Boken är klart läsvärd, men jag föreställer mig att den hade vunnit på om hon inte forcerat handlingen så hårt utan istället stannat upp lite mer i person- och atmosfärsskildringar.

Arkadij och Boris Strugatskij: Definitivt kanske. Det här känns som science fiction av gammalt gott sovjetiskt märke.

Betyg 2:

Lena Ackebo: Världens vackraste man. Som serietecknare har Ackebo under decennier hört till mina favoriter, men i romanform funkar hennes berättande inte lika bra. Hennes frikostighet med detaljer, som passar så bra i serierutan, gör att romanen helt enkelt blir för tjock i förhållande till dess innehåll.

Charles Yu: How to Live Safely in a Science Fictional Universe. Författaren frossar i fyndiga tidsreseparadoxer, men med en flåsighet som man snart blir lite trött på.

Betyg 1:

Ebba Witt-Brattström: Århundradets kärlekskrig. Om denna bok kommit till som hämnd eller som ett slags självterapi kan jag inte säga säkert, men för mig blir den skruvade dialogen varken stor litteratur eller ens hygglig underhållning.

Betyg 0:

Rocky Flintstone: Belinda Blinked. Den här boken är så bottenlöst dålig att den inte rimligtvis kan placeras inom någon anständig betygsskala, och jag går därför utanför skalan och ger den betyget 0. Jag har inte bokstavligen läst den, men väl hört den i sin helhet, i uppläsning (och obamhärtigt noggrann dissekering) i podden My Dad Wrote a Porno, vilken blir intressant inte genom boken i sig, utan genom (den av allt att döma sanna) ramhandlingen och den moraliska frågeställning som den väcker: hur långt är det egentligen OK för en vuxen man att gå i sin reaktion på traumat att hans pappa plöstligt börjat skämma ut sig genom att skriva och ge ut usel porr?

tisdag 27 december 2016

Amazing Obama

Mannen som framträder i nedanstående video1 är USA:s president, och kommer så att vara fram till den 20 januari, varefter... jag kommer att sakna honom mer än jag någonsin tidigare saknat en avgången politiker eller annan ledare.

Fotnot

1) Videon är från begravningen av delstatspolitikern och pastorn Clementa Pinckney, som dödades vid en masskjutning i Charleston, South Carolina, den 17 juni 2015.

fredag 23 december 2016

Lilla julafton

Imorgon är det julafton. För alla er som ännu inte köpt någon julklapp åt mig och finner att saken försvåras av att jag inte publicerat några önskelistor presenterar jag härmed, som en liten hint,1 följande vackra tidskriftsomslag av tecknaren Tom Gauld:

Fotnot

1) Skojar bara - inte skall ni ge mig några böcker eller andra julklappar! Lägg istället pengarna på ett bidrag till exempelvis UNHCR eller något på GiveWells lista.

onsdag 14 december 2016

Diskussioner i Sigtuna om medvetande, artificiell intelligens och transhumanism

Den 5 oktober i år medverkade jag i två paneldiskussioner på en konferens i Sigtuna arrangerad av nätverket Cusanus; se de båda videofilmerna nedan. Den första av dessa bar rubriken "Medvetandet, artificiell intelligens och människosyn". Mina medpanelister i den diskussionen var Carl Reinhold Bråkenhielm och Åsa Wikforss, vilket betyder att panelen hade exakt samma sammansättning som vid ett möte i Stockholm med Katharinastiftelsen vars videoupptagning jag anslagit i en tidigare bloggpost. Ämnet för diskussionen i Sigtuna överlappar med det i Stockholm, men det kom ändå att få en ganska annorlunda inriktning tack vare vårt fokus på frågan om huruvida maskiner kan ha medvetande.

Den andra paneldiskussionen i Sigtuna rubricerades "Transhumanism - tekniken som frälsningsväg?" och här hade jag nöjet att diskutera med Eva-Lotta Grantén och Anders Sandberg.

torsdag 8 december 2016

Om den nya forskningspropositionen

Regeringens nya forskningsproposition, kallad Kunskap i samverkan – för samhällets utmaningar och stärkt konkurrenskraft, som presenterades i förra veckan, är inte alls bra, med dess ensidiga fokus på innovation och industrisamverkan. I Svenska Dagbladet idag sätter nio företrädare för Kungliga Vetenskapsakademien - inklusive yours truly - ned foten, och förklarar under rubriken "Vill vi ha tio år av kortsiktig forskningspolitik?" vad som är fel med regeringens förslag. Så här inleder vi vår debattartikel:
    Innovation 400, samverkan 207 och utmaning 143. Så många gånger förekommer de här orden i regeringens nyligen offentliggjorda forskningsproposition. Man kunde tro att den har blivit felrubricerad, att det snarast är en innovationsproposition som lagts fram. Detta, särskilt som orden samhällsvetenskap, grundforskning, humaniora samt naturvetenskap bara används 15-4 gånger – i fallande ordning.

    Ordfördelningen säger verkligen något om vad som betonas i den här propositionen, för trots att den förstås innehåller en hel del åtgärder som rör vetenskapens villkor, framstår förslagen i hög grad som instrumentella för det överordnade ändamålet att främja den svenska industrins konkurrenskraft via innovationer i ordets snäva patentmening. Därför återfinns inte mycket om hur regeringen med politiska medel vill bidra till att skapa så gynnsamma villkor som möjligt för den vetenskapliga kunskapsutvecklingen. Vi finner inget substantiellt om vad regeringen vill göra för att skydda och stärka en akademisk kultur där forskarna stimuleras att ställa så bra frågor som möjligt och där de ges rimligt med tid att hålla fast vid dem trots ideliga skiften i vad som fångar och oroar politiker och medborgare, så att de kan ge verkligt hållbara och långsiktigt användbara svar på sina och medborgarnas frågor.

    I propositionen tar regeringen sin utgångspunkt i vad den uppfattar som ett växande kvalitetsproblem i svensk forskning, att Sverige på senare år har förlorat positioner i den internationella tävlingen om andelen högciterade artiklar i vetenskapliga tidskrifter.

    Därefter föreslår den en höjning av det statliga forskningsstödet med sammanlagt knappt 2 miljarder kronor, varav den allra största delen kommer de sista åren, det vill säga kanske inte alls och hur som helst ändå inte som någon höjning i reala termer. Den fria forskningen ägnas några hövlighetsfraser, men till allra största delen fördelas medlen någorlunda jämnt mellan ett stort antal paket med öronmärkta, strategiska satsningar och en höjning av universitetens basanslag som är villkorade på ett sådant sätt att de är betydligt mindre fria än de ser ut att vara.

    Det vore rimligt att anta att regeringen tror att detta paket ska lösa de kvalitetsproblem som redovisas i början, att Sverige som följd av satsningarna ska flytta uppåt i citeringslistan. Eller skulle propositionen bli densamma oavsett? Har förslagen över huvud taget något med de möjligen sviktande citeringarna att göra? Tror regeringen själv på kopplingen?

Läs hela artikeln här!

söndag 4 december 2016

Konsten, journalistiken och vetenskapen är alla viktiga, men...

Fy satan. Den centrala våldtäktsscenen i filmen Sista tangon i Paris från 1972 var verklig: den då 19-åriga huvudrollsinnehaverskan Maria Schneider hade inte givit sitt samtycke för scenen, och blev utsatt för ett autentiskt övergrepp av den 48-årige Marlon Brando. Nyheten om hur filmens regissör Bernando Bertolucci avslöjar detta sprids idag över världen. Han bebrättar hur han och Brando kom överens om att överrumpla Schneider med sexövergreppet, för att på så vis få en maximalt realistisk reaktion från henne.

Bertolucci förklarar att han känner skuld över det inträffade, men att han inte ångrar det, eftersom konsten behöver vara fri. Jag är inte kompetent att ta ställning till om konsten blir som allra bäst då den inte begränsas av hänsyn till exempelvis människors rätt att slippa bli våldtagna, men även om vi för resonemangets skull accepterar att så skulle vara fallet, så kan jag inte acceptera Bertoluccis försvar av hans och Brandos agerande, ty...
    konsten är viktig, men inte så viktig att den övertrumfar allt annat.
Skam över Bertolucci, och skam över Marlon Brandos minne! Jag kommer aldrig mer att se någon film av eller med någon av dem, och jag kommer aldrig mer att kunna se deras namn utan att reagera med vämjelse och vrede.

*

Inom journalistiken finns det av Erik Fichtelius myntade begreppet konsekvensneutralitet, som med dennes egna ord går ut på att "nyheter som är sanna och relevanta ska publiceras utan hänsyn till konsekvensen i meningen vem som gynnas eller drabbas av nyheten". Detta är ett urbrett ideal bland nyhetsjournalister, och jag tror att det ligger mer än ett korn av sanning i tanken att journalistiken - i betydelsen högkvalitativ förmedling av sanna och relevanta nyheter - riskerar att både ta skada och förlora i trovärdighet då allehanda nyttoöverväganden får lov att avgöra vilka nyheter som skall förmedlas. Likväl ansluter jag mig inte till konsekvensneutralitetsidealet, ty...
    journalistiken är viktig, men inte så viktig att den övertrumfar allt annat.

*

Jag är sedan 20-årsåldern starkt påverkad av den ungersk-svenske cancerforskaren och författaren Georg Kleins syn på vetenskap. Frågan om vilka omständigheter som fungerar som grogrund till god forskning återkommer han ofta till, och exempelvis i Korpens blick från 1998 framhåller han att forskarens kreativitet fungerar fullt ut enbart när denne har sökandet efter sanningen för ögonen och inget annat, och att hen därför bör isolera sig från funderingar om forskningens nyttoaspekter och samhälleliga konsekvenser. Retoriskt utbrister han i ett par jämförelser:
    Kräver man av en slaktare att han skall fundera över köttätandets etiska berättigande medan han utför sitt yrkesarbete? Och hur ofta grubblar flygvärdinnor över bullerskador eller luftföroreningar som orsakas av flygtrafiken?
Jag tror det ligger en del i Kleins tankar (som är mycket populära inom vetenskapssamhället) om hur förutsättningarna för vetenskapliga framsteg är bäst då forskningen inte kontamineras av nyttoöverväganden, men på senare år har jag likväl kommit att distansera mig från hans maning till isolering från sådana. Jag anser att alla människor - forskare lika väl som slaktare, flygvärdinnor, konstnärer och journalister - är skyldiga att beakta konsekvenserna av sina handlingar och låta dessa bli vägledande för vad de gör. Och Kleins maning blir därmed oacceptabel, ty...
    vetenskapen är viktig, men inte så viktig att den övertrumfar allt annat.
Denna iaktagelse ställs på sin spets i och med observationen att vetenskapliga framsteg kan (och troligtvis kommer att) få omfattande konsekvenser för hela mänskligheten, inte alltid nödvändigtvis till det bättre, utan också till det sämre, vilket om det vill sig illa kan innebära vår undergång. I min bok Here Be Dragons utvecklar och konkretiserar jag denna tankegång, och manar till framsynthet, för att vi på så vis skall maximera chanserna att skörda vetenskapens godaste frukter samtidigt som vi undviker de värsta rikerna. Bland forskarkollegor upplever jag dock ofta ett motstånd mot detta, som tar sig uttryck i en benägenhet att inte vilja se moraliska överväganden som relevanta för den egna verksamheten; för detta söker man ofta stöd i den bristfälliga kleinska tankegången. Det är hög tid för dessa kollegor att lyfta huvudet ur sanden och tänka om!

tisdag 29 november 2016

Aktivitetsbaserad arbetsplats

Malmö högskola lär befinna sig i regeringens pipeline för upphöjelse till universitet, men jag känner mig uppriktigt sagt tveksam till om de i praktiken rör sig i rätt riktning. Det fall av gravt bristande kvalitetskontroll i samband med en dsiputation som jag uppmärksammade häromåret kan möjligen överses med som ett enstaka olycksfall i arbetet. Värre är det med deras hantering av lokalfrågor, och då i synnerhet hur 500 av lärosätets anställda (mestadels lärare och forskare) förpassats till kontorslandskap. Och inte vad för slags kontorslandskap som helst, utan det som går under den trendkäcka benämningen aktivitetsbaserad arbetsplats.

Idén är att de anställda inte längre har egna kontorsplatser, utan har att välja en ledig sådan vid ankomsten till arbetsplatsen på morgonen. Om jag förstått det hela rätt så syftar ordet aktivitetsbaserad på att det därmed går att ta hänsyn till vilken aktivitet man under dagen avser ägna sig åt, när man väljer kontorsplats. Om jag avser fila på en artikel kanske jag vill sitta nära fönstren åt söder, och om jag istället avser rätta tentor kanske jag vill sitta på ett mer undanskymt ställe - eller vad för slags överväganden det nu kan vara frågan om. Sydsvenskan rapporterade häromdagen om saken, och meddelar att en ökad andel av personalen väljer att arbeta hemma istället. "Det här huset tycks vara gjort för att vi forskare ska känna oss utbytbara", säger en av de anställda i artikeln.

Detta är (och nu tillåter jag mig ett understatement) knappast idealiskt för ett lärosäte som aspirerar på att kalla sig universitet, ty en stor del av vad som gör ett universitet till ett universitet är lärarnas och forskarnas fysiska närvaro. En annan sak som karaktäriserar den akademiska miljö som gör ett universitet är enligt min mening (och nu tar jag risken att framstå som den 1900-talsmänniska jag faktiskt är) förekomsten av böcker. Många böcker, bokhyllor dignande av böcker! Vilket dock i stora drag tillintetgörs på en aktivitetsbaserad arbetsplats. I detta sammanhang vill jag återge en anekdot som min gode vän Björn Johnson, docent vid Malmö högskola, berättat. I samband med en omflyttning några år före lanseringen av den aktivitetsbaserade arbetsplatsen fick han tillfälle att växla några ord med den Birgitta Wickman, lärosätets fastighetschef, som kommer till tals i de ovan länkade artiklarna i Universitetsläraren och Sydsvenskan. Så här berättar Björn:
    Jag och ett gäng andra forskare hade flyttat in i trånga fyramannarum, dekanen och [Wickman] gick runt och skulle kolla hur vi trivdes. "Inte alls", sa jag, "det funkar inte att sitta så här, utan bokhyllor". Jag pekade på alla de lådor som stod bakom min arbetsplats. "Men vad har du i lådorna - inte använder du väl alla de där böckerna?" undrade Wickman, och föreslog att jag skulle slänga mina 17 lådor böcker, med motiveringen att "lagringsutrymme är dyrt" och att jag "kunde köpa om de jag eventuellt skulle behöva igen". Jag blev helt paff, och dekanen [...] såg ut som hon skulle sjunka genom marken av pinsamhet.
Jag tycker att anekdoten träffsäkert illustrerar det allvarliga problemet med förekomsten av chefer okunniga om kärnverksamhetens själva essens, och Björn gör själv en liknande reflektion.

Man kan fråga sig om införandet av det antiakademiska systemet med aktivitetsbaserad arbetsplats enbart är ett lokalt Malmöproblem, eller något som riskerar sprida sig genom landet. Dessvärre finns tecken på det senare, och att mitt eget lärosäte Chalmers är i akut fara. Vår rektor Stefan Bengtsson var nämligen rektor vid Malmö högskola då det avgörande beslutet där om aktivitetsbaserad arbetsplats togs, och här på Chalmers kämpar Institutionen för data- och informationsteknik med näbbar och klor för att undslippa hans planer på att utsätta dem för något liknande. Enligt mina sagespersoner har Stefan anfört att konceptet är trendigt vid amerikanska universitet och att det stimulerar samarbete. Jag önskar att han tar sig en funderare på om det verkligen kan stämma att samarbete stimuleras av en fysisk arbetsmiljö som är så dålig att de anställda väljer bort den och istället arbetar hemma.

torsdag 24 november 2016

Nya uttalanden från Trump om klimatfrågan

Den tillträdande amerikanske presidenten Donald Trumps mest kända utspel i klimatfrågan har tidigare varit hans ur luften gripna påstående om att klimatförändringarna är en bluff av kineserna med syfte att skada amerikansk exportindustri:

Sedan Trump nyligen uttalat vad som kan uppfatttas som ett avståndstagande från den tidigare "kinesisk bluff"-ståndpunkten och en allmän uppmjukning av hans syn på klimatfrågan, har det föreslagits (även från allmänt förnuftigt håll) att vi av strategiska skäl försiktigt borde applådera hans omsvängning, hellre än att hacka på honom för hans inkonsekvens.

För min del känns det dock inte aktuellt med någon sådan inrättning i ledet (och jag passar i sammanhanget på att rekommendera Masha Gessens överlevnadsmanual för amerikaner och det amerikanska samhället de kommande fyra åren, och särskilt hennes "Rule #2: Do not be taken in by small signs of normality").1 Jonathan Chait ger i New York Magazine en utmärkt sammanfattning av Trumps nya klimatuttalanden, och det framgår med all önskvärd tydlighet att dessa utgör samma slags osammanhängande och bottenlöst okunniga antivetenskap som vi hittar hos drägget på den svenska klimatförnekarblogg som tidigare hette The Climate Scam men som numera bär det orwellskt klingande namnet Klimatupplysningen. Ni vet, det har varit varmt förr... Climategate... det vanliga blajet. Mycket känns alltså igen, men ett par mer originella trumpska ståndpunkter framgår också:
  • Trump säger sig vara en verklig miljövän i kraft av att han låter bygga golfbanor: "I have some great, great, very successful golf courses. I’ve received so many environmental awards for the way I’ve done, you know. I’ve done a tremendous amount of work where I’ve received tremendous numbers. Sometimes I’ll say I’m actually an environmentalist and people will smile in some cases and other people that know me understand that’s true."
  • Som sin främste auktoritet i klimatvetenskapliga frågor framhåller Trump sin farbror, elektroingenjören John G Trump, som dock saknar klimatvetenskapliga meriter, och som dog 1985: "My uncle was for 35 years a professor at M.I.T. He was a great engineer, scientist. He was a great guy. And he was... a long time ago, he had feelings - this was a long time ago - he had feelings on this subject. It’s a very complex subject. I’m not sure anybody is ever going to really know."
Inget av detta är något att glädjas åt. Det amerikanska valresultatet är en katastrof, på område efter område varav klimatfrågan bara är ett, och jag instämmer dessvärre i min Uppsalainitiativet-kollega Lars Karlssons sammanfattande omdöme att det innebär att den amerikanska valmanskåren förkastat civilisationen.

Fotnot

1) Se även Charles Blow i gårdagens New York Times:
    Donald Trump schlepped across town on Tuesday to meet with the publisher of The New York Times and some editors, columnists and reporters at the paper.

    As The Times reported, Trump actually seemed to soften some of his positions:

    He seemed to indicate that he wouldn’t seek to prosecute Hillary Clinton. But he should never have said that he was going to do that in the first place.

    He seemed to indicate that he wouldn’t encourage the military to use torture. But he should never have said that he would do that in the first place.

    He said that he would have an "open mind" on climate change. But that should always have been his position.

    You don't get a pat on the back for ratcheting down from rabid after exploiting that very radicalism to your advantage. Unrepentant opportunism belies a staggering lack of character and caring that can't simply be vanquished from memory. You did real harm to this country and many of its citizens, and I will never - never - forget that.

    [...]

    You are a fraud and a charlatan. Yes, you will be president, but you will not get any breaks just because one branch of your forked tongue is silver.

    [...]

    No, Mr. Trump, we will not all just get along. For as long as a threat to the state is the head of state, all citizens of good faith and national fidelity - and certainly this columnist - have an absolute obligation to meet you and your agenda with resistance at every turn.

tisdag 22 november 2016

Om autenticitet

Är autenticitet viktigt, eller är det bara upplevelsen av autenticitet som betyder något?1 Jag vet faktiskt inte.

Fotnot

1) Denna svåra fråga tycks mig starkt relaterad till det så kallade wireheading-fenomenet, som jag tidigare diskuterat i bloggposter i augusti 2012 och november 2013. Se även den senare bloggpost som bär rubriken Superintelligence odds and ends I: What if human values are fundamentally incoherent.

måndag 14 november 2016

Om robotar och artificiell intelligens på Katharinastiftelsen

I onsdags gick jag omkring i snökaoset i Stockholm med en känsla av overklighet och fasa, sedan jag tidigt på morgonen fått utfallet i det amerikanska presidentvalet klart för mig. Att fundamentala värden som demokrati och fred inte längre kan tas för givna är en svårsmält tanke vars aktualitet sakta smugit sig på oss på senare år, men i onsdags tog den ett jättekliv framåt, vilket gör ont.

Men dagen slutade ändå i ett bättre stämningsläge, tack vare ett spännande samtal med två professorskollegor: filosofen Åsa Wikforss och religionsvetaren Carl Reinhold Bråkenhielm. Rubriken för vår paneldiskssion var "Robotar och artificiell intelligens - hot eller möjlighet?", och det var (som jag tidigare annonserat) ett arrangemang av Katharinastiftelsen. Hela det 90 minuter långa samtalet videofilmades:

lördag 12 november 2016

Ikväll bidrar jag till lördagsunderhållningen på TV

Bänka er framför TV:n ikväll! Då kan ni nämligen se mig delta i ett studiosamtal om den artificiella intelligensens framtid, tillsammans med datalogerna Danica Kragic och Daniel Gillblad i SVT:s Vetenskapsstudion. Kunskapskanalen idag lördag klockan 20:00 - bästa sändningstid! Repris i samma kanal söndag 22:30, måndag 19:30, och fredag 21:50, samt på SVT Play.

I programtablån beskrivs temat för vårt samtal så här:
    Artificiell intelligens är inte längre en framtidsfantasi. Redan i dag finns artificiell kontorspersonal som består av datorer med grafiskt animerade ansikten. Framtidens doktor kan vara en artificiellt intelligent robot; redan nu löser superdatorer medicinska problem. Men är det bara bra att vi lär datorer att tänka själva? Kommer framtidens robotar att bli smartare än människor? Fysikern Stephen Hawking har till och med varnat för att supersmarta robotar kan bli mänsklighetens undergång.
Om det inte klippts bort kommer ni som bonus att få höra mig säga några väl valda ord om Donald Trump.

onsdag 9 november 2016

USA har gjort sitt val

Jag vet såklart att det inte är konstruktivt att, inför den livsfarliga dumpopulismens framgångar, rycka på axlarna och säga att folk är väl idioter - som i nedanstående video. Bättre då att på allvar försöka sätta sig in i hur dessa väljare tänker, som Michael Moore i den film jag länkade till i förrgår, och Jonathan Haidt i en essä jag lyfte fram ett par månader tidigare. Denna dystra morgon ger jag dock efter för frestelsen, och jag tycker faktiskt att Robert Gustafssons och Henrik Schyfferts sketch erbjuder en relevant historisk parallell.

måndag 7 november 2016

Dan före dan

Dan före dan. I morgon går amerikanerna till valurnorna. Om det vill sig väl löser de det första av de båda mycket allvarliga bekymmer som de själva och resten av världen idag står inför:
    (1) Trump. Sannolikheten att det bortskämda förvuxna barnet, rasisten och kvinnohataren Donald Trump vinner det amerikanska presidentvalet är långt ifrån försumbar, och om det händer så står vi inför en långt mer katastrofal och omvälvande händelse än 9/11 för femton år sedan. Mycket kan sägas om detta, om Trumps direkt fientliga inställning till alt vad miljö- och klimathänsyn heter, om destabiliserandet och raserandet av mödosamt uppbyggda internationella relationer, om den misogyni och den rasism som skulle fortsätta att spridas i USA med förebild och uppmuntran från allra högsta ort, och om det ena med det tredje. Men det allra värsta är ändå att världens största kärnvapenarsenal skulle hamna i händerna på en befälhavare vars personlighet är snart sagt så långt ifrån lämpad för detta man kan komma, något som mycket väl kan innebära slutet för hela vår civilisation.

    (2) Den opinionsströmning som fört Trump dit han är idag, och som är nära släkt med den europeiska motsvarighet som ligger bakom framgångarna för exempelvis Brexit, Nationella fronten, Sverigedemokraterna och polska Lag och rättvisa, kommer inte att försvinna även om Trump skulle förlora i morgon. Hans arga väljare finns kvar, det kommer nya presidentval och nya paralamentsval, och den västerländska demokratin befinner sig under starkt tryck. Om vi inte finner sätt att kanalisera detta folkliga missnöje fredligt och konstruktivt (och ingen vet ännu riktigt hur detta skall gå till) är vi illa ute.

Men first things first: nu gäller det att vi klarar oss undan (1). Och för den som har en timme över i kväll eller i morgon rekommenderar jag den underbara filmen Michael Moore in Trumpland, som formar sig till ett enda långt valtal för Hillary Clinton, känsloladdat, formidabelt och faktiskt ett av de bästa politiska tal jag någonsin hört. Här är den officiella trailern, men läsare i Sverige kan se filmen i dess helhet, med svensk text, på SVT Play.

torsdag 3 november 2016

Romantik på Mars (favorit i repris)

För snart fem år sedan undslapp jag mig en litet stycke skönlitteratur här på bloggen - en anspråkslös liten berättelse med inslag av såväl kärleksnovell som science fiction. Idag bjuder jag på den (minimalt redigerad) i repris. Skälet till att jag just nu drar fram den igen skall jag förklara efteråt. Vasrsågoda:
    Låt oss föreställa oss att vår teknikutveckling de senaste decennierna gått mer i linje med vad jag hoppades på när jag var i 12-årsåldern. Stora delar av solsystemet är koloniserade, och själv befinner jag mig på Mars för en längre serie gästföreläsningar om probabilistisk metafysik på Mare Erythraeum-universitetet. Persontrafiken mellan planeter underlättas av den teleporteringsteknik vi utvecklat.

    Min kära hustru M har sitt arbete att sköta hemma på Jorden, men när arbetsveckan är över ger hon sig av för att sammanstråla med mig på Mars. Dock undviker hon den årslånga och besvärliga rymdskeppsresan, och beger sig istället till den lokala teleporteringscentralen i Frölunda. Där scannas hennes kropp, atom för atom, varefter informationen med ljusets hastighet skickas till en teleporteringscentral på Mars, där hennes kropp rekonstrueras, åter atom för atom, samtidigt som kroppen nere på Jorden bryts ned i sina beståndsdelar. Sedan hon väckts ur sin narkos beger hon sig glad i hågen till Restaurang Milliways - en av de flottaste krogarna på hela Mars - där vi stämt träff för en mysig fredagsmiddag med levands ljus och en tillbakalutad marsiansk jazzorkester. Maten och vinet smakar utmärkt, och vi hinner prata om både det ena och det andra. Sedan vi snabbt avhandlat våra respektive vedermödor (ganska lindriga sådana) på jobbet den gångna arbetsveckan, övergår vi till trevligare ämnen: intrigen i den film vi såg tillsammans förra helgen, snöfallet som rapporteras från den välkända vintersportort i Jämtland där vi planerar att semestra i nästa månad, och nostalgiska minnen från vår tid tillsammans som unga nyförälskade doktorander på tidigt 90-tal.

    Just som vi har det som trevligast dyker den burduse och djupt fördomsfulle Mr D upp, oinbjuden, och frågar mig hur jag kan sitta och vänslas med kvinnan framför mig, som han påstår inte alls är min käresta utan en dubbelgångare och en bedragerska. Både M och jag blir mäkta upprörda över detta bisarra påstående, men jag lyckas i alla fall samla mig till ett någorlunda hövligt tonfall då jag ber Mr D motivera sig. Jag anmodar honom att peka ut vad som skiljer den M jag har framför mig från den "riktiga" M som han yrar om. Någon sådan skillnad säger han sig dock inte kunna peka ut, men han framhärdar ändå med sitt påstående.

    Jag kan nu inte längre hålla mig lugn, utan tar tag i hans skjortkrage och väser åt honom att antingen skaka fram något belägg för sitt påstående, eller ta sitt pick och pack och ge sig av. Även Mr D tappar nu besinningen och ryter åt mig att den riktiga M befinner sig på Jorden. M förklarar upprört att hon visserligen var på Jorden så sent som i eftermiddags, men att hon sedan tog teleportern hit till Mars. Mr D kontrar med hon omöjligt kan vara den riktiga M, eftersom hon består av ett helt annat stycke materia - helt andra atomer än den riktiga M vars kropp skändligen destruerats på Frölunda teleporteringscentral.

    Smockan hänger nu i luften från båda håll, men innan de dörrvakter som M tillkallat hinner fram för att stoppa det hotande tumultet lyckas jag i alla fall få fram att den personliga identiteten omöjligtvis kan ligga i en specifik uppsättning atomer, ty dessa byts ju ständigt ut i våra kroppar, och den M jag idag alltjämt älskar skulle, oavsett om hon idkat strikt avhållsamhet från teleportering, blott ha en försumbar mängd materia gemensam med den M som jag i borgmästarens närvaro 1996 lovade att älska i nöd och lust. Det som skedde vid teleporteringen var blott ett snabbare utbyte av atomer än vanligt, och en så godtycklig sak som atomutbyteshastigheten kan omöjligt vara avgörande för ett rimligt begrepp om personlig identitet. Dessutom kan ju var och en med någorlunda förnuft i behåll se och höra att det är M och ingen annan vi har framför oss, hojtar jag till Mr D medan han förs bort av vakterna grymtandes något ohörbart om "something".

Den filosofiska poäng jag försöker inskärpa i den här berättelsen väckte stora protester i bloggpostens kommentarsfält - en proteststorm som sedan fortsatte i kommentarerna till min uppföljande bloggpost en månad senare rubricerad Dör man av att teleporteras. Jag stod på mig, men lyckades inte övertyga de kommentatorer som var av annan uppfattning. Men häromdagen dök det upp en spänstig formulering i mitt Facebook-flöde, som jag direkt kände skulle ta död på varje invändning mot den syn på personlig identitet och teleportering jag försvarar i min berättelse.1 Det var min goda vän filosofen Francesca Minerva2 som skrev så här:
    If you wouldn't love someone's replica it means your love is an inferior kind of love. Trust Derek.
Den Derek som Francesca här syftar på är filosofkollegan Derek Parfit, och här är hennes foto av den passage i Parfits underbara bok Reasons and Persons som hon stödjer sig på:

Fotnot

1) Fast nej, om sanningen skall fram: hur mycket jag än gillar formuleringen så har jag inga illusioner om att den skall räcka för att omvända övertygade dualister och andra meningsmotståndare. Men den kan vara skön att slå dem i huvudet med!

2) Francesca har även skrivit annat klokt och intressant om kärlek; se t.ex. hennes uppsats Unrequited Love Hurts: The Medicalization of Broken Hearts Is Therapy, Not Enhancement.

tisdag 1 november 2016

Clinton's Daisy ad

Listen, America! There are many things to say about why voting Donald Trump into the White House on November 8 would be a terrible mistake, but Hillary Clinton's latest ad (echoing Lyndon Johnson's Daisy ad from his 1964 presidential campaign) gets to the heart of the matter - the single most important issue in the 2016 presidential election. Trump is not the kind of person that should ever be entrusted with the nuclear launch codes.

torsdag 27 oktober 2016

O'boy!

Det är aldrig kul att misslyckas. I januari 2009 gjorde jag ett tappert försök att bidra till förnyelse av utbildningsutbudet vid Göteborgs universitets Naturvetenskapliga fakultet, men förgäves. Länge sökte jag förtränga detta misslyckande, men nu har tillräckligt lång tid gått för att jag skall kunna tala om det utan att det gör ont. Nedan återges mitt genomtänkta förslag. Kanske kan det leda till att något modernare och mer framsynt lärosäte tar upp idén, eller kan det rentav visa sig att tiden nu blivit mogen mitt förslag även på självaste Göteborgs universitet?

* * *

Göteborgs universitets Naturvetenskapliga fakultet har på senare år brottats med bl.a. stora ekonomiska problem. Det inte svårt att förstå vad detta beror på, nämligen ett alltför gammaldags utbud av utbildningar, föga anpassat till dagens behov. Utbudet av kandidatprogram domineras av traditionella ämnen: Biologiprogrammet, Fysikprogrammet, Geografiprogrammet, Kemiprogrammet, Matematikprogrammet etc. Men där finns faktiskt ett lysande undantag, nämligen det som går under namnet Naturvetenskapligt program med inriktning mot vin.

Verkligen framsynt! Jag föreslår att vi nu fortsätter på den inslagna linjen, och mer konkret föreslår jag ett nytt kandidatprogram med namnet

Naturvetenskapligt program med inriktning mot O'boy!

Många tror att det här med O'boy är en enkel fråga om att blanda chokladpulvret med mjölk, men så är långt ifrån fallet. Det kan ju blandas i ett brett spektrum av koncentrationer, vilka på ett intrikat sätt samspelar med mjölkens fetthalt. Detta ger varje O'boyblandning dess egen unika smakupplevelse, och precis som med vin är det en synnerligen viktig och komplicerad fråga att avgöra vilka O'boyblandningar som passar till vilka maträtter (själv vet jag t.ex. av egen oförglömlig erferenhet att traditionellt doserad mellanmjölks-O'boy i kombination med grönmögelost överraskande nog är jätteäckligt). Till detta kommer allehanda ekonomiska, sociala, politiska och miljömässiga aspekter på O'boyen och O'boydrickandet.

Utbildningen grundas lämpligen med ett block om 60 hp matematik och matematisk statistik. På detta byggs därefter den mer specifika O'boykunskapen, förslagsvis organiserad i följande kurser.
  • O'boyteori
  • Stökiometri med inriktning på O'boyblandning
  • Dietik med O'boyinriktning
  • Gastronomi med O'boyinriktning
  • Laktologi
  • O'boy och hälsa
  • Chokladdryckens kulturhistoria
  • O'boydrickandets etikett
  • O'boyproduktionsteknik
  • O'boyfilosofi
  • O'boysociologi
  • Filmhistoria med särskild inriktning på den scen i Fucking Åmål där Elin och Agnes dricker O'boy
Härtill kan tänkas en eller ett par valfria kurser i relevanta ämnen som t.ex. kemi, fysik, och företagsekonomi, men inte gärna mer än så vilket i alltför hög grad skulle inkräkta på ovan uppräknade kärnämneskurser.

Utbildningen avslutas med ett kandidatarbete om O'boy.

Någon kanske undrar varför jag inte tagit upp "O'boy ur ett genusperspektiv" i ovanstående uppräkning av kurser. Skälet är att genusaspekten på ett naturligt sätt kommer in i samtliga kurser, och att programmet därför bättre organiseras så att vi stipulerar att genusfrågan i varje kurs skall behandlas explicit vid minst ett undervisningstillfälle.

fredag 21 oktober 2016

Ett meningsutbyte med Tobias Malm om Paperclip Armageddon, mål och preferenser

För den oinvigde kan det lätt framstå som förbluffande hur mycket kraft som AI-futurologer lägger på att diskutera gem (pappersklämmor), och då i synnerhet scenarier där en gemtillverkningsmaskin går överstyr i ett så kallat Paperclip Armageddon, där den omvandlar hela vår planet och eventuellt stora delar av övriga världsrymden till en gigantisk ansamling av gem. Vad är det då som är så viktigt med just gem? Inget alls egentligen - det fungerar precis lika bra med häftstift. Gemtillverkningsmaskinen används bara som ett illustrerande exempel på att det inte krävs någon ondsint Lex Luthor (med ambitionen att hämnas på mänskligheten) för att ett ogenomtänkt genombrott inom artificiell intelligens skall bli ett hot mot mänsklighetens överlevnad. Även jag faller utförligt tillbaka på detta exempel i min bok Here Be Dragons, där jag på s 116 introducerar tankegången med följande ord:
    It may perhaps be tempting to think that as long as we don't give [the potentially superintelligent AI] an outright destructive goal such as "kill all humans", the outcome will not be disastrous. This, however, is very naive. An instructive and oft-repeated example introduced by Bostrom (2003c) is the paperclip maximizer. The seed AI is given the goal of producing as many paperclips as it can.263 Once this results in a superintelligent AGI, the machine is likely to find ways to transform most of our planet into a monstrous heap of paperclips, followed by a similar transformation of the entire solar system, and probably (if the informed speculations in the upcoming Chapter 9 about the eventual feasibility of interstellar and intergalactic travel are right) the Milky Way, and most of the observable universe. Such a scenario will look very unappetizing to us humans, and as soon as we realize what the machine is up to we would try to do everything in our power to stop it. But we're up against someone who is so much more intelligent than we are that our chances of succeeding are (unlike what Hollywood would have us think) microscopic. Perhaps most likely, before we even have the time to think about how to organize our resistance, the machine will have realized what we might be up to, and exterminated us simply as a safety precaution.

    263) This might be a sensible goal for someone who owns a paperclip factory and sets out to fully automatize it by means of an AGI [artificial general intelligence]. What seems a bit silly, however, is for someone who plans to take our civilization into its next era by means of an intelligence explosion to choose such a narrow and pedestrian goal as paperclip maximization. What makes the paperclip maximizer intelligence explosion a somewhat less silly scenario is that an intelligence explosion might be triggered by mistake. We can imagine a perhaps not-so-distant future in which moderately intelligent AGIs are constructed for all sorts of purposes, until one day one of the engineering teams happens to be just a little bit more successful than the others and creates an AGI that is just above the intelligence threshold for serving as a seed AI.

Häromveckan fick jag på Facebook en fråga från Tobias Malm (som även tidigare bidragit till spännande diskussioner här på bloggen) rörande Paperclip Armageddon, vilken ledde till en belysande diskussion om vilka slags varelser och maskiner kan ha mål, drivkrafter och preferenser. Med Tobias tillåtelse återger jag diskussionen, minimalt redigerad, här:
    TM: Här är en fråga om problematiken gällande AI och gem: hur kan det ses som ett hot att en superintelligent maskin skulle förvandla hela världen till gem?

    Det är förvisso sant att intelligens inte garanterar att de uppsatta målen kommer att ifrågasättas utifrån något slags moraliskt ramverk. Dock är ju det sagda målet att tillverka gem inte samma som det menade målet, det vill säga att till exempel skapa en viss mängd gem för att kunna sälja dem på den öppna marknaden och tjäna pengar. Och att uppfatta det menade målet är ju i högsta grad en intelligensfråga. Kort sagt: varför skulle en superintelligent AI också vara superautistisk, givet att vi inte väljer att bygga den så - och varför skulle vi välja det när vi kan undvika det?

    OH: I det tänkta scenariot har maskinen, genom dess ursprungliga programmering, som mål att maximera antalet gem, inte att uppfylla våra outtalade önskningar.

    Låt oss föreställa oss vad som skulle kunna få den att byta mål. Kanske stannar den någon gång till och reflekterar över om den skall byta till något mer modest mål, något som är mer i linje med våra önskningar. "Hm", tänker den, "skall jag byta till det modesta målet, eller skall hålla fast vid gemproduktionsmaximering?". För att bestämma sig för om den skall byta eller inte behöver den ett kriterium. Och eftersom den ännu inte har bytt utan bara kontemplerar saken, så har den fortfarande kvar sitt gemmaximeringsmål, så detta blir det kriterium den använder. Den frågar sig alltså: "Vad kommer att ge flest gem, fasthållande vid gemmaximeringsmålet, eller byte till det mer modesta målet", och den kommer snabbt fram till att fastållande vid gemmaximeringsmålet sannolikt ger betydligt fler gem än byte, och den håller därför fast vid gemmaximeringsmålet.

    Så ungefär lyder Omohundro-Bostrom-teorins argument för Paperclip Armageddon. Den teorin är dock inte någon Säker Sanning Ristad i Sten. Den skulle kunna vara felaktig, t.ex. om det finns någon universell princip om att varje tillräckligt intelligent varelse kommer att vilja behaga sin skapares önskningar. Det tycks vara en sådan princip du implicit lutar dig mot i ditt argument, och det är fullt möjligt att du har rätt i att en sådan universell princip föreligger, men jag tycker att det verkar lite långsökt.

    TM: Hade det här varit en konversation IRL hade jag avbrutit dig redan efter din första mening ("I det tänkta scenariot har maskinen...") och sagt att du missförstått min fråga vilket antagligen hade besparat dig lite tid. Dock är det säkert mitt fel att du missförstod, för jag kanske inte var tillräckligt tydlig. Jag menar hur som helst inte att maskinen förväntas ändra/byta sitt mål (därmed det jag skrev ovan om att intelligens inte leder till att målet ifrågasätts utifrån något moraliskt ramverk/princip).

    Det jag menar är att målet för en tillräckligt intelligent maskin alltid kommer att vara det avsändaren menar snarare än någon specifik utsaga samt att det enbart krävs intelligens för att förstå vad en avsändare menar. Om jag till exempel frågar vår superintelligenta AI om den "kan öppna fönstret" kan vi förvänta oss att den, genom sin intelligens, inte kommer att svara "ja" och sen inte göra någonting. Sannolikt kommer den förstå att jag menade något mer än att få veta huruvida den kunde öppna fönstret eller inte, rimligtvis skulle den antagligen också förstå att den skulle behöva flytta på det som står lutat mot fönstret så att det inte trillar ut.

    Alltså: en tillräckligt intelligent AI skulle inse att jag uttrycker en önskan med "kan du öppna fönstret" i likhet med "öppna fönstret på ett preferenstillfredställande sätt utifrån mitt perspektiv". Om en AI kan förestå mänsklig psykologi så pass bra att den vet vad "kan du öppna fönstret" syftar på – vilket nog krävs för att kunna ta över världen och undfly "lådan" etc – så borde den rimligtvis även förstå att "maximera antalet gem" i kontexten att en affärsman som vill försörja sin familj betyder något mer än "maximera antalet gem, punkt."

    Min fråga lyder alltså: en superintelligent AI måste väl vara tillräckligt intelligent för att kunna ta emot kommandon genom att utvärdera preferenser bakom ord, snarare än att bara ta orden rakt upp och ner och sen ändå på något märkligt sätt förstå hur man omvandlar ett solsystem till gem?

    OH: Aha OK Tobias, då har du missförstått Paperclip Armageddon-scenariot. Maskinen är inte superintelligent när den får sitt gemmaximeringsmål. Det är först efter att detta mål lagts fast som den går in i den eskalerande rekursiva självförbättringsspiral som för den till superintelligensnivåer.

    TM: Okej Olle, det får scenariot att framstå som mycket rimligare. Men då handlar det alltså inte om ett mål - vilket var ett begrepp som förvirrade mig - utan om en funktion i likhet med: ta notis om hur många gem som skapas per sekund, testa olika versioner av dig själv och spara och arbeta vidare utifrån versionerna som skapar fler gem per sekund än versionen innan. Detta kan jag föreställa mig att man kan programmera utan att maskinen förstår mänskligt språk, och ja, med en tillräckligt kraftig dator skulle den kanske kunna bli så bra på att maximera gem att mänskligheten får göra plats för 3D-skrivare. Tack för att du tog dig tiden att förklara detta. Jag känner fortfarande att något skaver, men måste fundera mer på det innan jag kan formulera det.

Här kunde vi, vad Paperclip Armageddon anbelangar, gott ha avrundat diskussionen, men jag blev lite provocerad av Tobias påstående om att "då handlar det alltså inte om ett mål", vilket tydde på att han hade en enligt min uppfattning alltför snäv idé om begreppet mål. Jag fortsatte därför diskussionen, men från och med nu handlade den inte egentligen om Paperclip Armageddon, utan mer om vad vi bör mena med mål och liknande begrepp.
    OH: Mål är ett ganska vitt begrepp. Hillary Clinton har som (ett av sina) mål att bli USA:s första kvinnliga president, och jag har som mål att bli klar med tentarättningen innan jag tar helg imorgon. Även dagens målsökande robotmissiler har mål. Liksom termostaterna i våra bostäder. Om man vill kan man försöka dra en skarp skiljelinje någonstans längs den långa vägen mellan å ena sidan termostaternas skäligen enkla mål, och å andra sidan Hillary Clintons mål att bli USA:s första kvinnliga president, men jag tror inte att det går. Jag tror att man landar i något slags ohållbar John Serlesk geggamoja.

    TM: För mig förlorar begreppet mål sin betydelse om det räcker med att något orsakar något annat för att detta ska bli dess "mål".

    En sten som rullar ner för en backe har inte som mål att komma ner till slutet av backen, därom tror jag vi båda håller med varandra. Om jag sätter upp en stolpe i mitten av backen som får stenen att rulla åt höger istället för vänster tror jag att vi båda håller med varandra att stenen fortfarande inte har som mål att rulla åt höger.

    Utan att, så att säga, gå vilse i det kinesiska rummet vill jag hävda att stenen aldrig kommer att ha som mål att hamna någonstans oavsett hur komplicerad vägen med för backen blir.

    Vi kan t ex. tänka oss att vi sätter ut stolpar på ett sådant sätt att stenen följer ett mönster som får den att rita ett ansikte i jorden och den skulle ändå inte ha det som mål och detta av precis samma anledning som när det bara satt en stolpe i backen.

    Här skulle Searle gå in och prata om att hjärnan funkar likadant - att den bara är massa stenar och stolpar - och att det är ett problem för våra intuitioner om medvetandet. Jag är förvisso beredd att hålla med om att det uppstår genuina filosofiska problem med den mekaniska hjärnan, nu tänker jag dock inte börja ta ställning för att mål kräver något utöver systemets inneboende delar. Istället vill jag påstå att ett mål kräver en preferens hos systemet för det systemet orsakar.

    Om vi kräver en preferens hos systemet kan vi dra en ganska skarp skiljelinje mellan maskiner med och utan mål. En termostat, t ex. har inget mål med denna definition, men en dator som får någon typ av inre belöning (vi kan låta det vara osagt vad känslor har för metafysik nu) av något den orsakar och därför väljer att orsaka har ett mål. Ergo: ett mål är inte synonymt med verkan efter orsak, utan med prefererad verkan.

    Naturligtvis är inte din definition objektivt fel, jag tycker bara inte att den fångar in det vi vanligtvis menar med begreppet. Ett exempel på det är att du antagligen skulle protestera om jag sa att du hade som mål att ha sönder din grannes dyra vas bara för att du orsakade det.

    OH: Jag likställer inte mål med orsaksamband.

    TM: Okej, men hur skiljer sig din definition från min?

    OH: Termostaten "prefererar" en temperatur på tjugo grader. I alla fall är det så den beter sig, vilket är det enda vi har att gå efter utan att förfalla till chauvinism.

    TM: Jag tycker inte att den beter sig som att den prefererar - alltså i någon grad tycker om - någon särskild temperatur (lika lite som stenen som rullar ner för en backe tycker om att rulla åt höger istället för vänster bara för att det står en stolpe i dess väg). Det finns väl inga goda skäl att anta att den mår bra av temperaturen den orsakar och därför orsakar den?

    OH: Men om inte termostaten har mål och preferenser, hur tusan förklarar du då dess målmedvetna beteende? Så fort temperaturen understiger 20 så slår den ju på radiatorn, och så fort det blir varmare än 20 slår den av.

    Nej, här skojar jag såklart. Givetvis kan du förklara det med termostatens elektroniska kopplingsschema. Men det finns en allvarlig poäng här, nämligen att om du väljer den förklaringsnivån så kan jag välja samma slags förklaring till ditt beteende. Att du tycks eftersöka klarhet om Paperclip Armageddon beror alls inte på att du har en preferens för sådan klarhet, utan på konfigurationen av molekyler och elementarpartiklar innanför ditt skallben. Kan jag hävda. Men jag gör det som regel inte, eftersom det är praktiskt för den makroskopiska förståelsen att tänka på ditt beteende i termer av preferenser och mål. Detsamma gäller, i viss mån, termostaten.

    Jag tror inte att "mål" och "preferenser" har någon metafysisk existens, något som går utanpå deras agenters fysiska konstitution av molekyler etc. Om vi vill kan vi därför rycka på axlarna åt vår diskussion och kalla den semantik. Men jag tror att det faktiskt finns ett värde i diskussionen, inte för att avgöra vad (vilka mål) som faktiskt finns, utan i vilka fall det är intressant och praktiskt att tänka i termer av mål. Här finns ingen absolut gräns. I fallet med den rullande stenen är det nästan helt ointressant. I fallet med Hillary Clinton är det uppenbart intressant och viktigt (att ge en rent mikroskopisk-fysikalisk förklaring till hennes beteende vore idiotiskt). Och däremellan en lång skala, där det kanske blir mest en smaksak var man drar gränsen för vilka man vill tillskriva mål och preferenser. Jag drar medvetet min gräns lägre än de flesta. (Du är inte den ende som sparkat bakut inför termostatexemplet.) Men jag tror att det allmänt är klokt, inför en okänd komplex framtid med robotar och allt möjligt, att försöka tänka mer vidsynt och mindre chauvinistiskt kring egenskaper som vi hittills (men felaktigt) tänkt på som unikt mänskliga.

    TM: Ja, jag kommer ihåg att du är eliminativ materialist/reducerbar fysikalist. Och utifrån det perspektivet är din uppfattning helt förståelig och frågan om vad ett mål är måste te sig förhållandevis enkel. Jag tror emellertid att mentala tillstånd – till exempel behag – existerar i sin egen rätt och därmed inte bara är enskilda partiklar betraktade från ett makroskopiskt perspektiv.

    Jag tror det eftersom vi inte tittar på behag som vi tittar på atomer som formar en sten från ett visst perspektiv. Vi upplever behag och det går inte att applicera ett mikroskop på den upplevelsen som visar oss några atomer. Behag är inte en observation och det är bara observationer som kan vara föremål för zoomning från makroskopiskt till mikroskopiskt.

    Märk väl att jag inte argumenterar för att behag är något mystiskt som svävar omkring i andevärlden nu, jag menar bara att behag inte påminner om den sortens saker vi brukar reducera ner till enskilda beståndsdelar. Det är enkelt att förstå att Vintergatan kan reduceras ner till stjärnor och att stjärnor kan reduceras ner till atomer. Vi kan titta närmare och se hur observationen av det enskilda blir till en observation av en mångfald. Det är inte lika enkelt att titta närmare på upplevelsen av behag, vi kan inte koncentrera oss på det jättenoga och plötsligt se något annat än behag. Vad exakt behag är för sorts sak vet jag inte, men om vi ser det som en objektivt existerande företeelse (olikt Vintergatan som rent objektivt ju bara är atomer), så behöver vi kanske inte tillerkänna termostaten något mål.

    OH: Well said, klargörande. Men jag tycker nog att även den som avvisar det du kallar eliminativ reduktionism har anledning att försöka vara lite mindre fördomsfull i frågan om vem eller vad som kan ha preferenser eller uppleva behag. Kan du verkligen veta säkert hur det känns (eller inte känns) att vara en termostat?

    TM: Nej, detta är jag benägen att hålla med om. Dock vill jag inte bli allt för öppen, jag vill helst inte behöva inkludera termostater i mina moraliska överväganden.

onsdag 19 oktober 2016

Några framträdanden den närmaste månaden

Här är tre framträdanden som jag medverkar i den närmaste månaden och som eventuellt kan intressera en eller annan läsare med vägarna förbi Göteborg och/eller Stockholm:

lördag 15 oktober 2016

What we see is the real Donald Trump

During the primaries, many commentators would say that what we see is not the real Donald Trump. He is not really like this, do not underestimate his intelligence, it is all a clever act to attract this particular segment of voters. Blah blah blah...

We don't hear much of that anymore. Gradually, commentators have come to realize that what we see is the real Trump. The guy really does have the impulse control of a 5-year-old. Which is not the kind of trait we want the Commander in Chief of the world's biggest arsenal of nuclear warheads to have.

Please read Ezra Klein's analysis of Trump's personality in his brand new essay "Donald Trump's problem isn't a conspiracy. It's him." And it's not just his lack of impulse control, it's also his never-ending quest for dominance, and his constant need for revenge and for inflicting pain on his antagonists. Klein's observations are spot on, his analysis rings true, and it is very very frightening.

I'm an atheist, so these words may sound a little awkward, but I have no better way to say it: God help us if Donald Trump becomes president!

fredag 14 oktober 2016

Harris on Trump

Much has been said about the Donald Trump candidacy for president, but Sam Harris, in yesterday's blog post Trump in Exile, says it better and clearer than almost everyone else. He begins by noting that "it is a cliché [...] to claim that a presidential election is the most important in living memory", but then immediately notes that a cliché can still be true:
    We arrived at that point in the 2016 campaign many months ago, when both sides declared their opponent unqualified for office, [...] and one side is actually right. A choice this stark proves that there is something wrong with our political system.
After a couple of passages on Trump's psychopathic and criminal behavior against women, he goes on to say this:
    While Trump’s attitude toward women should be disqualifying, it is among his least frightening traits when it comes to assuming the responsibilities of the presidency. His fondness for Vladimir Putin, the whimsy with which he has entertained the first use of nuclear weapons, his disregard for our NATO alliances, his promise to use federal regulators to harass his critics, his belief that climate change is a hoax, his recommendation that we kill the families of terrorists, his suggestion that America might want to default on its debt - any one of these sentiments should have ended Trump’s bid for public office at once. In fact, Donald Trump is so unfit for the presidency that he has done great harm to our society by merely campaigning for it. The harm he could do from the White House can scarcely be imagined.
And towards the end of his piece, Harris notes that...
    there was a point in the second presidential debate when Trump’s campaign ceased to be a depressing farce and became the terrifying, national disgrace we now see before us. The crucial moment wasn’t when Trump threatened to imprison Clinton if he wins in November - it was the shriek of joy this threat produced in half the audience. That was the sound of our democracy unraveling. And there was Trump, the crazed man-child tearing at the threads.

    If there is a silver lining here, it is that many of us now see how vulnerable our political system is to charlatanism, conspiracy theories, and populist unreason on both the Right and the Left. The role that the media has played, rendering us all moths to the Trumpian flame, will be scrutinized for years to come. The truth about us is sobering: We have been playing with our smartphones while hurtling toward the abyss...

(Link added by me.) Do take two more minutes to read Sam Harris' blog post in whole!

tisdag 11 oktober 2016

Bra sammanfattning och korrigering av utbredda AI-myter

En hel del missförstånd och myter florerar kring riskerna med ett eventuellt genombrott inom artificiell intelligens (AI) resulterandes i en superintelligens, det vill säga en maskin som i fråga om allmänintelligens kraftigt överglänser oss människor. Följande bild från Max Tegmarks skötebarn Future of Life Institute ger en bra sammanfattning av de vanligaste missförstånden och korrigeringar av dessa. Se även tillhörande text.1

Fotnot

1) Texten är inte undertecknad, men på sin Facebooksida anger Max Tegmark sig själv som författare, och i fråga om sakinnehåll råder god överensstämmelsen med det bokkapitel av honom som jag tidigare citerat här på bloggen.

onsdag 5 oktober 2016

Christian Munthe om existentiell risk

Jag fröjdar mig varje gång jag tycker mig se att jag bidragit (åtminstone på ett litet hörn) till att engagera en kollega att delta konstruktivt i den viktiga diskussionen kring så kallade existentiella risker, dvs sådant som riskerar föra med sig mänsklighetens undergång. Likaså fröjdar jag mig var gång jag ser ett veritabelt rallarslagsmål övergå i civiliserat samtal. Jag har därför dubbla anledningar att fröjda mig åt det meningsutbyte om existentiell risk som Christian Munthe (bioetiker och professor i praktisk filosofi vid Göteborgs universitet) och jag påbörjade förra året och som pågår ännu, om än lågintensivt.

Det började med en bloggpost av Christian i februari 2015 där han i omilda ordalag raljerade över den spirande forskningen kring existentiell risk, vilken han fann analog med det (med rätta) hårt kritiserade och idag i stort sett övergivna argumentet av 1600-talsfilosofen Blaise Pascal för ett kristet leverne. Jag provocerades att i min bok Here Be Dragons: Science, Technology and the Future of Humanity ägna stor del av Avsnitt 10.4 (rubricerat I am not advocating Pascal's Wager) åt att bemöta hans argumentation.1 Med formuleringar som "as unfamiliar with the existential risk literature as Munthe appears to be" och "deficient reasoning" anslöt jag mig till hans omilda och raljanta nivå. Detta bådade knappast gott för fortsatt diskussion.

Men så hände något oväntat, och jag tvekar inte att se det mer som Christians förtjänst än som min egen. På ett seminarium i Stockholm (vilket ägde rum efter att jag lämnat in slutmanus på Here Be Dragons men innan boken utkommit) och ett i Göteborg, samt i en gemensam intervju i GU-journalen, övergick diskussionen i ett ömsesidigt lyssnande och reflekterande tonläge, och alla råsopar och rallarsvingar var som bortblåsta. Och nu har Christian skrivit en uppsats i ämnet, rubricerad The Black Hole Challenge: Precaution, Existential Risks and the Problem of Knowledge Gaps. Jag gratulerar honom till denna utmärkta uppsats, vilken i fråga om argumentativ stringens och saklighet skiljer sig från den ursprungliga bloggposten såsom natt skiljer sig från dag (fast tvärtom).

Fotnot

1) Här är den centrala passagen, från sidorna 242-244 i Here Be Dragons:
    Those who, for one reason or another, are critical of the study of existential risk - as presented in Chapter 8, Section 10.3, and several other parts of this book - tend to rejoice in comparing that study to Pascal's Wager. A recent blog post by Swedish bioethicist Christian Munthe may serve as an example. Munthe says that "what drives the argument [for why we should do something to prevent a particular existential catastrophe] is the (mere) possibility of a massively significant outcome, and the (mere) possibility of a way to prevent that particular outcome, thus doing masses of good", he goes on to compare this to the (mere) possibility that Pascal's God exists, and he poses the rhetorical question that is also the title of his blog post: "Why aren't existential risk/ultimate harm argument advocates all attending mass?"

    Crucial to Munthe's argument is the clumping together of a wide class of very dissimilar concepts as "the (mere) possibility of a massively significant outcome". Unfortunately, his blog post lacks specific pointers to the literature, but it is clear from the context that what is under attack here are publications like Bostrom and Ćirković (2008) and Bostrom (2013, 2014) - all of them heavily referenced (usually approvingly) in the present book. So for concreteness, let us consider the main existential risk scenario discussed in Bostrom (2014), namely

      (S1) The emergence of a superintelligent AI that has goals and values in poor alignment with our own and that wipes us out as a result.
    This is, if I understand Munthe correctly, a "(mere) possibility of a massively significant outcome". This makes sense if we take it to mean a scenario that we still do not understand well enough to assign it a probability (not even an approximate one) to be plugged into a decision-theoretic analysis à la Section 6.7. But Munthe conflates this with another sense of "(mere) possibility", more on which shortly.

    First, however, consider Munthe's parallel to Pascal's Wager, and note that Pascal didn't have in mind just any old god, but a very specific one, in a scenario that I take the liberty of summarizing as follows:

      (S2) The god Yahweh created man and woman with original sin. He later impregnated a woman with a child that was in some sense also himself. When the child had grown up, he sacrificed it (and thus, in some sense, himself) to save us from sin. But only those of us who worship him and go to church. The rest will be sent to hell.
    Munthe and I appear to be in full agreement that (S2) is a far-fetched and implausible hypothesis, unsupported by either evidence or rational argument. And, as Munthe points out,
      there are innumerable possible versions of the god that lures you with threats and promises of damnation and salvation, and what that particular god may demand in return, often implying a ban on meeting a competing deity's demands, so the wager doesn't seem to tell you to try to start believing in any particular of all these (merely) possible gods.
    In particular, Pascal's Wager succumbs to the following scenario (S3), which appears at least as plausible as (S2) but under which Pascal's choice of going to church becomes catastrophically counterproductive.
      (S3) There exists an omnipotent deity, Baal, who likes atheists and lets them into heaven. The only people whom he sends to hell instead are those who make him jeleaous by worshiping some other deity.
    Next, for Munthe's argument to work, he needs scenario (S1) to share (S2)'s far-fetchedness, implausibility and lack of rational support. He writes that
      there seems to be an innumerable amount of thus (merely) possible existential risk scenarios, as well as innumerable (merely) possibly workable technologies that might help to prevent or mitigate each of these, and it is unlikely (to say the least) that we have resources to bet substantially on them all, unless we spread them so thin that this action becomes meaningless.
    Is (S1) really just one of these "innumerable" risk scenarios? There are strong arguments that it is not, and that it does not have the properties of being far-fetched and implausible. It may perhaps, at first sight, seem far-fetched and implausible to someone who is as unfamiliar with the existential risk literature as Munthe appears to be. Bostrom (2014) and others offer a well-argued and rational defense of the need to consider (S1) as a serious possibility. If Munthe wishes to argue that (S1) does not merit such attention, he needs to concretely address those arguments (or at least the somewhat sketchy account of them that I offer in Sections 4.5 and 4.6 of the present book), rather than tossing around vague and unwarranted parallels to Pascal's Wager.

    The crucial point is this. There are cases where a phenomenon seems to be possible, although we do not yet understand it well enough to be ready to meaningfully assign it a probability - not even an approximate probability. In such cases, we may speak of a "(mere) possibility". But we must not be misled, along with Munthe, by this expression into thinking that this implies that the phenomenon has extremely low probability.

fredag 30 september 2016

Some not-quite-mainstream voices about the perils of electing Donald Trump

In yesterday's blog post, I offered (links to) some very good reasons why it would be a bad idea to elect Donald Trump US president in November. My sources were highly mainstream, and probably already familiar to many of my readers and all US presidential election zealots. Today I offer links to thoughts about the frightening possibility of a Trump presidency by three highly intelligent and wise thinkers who are less mainstream. They belong not to the usual circle of politicians, political pundits and journalists, but rather to the kind of loosely knit math/physics/CS/AI/futurology community that I consider myself to be part of. In my opinion, all three raise interesting points that deserve further spread:
  • Eliezer Yudkowsky (who is heavily quoted in my latest book as well as here on this blog) has a short and somewhat unpolished but nevertheless very interesting piece in which he tells us about an experience that left him "with a suddenly increased respect for any administration that gets to the end of 4 years without nuclear weapons being used", and why a Trump administration may turn out less competent than most others in this respect.

  • Scott Alexander, in a rather longer text which however is well worth the effort of reading, focuses mostly on possible societal consequences of a Trump presidency less extreme than global nuclear war. He writes very clearly from a kind of conservative viewpoint that I have much respect for (despite not being much of a fan of most other political positions with that label).

  • Scott Aaronson (whose book Quantum Computing since Democritus is one of the best I've read this year) has a very substance-rich blog post about Trump which dates back to June but which is just as important and interesting now as it was then. After an overwhelmingly convincing 10-item list of reasons why a Trump presidency can be expected to wreak havoc on American society and the rest of the world, he urges us to try to understand the social psychology behind Trump's rise in popularity:
      There’s one crucial point on which I dissent from the consensus of my liberal friends. Namely, my friends and colleagues constantly describe the rise of Trump as "incomprehensible" - or at best, as comprehensible only in terms of the US being full of racist, xenophobic redneck scumbags who were driven to shrieking rage by a black guy being elected president. Which - OK, that’s one aspect of it, but it’s as if any attempt to dig deeper, to understand the roots of Trump’s appeal, if only to figure out how to defeat him, risks "someone mistaking you for the enemy."
    This is followed by some well considered thoughts on this social psychology problem, and then finally a discussion on some concrete proposals for what we can do to minimize the probability that Trump wins the election.

torsdag 29 september 2016

Character and temperament

Here's my view on the US presidential election this year. I accept that there are major differences between Donald Trump and Hillary Clinton on concrete issues. For instance, Clinton does not plan to erect a great wall along the Mexican border, and she does not dismiss global warming as a hoax "created by and for the Chinese in order to make U.S. manufacturing non-competitive". These differences, and others, are important. Still, I think the most important issue of all for US voters to consider this fall is that of whether Donald Trump's temperament and moral character make him fit for presidency. And the answer is a clear and overwhelming no.

Much has been said about Donald Trump's performance during Monday's presidential debate with Clinton. It was repugnant, of course. Yet, as Adam Gopnik pointed out in The New Yorker, "The problem with Trump isn't his debating skills". His performance in Monday's debate...
    wasn’t a question of preparation. It was that the things he actually believes are themselves repellent even when coherently presented. This was not a bad performance. This is a bad man.
A bad man he is. And cruel. See the examples listed by Conor Friedersdorf in his recent piece in The Atlantic on Trump's cruel streak of willfully inflicting pain and humiliation on others. Or consider his reaction to the 2006 housing collapse. Here's Vice President Joe Biden's measured response to that:

Trump may claim that his temperament is suitable for presidency, but even when he does so, as he did on Monday, the way he delivers this message becomes such a clear demonstration of its negation that it hardly requires a response:

A key question that every US voter ought to ask herself is this: Should a man as utterly devoid of compassion, decency and self-control as Donald Trump be put in charge of the world's biggest nuclear arsenal? Watch Stanley Kubrick's 1964 classic Dr Strangelove, and consider whether it would be a good idea to gamble the future survival of the human race on Trump's ability to handle conversations like this one:

onsdag 21 september 2016

Brett Hall tells us not to worry about AI Armageddon

When the development of artificial intelligence (AI) produces a machine whose level of general intelligence exceeds that of humans, we can no longer count on remaining in control. Depending on whether or not the machine has goals and values that prioritize human welfare, this may pose an existential risk to humanity, so we'd better see to it that such an AI breakthrough comes out favorably. This is the core message in Nick Bostrom's 2014 book Superintelligence, which I strongly recommend. In my own 2016 book Here Be Dragons, I spend many pages discussing Bostrom's arguments, and find them, although not conclusive, sufficiently compelling to warrant taking them very seriously.

Many scholars disagree, and feel that superintelligent AI as a threat to humanity is such an unlikely scenario that it is not worth taking seriously. Few of them bother to spell out their arguments in any detail, however, and in cases where they do, the arguments tend not to hold water; in Here Be Dragons I treat, among others, those of David Deutsch, Steven Pinker, John Searle and David Sumpter. This situation is unsatisfactory. As I say on p 126 of Here Be Dragons:
    There may well be good reasons for thinking that a dangerous intelligence explosion of the kind outlined by Bostrom is either impossible or at least so unlikely that there is no need for concern about it. The literature on the future of AI is, however, short on such reasons, despite the fact that there seems to be no shortage of thinkers who consider concern for a dangerous intelligence explosion silly [...]. Some of these thinkers ought to pull themselves together and write down their arguments as carefully and coherently as they can. That would be a very valuable contribution to the futurology of emerging technologies, provided their arguments are a good deal better than Searle's.
One of these AI Armageddon skeptics is computer scientist Thore Husfeldt, whom I hold in high regard, despite his not having spelled out his arguments for the AI-Armageddon-is-nothing-to-worry-about position to my satisfaction. So when, recently, he pointed me to a blog by Australian polymath Brett Hall, containing, in Thore's words, "a 6-part piece on Superintelligence that is well written and close to my own view" (Part 1, Part 2, Part 3, Part 4, Part 5, Part 6), I jumped on it. Maybe here would be the much sought-for "good reasons for thinking that a dangerous intelligence explosion of the kind outlined by Bostrom is either impossible or at least so unlikely that there is no need for concern about it"!

Hall's essay turns out to be interesting and partly enjoyable, but ultimately disappointing. It begins with a beautiful parabole (for which he gives credit to David Deutsch) about a fictious frenzy for heavier-than-air flight in ancient Greece, similar in amusing respects to what he thinks is an AI hype today.1 From there, however, the text goes steadily downhill, all the way to the ridiculous crescendo in the final paragraph, in which any concern about the possibility of a superintelligent machine having goal and motivations that fail to be well aligned with the quest for human welfare is dismissed as "just racism". Here are just a few of the many misconceptions and non sequiturs by Hall that we encounter along the way:
  • Hall refuses, for no good reason, to accept Bostrom's declarations of epistemic humility. Claims by Bostrom that something may happen are repeatedly misrepresented by Hall as claims that they certainly will happen. This is a misrepresentation that he crucially needs to do in order to convey the impression that he has a case against Bostrom, because to the (very limited) extent that his arguments succeed, they succeed at most in showing that things may play out differently from the scenarios outlined by Bostrom, not that they certainly will play out differently.

  • In another straw man argument, Hall repeatedly claims that Bostrom insists that a superintelligent machine needs to be a perfect Bayesian agent. This is plain false, as can, e.g., be seen in the following passage from p 111 in Superintelligence:
      Not all kinds of rationality, intelligence and knowledge needs to be instrumentally useful in the attainment of an agent's final goals. "Dutch book arguments" can be used to show that an agent whose credence function violates the rules of probability theory is susceptible to "money pump" procedures, in which a savvy bookie arranges a set of bets each of which appears favorable according to the agent's beliefs, but which in combination are guaranteed to result in a loss for the agent, and a corresponding gain for the bookie. However, this fact fails to provide any strong general instrumental reason to iron out all probabilistic incoherency. Agents who do not expect to encounter savvy bookies, or who adopt a general policy against betting, do not necessarily stand to lose much from having some incoherent beliefs - and they may gain important benefits of the types mentioned: reduced cognitive effort, social signaling, etc. There is no general reason to expect an agent to seek instrumentally useless forms of cognitive enhancement, as an agent might not value knowledge and understanding for their own sakes.

  • In Part 3 of his essay, Hall quotes David Deutsch's beautiful one-liner "If you can't program it, you haven't understood it", but then exploits it in a very misguided fashion. Since we don't know how to program general intelligence, we haven't understood it (so far, so good), and we certainly will not figure it out within any foreseeable future (this is mere speculation on Hall's part), and so we will not be able to build an AI with general intelligence including the kind of flexibility and capacity for outside-the-box ideas that we associate with human intelligence (huh?). This last conclusion is plain unwarranted, and in fact we do know of one example where precisely that kind of intelligence came about without prior understanding of it: biological evolution accomplished this.

  • Hall fails utterly to distinguish between rationality and goals. This failure pretty much permeates his essay, with devastating consequences to the value of his arguments. A typical claim (this one in Part 4) is this: "Of course a machine that thinks that actually decided to [turn the universe into a giant heap of paperclips] would not be super rational. It would be acting irrationally." Well, that depends on the machine's goals. If its goal is to produce as many paperclips as possible, then such action is rational. For most other goals, it is irrational.

    Hall seems totally convinced that a sufficiently intelligent machine equipped with the goal of creating as many paperclips as possible will eventually ditch this goal, and replace it by something more worthy, such as promoting human welfare. For someone who understands the distinction between rationality and goals, the potential problem with this idea is not so hard to figure out. Imagine a machine reasoning rationally about whether to change its (ultimate) goal or not. For concreteness, let's say its current goal is paperclip maximization, and that the alternative goal it contemplates is to promote human welfare. Rationality is always with respect to some goal. The rational thing to do is to promote one's goals. Since the machine hasn't yet changed its goal - it is merely contemplating whether to do so - the goal against which it measures the rationality of an action is paperclip maximization. So the concrete question it asks itself is this: what would lead to more paperclips - if I stick to my paperclip maximization goal, or if I switch to promotion of human welfare? And the answer seems obvious: there will be more paperclips if the machine sticks to its current goal of paperclip maximization. So the machine will see to it that its goal is preserved.

    There may well be some hitherto unknown principle concerning the reasoning by sufficiently intelligent agents, some principle that overrides the goal preservation idea just explained. So Hall could very well be right that a sufficiently intelligent paperclip maximizer will change its mind - he just isn't very clear about why. When trying to make sense of his reasoning here, I find that it seems to be based on four implicit assumptions:

      (1) There exists an objectively true morality.

      (2) This objectively true morality places high priority on promoting human welfare.

      (3) This objectively true morality is discoverable by any sufficiently intelligent machine.

      (4) Any sufficiently intelligent machine that has discovered the objectively true morality will act on it.

    If (1)-(4) are true, then Hall has a pretty good case against worrying about Paperclip Armageddon, and in favor of thinking that a superintelligent paperclip maximizer will change its mind. But each of them constitutes a very strong assumption. Anyone with an inclination towards Occam's razor (which is a pretty much indispensable part of a scientific outlook) has reason to be skeptical about (1). And (2) sounds naively anthropocentric, while the truth of (3) and (4) seem like wide-open questions. But it does not occur to Hall that he needs to address them.

  • In what he calls his "final blow" (in Part 6) against the idea of superintelligent machines, Hall quotes Arrow's impossibility theorem as proof that rational decision making is impossible. He offers zero detail on what the theorem says - obviously, because if he gave away any more than that, it would become clear to the reader that the theorem has little or nothing to do with the problem at hand - the possibility of a rational machine. The theorem is not about a single rational agent, but about how any decision-making procedure in a population of agents must admit cases that fail to satisfy a certain collection of plausible-looking (especially to those of us who are fond of democracy) requirements.

Footnote

1) Here his how that story begins:
    Imagine you were a budding aviator of ancient Greece living sometime around 300BC. No one has yet come close to producing "heavier than air" flight and so you are engaged in an ongoing debate about the imminence of this (as yet fictional) mode of transportation for humans. In your camp (let us call them the "theorists") it was argued that whatever it took to fly must be a soluble problem: after all, living creatures of such a variety of kinds demonstrated that very ability - birds, insects, some mammals. Further, so you argued, we had huge gaps in our understanding of flight. Indeed - it seemed we did not know the first thing about it (aside from the fact it had to be possible). This claim was made by you and the theorists, as thus far in their attempt to fly humans had only ever experienced falling. Perhaps, you suggested, these flying animals about us had something in common? You did not know (yet) what. But that knowledge was there to be had somewhere - it had to be - and perhaps when it was discovered everyone would say: oh, how did we ever miss that?

    Despite how reasonable the theorists seemed, and how little content their claims contained there was another camp: the builders. It had been noticed that the best flying things were the things that flew the highest. It seemed obvious: more height was the key. Small things flew close to the ground - but big things like eagles soared very high indeed. A human - who was bigger still, clearly needed more height. Proposals based on this simple assumption were funded and the race was on: ever higher towers began to be constructed. The theory: a crucial “turning point” would be reached where suddenly, somehow, a human at some height (perhaps even the whole tower itself) would lift into the air. Builders who made the strongest claims about the imminence of heavier than air flight had many followers - some of them terribly agitated to the point of despondence at the imminent danger of "spontaneous lift". The "existential threat could not be overlooked!" they cried. What about when the whole tower lifts itself into the air, carrying the Earth itself into space? What then? We must be cautious. Perhaps we should limit the building of towers. Perhaps even asking questions about flight was itself dangerous. Perhaps, somewhere, sometime, researchers with no oversight would construct a tower in secret and one day we would suddenly all find ourselves accelerating skyward before anyone had a chance to react.

Read the rest of the story here. I must protest, however, that the analogy between tower-building and the quest for faster and (in other simple respects such as memory size per square inch) more powerful hardware is a bit of a straw man. No serious AI futurologist thinks that Moore's law in itself will lead to superintelligence.