- THE year is 2056, and scientists have just created the first computer with superhuman intelligence. Aware of the risks, the programmers trained it in ethics. The machine functions flawlessly.
Aiming to maximise happiness in the universe, and calculating that sentient beings are happy less than half the time, the computer exterminates all sentient life. The balance of happiness increases from negative to zero - only there’s nobody left to enjoy it.
Futurologists refer to this sort of misunderstanding as perverse instantiation, and Olle Häggström is concerned about it.
[...]
"Some of the advances that may lie ahead of us can actually make us worse off, a lot worse, and, in the extreme case, cause the extinction of the human race," he claims. Here Be Dragons is his attempt to chart potential dangers so that we approach the future more responsibly, much as medieval map-makers alerted explorers to perils with depictions of mythological beasts.
Although some of his scenarios are outlandish, Here Be Dragons deserves to be read by all scientists and engineers, and especially by ambitious postdocs considering cutting-edge research. His sense of caution is profound, heartfelt and free of Luddite polemic: it's a stimulating attempt to balance the pursuit of breakthroughs with old-fashioned humility.
[...]
There are no easy answers [...]. The only certainty is that concerns about the future require vigorous debate. To that end, Here Be Dragons is an essential provocation.
There is nobody left to enjoy the zero happiness? :-)
SvaraRaderaDenne Jonathon Keats är mig tidigare fullständigt obekant, så här finns knappast utrymme (som i fallen Björn Bengtsson och David Sumpter) för misstanke om att de positiva omdömena kan ha färgats av vänskapskorruption.
SvaraRaderaJag vill påpeka att lyckohedonism är en sopig teori om det mänskliga goda. Men när forskarna har svårt att formulera en mer rimlig teori så faller man förstås ofta tillbaka på att tala om "lycka" som målet. Det är fullt begripligt. Men din super-AI skulle nog inte ta livet av mänskligheten om den hade en rimligare värdeteori än lyckohedonismen. Det är hedonismen som är en defekt och ganska djävulsk värdeteori. Det är hedonismen snarare än någon super-AI som utgör faran. En super-AI låter sig dock med all säkerhet inte luras av hedonismen. Den är knappast själv någon lyckojagande hedonist, men vad driver den i så fall? Och vad driver oss? Motivationspsykologi är fortfarande en sorgligt eftersatt gren inom psykologin, eftersom psykologiforskarna haft för stora svårigheter med den.
SvaraRaderaDitt bruk av uttrycket "med all säkerhet" tycker jag är en närmast perfekt illustration till den extremt illa kalibrerade epistemsika ödmjukhet som de allra flesta uppvisar på detta synnerligen svåra område.
RaderaJag totade i somras ihop en text med titeln "Motivationspsykologi och värdeteori" som jag kanske begåvar världen med, om andan faller på. Den har fått ligga till sig i fyra månader nu, så jag kan nog hitta en del uppdateringar att göra.
RaderaOm tänkare och forskare inte är ödmjuka så kan det bero på att man har ett stort psykologiskt behov av att tro på svaret man lutar åt. Det är ju ingen liten skitfråga. Man kan få existentiella problem om man inte hittar något svar som känns tillfredsställande. Och existentiella problem är ju jobbigt...
Trevligt att recensenten uppskattade boken. Ska bli intressant att läsa boken när den finns att köpa i Stockholm.
SvaraRaderaSer inte gödselstackens herres kommentar som nog för avrådande. Räcker för min del med kaostänkande för att vilja ha stor forskning kring riskerna. Kan tänka mig att allt fungerar perfekt en lång tid men sedan kommer en liten obetydlig störning...
Gott Nytt År
Nanotec
Hej Olle. Långvarig läsare här som framförallt intresseras av AI forskningen och ska förhoppningsvis inhandla din nya bok när den släpps!
SvaraRaderaSnubblade in på pcc15.org via en vän som är övertygad om att politiker och institutioner har lurat folket med klimathotet utifrån någon bakomliggande agenda. På hemsidan är det oroväckande många forskare och doktorander som tydligen tvivlar på erkänd forskning och på människans och koldioxidens inverkan på klimatet. Om du har tid och lust skulle en uppdaterad syn på hur du tycker och tänker kring ämnet och denna Paris Climate Challenge vara väldigt uppskattad!