torsdag 11 februari 2016

Forskarhjärta på gott och ont

Det är många egenskaper som skall till för att göra en vass forskare, men en av dem är att ha ett verkligt forskarhjärta: förmågan att fokusera på själva forskningsproblemet och problemlösningen, och att koppla bort allt runtomkring, samt en genuin önskan om att få veta hur det ligger till.

Detta forskarhjärta är emellertid på gott och ont. I den intervju på Chalmers hemsida jag flaggade för häromdagen talade jag om vikten av att inte göra forskning som leder till förhöjd risk för globala katastrofscenarier, t.ex. via skapandet av domedagsvapen. Mycket av fokus i intervjun hamnade på forskarens eget moraliska ansvar, men den sortens individuellt ansvarstagande är inte något vi helt och hållet kan lita på, mycket på grund av de förträngningsmekanismer som forskarhjärtat för med sig, och vi behöver därför något slags institutionaliserad styrning av forskningen. Exempel på detta slags förträngning är inte svåra att finna, men det är sällan som det kommer fram så oförblommerat som i en sekvens av repliker av AI-forskaren Geoffrey Hinton i den läsvärda artikeln The Doomsday invention1 i The New Yorker i november förra året:
    The keynote speaker at the Royal Society was another Google employee: Geoffrey Hinton, who for decades has been a central figure in developing deep learning. As the conference wound down, I spotted him chatting with [Nick] Bostrom in the middle of a scrum of researchers. Hinton was saying that he did not expect A.I. to be achieved for decades. “No sooner than 2070,” he said. “I am in the camp that is hopeless.”

    “In that you think it will not be a cause for good?” Bostrom asked.

    “I think political systems will use it to terrorize people,” Hinton said. Already, he believed, agencies like the N.S.A. were attempting to abuse similar technology.

    “Then why are you doing the research?” Bostrom asked.

    “I could give you the usual arguments,” Hinton said. “But the truth is that the prospect of discovery is too sweet.” He smiled awkwardly, the word hanging in the air—an echo of Oppenheimer, who famously said of the bomb, “When you see something that is technically sweet, you go ahead and do it, and you argue about what to do about it only after you have had your technical success.”

Fasansfullt, men Hinton skall trots allt ha credit för sin självinsikt och öppenhjärtighet.

Fotnot

1) Det är en ganska lång men (som sagt) mycket läsvärd artikel med Nick Bostrom (troligtvis den forskare jag allra oftast citerar här på bloggen) som huvudperson. Och faktiskt är även jag citerad i artikeln, om än inte med namns nämnande. Kolla in följande stycke om motttagandet av Bostroms bok Superintelligence:
    Perhaps because the field of A.I. has recently made striking advances—with everyday technology seeming, more and more, to exhibit something like intelligent reasoning—the book has struck a nerve. Bostrom’s supporters compare it to “Silent Spring.” In moral philosophy, Peter Singer and Derek Parfit have received it as a work of importance, and distinguished physicists such as Stephen Hawking have echoed its warning. Within the high caste of Silicon Valley, Bostrom has acquired the status of a sage. Elon Musk, the C.E.O. of Tesla, promoted the book on Twitter, noting, “We need to be super careful with AI. Potentially more dangerous than nukes.” Bill Gates recommended it, too. Suggesting that an A.I. could threaten humanity, he said, during a talk in China, “When people say it’s not a problem, then I really start to get to a point of disagreement. How can they not see what a huge challenge this is?”
Referensen till Rachel Carsons Silent Spring härstammar från min recension av Superintelligence på denna blogg 2014, och min jämförelse mellan böckerna har sedan dess använts (jämte citat av bland andra Bill Gates och Elon Musk) i förlagets marknadsföring av Superintelligence.

tisdag 9 februari 2016

En smula synlighet på Chalmers

I samband med min nya bok Here Be Dragons: Science, Technology and the Future of Humanity, min debattartikel i Svenska Dagbladet häromveckan, och mitt seminarium på torsdag, har Chalmers kommunikationsavdelning beslutat skänka mig en smula rampljus. Så nu finns ett nyhetsinslag om mig som kan nås via Chalmers hemsida.

Edit 10 februari 2016: Nästan samtidigt har en annan text om mig med i stort sett samma vinkling kommit upp i en annan del av Chalmers webb. (Det verkar ju som att Chalmers kommunikationsavdelning och institutionernas vid samma lärosäte informatörer inte samordnar helt och hållet, och själv tackar jag glatt ja till varje liten stråle rampljus utan invändningar av typen "blir det inte lite mycket på en gång med det här?").

torsdag 4 februari 2016

Ulf Danielsson och Max Tegmark bjuder på stor show

Vilken show! Den 12 december förra året satte sig två av de starkast lysande stjärnorna bland svenska vetenskapsmän, fysikerna Ulf Danielsson och Max Tegmark, ned inför publiken på Cirkus i Stockholm för att diskutera kosmologi, strängteori, medvetendets plats i universum, och framför allt relationen mellan matematik och fysik. Och nu finns den knappt 40 minuter långa videoupptagningen av deras samtal tillgänglig på UR Samtiden. Jag rekommenderar den å det varmaste.

De är överens om mycket, men inte om allt, och det är meningsmotsättningarna som driver samtalet framåt. Just i frågan om relationen mellan matematik och fysik kommer deras divergerande ståndpunkter fram allra tydligast. Är det matematiken som är det verkligt fundamentala i vår värld (Max ståndpunkt), eller är matematiken blott människans ofullkomliga försök till beskrivning av världens beskaffenhet (Ulfs)? Jag vet såklart inte vem av dem som kommer sanningen närmast, även om jag måste erkänna att jag har en starkare intuitiv dragning till den platonska syn på matematiken som Max ger uttryck för, jämfört med Ulfs syn på matematiken som något slags evolutionärt uppkommen abrovink. Men båda bidrar i lika hög grad till en sevärd föreställning, vars kombination av lättilgänglighet och intellektuell höjd är remarkabel.

tisdag 2 februari 2016

Föredrag och diskussion om Here Be Dragons i Göteborg och i Stockholm

De närmaste veckorna får jag möjlighet att inför publik persentera min nya bok Here Be Dragons: Science, Technology and the Future of Humanity såväl i Göteborg som i Stockholm. Vid båda tillfällena kommer jag att få mothugg från särskilt inbjudna diskutanter, och båda arrangemangen är öppna för allmänheten:

söndag 31 januari 2016

Ludditer med tråkigt tonfall?

I P1:s myspysprogram Spanarna i fredags kunde vi höra Per Naroskin kåsera kring frågor om framtida utveckling inom artificiell intelligens. Hans inslag (som börjar cirka 30:45 in i programmet) bjuder inte på några djupare insikter, men är ändå värt att lyssna på. Som utgångspunkt tar han det Luddit-pris som en tankesmedja vid namn Information Technology & Innovation Foundation (ITIF) givit till Elon Musk och Stephen Hawking med flera, för att dessa uttryckt oro över en tänkbar utveckling där ett genombrott inom artificiell intelligens leder till katastrof och i värsta fall mänsklighetens undergång. För den som känner till vad ordet luddit1 betyder kan det synas mäkta underligt att förknippa Elon Musk (mannen bakom bl.a. SpaceX, PayPal och Tesla Motors) med den sortens teknikfientlighet. Jag känner mig personligen en smula upprörd över priset, eftersom jag i min nya bok Here Be Dragons fäster stor vikt vid samma slags scenarier som Musk och Hawking tar upp, samtidigt som jag ogärna vill förknippas med luddism.2

I CNET:s rapportering om priset medger ITIF:s talesperson Rob Atkinson att det kan se en smula underligt ut att ge ett sådant pris till Musk, då denne är "the antithesis of a Luddite", men han menar att Musk ändå "is giving aid and comfort to the Luddite community". Underligast av allt är emellertid att Atkinson, att döma av CNET:s rapportering, hävdar att det är en fråga om tonfall:
    "It's not inappropriate to raise the issue that AI be developed in a safe and responsible way," said Atkinson. "The problem is their tone scares people."
Med andra ord: varna gärna för en eventuell kommande AI-katastrof i vilken mänskligheten går under, men se till att göra det i ett tonfall som säkerställer att folk inte blir rädda!

Fotnot

1) Wikipedia sammanfattar:
    Ludditerna eller maskinstormarna var en samhällsrörelse bland engelska arbetare som under det tidiga 1800-talet protesterade, ofta genom att förstöra textilmaskiner, mot den industriella revolutionens förändringar, som de kände hotade deras arbeten. Rörelsen, som startade 1811, var uppkallad efter en troligtvis fiktiv ledare, Ned Ludd. [...]

    På senare tid används termerna luddism och luddit eller neo-luddism och neo-luddit synonymt med någon som motsätter sig teknikens och teknologins utveckling på grund av de kulturella förändringar utvecklingen för med sig.

2) Därför är jag naturligtvis extra glad åt hur Jonathon Keats, i sin recension i New Scientist av min bok, skriver att min "sense of caution is profound, heartfelt and free of Luddite polemic: it’s a stimulating attempt to balance the pursuit of breakthroughs with old-fashioned humility".

torsdag 28 januari 2016

Guest blogger at the OUPblog

The publisher of my newly released book Here Be Dragons: Science, Technology and the Future of Humanity is Oxford University Press. As part of the marketing their books, they also run the OUPblog, where their authors are given the opportunity to contribute blog posts on topics related to the books. Today, the last in a series of three blog posts of mine was published at OUPblog. These are my three posts: While the last two posts, on the phenomenon of robot consciouness and what it entails (and does not entail) for us humans, are closer related to each other than to the first, all three can be read independently. The first post summarizes the main message of my book concerning the extreme dangers that may be involved in future technologies and the importance of acting with foresight. Readers who understand both English and Swedish may compare that post to my recent op-ed in the Swedish newspaper Svenska Dagbladet, and will then find how closely the two texts follow each other.

tisdag 26 januari 2016

Reaktioner på Here Be Dragons

Följande är några av de tidiga reaktionerna på min nyutkomna bok Here Be Dragons: Science, Technology and the Future of Humanity. Ingen av recensenterna i kategorin Tidningar och tidskrifter är personer jag sedan tidigare känner till, medan däremot skribenterna i de båda andra kategorierna Bloggar och Övriga fora samtliga befinner sig någonstans på skalan mellan goda vänner och flyktigt bekanta, vilket såklart kan ha påverkat deras bedömningar.

Tidningar och tidskrifter
  • New Scientists Jonathon Keats avrundar (som tidigare meddelats) sin positiva recension med att kalla boken "an essential provocation".

  • Financial Times Stephen Cave framhåller att jag inte gör några tvärsäkra uttalanden om hur framtiden kommer att gestalta sig:
      Häggström is not trying to tell us that things will definitely work out one way or another. Rather, he is reminding us that the future is an uncharted land in which there might be monsters. We need these gloomy forecasts, just as we need glimpses of a solar-powered utopia. There are some predictions that we make in the hope that they will prove wrong, and others that we very much hope will come true. The better we envision them — whether through sober statistics or the all-action sci-fi of my comic-reading boyhood — the better chance we have of steering the ship of fate along the happier course.

  • L'Express de Toronto meddelar (på franska) att min bok inte lämpar sig att läsas nattetid.

  • Engineering and Technology Magazines recensent Dominic Lenton framhåller
      the crux of Häggström’s case that we’re forgetting how scientific progress has the potential both to cause humanity great harm and to bring it great benefit. “To completely ignore this aspect of science seems like negligence bordering on insanity,” he says.

      Some will dismiss his attitude as alarmism, but simply saying we need to know more before we can properly address these issues just puts off the problem for future generations to deal with.

      As Häggström concludes, not making a decision is in itself a decision.

Bloggar
  • Björn Bengtsson fördjupar sig (som tidigare meddelats) på sin blogg Jag är här i det jag i boken döper till Bullerbyscenariot.

  • Robin Hanson uttrycker, på sin blogg Overcoming Bias, ett (delvis berättigat) missnöje över hur jag framställer hans ekonomiska analyser av en framtida värld där personer kan kopieras lika billigt och enkelt som vi idag kopierar musikfiler.

  • Devdatt Dubhashi skriver, på bloggen The Future of Intelligence, en utförlig recension där han visserligen har en del kritiska synpunkter på enskildheter, men ändå en positiv grundton, och följande får mig nästan att rodna:
      Many of us have known Olle Häggström as a world famous probabilist working in the arcane area of percolation theory, but the author of this book [...] seems to be somebody altogether different. Indeed, Olle has run a hyperactive blog for a number of years, engaging in a number of polemics (sometimes bad–tempered) on issues ranging from religion and rationality in the early years, to climate change and most recently, artificial intelligence (AI) and its consequences. This book could be seen as the culmination of this effort.

      Personally, I welcome this metamorphosis.

Övriga fora
  • I en kundrecension på Amazon ger David Aldous boken fem stjärnor av fem möjliga, och kryddar i följande passage med det smickrande (men för mig tidigare obekanta) engelska ordet "erudite":
      The book under review [...] has the timely theme of risks to human civilization from technology, although it does not pretend to be a comprehensive survey. Instead it contains a detailed discussion of a few such risks, together with wide-ranging comments on the politics, ethics and philosophy of science underlying what actions human society might take. Though not presuming any specialized knowledge of science or technology, the writing style is not breezy “popular science”, but a kind of erudite blog, allowing a broader audience a glimpse of debates previously discussed in more specialist forums, outlining the views of other individuals and adding his own, in careful academic style with footnoted references and clarifications.