torsdag 11 februari 2016

Forskarhjärta på gott och ont

Det är många egenskaper som skall till för att göra en vass forskare, men en av dem är att ha ett verkligt forskarhjärta: förmågan att fokusera på själva forskningsproblemet och problemlösningen, och att koppla bort allt runtomkring, samt en genuin önskan om att få veta hur det ligger till.

Detta forskarhjärta är emellertid på gott och ont. I den intervju på Chalmers hemsida jag flaggade för häromdagen talade jag om vikten av att inte göra forskning som leder till förhöjd risk för globala katastrofscenarier, t.ex. via skapandet av domedagsvapen. Mycket av fokus i intervjun hamnade på forskarens eget moraliska ansvar, men den sortens individuellt ansvarstagande är inte något vi helt och hållet kan lita på, mycket på grund av de förträngningsmekanismer som forskarhjärtat för med sig, och vi behöver därför något slags institutionaliserad styrning av forskningen. Exempel på detta slags förträngning är inte svåra att finna, men det är sällan som det kommer fram så oförblommerat som i en sekvens av repliker av AI-forskaren Geoffrey Hinton i den läsvärda artikeln The Doomsday invention1 i The New Yorker i november förra året:
    The keynote speaker at the Royal Society was another Google employee: Geoffrey Hinton, who for decades has been a central figure in developing deep learning. As the conference wound down, I spotted him chatting with [Nick] Bostrom in the middle of a scrum of researchers. Hinton was saying that he did not expect A.I. to be achieved for decades. “No sooner than 2070,” he said. “I am in the camp that is hopeless.”

    “In that you think it will not be a cause for good?” Bostrom asked.

    “I think political systems will use it to terrorize people,” Hinton said. Already, he believed, agencies like the N.S.A. were attempting to abuse similar technology.

    “Then why are you doing the research?” Bostrom asked.

    “I could give you the usual arguments,” Hinton said. “But the truth is that the prospect of discovery is too sweet.” He smiled awkwardly, the word hanging in the air—an echo of Oppenheimer, who famously said of the bomb, “When you see something that is technically sweet, you go ahead and do it, and you argue about what to do about it only after you have had your technical success.”

Fasansfullt, men Hinton skall trots allt ha credit för sin självinsikt och öppenhjärtighet.

Fotnot

1) Det är en ganska lång men (som sagt) mycket läsvärd artikel med Nick Bostrom (troligtvis den forskare jag allra oftast citerar här på bloggen) som huvudperson. Och faktiskt är även jag citerad i artikeln, om än inte med namns nämnande. Kolla in följande stycke om motttagandet av Bostroms bok Superintelligence:
    Perhaps because the field of A.I. has recently made striking advances—with everyday technology seeming, more and more, to exhibit something like intelligent reasoning—the book has struck a nerve. Bostrom’s supporters compare it to “Silent Spring.” In moral philosophy, Peter Singer and Derek Parfit have received it as a work of importance, and distinguished physicists such as Stephen Hawking have echoed its warning. Within the high caste of Silicon Valley, Bostrom has acquired the status of a sage. Elon Musk, the C.E.O. of Tesla, promoted the book on Twitter, noting, “We need to be super careful with AI. Potentially more dangerous than nukes.” Bill Gates recommended it, too. Suggesting that an A.I. could threaten humanity, he said, during a talk in China, “When people say it’s not a problem, then I really start to get to a point of disagreement. How can they not see what a huge challenge this is?”
Referensen till Rachel Carsons Silent Spring härstammar från min recension av Superintelligence på denna blogg 2014, och min jämförelse mellan böckerna har sedan dess använts (jämte citat av bland andra Bill Gates och Elon Musk) i förlagets marknadsföring av Superintelligence.

4 kommentarer:

  1. Känner du till OpenAI? Jag tror inte jag sett den nämnas på bloggen. Det är en forskningsstiftelse som leds av bla en av Hintons fd studenter, och flera andra väldigt framgångsrika AI-forskare. Den har målet att "advance digital intelligence in the way that is most likely to benefit humanity as a whole". Jag tror att det skulle vara till gagn för allmänheten om en sån som du följde deras inriktning och kritiserade den vid behov.

    SvaraRadera
  2. Kommer själv att ha förmånen att lyssna på denne Nick Bostrom förstå veckan i mars då han talar i ämnet "safety issues in advanced AI" på RSA konferensen i San Fransisco. Jag hoppas kunna återkomma med någon kommentar på lämplig bloggpost efter att ha lyssnat på honom. Tack vare denna blogg har nån blivit ett känt namn för mig inom området AI. Jag sysslar med IT säkerhet i mitt arbete, men ser de potentiellt farliga beröringspunkterna med AI:n.
    Kjell Eriksson

    SvaraRadera
  3. 1974 hoppade jag av kärnfysikens grundforskning då jag ansåg att det fann potentiella hot bakom horisonten som kunde vart värre än atombomben. Jag hade ingen tilltro till mänsklighetens förmåga att hindra katastrofal utveckling. Har fortfarande inge sådan tilltro, snarare mindre:(

    SvaraRadera
  4. Denna diskussion kan appliceras på den nu så aktuella macchiariniskandalen. En vetenskapsman, ett kontrollorgan (rektor, etc) som dessutom har ett etiskt råd att tillgå i vilket ingår höga samhällsrepresentanter bl a justitierådet Göran Lambertz!
    https://internwebben.ki.se/sv/etikradets-ledamoter
    Så samhälleliga kontrollorgan borgar knappast för att forskning inom vilken disciplin det vara månde hålls inom ramarna för mänsklighetens bästa.
    Ps. Nu avgår visserligen rektor. Men det är den s k tredje statsmaktens förtjänst. Ds
    Angelica

    SvaraRadera