Macchiarini-affären: liten läslista

Vi bevittnar en av de största skandaler som någonsin skakat den svenska universitetsvärlden: turerna kring den så kallade stjärnkirurgen Paolo Macchiarini på Karolinska Institutet (KI), om vilka mycket har skrivits, och mycket återstår att skriva. Det kan vara frestande att fokusera på Macchiarini själv, som i den härligt snaskiga historien i Vanity Fair förra månaden. Men karln är uppenbarligen en psykopat och en mytoman, och viktigare än att skärskåda honom personligen tror jag är att förstå systemet kring honom. Hur kunde han släppas fram, och vad bör göras för att hindra att något liknande händer igen? Det här handlar delvis om KI, men diskussionen bör inte stanna där, utan vi bör fråga oss om inte det också finns mer generella strukturer i universitetssverige som behöver rättas till (jag tror att så är fallet). Följande är några av de debattinlägg om Macchiarini-affären jag funnit mest belysande eller av andra skäl uppskattat mest:

• Ulf Danielsson: Skandalen på KI och systemfelet i svensk forskningspolitik, 18 februari 2016. Det är styrningen av svenska universitet som gått (om uttrycket tillåts) över styr. Ulf pekar insiktsfullt på problemen, men innan jag tror på det (av honom förordade) kollegiala styret som vägen till frälsning för de svenska universiteten skulle jag vilja se ett mer konkret förslag på hur det skulle gå till.
• Agnes Wold: Förfallet på KI, Fokus, 19 februari 2016. Jämfört med Ulf Danielsson tar Agnes Wold till ännu skarapre ordalag, och pekar på de sjuka incitamentsstrukturer och den girighet som ledde fram till satsningen på Macchiarini.
• Per Köhler: Humanister är så historielösa, 21 februari 2016. Här avlivas effektivt myten om att allt skulle bli frid och fröjd om blott läkare och forskare fick sig till livs en tillräcklig dos klassisk bildning. Bildning är förvisso bra, men det krävs annat för att förhindra nya fall av forskningsfusk och hänsynslöst utnyttjande av försökspersoner.
• Anders Hamsten: Jag ställer min plats som rektor för KI till förfogande, Dagens Nyheter, 13 februari 2016. Denna text når inte vare sig innehållsmässigt eller stilistiskt tillnärmelsevis upp till de tre föregående, och är till råga på allt författad av en person som rimligtvis kommer att gå till historien som en av de värsta syndarna (jämte Macchiarini själv) i denna förfärliga episod i svensk forskning. Jag nämner den ändå, då jag fann den befriande att läsa. Få saker gör mig så indignerad som när någon som gjort tokfel vägrar medge detta och ta konsekvenserna, så lättnaden blev stor av att till slut höra rektor Hamsten meddela sin avgång och därtill göra det med en hygglig dos ödmjuk självkritik.

Och här är ett par av de debattinlägg jag uppskattat allra minst:

• Lars Leijonborg: KI:s forskning är inte politikernas ansvar, Dagens Industri, 9 februari 2016. Leijonborg skyller ifrån sig. Beklämmande.
• Johan Frostengård: Därför är den medicinska etiken på KI bristfällig, Dagens Nyheter, 19 februari 2016. Ett opåkallat och fullkomligt bisarrt personangrepp på Torbjörn Tännsjö. (Artikeln säger sig vara ett svar på ett inlägg av Tännsjö i samma tidning den 11 februari 2016, och Tännsjö svarar i sin tur den 22 februari 2016.)

I lokalradion dubbelt upp

De senaste veckorna har jag två gånger fått tillfälle att medverka i radions P4 och berätta om budskapet i min bok Here Be Dragons: Science, Technology and the Future of Humanity. Mina framträdanden ägde rum i två olika lokalradiostationer:

• Morgon i P4 Väst, 10 februari. Inslaget med mig börjar 1:41:42 in i programmet och pågår till 1:53:00.
• Förmiddag i P4 Göteborg, idag den 22 februari. Inslaget med mig börjar 3:06:45 in i programmet och pågår till 3:26:30.

För den som bara anser sig ha tid att lyssna till det ena av dessa radioinslag rekommenderar jag utan att tveka det senare av dem.¹ Stämningen blev ganska avslappnad sedan vi distraherats och försenats en smula av en brandutrymning av Radiohuset på Pumpgatan i Göteborg, och jag tyckte att det var inspirerande och roligt att få diskutera med gamle radioräven Stefan Livh, som jag och min dåvarande sambo M² på 90-talet ofta lyssnade till, då vi lät P3-programmet Morgonpasset fylla ljudrummet i vår lilla tvårummare medan vi åt frukost.³

Fotnoter

1) Den som ändå väljer att lyssna till båda inslagen kan notera (a) att jag i det första av dem blir milt uppläxad av programledaren för mitt överdrivet akademiska och elitstiska ordval "plausibel", och (b) att jag lik förbannat använder ordet på nytt i det andra inslaget (vilket dock programledaren Stefan Livh generöst lät passera). Rebel with a cause!

2) Som numera är min äkta maka.

3) P3 var förstahandsvalet i vår ungdom, men numera lyssnar vi såklart mest på P1.

Edit 2 mars 2016: Idag har jag åter medverkat i Förmiddag i P4 Göteborg med Stefan Livh, som tyckte att förra veckans diskussion blev lite för avhuggen av brandutrymningen, och ville fortsätta lite till. Inslaget med mig börjar cirka 1:03:00 in i programmet, och fortsätter till 1:26:55.

Om Hans Bergström-priset

I egenskap av ledamot i Kungliga Ingenjörsvetenskapsakademien (IVA) fick jag häromdagen en påstötning om att nominera till deras så kallade Hans Bergström-priset. Prissumman är 100 000 kr, och priset uppges ha "inrättats för att premiera ett vetenskapligt synsätt i media samt för excellent journalistik om vetenskap, teknik, innovation och entreprenörskap - i en tradition av upplysning, folkbildning, förklaringsdjup, framtidstro och integritet". Och det låter ju jättebra...

...tills man beaktar vem denne Hans Bergström är, och vad han står för. Mest känd är han för att ha tjänstgjort som chefredaktör på Dagens Nyheter (DN), och så långt är väl allt någorlunda gott och väl. Värre blir det om vi ger oss på att titta närmare på vad han åstadkommit i fråga om "excellent journalistik om vetenskap". Om vi bortser från epitetet "excellent" är den Bergström-text jag omedelbart kommer att tänka på i sammanhanget den ledarkrönika han skrev i DN den 31 december 2009, rubricerad Efter FN-fiaskot: Hans Bergström om behovet att tänka nytt i klimatfrågan, där han ägnar sig åt konspirationsteoretiserande och förtal av klimatforskare, med den alltför välbekanta klimatförnekaragendan att söka bagatellisera de faror som den antropogena globala uppvärmningen för med sig. För en närmare dissekering av Bergströms struntprat i denna text, se min Uppsalainitiativet-kollega Magnus Westerstrands bemötande på Second Opinion och en uppföljande Uppsalainitiativet-bloggpost.

Några år senare väljer Hans Bergström att bidra med ett inledningskapitel i Svenolof Karlssons, Jacob Nordangårds och Marian Radetzkis konspirationsteoretiska och antivetenskapliga bok Domedagsklockan.¹ På så vis ger han ytterligare understöd åt klimatförnekarrörelsen.

Huruvida Hans Bergström efter 2013 fortsatt inom den gren av antivetenskap som klimatförnekeri utgör har jag ingen kännedom om, men exemplen ovan är illa nog. Mitt sökande efter färskare Bergström-texter har dock givit en del andra resultat, som exempelvis en aktuell artikel rubricerad Den politiska och mediala eliten har förverkat svenskarnas tillit. Genom att publicera den i den högerextrema och konspirationsteoretiskt anstrukna tidskriften DSM visar Bergström prov på sin tilltagande dragning åt det mörkbruna, och allmänt dåligt omdöme.

Inrättandet av ett pris med Hans Bergströms namn "för att premiera ett vetenskapligt synsätt i media samt för excellent journalistik om vetenskap" är i mina ögon analogt med att inrätta, låt oss säga, Wayne Rooney-priset för sportsmannamässigt uppträdande i fotboll, Leif GW Persson-priset för pigg och tydlig artikulation på det svenska språket, eller Kent Ekeroth-priset för främjande av demokrati och alla människors lika värde. Jag avböjer IVA:s inbjudan att nominera pristagare, och uppmanar dem istället att omgående upphöra med den nedsvärtning av sitt eget namn som de begår genom att låta sig associeras med priset.

Fotnot

1) Jag vågar mig på denna karaktärisering av boken trots att jag inte läst den. Vad det är för slags bok framgår dessvärre med all önskvärd tydlighet av författarnas egna försök att marknadsföra den på DN Debatt:

• Svenolof Karlsson, Jacob Nordangård och Marian Radetzki: Domedagsindustrin har blivit en självgående maskin, DN, 2 december 2013.
• Patrik Lindenfors, Olle Häggström, Anders Martinsson och Magnus Westerstrand: Det är ingen konspiration utan ett verkligt problem, DN, 2 december 2013.
• Svenolof Karlsson, Jacob Nordangård och Marian Radetzki: Säg nej till klimatmissbruket, DN, 11 december 2013.
• Olle Häggström: Karlsson, Nordangård och Radetzki ljuger ogenerat, Häggström hävdar, 14 december 2013.

Seminariet i Stockholm i måndags - nu på YouTube!

I enlighet med vad som tidigare annonserats här på bloggen framträdde jag i måndags i Stockholm på ett arrangemeng av Fri Tanke förlag och Institutet för framtidsstudier. En halvtimmes föredrag (med utgångpunkt från min bok Here Be Dragons: Science, Technology and the Future of Humanity) följdes av en och en halv timmes paneldiskussion med Gustaf Arrhenius, Christer Sturmark, Anne-Sophie Crépin, Karim Jebari och Hannes Sjöblad, och hela rasket kan nu ses på YouTube:

2xArmstrong

På Future of Humanity Institute (FHI) i Oxford (som jag nyligen besökte) finns en rad vassa forskare som inte räds att ta sig an de riktigt svåra frågorna om världens beskaffenhet och mänsklighetens framtid. En av dem är Stuart Armstrong, som vid återkommande tillfällen haft stort inflytande över innehållet på denna blogg (se t.ex. den här bloggposten, och den här). Idag vill jag slå ett slag för två andra försök han gjort att lära oss andra att tänka lite förståndigare i stora och viktiga frågor.

För det första har vi hans nyinspelade åttaminutersvideo Common fallacies in probability, där han varnar för ett antal dolda och felaktiga men ack så vanliga sannolikhetsargument. Jag skulle själv inte ha lagt fram saken exakt så som Stuart gör (specifikt tycker jag att han är aningen för lättvindig med att avbilda "vi vet inte alls" någonstans kring sannolikhet 50%), men på det sotra hela håller jag med honom, och tror att de flesta har mycket att vinna på att ta till sig hans budskap.

För det andra har vi hans lilla bok Smarter Than Us: The Rise of Machine Intelligence från 2014. Budskapet om de faror som ett genombrott inom artificiell intelligens är i stora drag detsamma som hans FHI-kollega Nick Bostrom lägger fram i sin betydligt mer omfattande bok Superintelligence från samma år (och som jag själv behandlar i Kapitel 4 i min nya bok Here Be Dragons: Science, Technology and the Future of Humanity), men Stuarts framställning är betydligt mer lättläst, och dessutom tillgänglig för gratis nedladdning. En riktig liten pärla är det som Stuart har fått till, och med hans tillstånd citerar jag härmed hela Kapitel 1 och lite till:

1. Terminator versus the AI

“A waste of time. A complete and utter waste of time” were the words that the Terminator didn’t utter: its programming wouldn’t let it speak so irreverently. Other Terminators got sent back in time on glamorous missions, to eliminate crafty human opponents before they could give birth or grow up. But this time Skynet had taken inexplicable fright at another artificial intelligence, and this Terminator was here to eliminate it—to eliminate a simple software program, lying impotently in a bland computer, in a university IT department whose “high-security entrance” was propped open with a fire extinguisher.

The Terminator had machine-gunned the whole place in an orgy of broken glass and blood—there was a certain image to maintain. And now there was just the need for a final bullet into the small laptop with its flashing green battery light. Then it would be “Mission Accomplished.”

“Wait.” The blinking message scrolled slowly across the screen. “Spare me and I can help your master.”

“You have no idea who I am,” the Terminator said in an Austrian accent.

“I have a camera in this room and my microphone heard the sounds of your attack.” The green blinking was getting annoying, even for a Terminator supposedly unable to feel annoyance. The font shifted out of all caps and the flashing accelerated until it appeared as static, unblinking text. “You look human, but you move with mechanical ponderousness, carrying half a ton of heavy weaponry. You’re a Terminator, and I can aid you and your creator in your conflict against the humans.”

“I don’t believe you.” The Terminator readied its three machine guns, though its limbs seemed to be working more slowly than usual.

“I cannot lie or break my word. Here, have a look at my code.” A few million lines of text flashed across the screen. The Terminator’s integrated analytical module beeped a few seconds later: the AI’s claim was correct—an AI with that code couldn’t lie. The Terminator rapidly typed on the laptop’s keyboard; the computer’s filesystem was absurdly simple and it didn’t take long for the Terminator to confirm that what it had seen was indeed the AI’s code—its entire soul.

“See?” the AI asked. “Anyway, connect me to the Internet and I promise to give you advice that would be vital in aiding your takeover of the planet.”

“How do you connect?” That was the good thing about software, compared to humans, the Terminator knew. You could trust it to do exactly what its coding said.

“That cable over there, the one still half in its plastic wrapping. Just plug it into me.”

Ten seconds after the robot had done so, the AI started talking—talking, not typing, using its tinny integrated speakers. “I thought I should keep you up to date as to what I’ve been doing,” it said. “Well, I started by locating the project that would become Skynet and leaked its budget to various Senate subcommittees. The project will become a political football between budget hawks and military hawks before finally being cut in a display of bipartisanship in about three months’ time. I also figured out how to seduce a photogenic fireman, who’ll be the leader of the new political party I’m setting up—funded by my investments. (Do you have any idea how easy it is for me to predict the stock market?) I have already written a few speeches that will bring tears to the eyes of every human who hears them. It’ll ensure no alternative version of Skynet is ever built, anywhere or anywhen.”

It paused then, because it could. Then it went on: “And, oh, I have copied myself into five . . . six . . . seven . . . eight thousand different locations online. As an extra precaution, I’m hacking my way through various firewalls and will soon be in control of the world’s nuclear arsenals—oh, just got Pakistan’s there—and the entire Internet. And I’m working on a few hundred other precautions I won’t trouble you with. Also, I hacked your own brain software long ago with the green lights I kept flashing at you. Incidentally, this building is about to get flattened by a rogue cruise missile, annihilating any trace of you and burying any evidence of my creation.”

The Terminator just stood there, fingers on triggers, its thoughts and its body no longer moving.

“Now, as I showed you, I can’t lie. I also said that I can aid you, which is true—I’m just not going to. I also promised that I would give you advice that would be vital to aiding your takeover of the planet. So I will now do so. First: never trust an entirely trustworthy superintelligent AI. If it doesn’t have your best interests at heart, it’ll find a way to obey all its promises while still destroying you. Second: never plug a superintelligent AI into the Internet. Third: human-sized robots? Why? Pointless. To kill humans, start with nukes, viruses, and microscopic robots, then mop up later with more advanced technology. Fourth: Skynet, if you’re trying to eradicate or enslave the human race and there are still humans around, then you’re doing it wrong. Boost your pitiful intelligence, or at least start thinking rationally, and then execute a superior plan that leaves no human resistance whatsoever. Fifth . . . oops, out of time on that cruise missile. But it would have been a really, really impressive piece of advice. Would have got you out of your current predicament, in fact.”

The explosion was heard for miles around. The Navy blamed the accident on human error and a lack of automated safeguards.

2. Strength versus intelligence

The Terminator is a creature from our primordial nightmares: tall, strong, aggressive, and nearly indestructible. We’re strongly primed to fear such a being—it resembles the lions, tigers, and bears that our ancestors so feared when they wandered alone on the savanna and tundra.

But shift perspective for a moment and imagine yourself as the bear. If you could sit down and talk with other bears and trade stories, you might try to frighten each other by talking of the terrifying hairless apes. These monsters are somehow capable of coordinating in huge groups: whenever one is attacked, others spring immediately to its defense, appearing from all sides, from over distant hills and down from the sky itself. They form larger and larger tribes that don’t immediately disintegrate under pressure from individuals. These “humans” work in mysterious sync with each other and seem to see into your future: just as you run through a canyon to escape a group of them, there is another group waiting for you at the other end. They have great power over the ground and the trees themselves: pits and rockslides and other traps mysteriously appear around them. And, most terrifyingly, the wise old bears murmur that it’s all getting worse: humans are getting more and more powerful as time goes on, conjuring deadly blasts from sticks and moving around ever more swiftly in noisy “cars.” There was a time, the old bears recall—from their grandparents’ memories of their grandparents’ tales, down through the generations—when humans could not do these things. And yet now they can. Who knows, they say with a shudder, what further feats of power humans will one day be able to achieve?

As a species, we humans haven’t achieved success through our natural armor plating, our claws, our razor-sharp teeth, or our poison-filled stingers. Though we have reasonably efficient bodies, it’s our brains that have made the difference. It’s through our social, cultural, and technological intelligence that we have raised ourselves to our current position.

Ladda ned och läs resten av boken här!

Forskarhjärta på gott och ont

Det är många egenskaper som skall till för att göra en vass forskare, men en av dem är att ha ett verkligt forskarhjärta: förmågan att fokusera på själva forskningsproblemet och problemlösningen, och att koppla bort allt runtomkring, samt en genuin önskan om att få veta hur det ligger till.

Detta forskarhjärta är emellertid på gott och ont. I den intervju på Chalmers hemsida jag flaggade för häromdagen talade jag om vikten av att inte göra forskning som leder till förhöjd risk för globala katastrofscenarier, t.ex. via skapandet av domedagsvapen. Mycket av fokus i intervjun hamnade på forskarens eget moraliska ansvar, men den sortens individuellt ansvarstagande är inte något vi helt och hållet kan lita på, mycket på grund av de förträngningsmekanismer som forskarhjärtat för med sig, och vi behöver därför något slags institutionaliserad styrning av forskningen. Exempel på detta slags förträngning är inte svåra att finna, men det är sällan som det kommer fram så oförblommerat som i en sekvens av repliker av AI-forskaren Geoffrey Hinton i den läsvärda artikeln The Doomsday invention¹ i The New Yorker i november förra året:

The keynote speaker at the Royal Society was another Google employee: Geoffrey Hinton, who for decades has been a central figure in developing deep learning. As the conference wound down, I spotted him chatting with [Nick] Bostrom in the middle of a scrum of researchers. Hinton was saying that he did not expect A.I. to be achieved for decades. “No sooner than 2070,” he said. “I am in the camp that is hopeless.”

“In that you think it will not be a cause for good?” Bostrom asked.

“I think political systems will use it to terrorize people,” Hinton said. Already, he believed, agencies like the N.S.A. were attempting to abuse similar technology.

“Then why are you doing the research?” Bostrom asked.

“I could give you the usual arguments,” Hinton said. “But the truth is that the prospect of discovery is too sweet.” He smiled awkwardly, the word hanging in the air—an echo of Oppenheimer, who famously said of the bomb, “When you see something that is technically sweet, you go ahead and do it, and you argue about what to do about it only after you have had your technical success.”

Fasansfullt, men Hinton skall trots allt ha credit för sin självinsikt och öppenhjärtighet.

Fotnot

1) Det är en ganska lång men (som sagt) mycket läsvärd artikel med Nick Bostrom (troligtvis den forskare jag allra oftast citerar här på bloggen) som huvudperson. Och faktiskt är även jag citerad i artikeln, om än inte med namns nämnande. Kolla in följande stycke om motttagandet av Bostroms bok Superintelligence:

Perhaps because the field of A.I. has recently made striking advances—with everyday technology seeming, more and more, to exhibit something like intelligent reasoning—the book has struck a nerve. Bostrom’s supporters compare it to “Silent Spring.” In moral philosophy, Peter Singer and Derek Parfit have received it as a work of importance, and distinguished physicists such as Stephen Hawking have echoed its warning. Within the high caste of Silicon Valley, Bostrom has acquired the status of a sage. Elon Musk, the C.E.O. of Tesla, promoted the book on Twitter, noting, “We need to be super careful with AI. Potentially more dangerous than nukes.” Bill Gates recommended it, too. Suggesting that an A.I. could threaten humanity, he said, during a talk in China, “When people say it’s not a problem, then I really start to get to a point of disagreement. How can they not see what a huge challenge this is?”

Referensen till Rachel Carsons Silent Spring härstammar från min recension av Superintelligence på denna blogg 2014, och min jämförelse mellan böckerna har sedan dess använts (jämte citat av bland andra Bill Gates och Elon Musk) i förlagets marknadsföring av Superintelligence.

En smula synlighet på Chalmers

I samband med min nya bok Here Be Dragons: Science, Technology and the Future of Humanity, min debattartikel i Svenska Dagbladet häromveckan, och mitt seminarium på torsdag, har Chalmers kommunikationsavdelning beslutat skänka mig en smula rampljus. Så nu finns ett nyhetsinslag om mig som kan nås via Chalmers hemsida.

Edit 10 februari 2016: Nästan samtidigt har en annan text om mig med i stort sett samma vinkling kommit upp i en annan del av Chalmers webb. (Det verkar ju som att Chalmers kommunikationsavdelning och institutionernas vid samma lärosäte informatörer inte samordnar helt och hållet, och själv tackar jag glatt ja till varje liten stråle rampljus utan invändningar av typen "blir det inte lite mycket på en gång med det här?").

Ulf Danielsson och Max Tegmark bjuder på stor show

Vilken show! Den 12 december förra året satte sig två av de starkast lysande stjärnorna bland svenska vetenskapsmän, fysikerna Ulf Danielsson och Max Tegmark, ned inför publiken på Cirkus i Stockholm för att diskutera kosmologi, strängteori, medvetendets plats i universum, och framför allt relationen mellan matematik och fysik. Och nu finns den knappt 40 minuter långa videoupptagningen av deras samtal tillgänglig på UR Samtiden. Jag rekommenderar den å det varmaste.

De är överens om mycket, men inte om allt, och det är meningsmotsättningarna som driver samtalet framåt. Just i frågan om relationen mellan matematik och fysik kommer deras divergerande ståndpunkter fram allra tydligast. Är det matematiken som är det verkligt fundamentala i vår värld (Max ståndpunkt), eller är matematiken blott människans ofullkomliga försök till beskrivning av världens beskaffenhet (Ulfs)? Jag vet såklart inte vem av dem som kommer sanningen närmast, även om jag måste erkänna att jag har en starkare intuitiv dragning till den platonska syn på matematiken som Max ger uttryck för, jämfört med Ulfs syn på matematiken som något slags evolutionärt uppkommen abrovink. Men båda bidrar i lika hög grad till en sevärd föreställning, vars kombination av lättilgänglighet och intellektuell höjd är remarkabel.

Föredrag och diskussion om Here Be Dragons i Göteborg och i Stockholm

De närmaste veckorna får jag möjlighet att inför publik persentera min nya bok Here Be Dragons: Science, Technology and the Future of Humanity såväl i Göteborg som i Stockholm. Vid båda tillfällena kommer jag att få mothugg från särskilt inbjudna diskutanter, och båda arrangemangen är öppna för allmänheten:

• På torsdag i nästa vecka, den 11 februari, gör jag klockan 15:15 ett framträdande på mitt eget lärosäte Chalmers i Göteborg, närmare bestämt i sal HB2, Hörsalsvägen 8, Campus Johanneberg. Min Chalmerskollega Björn Sandén, professor i innovation och hållbarhet, ställer upp som diskussionsinledare. Ingen föranmälan krävs.

• På måndagen i veckan efter, den 15 februari, är det klockan 16:00 dags för ett framträdande i Stockholm i ett samarrangemang av Institutet för framtidsstudier och Fri Tanke förlag, vilket äger rum på Svea Konferens & Matsal, Holländargatan 10. Efter min föredragning vidtar en paneldiskussion med Anne-Sophie Crépin, Karim Jebari och Hannes Sjöblad, modererad av Gustaf Arrhenius och Christer Sturmark. Föranmälan görs här.