torsdag 25 juni 2015

I Vetenskapsrådets nättidning Curie om vikten av att beakta risker med nya teknologier

Då jag för en tid sedan inbjöds att bidra till Vetenskapsrådets nättidning Curie med en debattartikel om vikten av att beakta globala och existentiella risker med nya teknologier kände jag direkt att det inte var att tänka på att tacka nej till att skriva om det som på senare år kommit att bli en av mina främsta hjärtefrågor. Texten är nu publicerad, och jag återger den nedan i sin helhet, inklusive rubrik och ingress.

*

Syntetisk biologi, nanoteknologi och artificiell intelligens är några av de områden som kan påverka mänsklighetens existens. Att ignorera konsekvenserna av kommande forskningsgenombrott är som att med bindel för ögonen springa rakt fram i ett minfält, skriver Olle Häggström, professor i matematisk statistik.

Att premiera och stödja den bästa forskningen - i betydelsen den forskning som bäst flyttar fram gränserna för mänsklighetens samlade vetande, utan hänsyn till praktiska tillämpningar - är ett ideal som ligger nära Vetenskapsrådets, och som jag länge var svag för. På senare år har jag dock blivit alltmer tveksam. Låt mig förklara varför.

Vetenskapliga framsteg har en ofantlig inverkan på våra liv. Tänk på hur världen och våra liv såg ut i början av 1900-talet, på hur de ser ut idag, och på vilken stor del av denna väldiga transformation som möjliggjorts av vetenskapliga framsteg. Om vi tänker vidare på vad mobilteknologi och Internet gjort för oss de senaste tjugo åren, så inser vi att någon inbromsning i förändringstakten knappast har skett. I själva verket är det troligt att vetenskapliga framsteg under återstoden av innevarande sekel kommer att bjuda på ännu mer genomgripande förändringar än 1900-talets. Till de områden som sannolikt kommer att få omvälvande konsekvenser hör exempelvis syntetisk biologi, nanoteknik och artificiell intelligens, samt inte minst olika sätt att förändra den mänskliga naturen och vässa våra kognitiva förmågor med hjälp av farmakologiska preparat, genmodifiering eller elektroniska hjärnimplantat.

De potentiella vinsterna med genombrott på dessa och andra områden är enorma, men detsamma gäller riskerna. Ett exempel är artificiell intelligens, vars potential för ekonomiska och andra vinster är närmast obegränsade, samtidigt som det idag finns en berättigad oro för om maskinerna skall slå ut oss på arbetsmarknaden, samt (på lite längre sikt) huruvida mänskligheten skall kunna behålla herraväldet eller ens överleva den dag vi själva inte längre är de varelser på vår planet som har den högsta allmänintelligensen. Sistnämnda scenario kan låta extremt, men förtjänar att tas på allvar, och har det senaste året uppmärksammats av bland andra Nick Bostrom, Stephen Hawking, Max Tegmark och Bill Gates. Andra nya teknologier är tveeggade på liknande vis, och den möjligen största utmaningen på bara ett eller ett par decenniers sikt är hur vi skall undvika att kunskapsspridning inom syntetisk biologi leder till ohyggliga massförstörelsevapen i händerna på terrorister.

När så här mycket står på spel är det enligt min mening alltför ansvarslöst att prioritera mellan forskningsområden med hänsyn enbart till forskningens kvalitet och inte till dess utsikter att påverka samhället och våra liv. Om forskningens potentiella konsekvenser bara var av godo skulle jag kunna köpa tanken att enbart se till forskningens kvalitet och strunta i de samhälleliga konsekvenserna – särskilt för en finansiär som Vetenskapsrådet med ett särskilt ansvar för grundforskningen. Men med tanke på riskerna finner jag detta ohållbart. Ingen forskningsfinansiär bör tillåta sig att stödja forskning vars risker för mänskligheten är större än de positiva möjligheterna.

Så vilka framtida teknologier och forskningsområden bör vi i första hand satsa på för att maximera chanserna för ett lyckligt utfall för mänskligheten? Vilka områden är mindre viktiga, vilka bör vi beträda med stor försiktighet, och finns det rentav områden som vi helt bör undvika? Vår kunskap i dessa frågor är ytterst ofullständig, men vi behöver göra vad vi kan för att besvara dem. Att ignorera dem, vilket mestadels är vad vi gör idag, är liktydigt med att med bindel för ögonen springa rakt fram i ett minfält.

Ett rimligt första steg skulle kunna vara att ta fram en systematisk översikt över den kunskap som redan idag faktiskt finns beträffande globala risker med nya teknologier och relaterade framtidsfrågor. En sådan kunskapsöversikt skulle sedan kunna fungera som som stöd för de ämnesmässiga prioriteringar som Vetenskapsrådet och andra forskningsfinansiärer gör. Under mina drygt fem år som ledamot i Vetenskapsrådets NT-råd har jag då och då – så ofta jag vågat med hänsyn till risken att framstå som en omöjlig monoman – tagit upp hur angeläget detta är. Dessa ansträngningar har dock inte krönts med framgång, och de ämnesöversikter Vetenskapsrådet tog fram förra året (i vilka faror i samband med nya teknologier blott berörs pliktskyldigast och i största förbigående) fyller inte alls den önskade funktionen. Jag har därför försökt mig på även andra vägar framåt, inklusive författandet av boken Here Be Dragons: Science, Technology and the Future of Humanity (Oxford University Press, planerat boksläpp i januari 2016), i vilken jag efter bästa förmåga skisserar de möjligheter och faror som ligger framför oss, och argumenterar för framsynthet.

Jag har här fokuserat på forskningsfinansiärens roll och ansvar, men det finns givetvis andra aktörer som också har ett ansvar i frågan, inte minst politiker och forskarna själva. I ett komplext samhällsmaskineri med många olika aktörer är det frestande att rycka på axlarna och tycka att ansvaret borde vila på någon annan, men ett sådant förhållningssätt duger inte - lika lite för forskningsfinansiärer som för politiska makthavare, universitet och den enskilde forskaren.

6 kommentarer:

  1. När det gäller AI hörde jag någon "expert" (tyvärr glömt hans namn) säga om AI, att AIn redan är överlägsen människan i vissa avseenden, t.ex. att lagra mänskligt kunnande osv. Däremot hävdade han, att AIn pss är totalt underlägsen människan när det gäller nyskspande idéer.

    Av ovannämnda anledningar ansåg han också att skolan har totalt fel inriktning idag. Skolan fokuserar fortfarande på "korvstoppning" av kunskaper, vilket då inte behövs, eftersom den biten klaras av datorerna. Skolan skall ha ett annat fokus, nämligen att undervisa mera i nytänkande.

    Tyvärr tror jag att den här "experten" har fel, om än inte till 100%. Hur skall man kunna ägna sig åt nytänkande om man inte förstår hur dagens värld fungerar? Jag skulle nog dessutom känna mig otrygg om jag inte hade grundläggande kunskaper i matematik och fysik.

    Min poäng är att visst skall skolan träna eleverna i nytänkande, men det bör samtidigt innebära ett ännu hårdare fokus på kunskapsinlärande än idag. Genom denna kombination kan vi kanske undvika de faror Olle tar upp i sin artikel. Men varför skulle detta förhållningssätt fö vara något nytt? De borde väl ha varit skolans uppgift sedan begynnelsen?
    Kjell Eriksson

    SvaraRadera
    Svar
    1. Absolut!
      Men det berör bara en delmängd av den mindre viktiga delfrågan (arbetsmarknaden). Som introduktion till den viktigare delfrågan (herraväldet och överlevnad) kan jag rekommendera denna spännande intervju med Nick Boström:

      http://www.theguardian.com/science/audio/2014/aug/04/science-weekly-podcast-nick-bostrom-ai-artificial-intelligence

      /Daniel

      Radera
  2. Arne Söderqvist25 juni 2015 kl. 10:02

    En newsmillartikel jag skrev 2010 (kanske delvis inaktuell i några avseenden):

    År 1948 tilldelades schweizaren Paul Müller nobelpriset för sin upptäckt av bekämpningsmedlet DDT. Idag vet vi, att det man först trodde var ett undermedel i själva verket var ett kraftigt miljögift vars skadeverkningar kommer att göra sig påminda under mycket lång tid framöver, trots att DDT numera är förbjudet i stort sett överallt i världen.

    Om man nu, med facit i handen vill kalla den världsomspännande användningen av DDT för ett misstag, så kan man samtidigt konstatera att mänskligheten helt medvetet gör sig skyldig till nya misstag av motsvarande slag. Vem är till exempel inte medveten om de framtida problemen med radioaktivt avfall och med den ökande koldioxidhalten i atmosfären? Likväl produceras både kärnavfall och koldioxid i en högre takt än någonsin förr. Anledningen är att en vändning av den rådande trenden endast kan åstadkommas genom ingrepp som skulle upplevas som alltför drastiska. Även om de skadeverkningar DDT fört med sig varit möjliga att förutse på ett tidigt stadium hade det stora behovet av ett preparat av detta slag förmodligen gjort att lanseringen ändå inte gått att hejda.

    Till ovanstående kan även läggas det faktum att många av de nya kemiska ämnen som ständigt lanseras och många av de nya vanor vi tillägnar oss (att använda mobiltelefon, att äta "snabbmat", att utnyttja genförändrade grödor osv.) mycket väl kan leda till åtskilliga oanade effekter på längre sikt. Historien med DDT riskerar alltså att upprepa sig. Ett exempel på att man inte aningslöst kan slå sig till ro med tillförsikten att frid och fröjd ständigt kommer att råda är upptäckten av de första BSE-fallen ("galna kosjukan") för omkring tjugo år sedan. Sedan dess har vi även fått uppleva "fågelinfluensan" och "svininfluensan". Dessvärre kommer nog många fler väckarklockor av motsvarande slag att ringa framöver.

    Lösningen på ovanstående problematik är inte att drastiskt lägga om kursen. Omsvängningar av radikalt slag riskerar att skapa nya problem, kanske av värre slag än de problem de löser. Om man plötsligt skulle säga "Hit, men inte längre!" och tvärt slutar att producera kärnenergi kommer först och främst en betydande andel av elektriciteten i världen att stängas av och andra energikällor att tas i anspråk, med alla de nackdelar de i sin tur för med sig: luftföroreningarna kommer att öka, infra struktur måste skrotas i förtid och gigantiska alternativa nyinvesteringar måste göras. De våndor vi upplevt i vårt eget land inför stängningen av ett enda, internationellt sett litet kärnkraftverk, ter sig underliga ur till exempel ett ukrainskt perspektiv. Kärnenergin var i Ukraina i många fall det enda energialternativet och de som krävde en omedelbar stängning av Tjernobyl krävde alltså indirekt att flera av de ukrainska industrierna skulle stänga och att miljontals människor ska avstå från både elektrisk belysning, kylskåp och TV. På motsvarande sätt skulle en drastisk inskränkning av biltrafiken få helt oacceptabla konsekvenser i många länder. Om tillgängligheten på antibiotika inskränktes kraftigt, med tanken att försöka komma tillrätta med den tilltagande bakterieresistensen, skulle dödligheten öka dramatiskt, speciellt i världens fattigaste länder.

    SvaraRadera
  3. Arne Söderqvist25 juni 2015 kl. 10:03

    Fortsättning.

    Av ovanstående beskrivning att döma tycks hela mänskligheten befinna sig i en moment 22-situation. Alla vägar bär tydligen inte till Rom utan till avgrunden. Finns det då ens något hopp om möjlighet till överlevnad?

    För drygt 150 år sedan drabbades Irland av svår missväxt varvid i stort sett hela potatisskörden gick om intet. Omkring halva befolkningen svalt ihjäl. Många lyckades överleva genom att utvandra till USA. Det var för övrigt i samband med denna katastrof som de båda familjerna Kennedy och Fitzgerald lämnade Irland. Ingen skulle väl idag ens våga tänka tanken att en katastrof av något slag skulle kunna utplåna större delen av ett lands befolkning på bara något år. Vi förlitar oss helt trosvisst på att alla nya faror ska upptäckas i så god tid att de kan kvävas i sin linda. Detta är ju egentligen också, i enlighet med de inledande resonemangen i denna artikel, den enda möjlighet som faktiskt står till buds.

    Hur de framtida problemen kommer att gestalta sig är tyvärr omöjligt att förutsäga. Tyvärr är några garantier om deras lösning därför också omöjliga att utfästa. Konfronterade med detta dilemma måste vi ändå försöka göra det bästa möjliga av den uppkomna situationen.

    För att kunna bemästra de framtida svårigheter vi oundvikligen kommer att ställas inför behövs ett gediget kunnande inom främst naturvetenskap, teknik och matematik. Det kommer att behövas rätt kompetens för att exempelvis upptäcka och tolka subtila anomalier i naturen (såsom förändringar i utseende hos vissa växter, ändrad förekomst av vissa insekter osv.) och att därefter föreslå relevanta åtgärder. Kanske måste man utveckla ny teknik sedan man upptäckt att den gängse tekniken leder in i en återvändsgränd. Det kan även gälla att utveckla matematiska modeller av ett aktuellt problem, för att kunna bedöma effekten av olika tänkbara lösningar genom datasimulering.

    Som ett uttryck för sin oro över det kraftiga underskottet i statsbudgeten uttalade Göran Persson för några år sedan visdomsorden "Den som är satt i skuld är inte fri". Man kunde vidga perspektivet och konstatera att en nation där ett otillräckligt antal medborgare har den kompetens som ett gediget kunnande inom ämnesområdena naturvetenskap, teknik och matematik innebär, i framtiden kommer att befinna sig i en minst lika obehaglig beroende ställning till omvärlden. Det är följaktligen också lätt att inse att personer med utbildning inom dessa ämnesområden kommer att inneha nyckelpositioner i samhället i framtiden.

    SvaraRadera
  4. Arne Söderqvist25 juni 2015 kl. 10:03

    Fortsättning.

    Det är ur demokratisk synvinkel viktigt att personer ur alla grupper i samhället (män och kvinnor, de som är födda i Sverige och de som har invandrat hit, de som kommer från akademikerhem och de som kommer från hem utan studietraditioner, osv.) är representerade bland dem som förvärvar en utbildning som ger goda kunskaper inom de ovan nämnda ämnesområdena. Det är viktigt just därför att nyckelpositionerna inom samhällets olika sektorer till stor del kommer att innehas av personer med kunskaper i just dessa ämnen. Dessa personer kommer alltså till stor del att utgöra framtidens experter, med stort inflytande på hela samhällets utveckling. Skulle någon kategori vara underrepresenterad innebär detta ofelbart att denna grupps behov och intressen riskerar att bli åsidosatta. Man kan tex. konstatera att uppmärksamheten bland läkare av sjukdomar och skador relaterade till arbetsmiljön har ökat sedan rekryteringen till läkarutbildningen breddats. Läkarkåren utgörs ju inte heller längre av en exklusiv elit med tämligen homogen bakgrund, såsom var fallet för några decennier sedan. Omvänt kan också konstateras att möjligheterna till framgång ökar då det gäller att ta sig an en problematik om de agerande har olika erfarenheter och därmed kan bidraga med synpunkter ur olika perspektiv.

    Kärnkraftens vara eller inte vara i vårt land är en fråga av så hög rang att den blivit föremål för folkomröstning. Man kunde mycket väl säga att svenska folket fått ta ställning till ett eventuellt paradigmskifte rörande energiförsörjningen. Som bekant blev "beslutet" att samtliga reaktorer skulle vara avstängda senast år 2010. Man har kommit så långt i implementeringen av valresultatet att man genomfört symbolhandlingen att stänga ett kärnkraftverk. Några åtgärder därutöver tycks inte vara planerade och en god gissning är att ett betydande antal reaktorer fortfarande kommer att vara i drift åtskilliga år framåt.

    Anledningen till att man inte kommit längre i avvecklingen av kärnkraften är naturligtvis att de personer som utgör expertis på området anser att målsättningen är orealistisk. Alltså lever vi egentligen i en blandning av demokrati och expertvälde. Kanske måste det vara så för att ett nutida komplext samhälle ska fungera. I varje fall föreligger här ett lysande exempel på vikten av allsidig rekrytering till utbildningar som ger goda kunskaper inom naturvetenskap, teknik och matematik, dvs. sådana kunskaper som behövs hos dem som kommer att inneha många av samhällets nyckelpositioner i framtiden.

    SvaraRadera
  5. Bra artikel Olle! Jag har bara två små synpunkter där jag kanske inte är helt enig.

    1. Du skriver att "det idag finns en berättigad oro för om maskinerna skall slå ut oss på arbetsmarknaden". Jag är tveksam till att denna oro är berättigad. Självfallet leder t ex automatisering till att vissa arbeten slås ut, och på samma sätt med mer avancerad AI förstås. Samtidigt beror inte arbetslöshet generellt på att det finns för lite viktiga arbetsuppgifter kvar för männsikor. Jag skriver kort om det här: http://www.dn.se/debatt/repliker/en-cirkular-ekonomi-loser-inte-arbetsloshetsproblemet/

    2. Jag är helt enig om att potentiell användning av forskningsresultat (inkl katastrofala sådana) är viktiga för t ex forskningsfinansiärer och forskare att fundera på. Men det är även (eller borde vara) en central fråga för forskningen i sig (d v s inte bara för forskarna).

    Ser f ö mycket fram emot din bok!

    Olof Johansson-Stenman

    SvaraRadera