Den dag (om den någonsin inträffar) som forskningsområdet artificiell intelligens (AI) når ett genombrott och lyckas skapa en maskin med högre allmänintelligens än vi människor, så öppnas möjligheten för ett radikalt förlopp som eventuellt kan gå mycket snabbt - en intelligensexplosion så snabb att det ibland benämns Singulariteten. Även om detaljerna är svåra eller omöjliga att föutse, är den grundläggande mekanismen enkel: om en AI-varelse har högre allmänintelligens än vi, så är den bättre än vi på att skapa nya och smartare AI, och denna nya AI är i sin tur är ännu bättre på samma uppgift, och så vidare i en snabbt eskalerande spiral mot allt högre intelligensnivåer. Och när vi människor inte längre är de intelligentaste varelserna på vår planet, då verkar det naivt att ta för givet sig att vi skall kunna behålla herraväldet, och vad händer då?
Detta framtidsscenario förtjänar enligt min mening att tas på stort allvar, en uppfattning jag
ofta fört fram här på bloggen. Mina framgångar med att övertyga läsekretsen om att detta är viktigt har dock varit ytterst blandade, och den vanligaste uppfattningen (bäst artikulerad av
David Sumpter) verkar vara att hela idén är så science fiction-artat urflippad att den inte kan tas på allvar. De flesta kommer därför inte ens så långt som till att ta del av den sakargumentation som lagts fram för att en intelligensexplosion är möjlig.
Så vad göra? När
sakargumentationen inte når fram, då ser jag inget annat val än att ta till
auktoritetsargumentation för att om möjligt väcka läsekretsens intresse. Det finns nämligen en rad framstående forskare och tänkare (inklusive datalogins fader
Alan Turing och fysikersuperstjärnan
Stephen Hawking) som tagit problematiken på allvar. Och då, kära läsare, borde väl också du göra det?
Den auktoritet jag just idag väljer att lyfta fram är den svenskfödde men MIT-baserade fysikern och kosmologen
Max Tegmark, som
jag uppmärksammat tidigare här på bloggen och som är en av de mest kända nu aktiva svenska forskarna överhuvudtaget.
1 I måndags skrev han ett inlägg i
Huffington Post med rubriken
Humanity in Jeopardy, varur jag vill saxa några stycken:
Three years ago, on January 13, 2011, we humans were dethroned by a computer on the quiz show "Jeopardy!". A year later, a computer was licensed to drive cars in Nevada after being judged safer than a human. What's next? Will computers eventually beat us at all tasks, developing superhuman intelligence?
I have little doubt that this can happen: our brains are a bunch of particles obeying the laws of physics, and there's no physical law precluding particles from being arranged in ways that can perform even more advanced computations. But will it happen anytime soon? Many experts are skeptical, while others such as Ray Kurzweil predict it will happen by 2030. What I think is quite clear is that if it happens, the effects will be explosive: as Irving Good realized in 1965, machines with superhuman intelligence could rapidly design even better machines. Vernor Vinge called the resulting intelligence explosion The Singularity, arguing that it was a point beyond which it was impossible for us to make reliable predictions.
[...]
Will there be a singularity within our lifetime? And is this something we should work for or against? On one hand, it could potentially solve most of our problems, even mortality. It could also open up space, the final frontier: unshackled by the limitations of our human bodies, such advanced life could rise up and eventually make much of our observable universe come alive. On the other hand, it could destroy life as we know it and everything we care about - there are ample doomsdays scenarios that look nothing like the Terminator movies, but are far more terrifying.
I think it's fair to say that we're nowhere near consensus on either of these two questions, but that doesn't mean it's rational for us to do nothing about the issue. It could be the best or worst thing ever to happen to humanity, so if there's even a 1% chance that there'll be a singularity in our lifetime, I think a reasonable precaution would be to spend at least 1% of our GDP studying the issue and deciding what to do about it. Yet we largely ignore it.2
Läs hela inlägget!3
Fotnoter
1) Han är också aktuell med sin rykande färska bok Our Mathematical Universe, som jag just beställt hem och hoppas få anledning att återkomma till här på bloggen.
2) Även om Tegmarks
"if there's even a 1% chance that there'll be a singularity in our lifetime" är en mycket försiktig gissning, så får hans
"a reasonable precaution would be to spend at least 1% of our GDP studying the issue" ses mer som ett retoriskt grepp och en lätt utopisk vision än som ett realistiskt dagspolitiskt förslag. 1% av BNP svarar (mellan tummen och pekfingret) mot 1% av arbetskraften. I Sverige, med en arbetskraft om 4 600 000 syselsatta, skulle detta betyda att 46 000 av oss arbetade med att studera fenomenet intelligensexplosion. Detta är att jämföra med våra idag drygt 33 000 universitets- och högskolelärare - inte i datalogi eller i teknik- och naturvetenskap mer allmänt, utan i
alla ämnen (siffror hämtade ur
Statistisk årsbok 2013). Det är svårt att tänka sig att det på kort tid skulle gå att skaka fram så många personer med rätt slags kompetens, eller att det (i dagens kunskapsläge) skulle finnas tillräckligt med meningsfulla uppslag och ingångar i frågan för denna enorma arbetsstyrka att ta itu med. För min del skulle jag se det som ett fantastiskt fall framåt om vi åtminstone kunde samla ihop oss till att satsa så mycket som 0,001% av BNP på forskning i denna fråga.
Var försiktig med att ange Max Tegmark som en auktoritet, i alla fall om du vill tas på allvar.
SvaraRaderahttp://www.math.columbia.edu/~woit/wordpress/?p=6551
Jag känner naturligtvis till att Max Tegmarks multiversumetorier är minst sagt kontroversiella, någon som dock inte motsäger att han är en mycket framstående fysiker. I rättvisans namn bör jag väl dock medge att den nypa salt jag förordar vid läsning av Freeman Dyson lämpligen kan utsträckas till att gälla även Tegmark. (Härav följer dock inte med någon automatik att han har fel.)
RaderaHej Thomas: som du säkert märkt så gör just Peter Woit personangrepp mot ganska många fysiker vars teorier han ogillar. Om du har någon konkret kritik eller fråga kring beträffande min forsking eller det jag skrivit om hot mot mänsklighetens framtid, så vill jag gärna höra! /Max Tegmark
RaderaHej Max,
RaderaNu är det ju knappast bara Peter som är skeptisk till multiversum, även om de flesta fysiker uttrycker sig artigare. För mig förefaller det som att förklara Michelson-Morleys experiment med att människor bara kan överleva där etervinden är noll. Du har säkert gjort mycket seriös forskning också, men eftersom Olle använde dig som auktoritet på ett fringe-område (Kurzweils singularitet) borde det vara på sin plats att påpeka att du är mest känd som en förspråkare för multiversumideer.
För övrigt är jag övertygad att inga träd växer till himlen, vare sig det gäller datorkraft, oljeutvinning eller global temperatur.
Hej Thomas: kom ihåg att multiversa inte är en teori, utan en förutsägelse av vissa seriösa vetenskapliga teorier som i sin tur är falsifierbara och kan visa sig vara antigen korrekta eller inkorrekta. De mest populära varianterna av inflationsteorin för vår big bang förutsäger till exempel att rymden är större än den del av rymden vi kan se och kallar vårt universum, så att det finns åtminstone några parallella universa. Att förespråka inflationsteorin implicerar alltså att man förespråkar multiversumideer.
RaderaJag känner inte enda seriös fysiker som hävdar att inflationsteorin är "fringe" eller ovetenskaplig.
Är det inte dessutom så att Thomas Larsson gör sig skyldig till en halmgubbe då han talar om att "förklara Michelson-Morleys experiment med att människor bara kan överleva där etervinden är noll"? Nu har jag precis fått hem din bok, Max, och har inte hunnit läsa den ännu, så rätta mig om jag har fel, men jag kan inte föreställa mig att du skulle mena att ens dina mest vildsinta Level-IV-multiversum-teorier skulle ersätta relativitetsteorin och andra (jämförelsevis) jordnära fysikaliska teoribyggen? Det handlar ju om förklaringar på helt olika plan, och det ser ut som ett kategorifel att ställa dem mot varandra.
RaderaFrågor om antropiska resonemangs eventuella giltighet är djupa och svåra, och förtjänar bättre än att avfärdas med det slags billig one-liner TL här levererar.
Förmodligen beror ointresset på det orättvist låga anseende science fiction har. Jag tror det är sannolikt att vi går mot singulariteten, men eftersom det knappast händer de närmaste tio åren blir det svårt att finansiera 46 personer i Sverige. Tycker det var intressant att läsa Tegmarks artikel och kommer att läsa Why we need friendly AI.
SvaraRaderaÄndå lite förvånad att ingen annan kommenterat än.
Vänliga hälsningar
Nanotec
Det behövs dock en drift för att vilja reproducera sig, kan jag tänka mig. (Hos oss ligger denna drift främst hårdkodad i generna.)
SvaraRaderaUndrar var reproduktionsdriven och förbättringsviljan skulle sitta, i en AI-robot.
En bra fråga, Cecilia! För ett bra svar hänvisar jag till Steve Omohundro.
RaderaJag får läsa en bit från Omohundro vid tillfälle. Videon ser en smula lång ut. :-)
Radera"...our brains are a bunch of particles obeying the laws of physics...". Jag tror det är där det knyter sig för många läsare, även om jag tror det är ett viktigt alternativt synsätt till mycket flum och "divine inspiration".
SvaraRaderaOjdå Jonas, jag sitter tydligen väldigt hårt fast i en naturalistisk/fysikalistisk/scientistisk tankevärld, eftersom jag inte ens reflekterade över möjligheten att just den passagen skulle vara kontroversiell. Men när du säger det så inser jag naturligtvis att en läsare med vidskepliga böjelser kan finna den anstötlig. Dock tror jag att flertalet läsare med sådana böjelser för länge sedan fått nog av den överlägset scientistiska och rationalistiska tonen på denna blogg, och (likt han Daniel W med den besvärliga magåkomman) flytt fältet.
RaderaJag läser din blog men kommenterar inte i omsorg om din arma själ.
RaderaTack för din omtanke!
RaderaWhy would not human intelligence co-evolve with machine intelligence? Humans now benefit from dependence on automation. Cumulative gains from investment in AI and Moore's Law tell us that change will take place at an increasing rate. It's a snowball effect. I think that there is also a risk of a reverse snowball. Not all consumers will be able to keep up with the rate of change and that could act as a drag on it. Stresses could lead to fragmentation of society into haves and have-nots. That could lead to alienation and a loss of support for change. We have a democratic society to prevent the establishment of systems built on abuse of power. I think we need to worry more about discontinuities than singularities.
SvaraRaderaHar inte den här diskussionen om Singulariteten en stark religiös prägel? Finns det inte likheter med Pascals vad?
SvaraRaderaNär datorn föddes började en ny era för mänskligheten precis som när Jesus föddes och datorn lovade också att frälsa de som trodde på den.
Fredagen den 1 november 1946 kunde man i Stockholms-Tidningen se följande:
En fyrspaltig rubrik med texten: "TÄNKANDE MASKIN KAN SPELA SCHACK". Under denna en tvåspaltig rubrik: "Lord Mountbatten: "Andlig omvälvning genom minnesmaskin och elektronhjärna". Sen följde ett kort referat av ett invigningstal Mountbatten hållit vid British Institute of Radio Engineers 21-årsjubileum. I referatet får man veta att en maskin med 18000 rör kan lösa problem på 4 sekunder som det tar mänskliga hjärnan 10 dar att klara av och att " "Elektronhjärnan" utövar funktioner liknande dem som hittills ombesörjts av de halvautomatiska delarna av den mänskliga hjärnan. Detta sker genom radiorör som påverkar varandra på samma sätt som hjärncellerna."
Redan från födelsen presenterades datorn som en ”elektronhjärna” med alla associationer som denna bild medför. Med tanke på att atombomben fötts året innan och att världen nyss befriats från en gigantisk mänsklig katastrof bör de två nyfödda har påverkat tänkandet om mänsklighetens framtid oerhört starkt. Kärnenergin lovade undergång och evig tillgång på billig energi; datorns löften var väl för allmänheten mer oklara. Redan tidigt dök dock varningar upp. Norbert Wiener skrev en bok 1950 där han varnar för okritisk användning av maskiner som själva kan fatta beslut och problem och att mänskligheten gör sig beroende av dem. Boken läste jag i svensk pocketupplaga i mitten på 60-talet, men fanns på svenska 1952.
Vad som försiggick inom AI-forskningen fram till 80-talet märkte jag inte något av förrän i början av 80-talet. Då gick IVA’s chef Gunnar Hambreus ut i media och talade om de kommande överintelligenta datorerna. Liknande uttalanden gjordes av dataspecialister. Samtidigt lanserade japanerna ett projekt där man skulle utveckla 5:te generationens dator speciellt anpassade för att lösa AI-problem, bla skulle de kunna tolka naturligt språk och möjliggöra automatiska översättningar. Väst hade stor respekt för Japans elektroniska framgångar sedan 60-talets början och projektet tycks ha väckt viss oro hos USAs militärer. Jag minns ett föredrag om it-utveckligen som en ”auktoritet”, en professor i något matematiskt från KTH, höll för allmänheten där han entusiastiskt talade om de oerhörda förändringar som projektet skulle innebära och att det var helt säkert att det skulle lyckas. Emellertid tycks projektet ha bleknat bort för man hörde aldrig av något resultat. Så småningom tycks entusiasmen för AI ha svalnat för jag läste om kritiker som anklagat AI-forskarna för att de ”oversold” AI, varvid dessa kontrade med att AI var ”overbought” vilket nog var sant.
Själv blev jag misstrogen mot sk auktoriteter som gör uttalanden om framtiden. Någon intelligens i de datorer som spritts bland vanligt folk har jag aldrig sett. Fanns den så skulle väl giganter som Microsoft infekterat sina system med intelligenta hjälpfunktioner.
De bedrifter datorer dock utfört, tex inom schack, översättning, robotik, tycks ju helt bero av datorernas ökade råstyrka.
Varför bekymrar sig vissa för Singulariteten? Jag tror faktiskt att det är följden av ett spratt som evolutionen spelat oss när den tvingat på oss de religiösa instinkterna. De monoteistiska religionerna är fixerade vid grundarna av lärorna, Moses, Jesus, Muhammed och deras löften om framtiden. Turing har blivit en profet som hos vissa personer har samma funktion som Jesus hos kristna, och de går ständigt med en förhoppning om att Turings löften om datorns intelligenspotiential ska realiseras inom närmaste tiden. Fyllda av Turings ande vill de dela med sig av det glada budskapet att ur Molnet kommer att sänka sig en superintelligens som ska skänka de som trott på Turing den eviga lyckan och döma de som inte trott till evig smärta.
Den överoptimism som periodvis förekommit inom AI-forskningen är ett intressant faktum - se Armstrong och Sotala för en systematisk översikt. Du förlitar sig på detta faktum som en ursäkt för att inte behöva befatta dig med den seriösa argumentation (se t.ex. Yudkowsky) som finns för att en intelligensexplosion är trolig. Ditt argument är emellertid alltför likt (det uppenbart felaktiga) argumentet "Redan de gamla grekerna var rädda att himlen skulle ramla ned. Det gjorde den inte. Alltså kan våra koldioxidutsläpp omöjligtvis orsaka några farliga klimatförändringar" för att duga.
RaderaDitt tal om religion och avgudadyrkan är inte stort mer än glåpord. Parallellen till Pascals gambit håller bara om du har grund för att hävda att sannolikheten för en intelligensexplosion är extremt liten, men så länge du vägrar ta del av den relevanta litteraturen har du väldigt dålig grund för att göra en sådan sannolikhetsbedömning.
Tomas, tack för ditt citat ur Stockholms-Tidningen! Det kan vara både inspirerande och nedslående att se den optimism som föranleddes av elektronrören för över 50 år sedan. Orden "singularitet" och "explosion" kan möjligen framkalla bilder som känns föga realistiska, och det är naturligtvis befogat att vara skeptisk till "profeter" som förutspår händelser som aldrig tidigare har inträffat.
RaderaDet finns dock en viktig distinktion (som jag tror Olle också var inne på i sitt svar med parallellen till klimatförändringar) mellan å ena sidan de religiösa "domedagsprofetior" du antyder, och å andra sidan farhågorna om en eventuell singularitet. I det ena fallet handlar det om händelser som, om de kan inträffa, lika gärna kunde ha hänt tidigare (exempelvis att gud ger sig till känna och berättar vilken religion som hade rätt). I det andra fallet handlar det om konsekvenserna av faktiska skeenden som aldrig tidigare har inträffat.
Om man till exempel är bekymrad över att experiment i partikelfysik skulle kunna skapa ett svart hål som slukar jorden, är det befogat att fråga huruvida processer liknande dem i experimentet inträffar naturligt till följd av kosmisk strålning. Gör de det, behöver vi inte lita på att Stephen Hawking har räknat rätt, utan vi kan avfärda farhågorna med att jorden aldrig har blivit ett svart hål förut. Gör de inte det, är läget annorlunda.
Nu går vi omkring med schackvärldsmästare i byxfickan, och det har faktiskt aldrig hänt förut.
Intressant att min ytliga iakttagelse att AI-forskare starkt underskattat svårigheterna i branschen stämmer. Om en vargspecialist varnar för att vargen kommer inom kort och tar dina får men ingen varg dyker upp och denna varning upprepas under trettio års tid av olika vargspecialister utan att man ser svansen av vargen så är det rationellt att misstro nästa vargspecialist. Men trots det kan ju vargen komma. Men man bör ju handla rationellt. Vilket för mig är att uppskjuta läsningen av seriös argumentation om Singulariteten till efter min död och intressera mig för mer närliggande problem.
RaderaGlåpord? Avgudadyrkan? Jag ville peka på de psykologiska likheterna mellan religioner och Singularitetsfilosofin. Därför refererade jag till evolutionen vars förbannelse vi alla är drabbade av i form av människans natur. Vissa sociala mönster återkommer i helt olika sammanhang. Referatet från Stockholms-tidningen var avsett att tydliggöra hur dramatiskt datorns ”födelse” presenterades som inledningen av en ”andlig omvälvning”. AI har också en grundare, Alan Turing, som dels efterlämnade ett budskap innehållande ett löfte om framtida fantastiska händelser, dels själv blev ”korsfäst”. Likheterna är så slående att många säkert har noterat dem.
Detta har ju ingenting med sanningen att göra. Kristna har förstås helt andra kriterier för vad de uppfattar som sanning än den vetenskapliga rationella grunden som Singularitets-troende har.
”Molnet” som jag nämner är förstås föranlett av att Kurzweil, som tydligen förlagt Singulariteten till 2030, jobbar på Google.
Men religionsjämförelsen dök direkt upp när jag läste den av dig rekommenderade intervjun med Nick Boström.
När det gäller de Stephen Hawkins som auktoritet så läste jag att han förlorat 100 dollar på att slå vad om att man inte skulle finna Higgspartikeln. En prediktion som gällde ett område han är specialist på. Varför skulle man lite på hans prediktioner inom ett område som han aldrig sysslat med?
Max Tegmark skriver: ”our brains are a bunch of particles obeying the laws of physics, and there's no physical law precluding particles from being arranged in ways that can perform even more advanced computations.”
Att vi har molekyler i hjärnan har varit känt i hundratals år; att det borde gå att förbättra hjärnan har man trott sen Darwins tid och tankarna har existerat som socialdarwinism, rasbiologism, humangenetik och de stora genomskanningsprojekten, i Sverige Lifegene , som ska ge grund för det kommande avelssamhället..
Detta tillsammans med en autonom bil och Jeopardy-programmet är tydligen hans grund för att tro på Singulariteten. Hur många av Huffington Posts läsare accepterar ett sådant gigantiskt resonemangshopp?
Jag tycker att hans artikel vittnar om en mycket naiv föreställning om tidningens läsare.
Och varför ska man då tro på honom? För att han är mycket intelligent, elller för att han är mycket framgångsrik fysiker? Jag tycker det påminner om ”20 toppforskare varnar för IPCC”. Som visar sig vara 16 professorer och 4 docenter inom diverse områden. Men vilken tyngd hade detta?
Jag råkar ha en artikel från 1981, skriven av Herbert A. Simon: Prometheus or Pandora: The Influence of automation on Society; iEEE Computer November 1981. Artikeln behandlar automationen och samhället, speciellt utvecklingen i samband med AI.
RaderaI artikeln nämner han grunderna för tron på AI på följande sätt:
"What we have learned about the computer, and what the world needs to learn about it, is that it is a perfeactly general symbol-maniputlating device. I will just assert the usual Turing theorem: "Anything that can be done with symbols can be done with a garden variety, general-purpose, programmable computer"
There is a hypothesis about such devices which some of us believe very deeply: that being a symbol system - i.e., having the basic capabilities of reading symbols, writing symbols, storing symbols, comparing symbols, erasing symbols, copying symbols, and branching as a result of comparison - that posessing those capabilities with respect to patterns is a necessary and sufficient condition for a system to do what wi call "thinking."
Det är väl ändå detta som är grunden för AI-forskningen: Turings theorem och hypotesen om datorns möjlighet att ”tänka”. Hypotes skriver han som ”some of us believe”.
Resten av artikeln diskuterar vilka samhällseffekter en automatisering av ”mental tasks” kommer att få. Han hävdar att det inte finns anledning att frukta arbetslöshet, kriminalitet, inkräktande på integritet mm.
Att jag råkade få tag på artikeln berodde på att jag undrade över just automation och arbetslöshet.
I slutet av artikeln:
"The most important impact of the computer revolution is going to be on our view of ourselves." "If the system hypothesis I proposed earlier is even nearly true - and of course computers will telll us increasingly to what extent it is true or not - then thinking is not unique to man. Thinking is a characterstic that is shared by man with other species, including artificial species like the computer, which can manipulate symbols in a very general way.”
Han jämför med Copernicus och Darwin och förändringen i människans syn på sig själv. Så även han betonar den ”andliga omvälvningen”.
Alltså datorerna kommer att visa i vilken utsträckning hypotesen är sann. Men hur mycket har datorerna visat hittills, när det gått trettio år sedan artikeln skrev. Han säger inget konkret om utvecklingen, möjligen ger han några felaktiga påståenden om den allmänna datoranvändningen, vilket bara visar hur svårt det är att förutsäga framtiden.
Den här artikeln har jag också som bakgrund när jag inte är övertygad om Singulariteten.
Det där var mycket på en gång, Tomas Lindgren. Jag nöjer mig med två korta påpekanden.
Radera1. Du kritiserar Tegmark för att hans korta Huffington Post-text inte är tillräckligt detaljerad. Och du vägrar kategoriskt att ta del av den mer detaljerat och stringent argumenterade litteratur jag hänvisar till och som Tegmark stödjer sig på. Var för sig kan dessa båda ståndpunkter i princip tänkas vara försvarbara, men när du framför dem samtidigt blir det lite löjligt.
2. Din parallell till det där sorgliga gamla förnekaruppropet "20 toppforskare: Koldioxiden påverkar inte klimatet" från 2008 håller inte alls. Vad de 20 "toppforskarna" gjorde var att förneka ett berg av vetenskaplig litteratur, med tusentals och åter tusentals vetenskapliga uppsatser. Om det fanns ett motsvarande berg av vetenskapliga uppsatser som samfällt visade att någon intelligensexplosion inte kommer att inträffa, och om Tegmark blankt ignorerade denna enorma kunskapsmassa, så skulle det ligga något i parallellen, men något sådant berg finns inte. (Du kan på sin höjd skaka fram någon eller några enstaka uppsatser med det budskapet, som t.ex. Drew McDermotts uselt argumenterade "Response to 'The Singularity' by David Chalmers"), men att antyda att det skulle föreligga något evidensläge mot en intelligensexplosion liknande det klimatvetenskapliga evidensläget för en pågående och farlig antropogen global uppvärmning är helt orimligt. Med ditt sätt att argumentera skulle alla nya forskningsområden och allt nytänkande kunna dömas ut med paralleller till klimatförnekeri.
Om det finns minsta potential för vapenapplikationer i singulariteten så kan man nog på förhand betrakta utgången som given.
SvaraRaderaOlof, jag tror oro för vapenapplikationer innebär fokus på en mindre risk när ögonen istället borde vara på stora (största) risken: inte att människor brukar den nya tekniken fel utan att den nya tekniken tar över. För ett sånt scenario är det inte nödvändigt att tekniken utvecklas i inriktning mot vapenapplikation. Se Omohundros schackexempel. Se även http://www.fhi.ox.ac.uk/wp-content/uploads/Racing-to-the-precipice-a-model-of-artificial-intelligence-development.pdf
SvaraRadera"Perhaps Nature’s experiment with “intelligence” will end up being a grand failure. Intelligent beings end up bashing their world into climate instability and then extinction. Good try, though." citerar en kommentator på Gail Tverbergs blog
SvaraRadera