- Den springande punkten här är orden ”kan ha en annan användning för”. Jag ställer mig frågan: Vem, eller vad, bestämmer denna användning, detta syfte? För en maskin är det alltid maskinens design som avgör vad den ”strävar” efter. Det är konstruktören, det vill säga, vi människor, som avgör det. Det finns inga maskiner som själva kan formulera syften, önskemål eller värderingar. Det finns, mig veterligen, inte ens ansatser inom AI till hur en sådan maskin skulle se ut.
Många skulle svara: Men det är väl självklart vad en intelligent maskin skulle ha för mål? En självmedveten maskin vill ju hålla sig själv vid liv, föröka sig och ta över, om den bara kunde!
Men detta, hävdar jag, är ett felslut. Det är inte alls självklart att en självmedveten maskin skulle vilja det.
Vi tycker det vore självklart därför att vi, som biologiska organismer, genetiskt präglade av ca 3,6 miljarder års evolution, är så hårt programmerade att se överlevande och förökning som självklart goda saker. Om vi kunde spåra alla våra släktingar i rakt nedstigande led till de första cellerna, så skulle vi se att det som förenar samtliga anfäder och anmödrar var önskan och förmågan att fortplanta sig. Av de organismer som tappade lust eller förmåga att fortplanta sig, så har ingen avkomma överlevt. Trivialt, men samtidigt fundamentalt!
Evolutionens mekanismer fungerar alltså så att den organism som sammantaget har största drivkraften och förmågan att föröka sig och ta över så mycket som möjligt av sin miljö, är den som i det långa loppet har bäst chans att överleva. Följden är att vi har livsdriften bokstavligt talat kodad i våra gener. Endast de organismer som har generna för denna obändiga vilja till liv och expansion är de som faktiskt överlever. Alla andra försvinner.
Inget av detta gäller AI-maskiner. De har aldrig utsatts för evolution på så sätt att en maskin som, på något rudimentärt sätt, uppvisat en förmåga att motstå att bli avstängd har gynnats genom att man tillverkat flera sådana maskiner.
- (1) Om det nu skulle vara som Kraulis påstår, att de drivkrafter vi diskuterar förutsätter att varelsen ifråga har uppkommit genom den darwinska processen av mutation, selektion och reproduktion, så är det relevant att konstatera att en icke oäven del av AI-utvecklingen idag äger rum inom det ramverk som benämns evolutionära algoritmer, och som bygger på just dessa darwinska mekanismer. Precis som den biologiska evolutionen spontant (och som Kraulis förklarar) verkar leda fram till drifterna att "hålla sig själv vid liv, föröka sig och ta över", så är det knappast orimligt att detsamma skulle kunna hända inom evolutionära algoritmer.
(2) Man kan också tänka sig att en AI-utvecklare med vett och vilje bygger in drivkrafter i sin AI om att försvara sig, förbättra sig, reproducera sig och ta över världen. Det finns knappast några principiella hinder mot att programmera något sådant. En invändning skulle dock kunna vara att det förefaller så katastrofalt livsfarligt att göra det att ingen någonsin skulle försöka sig på en sådan sak. Historien ger emellertid inte några entydigt positiva besked om vår förmåga att stå emot frestelsen att bygga domedagsvapen, och det finns tillräckligt med fanatiska terrorister och Kim Jong-un-typer (för att inte tala om alla uttråkade tonåringar med hackerböjelser) för att vi inte rimligtvis skall känna oss säkra på att inga sådana AI-projekt pågår eller är att vänta.
(3) Det finns en mycket intressant teori utvecklad av Steve Omohundro som handlar om en uppsättning instrumentella drivkrafter som varje tillräckligt intelligent, självständigt och flexibelt tänkande AI kan väntas utveckla, nästan oavsett vilka ultimata drivkrafter som programmerats in i den från början; se Omohundros uppsatser The Basic AI Drives och Rational Artificial Intelligence for the Greater Good, och Nick Bostroms The Superintelligent Will. En AI kan vara tillverkad för ett till synes helt harmlöst syfte, som att tillverka så många gem som möjligt eller att vinna så många schackpartier mot starka spelare som möjligt, men kommer ändå då den nått en viss grad av allmänintelligens att sträva efter att förbättra sig själv, att få tillgång till större beräkningskapacitet, att undvika att bli avstängd och att bygga många kopior av sig själv - helt enkelt som ett instrument för att uppnå den ultimata målsättningen i termer av gemtillverkning eller schacksegrar. Detta kan få katastrofala konsekvenser, och vi vill verkligen inte att vår galax skall omvandlas till att enbart bestå av en enorm uppsättning gem.
Kastar ut en idé: biologisk evolution bygger sannolikt på rna-molekylens förmåga att katalysera sin egen replikation. Det är ju drivkraften bakom allt liv. Går det att föreställa sig en AI i rna:s tjänst? Långsökt kanske, men här på bloggen brukar det vara högt i tak!
SvaraRaderaAnonym: Pröva att byta ut RNA mot begreppet 'meme' och se om det tar dig till ett djupare kaninhål.
SvaraRaderaHar ordet 'biologisk' verkligen någon signifikans alls? Evolution är en modellös algoritm. Biologisk evolution verka betyda något så flummigt som "om vi utgår från det väldigt komplexa med sammankopplade system som vi benämner livets träd för att det är det enda exempel vi har på det som vi lite osäkert benämner som intelligens" Att det gång på gång uppstår en diskussion kring ordet biologisk tror jag beror på att väldigt många människor fortfarande vill tro att det finns en magisk livsmassa som särskiljer sig från tex gråsten. Jag tror att om de slutade titta på massa i alla dess former utan istället betraktade rörelsen den uppvisar så skulle de hitta vad de söker (eller komma närmre i alla fall).
ref.: "The word ―meme‖ is a neologism coined by Richard Dawkins in The Selfish Gene (1976), (although it may have had earlier roots) and defined as a self-reproducing and propagating information structure analogous to a gene in biology. Dawkins focused on the meme as a replicator, analogous to the gene, able to affect human evolution through the evolutionary algorithm of variation, replication, and differential fitness. But for near-term military or national security applications, the relevant characteristics of the meme are that it consists of information which persists, propagates, and influences human behavior. "
http://www.semioticon.com/virtuals/memes2/memetics_compendium.pdf
Har aw en poäng? http://t.co/qKBTL8j1Bj
SvaraRaderaAnders Wijkman har helt klart en mycket viktig poäng i artikeln du länkar till. Men de framtidsscenarier han diskuterar rör sig, som jag ser det, inte på samma plan som de jag diskuterar i bloggposten ovan.
RaderaI en bloggpost för ett par månader sedan uppmärksammande jag ett debattinlägg av Stephen Hawking et al i The Guardian, där de delar upp robotiseringens och AI-utvecklingens riskabla konsekvenser i tre tidsperspektiv:
"In the near term, world militaries are considering autonomous-weapon systems that can choose and eliminate targets; the UN and Human Rights Watch have advocated a treaty banning such weapons. In the medium term, as emphasised by Erik Brynjolfsson and Andrew McAfee in The Second Machine Age, AI may transform our economy to bring both great wealth and great dislocation.
Looking further ahead, there are no fundamental limits to what can be achieved: there is no physical law precluding particles from being organised in ways that perform even more advanced computations than the arrangements of particles in human brains. An explosive transition is possible, although it might play out differently from in the movie: as Irving Good realised in 1965, machines with superhuman intelligence could repeatedly improve their design even further, triggering what Vernor Vinge called a 'singularity' and Johnny Depp's movie character calls 'transcendence'."
Det första och kortaste perspektivet diskuterade jag förra året i en bloggpost rubricerad Stoppa mördarrobotarna!. Det andra och meddellånga perspektivet är det som Wijkman tog upp i sin GP-artikel, och som jag diskuterade i två bloggposter i april. Det tredje och längsta tidsperspektivet är det jag behandlar i bloggposten ovan (liksom i en lång rad andra).
Härmed är dock inte sagt att Hawkings et al uppdelning är oproblematisk. De tre nivåerna har samband som gör att de inte alltid bör diskuteras helt separat. Och vad gäller den långsiktigaste nivån - den de kallar "Looking further ahead..." - har vi problemet att vi har väldigt lite pejl på vad som är ett realistiskt tidsperspektiv. Det kan dröja århundraden innan den omtalade intelligensexplosionen blir verklighet, men det kan också vara så att den som tänker att det i alla fall inte kan bli aktuellt de närmaste decennierna har en gigantisk överraskning att vänta.
Tack för länkarna, blir lätt lite slö på mobilen. ska titta närmare på The Second Machine age. Alltid svårt att driva frågor inom politiken som inte gör skillnad nästa mandatperiod.... tyvärr.
RaderaPer Kraulis har nu svarat med en andra egen bloggpost i ämnet, rubricerad Artificiell intelligens: hot, möjlighet eller fantasi? Han kommenterar mina argument (1), (2) och (3) ovan. Låt mig helt kort replikera på var och en.
SvaraRadera(1) Här utgår Kraulis från att en framgångsrik evolutionäralgoritmisk väg till AI nödvändigtvis behöver återskapa den miljö som biologiska organismer evolverat i. Kanske är det så, kanske inte. Här krävs ödmjukhet, men om jag måste välja så tippar jag på det senare.
(2) Här måste jag medge att jag missförstod Kraulis ursprungliga intention. Nu förklarar han att han menar att eftersom överlevnadsdrivkrafter etc uppstod på evolutionär väg, så är evolution antagligen den enda möjliga vägen till överlevnadsdrivkrafter etc. Så kan det möjligen tänkas ligga till, men för att hävda detta krävs tyngre argumentation. Själv har jag t.ex. svårt att se varför det skulle vara principiellt omöjligt att på artificiell väg härma de existerande biologiska mekanismerna. Och när man väl fått fungerande mekanismer på plats så blir det irrelevant hur de uppstått (naturlagarna är, såvitt vi vet, markovska).
(3) Kraulis varnar i sin första bloggpost för antropomorft tänkande, men hans påstående att intelligenta självmedvetna varelser automatiskt kommer att drabbas av existentiell ångest och upphöra med all expansiv verksamhet luktar antropomorfism lång väg. Det är ändå fullt möjligt att han har rätt i sin spekulation (och jag har i en ändre bloggpost skisserat en nära besläktad möjlighet, s.k. wireheading), men för att vi skall övertygas om det krävs väldigt mycket tyngre argumentation än den vaga intuition Kraulis levererar. Ett övervägande som jag tycker talar emot hans hypotes är att medan en AI kan förses med en ultimat drivkraft (t.ex. att producera gem, eller vinna schackpartier), så är människans nedärvda drivkrafter enbart ett hopkok av instrumentella ad hoc-drivkrafter (t.ex. att äta och idka könsumgänge), och skulle det inte kunna vara så att vår fallenhet för existentiell ångest härrör just från denna hopkoksegenskap och avsaknaden av ultimat drivkraft?
Sammanfattningsvis tycker jag att det är fortsatt bra att Per Kraulis funderar över dessa frågor, men tror att han skulle vinna på att (a) ta del av litteraturen på området, och (b) dämpa lite på den tvärsäkerhet som han tycker sig se hos sina meningsmotståndare, men som tycks mig längre gången hos Kraulis än hos mig och hos flertalet ledande tänkare på området. Och på tal om epistemisk ödmjukhet tycker jag att det är värt att citera vad Nick Bostrom skriver i förordet till sin nya bok Superintelligence:
"Many of the points made in this book are probably wrong. [...] I have gone to some length to indicate nuances and degrees of uncertainty throughout the text - encumbering with an unsightly smudge of "possibly", "might", "may", "could well", "it seems", "probably", "very likely", "almost certainly". [...] Yet [...] they must be supplemented here by a systematic admission of uncertanity and fallibility. This is not false modesty: for while I believe that my book is likely to be seriously wrong and misleading, I think that the alternative views that have been presented in the literature are substantially worse - including the default view [that] we can for the time being safely or reasonably ignore the pospect of superintelligence.
Per Kraulis har nu författat en tredje bloggpost om AI, denna gång som svar på min kommentar 11:44 här ovan. Han hävdar att så snart en dator förmår analysera sin ultimata drivkraft kommer denna att upphöra att vara en ultimat drivkraft (ett intressant påstående, som skulle bli ännu intressantare om det backades upp med ett argument), och han lovar att bekanta sig med litteraturen på området (bra!).
Radera