- Den springande punkten här är orden ”kan ha en annan användning för”. Jag ställer mig frågan: Vem, eller vad, bestämmer denna användning, detta syfte? För en maskin är det alltid maskinens design som avgör vad den ”strävar” efter. Det är konstruktören, det vill säga, vi människor, som avgör det. Det finns inga maskiner som själva kan formulera syften, önskemål eller värderingar. Det finns, mig veterligen, inte ens ansatser inom AI till hur en sådan maskin skulle se ut.
Många skulle svara: Men det är väl självklart vad en intelligent maskin skulle ha för mål? En självmedveten maskin vill ju hålla sig själv vid liv, föröka sig och ta över, om den bara kunde!
Men detta, hävdar jag, är ett felslut. Det är inte alls självklart att en självmedveten maskin skulle vilja det.
Vi tycker det vore självklart därför att vi, som biologiska organismer, genetiskt präglade av ca 3,6 miljarder års evolution, är så hårt programmerade att se överlevande och förökning som självklart goda saker. Om vi kunde spåra alla våra släktingar i rakt nedstigande led till de första cellerna, så skulle vi se att det som förenar samtliga anfäder och anmödrar var önskan och förmågan att fortplanta sig. Av de organismer som tappade lust eller förmåga att fortplanta sig, så har ingen avkomma överlevt. Trivialt, men samtidigt fundamentalt!
Evolutionens mekanismer fungerar alltså så att den organism som sammantaget har största drivkraften och förmågan att föröka sig och ta över så mycket som möjligt av sin miljö, är den som i det långa loppet har bäst chans att överleva. Följden är att vi har livsdriften bokstavligt talat kodad i våra gener. Endast de organismer som har generna för denna obändiga vilja till liv och expansion är de som faktiskt överlever. Alla andra försvinner.
Inget av detta gäller AI-maskiner. De har aldrig utsatts för evolution på så sätt att en maskin som, på något rudimentärt sätt, uppvisat en förmåga att motstå att bli avstängd har gynnats genom att man tillverkat flera sådana maskiner.
- (1) Om det nu skulle vara som Kraulis påstår, att de drivkrafter vi diskuterar förutsätter att varelsen ifråga har uppkommit genom den darwinska processen av mutation, selektion och reproduktion, så är det relevant att konstatera att en icke oäven del av AI-utvecklingen idag äger rum inom det ramverk som benämns evolutionära algoritmer, och som bygger på just dessa darwinska mekanismer. Precis som den biologiska evolutionen spontant (och som Kraulis förklarar) verkar leda fram till drifterna att "hålla sig själv vid liv, föröka sig och ta över", så är det knappast orimligt att detsamma skulle kunna hända inom evolutionära algoritmer.
(2) Man kan också tänka sig att en AI-utvecklare med vett och vilje bygger in drivkrafter i sin AI om att försvara sig, förbättra sig, reproducera sig och ta över världen. Det finns knappast några principiella hinder mot att programmera något sådant. En invändning skulle dock kunna vara att det förefaller så katastrofalt livsfarligt att göra det att ingen någonsin skulle försöka sig på en sådan sak. Historien ger emellertid inte några entydigt positiva besked om vår förmåga att stå emot frestelsen att bygga domedagsvapen, och det finns tillräckligt med fanatiska terrorister och Kim Jong-un-typer (för att inte tala om alla uttråkade tonåringar med hackerböjelser) för att vi inte rimligtvis skall känna oss säkra på att inga sådana AI-projekt pågår eller är att vänta.
(3) Det finns en mycket intressant teori utvecklad av Steve Omohundro som handlar om en uppsättning instrumentella drivkrafter som varje tillräckligt intelligent, självständigt och flexibelt tänkande AI kan väntas utveckla, nästan oavsett vilka ultimata drivkrafter som programmerats in i den från början; se Omohundros uppsatser The Basic AI Drives och Rational Artificial Intelligence for the Greater Good, och Nick Bostroms The Superintelligent Will. En AI kan vara tillverkad för ett till synes helt harmlöst syfte, som att tillverka så många gem som möjligt eller att vinna så många schackpartier mot starka spelare som möjligt, men kommer ändå då den nått en viss grad av allmänintelligens att sträva efter att förbättra sig själv, att få tillgång till större beräkningskapacitet, att undvika att bli avstängd och att bygga många kopior av sig själv - helt enkelt som ett instrument för att uppnå den ultimata målsättningen i termer av gemtillverkning eller schacksegrar. Detta kan få katastrofala konsekvenser, och vi vill verkligen inte att vår galax skall omvandlas till att enbart bestå av en enorm uppsättning gem.
