Implosion istället för explosion?

Singulariteten, som jag upprepade gånger tagit upp till diskussion här på bloggen, är ett hypotetiskt framtidsscenario där skapandet av en övermänsklig artificiell intelligens (AI) leder till en självförstärkande spiral och en explosionsartad utveckling mot allt intelligentare maskiner, med radikala men extremt svårförutsägbara följder för våra liv och för samhället. Den mest rimliga hållningen i förhållande till det troliga i Singulariteten är enligt min mening än så länge agnosticism. Visserligen är jag, när jag t.ex. läser David Chalmers uppsats The Singularity: a philosophical analysis (plus de många svar han fick, och hans egen sammanfattande rejoinder), böjd att tycka att argumenten för att en Singularitet är trolig (förutsatt att inte en civilisationskollaps av ett eller annat slag hinner före) förefaller starkare än dem emot. Men jag är naturligtvis ändå intresserad av att ta del av argumenten emot.

Ett visserligen starkt spekulativt (i likhet med mycket av diskussionen kring Singulariteten), men ändå intressant, argument för att Singulariteten inte kommer att inträffa, presenterades för en tid sedan av matematikern och författaren David Eubanks i en bloggpost på Institute for Ethics and Emerging Technologies. Ett centralt element i de flesta Singularitets-scenarier är att tillräckligt intelligenta robotar kan ha förmågan att mixtra med sina egen mjuk- eller hårdvara för att på så vis bli ännu intelligentare. Eubanks tar fasta på detta, men med en annorlunda twist, där den tänkta intelligensexplosionen ersätts av något som mer liknar en implosion:

A robotic mining facility has been built to harvest rare minerals from asteroids. Mobile AI robots do all the work autonomously. If they are damaged, they are smart enough to get themselves to a repair shop, where they have complete access to a parts fabricator and all of their internal designs. They can also upgrade their hardware and programming to incorporate new designs, which they can create themselves.

Robot 0x2A continually upgrades its own problem-solving hardware and software so that it can raise its production numbers. It is motivated to do so because of the internal rewards that are generated—something analogous to joy in humans. The calculation that leads to the magnitude of a reward is a complex one related to the amount of ore mined, the energy expended in doing so, damages incurred, quality of the minerals, and so on.

As 0x2A becomes more acquainted with its own design, it begins to find ways to optimize its performance in ways its human designers didn’t anticipate. The robot finds loopholes that allow it to reap the ‘joy’ of accomplishment while producing less ore. After another leap in problem-solving ability, it discovers how to write values directly into the motivator’s inputs in such a way that completely fools it into thinking actual mining had happened when it has not.

Idén att en robot skulle kunna balla ur på detta vis känns inte särskilt kontroversiell. Eubanks bloggpost väcker emellertid frågan om en mycket radikalare möjlighet, nämligen att varje tillräckligt intelligent varelse kommer att bete sig på detta vis.

Varianter av det slags manipulation av det egna belöningssystemet som roboten 0x2A ägnar sig åt är inte okända hos människor, och Eubanks nämner flera exempel. Med hjälp av preventivmedel njuter vi frukterna av det belöningssystem för reproduktion som det Darwinska naturliga urvalet försett oss med, men utan själva reproduktionen. Med kemiska medel eller med hjälp av böcker och filmer försätter vi oss i sinnestillstånd som inte (med de avbildningar som evolutionen försett oss med) korrekt motsvarar hur verkligheten därute är beskaffad. Kanske är den på den inslagna vägen av belöningssystemsmanipulation vår framtid står att finna?

Den amerikanske politiska filosofen Robert Nozick gillade inte den hedonistiska utilitarism enligt vilken maximering av världens totala mängd njutning minus dito mängd lidande är det enda fundamentalt eftersträvansvärda och grunden för den sanna etiken. För att påvisa dess orimlighet föreslog han som ett tankeexperiment den så kallade upplevelsemaskinen. En sådan maskin skickar optimala elektriska signaler (samtidigt som den kopplar bort alla de sinnesstimuli som normalt strömmar in från yttervärlden) direkt in i den mänskliga hjärnan och stimulerar lustcentrum på ett sätt som skänker oss maximal njutning. Hur skulle du, kära läsare, ställa dig till ett erbjudande om att koppla upp dig mot Nozicks upplevelsemaskin (plus dropp och övriga nödvändiga livsuppehållande åtgärder) resten av livet?

Jag tror att de flesta spontant ryggar för ett sådant erbjudande. Nozick säger bestämt nej, och menar att hedonismen därmed måste vara fel ute: det finns annat som är viktigt än den rena njutningsnivån. Men vad är det då som fattas i livet som uppkopplad mot upplevelsemaskinen? Autenticitet! Du må ha aldrig så underbara upplevelser där i uppelvelsemaskinen, men de är ju inte autentiska, inte på riktigt.

När Neo i filmen The Matrix valde det röda pillret istället för det blå, så drevs han av en önskan om autenticitet. Men varför är då autenticitet så viktigt? Begreppet förtjänar att problematiseras (och i detta sammanhang vill jag varmt rekommendera David Chalmers uppsats The Matrix as Metaphysics). Tänk om Nozick har fel, tänk om autenticitet i själva verket visar sig vara betydelselöst, tänk om det enda som egentligen betyder något är den hedonistiska njutningsnivån, och tänk om varje tillräckligt intelligent varelse är dömd att inse detta? Det skulle kunna vara så, och det kan hända att i takt med att vi blir allt intelligentare (något som redan pågår och som kan väntas accelerera), alltmer närmar oss den till synes absurda framtid där hela mänskligheten ligger uppkopplad mot lyckomaskiner, och all annan verksamhet (förutom viss automatiserad kraftförsörjning) ligger nere. Om detta rentav är ett universellt fenomen, så förklarar det den Fermis paradox som jag diskuterat i några tidigare bloggposter.

Låt oss säga att vi råkar ut för att våra klipskaste robotar beter sig som 0x2A i Eubanks scenario. Vi skulle då kunna försöka stävja sådant urartat beteende genom att programmera in en stark preferens för autenticitet i dessa och framtida robotar. Det är emellertid inte självklart att detta fungerar. 0x2A kanske upptäcker att han kan kortsluta även det motivationssystemet genom att helt enkelt ställa sin autenticitetsdetektor på maximum oavsett verklig autenticitetsnivå.

Så tror jag att Eubanks har rätt? Nja, kanske inte. Datalogen, fysikern och mångsysslaren Stephen Omohundro föreslår i sin läsvärda uppsats The basic AI drives att preferens för och bevarande av autenticitet inte bara är något som vi kan programmera in i våra AI:n, utan rentav något som i tillräckligt intelligenta sådana kommer att tendera att upptså spontant. Varken Eubanks eller Omohundro ger några slutgiltigt avgörande argument för sina ståndpunkter, och bådas texter bygger minst lika mycket på spekulation som på rigorösa resonemang, men båda är enligt mening värda att ta på allvar i framtida forskning kring avancerade AI:n och deras motivationssystem.

För ovrigt har xkcd ett helt annat förslag på hur teknikutvecklingen kan komma att stanna upp innan vi når fram till Singulariteten: