Det är inte säkert att den så kallade Singulariteten - ett hypotetiskt framtidescenario där AI (artificiell intelligens) överskrider mänsklig intelligens och orsakar en explosionsartad fortsatt utveckling - kommer att inträffa. Däremot finns goda argument för att något sådant kan inträffa, och för att det inte är helt osannolikt. Meningarna om detta går isär, men med tanke på vilka enorma konsekvenser för mänskligheten en eventuell Singularitet skulle få, så vill jag mena att frågan är värd att ta på allvar. En bra och välavvägd introduktion (som jag flera gånger hänvisat till här på bloggen) är David Chalmers uppsats The Singularity: a philosophical analysis, publicerad i Journal of Consciousness Studies.
Det har länge varit känt att samma tidskrift avser publicera ett temanummer med reaktioner på Chalmers uppsats. Med tanke på vilken snäv och närmast subkulturell krets som hittills intresserat sig för Singulariteten är det enligt min mening hög tid att begreppet diskuteras i något bredare akademiska kretsar, och sagda temanummer - som nu äntligen utkommit - är därför starkt efterlängtat. Tyvärr har tidskriften den dåliga smaken att gömma artiklarna bakom en betalvägg1, men lyckligtvis har Luke Muehlhauser på bloggen Less Wrong skrapat ihop en egen innehållsförteckning med länkar till de av texterna (flertalet) som är tillgängliga i preprintversion på andra håll på nätet.
Att döma av de tillgängliga texterna är tidskriftsnumret minst sagt ojämnt.2 Jag har ännu inte hunnit lusläsa samtliga dessa texter, men kan ändå säga något om var och en:
Det har länge varit känt att samma tidskrift avser publicera ett temanummer med reaktioner på Chalmers uppsats. Med tanke på vilken snäv och närmast subkulturell krets som hittills intresserat sig för Singulariteten är det enligt min mening hög tid att begreppet diskuteras i något bredare akademiska kretsar, och sagda temanummer - som nu äntligen utkommit - är därför starkt efterlängtat. Tyvärr har tidskriften den dåliga smaken att gömma artiklarna bakom en betalvägg1, men lyckligtvis har Luke Muehlhauser på bloggen Less Wrong skrapat ihop en egen innehållsförteckning med länkar till de av texterna (flertalet) som är tillgängliga i preprintversion på andra håll på nätet.
Att döma av de tillgängliga texterna är tidskriftsnumret minst sagt ojämnt.2 Jag har ännu inte hunnit lusläsa samtliga dessa texter, men kan ändå säga något om var och en:
- Francis Heylighen tar i uppsatsen A brain in a vat cannot break out: why the Singularity must be extended, embedded and embodied sin utgångspunkt i forskningsområdet embodied cognition. Han påpekar att en mänsklig hjärna inte fungerar utan ett ständigt signalutbyte med kropp och omvärld, och hävdar att det på samma vis inte går att skapa en AI instängd i sin burk. Istället tror han mer på att en övermänsklig intelligens kan uppstå ur självorganiserande nätverk som Internet.
- I det korta men inte alldeles lättsmälta bidraget Response to "The Singularity" by David Chalmers argumenterar Drew McDermott för att Singulariteten inte kommer att inträffa. Centralt i hans resonemang är påståendet ("bevisat" i ett appendix) att Moores lag inte kan vara sann med mindre än att P=NP (vilket få teoretiska dataloger tror är fallet), något som jag dock har svårt att förstå som annat än en begreppsförvirring. P kontra NP är en rent matematisk frågeställning, och kan inte ensamt besvara frågor om hur den fysiska världen är beskaffad, som t.ex. den om huruvida och i så fall hur länge Moores lag kommer att gälla i framtiden.3
- Singulariteten är förknippad med enorma risker, då vi inte vet vad de överlägsna AI-varelserna kommer att ha för inställning till oss människor. Kanske blir den slutet för mänskligheten? En ofta föreslagen metod är att hålla den superintelligenta AI:n instängd i en burk där den inte förmår göra oss någon skada, tills dess att vi övertygat oss om att det är av godo att släppa loss den. Det finns dock goda grunder för att ifrågasätta om en sådan strategi är möjlig att med framgång implementera. I texten Leakproofing the Singularity: artificial intelligence confinement problem fördjupar sig Roman Yampolskiy i denna problematik.
- Ben Goertzel följer, i texten Should humanity build a global AI nanny to delay the Singularity until it’s better understood?, detaljerat upp ett annat förslag från Chalmers uppsats om hur vi skulle kunna agera inför den stundande och eventuellt mycket farliga Singulariteten. Med Chalmers ord:
- It is certainly possible that AI+ systems will be disinclined to create their successors, perhaps because we design them to be so disinclined. [...] Furthermore, it may be that AI+ systems will have the capacity to prevent such progress from happening.
- Robin Hanson pekar i Meet the new conflict, same as the old conflict på likheter mellan å ena sidan den eventuella intressekonflikten människor och AI-varelser emellan, och å andra sidan de intergenerationella intressekonflikter som är välbekanta redan i dagens samhälle.
- I sitt bidrag Can intelligence explode? diskuterar Marcus Hutter de kontraintuitiva konsekvenserna av att AI-varelser kan implementeras på hårdvara med olika hastigheter.
- En ofta föreslagen metod för oss människor att få hänga med de superintelligenta AI-varelserna bortom Singulariteten är att ge upp våra skröpliga kroppar och ladda upp våra medvetanden på datorer. Attraktiviteten i ett sådant förfarande ser ut att hänga på om den uppladdade individen verkligen blir jag, något som leder till svåra filosofiska frågor om personlig identitet. I She won't be me levererar Susan Blackmore ett passionerat försvar för en Parfitsk syn på personlig identitet, nära den jag tidigare diskuterat här på bloggen.
- I texten Philosophers and futurists, catch up! gnölar Jürgen Schmidhuber över att Chalmers och andra ignorerar hans teoretiska konstruktion av något som kallas Gödelmaskiner och som tydligen är jättejätteviktigt.
- Den postsingulära världen väntas bli obegriplig. I ett klassiskt citat från 1983 skriver Vernor Vinge att
- [the] singularity [...] already haunts a number of science-fiction writers. It makes realistic extrapolation to an interstellar future impossible. To write a story set more than a century hence, one needs a nuclear war in between [...] so that the world remains intelligible.
Likväl har Vinge själv, liksom en rad andra science fiction-författare, försökt sig på att skriva om Singulariteten och framtiden bortom den. Damien Broderick ger i essän Terrible angels: the Singularity and science fiction en litteraturöversikt.4 - Den genomsnittliga nivån på visionaritet och intellektuellt mod är hög i detta tidskriftsnummer, men det finns ett bidrag som i detta avseende sticker ut mer än de andra, nämligen Inevitable existence and inevitable goodness of the Singularity av Frank Tipler. Jag vågar påstå att Tipler överskrider gränsen till det topp tunnor tokiga flera gånger om, då han längs ogenerat teleologiska resonemang bl.a. säger sig visa (a) att fysikens ultimata lagar (tvärtemot vad fysiker i allmänhet hävdar) redan är kända, (b) att dessa fysikens lagar medför att Singulariteten kommer att inträffa, och (c) att dessa samma lagar omöjliggör konstruktionen av AI-varelser som inte är fredliga eller som inte vill oss väl. Hur i hela fridens namn har den här sortens knasbollerier kunnat ta sig igenom tidskriftens refereegranskningsprocess?
Av Muehlhausers innehållsförteckning får vi dessutom veta att ännu ett nummer av tidskriften kommer att ägnas åt reaktioner på Chalmers text, plus ett svar från Chalmers själv. Ett utmärkt smakprov får vi då han länkar till en text av Carl Shulman och Nick Bostrom, som utreder huruvida vi möjligen - förledda av att vi själva blivit till på evolutionär väg - lurats att underskatta svårigheterna i att skapa AI på mänsklig nivå med hjälp av genetiska och evolutionära programmeringsmetoder.
Fotnoter
1) Denna praktik strider mot andan i vårt (mänsklighetens) gemensamma projekt vetenskapen. Extra stötande är att den ofta benämns publicering trots att det handlar om motsatsen - en kommersiell privatisering av vetenskapliga texter. Men denna fråga (som jag hoppas återkomma till) ligger utanför ämnet för dagens bloggpost.
2) Och så är väl egentligen alltid fallet med antologier, något jag här på bloggen sett mig föranledd att påpeka i ett par närbesläktade sammanhang.
3) Mot slutet av sin text skriver McDermott att han anser att
- it would be a pity for too many smart people to devote time and mental effort to thinking about the Singularity, [because] there are other possible events, unambigous catastrophes, with higher probability
4) Science fiction är en illa sedd genre, något jag finner orättvist. Romaner är (utöver deras rena underhållningsfunktion) i första hand till för fördjupa vår förståelse för vad det innebär att vara människa. Det senare är inte helt fixt genom tiderna, utan beror av samhällets utformning, vilken i sin tur beror av teknikutvecklingen. Att en och annan författare inte nöjer sig med att behandla vad det är att vara människa idag eller i förfluten tid, utan tillåter sig att fördjupa sig i hypotetiska framtidsscenarier, anser jag vara mycket värdefullt. Margeret Atwood tycks hålla med, i sin bok In Other Worlds (som jag inte läst utan bara är bekant med via Joyce Carol Oates recension i senaste New York Review of Books).
Edit 11 april 2012: En uppföljning till Fotnot 1 finns här.
Synd att inte Dennets bidrag fanns att tillgå; han är väl inte någon singularitetsexpert men brukar alltid ha något intressant att säga.
SvaraRaderaJag håller med, Henrik, om ditt allmänna omdöme om Dennett. Att döma av en av kommentarerna på Less Wrong verkar det dock inte som om han hade mycket att tillföra Singularitetsdiskussionen.
SvaraRaderaTrevligt. Som teoretisk datalog är jag nog närmast McDermott’s perspektiv, men jag skall ta en närmare titt.
SvaraRaderaInspirerad av dina domedagsprofetior här på bloggen har jag precis ägnad ett populärvetenskaplig föredrag (kommer att sändas på kunskapskanalen någon gång under våren) åt begreppen kring singularitet, science fiction och beräkningskomplexitet. Men man hinner inte så lång på 20 minuter. (På tal om SF så Jag har tidigare gett en någon längre version av detta på SF-mötet Eurocon. Charles Stross var gäst, men kom tyvärr inte till mitt föredrag…)
Man kan ha olika åsikter om oron över singulariteten är befogad, men jag tycker i alla fall det är en utmärkt plattform för att sprida frågor om existensen av algoritmer till offentligheten.
Det gläder mig, Thore, att du intresserar dig för denna diskussion, och jag är själv mycket intresserad av att höra hur du med utgångspunkt i din datalogiska expertis ställer dig till problemkomplexet kring Singulariteten. Specifikt hoppas jag att du hör av dig ifall du, vid närmare studium av McDermotts text, finner att jag alltför lättvindigt avfärdar hans koppling mellan P=NP och Moores lag.
SvaraRaderaI think McDermott’s contribution is valid, and he’s certainly careful enough to make no “proof by irrelevant formalism”. He observes correctly that the original conceit (the existence of strong-as-in-the-movies AI) is not well defined in the first place.
SvaraRaderaTo make his point in different words: I tell my colleagues in the theory of computation about the singularity a lot. It’s a good beer topic on a slow conference evening, when you’ve run out of puzzles to test each other’s intelligence.
I’ve never met anybody who takes it seriously, including myself. As ToC people, we’re used to think about ficticious computational worlds, so it’s not for lack of imagination. In fact, the question “which computational world do we live in” is the bread-and-butter of ToC.
It’s just that most of us don’t think we live in a computational world where Strong AI is feasible. Just as we don’t believe we live in a computational world where P = NP. In fact, though not formally equivalent, the two claims taste the same to me. McDermott’s contribution is a valid and honest attempt to formalise the equivalence between the two claims — and until “The Singularity” becomes more well-defined, a more formal connection cannot be established.
Turn it around: is McDermott’s attempt at formalisation close enough to the assumption about algorithmic feasibility that is implicit in “The Singularity”? If no, then where is he assuming “too much”?
Or, to phrase it in terms of the “you’re making a fallacious extrapolation” rhetoric so popular in the skeptic circles that you and I are familiar with: The imminence of the Singularity rest on an extrapolation of observed increase in computational power. It is fallacious to assume that this increase will just continue. For example, any exhaustive search algorithm (“try all possibilities in a systematic fashion”) will quickly tile half the board of a NP-hard tiling problem. In fact, the speed with which this partial solution has been found has been improving for the past few decades because of hardware improvements. But we still can’t solve NP-hard tiling problems, even though we arrive at good-looking partial solutions faster.
So, from the observed speed-up in polynomial-time subproblems we cannot infer that we’re closer to solving any NP-hard problem of interesting size. Ever. The computational power of the universe (even if we turned every proton into a computer) and all the time in the universe is not enough. Ever.
My feeling is that “the Singularity is near” is the same fallacy.
To put it differently: I feel in my gut that we’re getting closer and closer to building a functioning time machine. With such a machine we could (insert doomsday scenario). FUD!
A tongue-in-cheeck psychological explanation, of course, is that I work in algorithms. I find it damn hard. So in order to explain my own failure, I assume that universal algorithmic solutions are unlikely.
(Alternatively, the nanobots already in my brain want me to believe all this. I for one welcome our new algorithmic overlords.)
Oh, but you DO take the Singularity seriously, Thore - varför skulle du annars skriva en så utförlig kommentar om saken?
SvaraRaderaDu har rätt i att Singulariteten inte är särskilt noggrant definierad. Jag skulle gissa att de flesta tänkare på området är beredda att använda termen i lösligare betydelse än vad den matematiska analogin antyder. Chalmers: "Both speed and intelligence might be pushed far beyond human capacity in a relatively short time. This process might not qualify as a 'singularity' in the strict sense from mathematics and physics, but it would be similar enough that the name is not altogether inappropriate."
Jag skriver gärna under på att det är ett felslut att titta på några logaritmiska plottar och av dessa ta för givet att Moores lag kommer att fortsätta i evighet. Att Strong AI skulle vara omöjligt har jag emellertid svårt att tro, mest på grund av att jag inte tror att det skulle finnas mekanismer i vårt centrala nervsystem som inte låter sig emuleras med ett tillräckligt omfattande datorprogram.
Ah, now we’re getting somewhere.
SvaraRaderaOf course our central nervous system can be simulated by a computer, because it is a computer.
Make no mistake: I’m completely on board with the idea that our brain is just a pretty advanced Turing machine. No appeal to magic of mystery, or even Penrose’s quantum phenomena. It’s a computer, programmed by an extremely weird but effective evolutionary process over gazillions of years.
There is also no difficulty in making copies: new objects that behave just like human brains. Again, this process is well known, and involves pleasant actions like human intercourse; I’ve managed this thrice. (Not he intercourse, the reproduction.) The three brains I’ve made work just fine.
But the conceit of the Singularity is that this computer called the human brain can be sufficiently well understood to be more than just copied. It assumes that the emulation process can be sped up, and sped up at very little algorithmic cost.
Say, by emulating the brain not by making babies but by some digital simulation on other hardware, which then can be sped up. I can’t even see the first step: why should we be able to even simulate a brain digitally. It’s 10^11 neurons! Even if we are algorithmically very optimistic and assume that Brain Simulation is in DTIME(n^2) (rather than being NP-hard and P != NP), i.e., if we asume Brain Simulation is easier than finding a bloody four-clique in a graph), then this is completely outside the power of any computing device that can be built in this galaxy. And then the second step: after getting this simulation to run, we must improve it sufficiently far so that its IQ is one point higher. And then the following steps: this process can be repeated, the payoff in how many protons you have to invest for earning another IQ point is still in P, etc. Why should this all be computationally easy?
But of course I’m tilting against windmills because I have not yet seen an argument for the imminence of the Singularity that is algorithmically savvy. They all observe that some parameter of computational power is growing, and THEN A MIRACLE HAPPENS, and then the Rapture comes. I’m not seeing that. But it’s hard to argue against anything else than strawmen unless somebody makes the tacit assumptions about algorithmic feasibility explicit.
But it’s very interesting to think about, no question about that.
Jag har helt andra skäl att inte tro på att det kommer någon singularitet. Främst att själva idén innebär att man antropocentriskt sätter likhetstecken mellan att vara en beräkningsmässigt avancerad varelse och att uppleva världen på ett sätt som liknar människans. Dessutom innehåller människans historia redan en eller flera "singulariteter", som egentligen inte är singulariteter utan snarare kontinuerlig exponentiell tillväxt av förmågor. Jag har skrivit en lång utläggning om mina synpunkter här.
SvaraRaderaOK, Thore, good! I did expect we would be on common ground w.r.t. naturalism (as well as w.r.t. Penrose's quantum speculations), but it is good to have it noted explicitly. And thank you for clarifying your position: that it is not the mere existence of a silicon-based Strong AI that you consider impossible, but rather our creation of such a creature.
SvaraRaderaConcerning whole-brain emulation, I would expect (naively?) the computational complexity of a digital emulation of a complex chunk of matter to scale linearly (perhaps with (poly-)logarithmic correction) in the size of the chunk.
About the escalation from human-level AI to further heights, I do not share your pessimism. We humans have shown great capability, especially in recent centuries, at increasing our intelligence (defined roughly as the ability to attain our goals through manipulation of the world around us). This has been achieved mostly using external devices, but in fact our naked selves are also improving: our average IQ inreases by about 3 pts per decade (the Flynn effect). Our technological devices will become increasingly integrated with our minds, genetic engineering is on the way, and we improve our minds also by chemical means (coffee, psychotropic drugs...). Now, if we are able to self-improve in this manner, I'd expect creatures that are smarter than us to be even better at self-improvement. This last conclusion is not self-evident, but is what you get, e.g., by extrapolating the difference between dogs and humans.
To your last point I have no objection. It’s basically what ctail said: in some sense the Singularity already happened, either when we left the trees, or with the neolithic explosion. But they’re not the Singularity of Kurzweil or Charles Stross.
SvaraRaderaAs to your assessment of the complexity of brain simulation: think about just the problem of simulating the pairwise interaction of N particles. That’s quadratic time already (iterate over all pairs). In order to get any manageable simulation of an N-body system, practitioners such as physicists restrict their attention to interactions between particles that are very close. And that’s for a bone-headedly simply system like gravitational forces between spheres in three-dimensional space.
The brain looks much more funky than an N-body system to me.
Thore: Assume for a moment that we decide to forget about neurons and instead focus on simulating on the atomic level. Then we have only short-range electrochemical interactions to worry about, so we can do exactly what you say for the N-body problem: ignore interactions between all pairs of atoms that are not very close. This puts us in the linear complexity regime. On the other hand it gives an N large enough to require many more years of Moore's law than I'd be willing to put my faith in. So if we're not willing to wait (and hope) for that, we must do the simulation at a coarser level, such as the neuronal. Then things do get messier in terms of how complexity scales with size, but it is still plausible to expect a major improvement over the brute force atomic approach, and with our continually increasing understanding of neurology I find it not unplausible that we will work it out. But of course I cannot offer you the details on this, so your "then a miracle happens" criticism (although in no way conclusive) has some validity.
SvaraRaderaEventually I hope to get around to learning more about whole-brain emulation, beginning with Bostrom and Sandberg. Note, however, that I'm agnostic as to whether whole-brain emulation is the most feasible approach to building Strong AI.
Ctail:
SvaraRaderaTack för länk till dina tankar om Singulariteten. Jag delar din kritik mot de "singularitetsspekulanter [som] uppskattar ganska tvärsäkert tidpunkten för singulariteten (typiskt inom några få decennier)", men det finns andra punkter där våra uppfattningar går isär. Låt mig nämna en enda:
Du framhåller önskan att överleva och generera avkomma som specifikt mänskliga särdrag, och menar att det därför är ett antropocentriskt felslut att tänka sig att AI-varelser skulle vara funtade på liknande vis. Jag vill emellertid hävda att önskan om överlevnad och reproduktion inte alls är specifikt mänskligt, utan tvärtom är typiskt för allt liv och allt som är sprunget ur den darwinska reproduktion-mutation-selektionsprocessen. De varelser som saknar sagda önskan försvinner snabbt ur populationen, som därför kommer att domineras av varelser som har dem. Detta fenomen torde (till följd av att fenomenet "survival of the fittest" närmast är tautologiskt sant) äga en universell giltighet, även bortom nukleotidkedjereproducerandets domän.
The essence of McDermott argument appears to me to be something like:
SvaraRadera(1) If Moore's law is true and computational power increases exponentially, and
(2) If we have a class of problems that can be solved by an exponential-time algorithm
(3) then we can solve an instance P of that problem at time T0 by waiting in polynomial time until time T1 when Moore's law makes it possible to run that algorithm on the original problem in the time that it would take to solve a smaller problem P' with an old computer from time T0. Hence the increase in time from solving the second smaller problem P' and the original problem P is only polynomial.
And therefore P = NP.
Of course, this depends on counting time in seconds/minutes etc, and not in number of operations.
Nej, jag menar inte att reproduktionsdriften är specifikt mänsklig utan specifik för organismer. Organiskt liv finns till för att det fortplantar sig. Människans artefakter, däremot, har helt andra livsvillkor, och deltar inte i den darwinska processen för egen räkning. De finns inte till för att reproducera några egna gener, utan de är utväxter på människan och bidrar till att reproducera mänskliga gener.
SvaraRaderaThank you, Lars, for a succinct explanation - which agrees exactly with how I understand McDermott's argument! But his conclusion "therefore P=NP" is silly, because P=NP is a precise mathematical statement concerning the number of operations needed for a Turing machine to solve certain (classes of) problems, making no reference to clock-time.
SvaraRaderaCtail: Ditt påstående om mänskliga artefakter stämmer väl någorlunda för deras situation idag (med viss tvekan dock inför sådant som t.ex. datavirus), men jag delar (som måhända redan framgått...) inte din trosvisshet om att denna situation kommer att bestå.
SvaraRaderaFortplantningsdriften är således ytterligare ett mirakel du förväntar dig av oklar anledning. Den är ju inte en effekt av beräkningsmässig utveckling: enkla encelliga organismer har den, och det finns sedan länge maskiner som överträffar deras kapacitet utan att de visar tendenser att vilja fortplanta sig.
SvaraRaderaDatorvirus som du nämner är förvisso en mycket intressant möjlighet för hur alternativt maskinellt liv skulle kunna utvecklas: på samma sätt som det biologiska livet har gjort det, med start i enkla självreproducerande mönster som muterar och evolverar. Men då krävs att vi inte bara skapar virusen utan oclså ser till att det finns en livsmiljö där varelser tillåts genomgå en sådan utveckling. Och den livsmiljön blir ett annat universum än det biologisk-fysiska där vi lever och konstruerar avancerade maskiner.
Märker du, ctail, att du hoppar från tuva till tuva i din argumentation? I din senaste kommentar hävdar du först att det krävs ett "mirakel" för att förse mänskligt skapade artefakter med fortplantningsdrift. Några rader senare erkänner du (tycks det) att datorvirus har denna drift, men hävdar att de är hänvisade till "ett annat universum än det biologisk-fysiska där vi lever".
SvaraRaderaLåt mig, för resonemangets skull, tillfälligt köpa ditt implicita och ytterst tvivelaktiga påstående att det Internet som vi dagarna i ända interagerar med (och blir allt mer beroende av) skulle vara "ett annat universum". Kan jag då förstå din position som att det finns mänskliga artefakter som (a) vistas i vårt "biologisk-fysiska" universum (t.ex. stridsyxor och grävmaskiner), och att det finns andra mänskliga artefakter som (b) har fortplantningsdrift (datorvirus), men att det av något skäl är omöjligt att skapa artefakter som kombinerar egenskaperna (a) och (b)? Vad säger du i så fall om jag påpekar att artefakter som kombinerar (a) och (b) redan finns?
Antagligen säger du då något om att det där exemplet inte räknas eftersom det inbegriper organsikt råmaterial, och att vad du egentligen menar är att det inte går att skapa artefakter som kombinerar (a) och (b) med egenskapen (c) att inte bygga på några organiska komponenter. Och så skulle vi kunna fortsätta diskussionen ytterligare några varv, men förhoppningsvis inser du ganska snabbt att din position uppvisar besvärande strukturlikheter med den ökända God of the gaps-positionen.
Visst hoppar jag mellan tuvor, eftersom det är flera olika saker vi talar om, och jag inte kan ge hela bilden av mina tankar om allting. Jag försäkrar dock att det hänger ihop på min sida.
SvaraRaderaDet som räknas i sammanhanget är ju det som eventuellt talar för att en singularitet är trolig. Jag hävdar självklart inte att det är omöjligt att skapa artefakter med fortplantningsdrift (det har man som du påpekade redan gjort), och inte heller att det är omöjligt att sådana skulle kunna uppstå spontant (vilket de ju också redan gjort, för länge sedan, om man inte antar att livet uppstod genom intelligent design). Det är också högst rimligt att virus som uppkommit som en följd av mänsklig teknologi, medvetet konstruerade eller inte, datorvirus eller biologiska (det kan vara svårt att dra en exakt gräns för så enkla saker som virus) kan komma att orsaka både stor skada och stor nytta bland människorna i en inte alltför avlägsen framtid. Men det i sig – virus som fortplantar sig – är väl knappast en singularitet? Det förefaller i alla fall betydligt mindre imponerande än de flesta singularitetsspekulationer. Tanken att dessa mikrovarelser plötsligt skulle uppnå någon slags "hive mind"-intelligens och börja samarbeta i avancerade beräkningsprocesser ger jag inte mycket för, för att nu hoppa till ytterligare en tuva.
Det jag däremot menar skulle kräva ett mirakel (en lätt överdriven term jag lånade av Thore) är att de avancerade artificiella varelser som (eventuellt) skulle kunna konkurrera med människan vad gäller "intelligens" plötsligt skulle inta biologiska varelsers syn på fortplantning, som någon slags följd av sin utveckling mot högre beräkningskapacitet. Som jag skrev i blogginlägget "fortplantas [de] genom att vi, människorna, reproducerar deras beståndsdelar till nya individer, och [de] saknar drivkrafter till att vilja förändra det förhållandet".
Det jag menade med "ett annat universum" var att OM det är möjligt att frambringa "intelligenta" varelser med startpunkt från enkla självreproducerande enheter som datorvirus (dvs. om en sådan utveckling skulle leda till en "singularitet"), då måste den processen i princip reproducera hela evolutionen. Det kan jag inte föreställa mig skulle kunna ske spontant bland datorerna på Internet, vilket du eventuellt antyder. Det skulle bara inte tillåtas. Virus i datorer bekämpas, åtminstone så pass effektivt att de förblir virus och inte utvecklas till högre livsformer. Nej, en sådan utveckling skulle kräva en kontrollerad laboratorieartad datormiljö, och de avancerade varelser som eventuellt uppstod där skulle inte ha något sätt att ta sig utanför den miljön. För alla praktiska ändamål skulle de leva i ett annat universum.
Det var mycket på en gång, ctail. Jag nöjer mig med två påpekanden.
SvaraRadera1. Du uttrycker skepsis inför att "de avancerade artificiella varelser som (eventuellt) skulle kunna konkurrera med människan vad gäller 'intelligens' plötsligt skulle inta biologiska varelsers syn på fortplantning, som någon slags följd av sin utveckling mot högre beräkningskapacitet". Här attackerar du en straw man. Det är troligtvis väldigt få tänkare på området som föreställer sig att enbart "en tillräckligt hög beräkningskapacitet" skulle få sådana konsekvenser. Men betänk gärna att det kan finnas särskilda skäl, utöver den rena beräkningskapaciteten, till att någon AI skulle erhålla reproduktionsdrift. Tre uppenbara förslag är följande.
(a) Delar av AI-forskningen sysslar med s.k. evolutionära algoritmer, där program utsätts för den darwinska reproduktion-mutation-selektionsprocessen - en process som (vilket jag påpekat tidigare i denna diskussion) starkt favoriserar varelser med överlevnads- och reproduktionsdrift.
(b) Mycket av AI-forskningen hämtar inspiration hos människan i utformningen av AI-program. Av detta skäl är det knappast någon långsökt tanke att AI skulle kunna ärva en del mänskliga egenskaper, och detta arv skulle kunna inkludera reproduktionsdrift.
(c) Det finns som du säkert vet också en och annan AI-forskare som drömmer om att avsiktligt sätta igång Singulariteten. Det ligger mycket nära till hands att tänka sig att dessa forskare avsiktligt söker förse sina AI med reproduktionsdrift.
2. Med anledning av ditt tvärsäkra påstående att "de avancerade varelser som eventuellt uppstod [i en dator] skulle inte ha något sätt att ta sig utanför den miljön" vill jag verkligen rekommendera att du läser den uppsats av Roman Yampolskiy som jag länkar till i bloggposten. Det hela är inte fullt så enkelt som man först vill tro...
Utan att ha tänkt allt för länge på området, befinner jag mig här...
SvaraRaderaVi vet inte om det är möjligt, om det är möjligt vet vi inte hur AI kommer att se ut om den beter sig mänskligt eller på annat sätt. Därför blir det väldigt svårt (omöjligt?) att försöka skapa policy på området. Därför ursäktar jag mig en stund till tills området klarnat mer innan jag fördjupar mig ytterligare :) som sagt utan att gräva allt för djupt tycker jag att påverkan på den mänskliga hjärnan via diverse substanser/teknik/kirurgi kommer att ställa till med svåra överväganden innan AI... men vad vet jag :)
Jag gör ett sista försök att sammanfatta min ståndpunkt, sedan ska jag försöka släppa det här.
SvaraRaderaMitt primära problem med singularitetstanken är inte fortplantning och spridning (där vi kan käbbla om detaljer, men jag tror inte våra uppfattningar skiljer så mycket egentligen), utan det den förutsätter om den mänskliga världsbildens allmängiltighet. Till och med om man körde en evolutionsprocess med nästan exakt samma parametrar som den vi är sprungna ur, skulle jag förmoda att det vore extremt osannolikt att det uppstod en varelse som vi skulle kunna ha något intellektuellt utbyte med. De flesta människor antar förmodligen att det som hände den ena gången borde hända den andra, men eftersom du begriper dig på sannolikhetslära antar jag att du förstår vad jag menar (även om du kanske inte håller med) med att det finns en sådan uppsjö av möjliga utvecklingar i den slumpmässiga processen att sannolikheten för ett sammanträffande är försumbar. Det är ju en försvinnande liten del av de framgångsrika fortplantningsmaskinerna i den värld där vi faktiskt lever som vi kan ha intellektuellt utbyte med. Ta bakterier, alger osv., de är förhållandevis lika oss om man jämför med datorprogram, men ändå långt ifrån så lika att de tycker att det är intressant med teknologisk utveckling. (Av samma anledning tror jag inte att vi träffar på något "intelligent" liv från andra planeter.)
Att datorprogram, vars ursprung och livsmiljö inte ens liknar våra tillnärmelsevis lika mycket som alger och bakterier, skulle glida in på att bedriva mänsklig verksamhet som teknologisk utveckling finner jag därmed extremt långsökt. Det gäller även om man överväger möjlighetenxs att det glider in element från AI-experiment i deras utveckling, som i dina punkter a och b ovan.
Punkt c däremot, strider inte mot min uppfattning på samma sätt. Den ger ett möjligt svar på frågan om hur i all världen singulariteten egentligen ska komma igång: en människa löser problemet och konstruerar mirakelmaskinen. Svårt att argumentera emot på något annat sätt än att det verkar vara en väldigt svår uppgift, och att denna mänskligt kontrollerade utveckling inte framstår som så speciell i jämförelse med annan teknologisk utveckling som människor driver. Den varianten har inte heller samma ödesmättade air av självdriven följd av den tekniska utvecklingen som jag uppfattar ligger över mycket av singularitetsdiskussionen.
Jag håller med, Magnus, om den oerhörda svårighetsgraden i dessa frågor och i att skapa förnuftig policy på området. Däremot anser jag att svårighetsgrad inte är en godtagbar ursäkt för att ignorera en fråga av denna dignitet.
SvaraRaderaJag menar inte att det är nödvändigt att varje enskild individ engagerar sig i transhumanistiska och singularitetsteoretiska (etc) frågor, men på samhällsnivå behöver vi ta tag i dem. (Att titta åt ett annat håll och låtsas som om det regnar är också en policy, men gissningsvis inte en särskilt förnuftig sådan.) Du talar om att invänta att området klarnat, men en stor risk med ditt förhållningssätt är att den önskade klarheten inte uppstår förrän de omvälvande förändringarna redan skett (på gott och/eller ont) och vår värld inte längre står att känna igen.
Fast är det inte snudd på omöjligt att förutsäga något vi vet så lite om? Kan det inte vara nödvändigt att invänta och se åt vilket håll det drar iväg åt innan man går för djupt in på hur det kan styras? (om det kan styras vilket känns i alla fall något tveksamt)
SvaraRaderaDet kan hända, Magnus, att du har rätt i att det är "snudd på omöjligt", men det kan också hända att du har fel. Allt annat än att försöka skaffa oss all den kunskap vi kan få synes mig vara oförlåtligt vårdslöst.
SvaraRaderaKan mycket väl också vara så att jag är för dåligt insatt... Jag tänker mig ett scenario där AI eller snarare vägen till AI går genom en rad implikationer som vi använder oss av. Allt från avancerade "miniräknare" till möjliga implantat i kroppen. Ungefär på samma sätt som persondatorerna utvecklats, det hela gör att jag har svårt att se hur detta kommer kunna begränsas dagen då (om) AI finns här, duktiga ungdomar som mer eller mindre lever i datavärlden kommer sitta på lika stor kunskap som många insatta vid våra universitet och bolagen som tar fram maskinerna hemlighetsfulla också mot akademin. IMHO det är mycket viktigt att frågan granskas och följs upp men jag har mycket små förhoppningar om att länder eller universitet/forskare kommer att sitta i position att stoppa eventuell utveckling. Faktiskt långt mindre än till exempel den katastrofala utveckling vi sett rörande den globala uppvärmningen. AI skulle vara än mer smygande och dessutom fantastiskt hjälpfull tills dagen D... Kanske vore det bättre att lägga kraften på antaganden om hur eventuella "onda" AI skulle kunna bemötas och då göra det i sammklang med den utveckling som sker. Se till att ha robusta system osv... hmm.
SvaraRaderaMitt svar, Magnus, på förslag som ditt "Kanske vore det bättre att lägga kraften på antaganden om [vissa scenarier istället för andra]" är att vi bör gå brett och förutsättningslöst fram, och studera och värdera alla slags någorlunda plausibla framtidsscenarier (inklusive den transhumanistiska utveckling du antyder i vilken vi genom kirurgiska implantat och andra metoder successivt förvandlar oss själva till posthumaner), ungefär som Nick Bostrom och hans Future of Humanity Institute gör. Risken med det är naturligtvis att de intellektuella insatserna sprids i ett alltför tunt skikt, men jag skulle vilja se att ett hundratal eller fler motsvarigheter till Future of Humanity Institute så snart som möjligt växte fram världen över.
SvaraRaderatack får kicka på den länken
SvaraRaderaBlev just uppmärksammad på den här sidan. Vet inte om du sett den: http://intelligenceexplosion.com
SvaraRaderaNu finns David Chalmers sammanfattande rejoinder att läsa!
SvaraRadera