Are large language models intelligent? Are humans?

Let's say you are in doubt as to whether I am intelligent. Here, by ''intelligent'', I don't mean ''above average intelligent'' or ''as intelligent as one usually expects from a mathematics professor'' but something much more modest. The question you ask is whether I am intelligent at all. Is there anything at all going on inside my head that deserves the label intelligence?

To find out whether I am capable of intelligent reasoning, you decide to test me, and ask the following:

Michael is at that really famous museum in France looking at its most famous painting. However, the artist who made this painting just makes Michael think of his favorite cartoon character from his childhood. What was the country of origin of the thing that the cartoon character usually holds in his hand?

And here is my reply:

The most famous painting in the Louvre is the Mona Lisa. The artist who made the Mona Lisa is Leonardo da Vinci. Leonardo da Vinci is also the name of the main character in the cartoon Teenage Mutant Ninja Turtles. Leonardo da Vinci is from Italy. The thing that Leonardo da Vinci usually holds in his hand is a katana. The country of origin of the katana is Japan. The answer is ''Japan''.

So what would be your verdict? Is this an example of intelligent reasoning?

Obviously yes: this is a clear example of reasoning in several steps, and while the reasoning chain is not advanced enough to count as the mark of genius, clearly some intelligence must have been employed to produce the answer. Any other answer would be an insult, not just of me personally but of the very notion of intelligent reasoning.

But let us now change the story a bit, by taking the subjet of your testing to be not me, but instead an AI of the kind known as a large language model. Now you might be tempted to give a different verdict, and insist that the reasoning about the Louvre and Mona Lisa and Leonardo and so on is not actually real reasoning, but rather a fake kind of reasoning based on statistical pattern matching or some such. In fact, the above answer was given by an LLM known as PaLM over a year ago (which feels like a lifetime given the current breakneck speed of AI development).

Many people employ such double standards in judging the presence of intelligence in other people vs in AIs, and reject the idea the LLMs might be even the slightest bit intelligent even in the face of them making such impressively well-reasoned statements as the PaLM/Leonardo reply above, or any of the various much more impressive achievements that we see GPT-4 producing today, a year later. I think it is wrong to be so dismissive, but I admit that in principle such an attitude can be justified as long as one has an argument that (a) shows that AIs of the type at hand simply cannot exhibit real intelligence, at the same time as it (b) doesn't lend itself to deducing the same conclusion about humans. I have yet to see a principled argument against LLM intelligence that achieves (a) while avoiding the generalization to humans indicated in (b). Many attempts have been made at arguments achieving (a), and following is a list of the most common ones, but in each case I will show how the same logic applies to rule out intelligence of humans, and since by any reasonable definition of intelligence humans do have (at least some of) that property we obtain a reductio ad absurdum, so the argument must be rejected.

• LLMs sometimes say dumb things, so they lack the common sense that is crucial for intelligence.
• LLMs are just matrix multiplication (along with nonlinear transformations) with coefficients chosen using statistical methods.
• LLMs only predict the next word.
• LLMs lack a world model.
• LLMs have no grounding of their symbols.
• LLMs lack creativity.
• LLMs lack consciousness.

Let me go over these seven arguments one at a time, in a tiny bit more detail, and indicate how they generalize to humans.

1. LLMs sometimes say dumb things, so they lack the common sense that is crucial for intelligence.

So anyone who has ever said anything dumb is automatically altogether devoid of intelligence? Well, with such a harsh criterion my intelligence would also be zero, as would (I presume) also the reader's. That's dumb.

It may however be that proponents of this agrument against LLM intelligence (such as Gary Marcus) mean it in a somewhat nore nuanced way. Perhaps they do not literally mean that a single dumb thing someone says does not rule out their intelligence, but rather that the greater prevalence of dumb things in ChatGPT's output than in mine shows that it is not as intelligent as me. Note, however, that such an argument points towards not a qualitative difference but a quantitative one, and therefore cannot be invoked to support the idea that ChatGPT has zero intelligence. Note also that such a comparison depends on the selection of tasks to test: while it is certainly possible to put together a collection of cognitive tasks where I outperform ChatGPT, it is also possible to do it in a way that achieves the opposite results; this greatly complicates the issue of whether it is reasonable to claim that ChatGPT is less intelligent than I am.

Let me finally stress that the term "common sense" is perhaps better avoided, as it is likely to confuse more than it enlightens. It tends to serve as a catch-all term for everything that humans still do better than AI, so that the phrase "AIs lack common sense" will continue to apply right until the moment when AI outperforms us at everything. I've written about this at greater length elsewhere.

2. LLMs are just matrix multiplication (along with nonlinear transformations) with coefficients chosen using statistical methods.

I think the remark about statistical methods here is just a red herring: why in the world would that way of setting the coefficients count against the AI being intelligent? (I only mention it here because it was recently emphasized in an op-ed by three colleagues attacking my view of AI.)

The purpose served by the part about matrix multiplication is to point out that the AI is built up from simple components that are themselves totally dumb. But the same thing goes for me - my brain is built out of atoms, each of which in itself totally lacks intelligence. So it seems to be possible to build intelligent systems out of entirely unintelligent components, whence the "LLMs lack intelligence because matrix multiplication" argument doesn't work.

3. LLMs only predict the next word.

This is the wide-spread "it's just glorified autocomplete" objection to LLM intelligence. However, any claim that LLMs lack intelligence because they do no other work than to predict the next word in a text is based on a fundamental confusion between what the LLM is trained to do and what it then actually does. The analogous confusion applied to humans would be to say that since the human speices was trained by biological evolution, all we ever do is to maximize inclusive fitness (i.e., maximizing the number of fertile offspring, plus nephews and neices etc properly discounted). Training an agent for one goal sometimes leads to the emergence of other, unintended, goals. When GPT-4 behaves as if it is trying to convince me that wearing a seat belt while in a car is a good idea, it could be tempting to say "no, it's not actually trying to do that, it's only trying to predict the next word", but that would be as silly as dismissing the intentions of a human traffic safety advisor by saying "no, he's not trying to convince me about seat belts, he is merely trying to procreate".

Also, listen to what Ilya Sutskever (chief scientist at OpenAI) says about what GPT-4 level next word prediction entails.

4. LLMs lack a world model.

This seems to me as unsubstantiated as claiming that humans lack a world model. In both cases - human as well as LLM - behavior points quite strongly towards the existence of a world model somewhere in the overwhelmingly complex mess that the information processing device - the brain or the deep learning network - constitutes. For the case of GPT-4, see for instance the unicorn example in Section 1 of the Microsoft report on GPT-4 capabilities. In the case of humans we gladly take such behavior as evidence of the existence of a world model, so what reason might we have to interpret the evidence differently for LLMs?

One asymmetry between humans and LLMs is that we can know through introspection about the existence of world models in humans (or at least the one human that is me can know it for precisely the one human that is me). But to point to this asymmetry as an argument for humans and LLMs being different as regards the existence of a world model is to rig the game in a way that seems to me unacceptable, because introspection has by nature the limitation that it can only teach us about ourselves, not about others (and in particular not about LLMs).

So there must be something else about LLMs that is taken as grounds for rejecting the possibility that they might have world models. This is rarely articulated, but perhaps most plausible (or at least common) line of reasoning here is that since LLMs do not have direct access to the real world, there's no way to have a world model. This brings us to the fifth argument.

5. LLMs have no grounding of their symbols.

The argument here is that unlike humans, LLMs cannot really reason about things in the world, because they have never directly accessed these things. For instance, an LLM may seem to speak about chairs using the word "chair", but since they have never seen (or felt) a chair, they have no clue about what the word actually stands for, and so their reasoning about "chairs" doesn't count as real reasoning.

But what about humans? Do we have direct access to things in the world? Immanuel Kant says no (this is his Ding an sich).

As for myself, the fact that I do not have direct access to things does not seem to prevent me from thinking about them. When I think about the Big Bang for instance, it really is the Big Bang that I think about rather than the phrase "the Big Bang" despite never having experienced it directly, and likewise for things like quarks, sovereignity, unicorns and the number 42.

A defender of the "LLMs have no grounding of their symbols" argument might object that there are other things that I actually can experience, such as chairs and trees and even shadows, and that once I have the words "chair" and "tree" and "shadow" properly grounded in real-world objects I can start building a world model that includes composite and more advanced concepts such as the Big Bang, but that without such a solid start the process can never get going. To this I respond (with Kant) that in fact, I do not have direct access to chairs or trees, because my contact with them is always mediated by light waves or sound waves or simply the signals sent from my various sensory organs to my brain. This is analogous to how an LLM's experience of the world is mediated via text. Looking at this more abstractly, the mediation in both cases is via an information package. Of course there are differences between the two cases, but I fail to see how any of these differences would be of such fundamental importance that it warrants the judgement that there is symbol grounding in one case but not in the other.

6. LLMs lack creativity.

This is an argument that was put forth by one of my two foremost idols in the (pre-)history of AI, namely computer scientist Ada Lovelace, who worked in the mid-19th century - long before the term computer science was first conceived. Together with Charles Babbage, Lovelace worked on some of the first prototypes for computing machinery, and had great visions and admirable foresight regarding what such machines might eventually be able to do. This included such seemingly creative tasks as composing music, but she categorically denied that this or anything else produced by such a machine was true creativity, because anything the machine does has already been laid down into the machine (at least implicitly) by the programmer, so all creative credit should go to the programmer.

Enter my other great idol, Alan Turing. In his seminal and celebrated 1950 paper Computing machinery and intelligence, he objected to Ada Lovelace's argument by pointing out that if we take it seriously, then we can apply essentially the same argument to rule out human creativity. Everything I write in this essay has been caused by a combination of factors external to my mind: my genes, my childhood and education, and all other environmental factor influencing me throughout my life, so if I should happen to say anything original or creative in these lines, credit for that is due not to me but to all these external influences.¹

The conclusion that human creativity is impossible is of course crazy, so Turing took this as an indication that the definition of creativity implicit in Lovelace's argument was wrong. Instead, he proposed the definition that someone is creative if they produce something that noone else had anticipated, and he pointed out that with this definition, examples of machine creativity existed already at his time of writing. In 2023, we see such examples every day, from LLMs as well as other AIs.

7. LLMs lack consciousness.

Against the argument that LLMs lack conciousness and therefore are not intelligent I have two separate rebuttals. The first is that the argument conflates two very different kinds of properties. An individual's intelligence is a matter of what he/she/it is able to do, whereas consciousness is about what it feels like to be that individual - or, rather, whether or not being that individual feels like anything at all. A priori, these properties are logically independent, and to postulate otherwise is to create confusion.²

But even if we were to accept that intelligence implies consciousness, the argument that LLMs lack intelligence because they lack consciousness fails, because we simply do not know whether or not they are conscious. If we read up on the history of the philosophy of mind, we will of course find many examples of philosophers arguing that various classes of entities (including the class of digital computers) lack consciousness, but none of these arguments are anywhere near conclusive or even moderately convincing.

Refusing to declare someone intelligent because we do not know they are conscious also puts us in the uncomfortable position of having to declare all humans other than ourselves not intelligent. There is precisely one human whose consciousness I am sure of, namely myself. In all other cases, I am politely assuming consciouness - an assumption that seems not only polite but also highly plausible, but I can't say I know. We simply do not understand the phenomenon of consciouness anywhere near well enough to be able to say how general it is. Your brain is sufficiently similar to mine that it makes sense for me to assume that you, just like me, are conscious. Yet, there are differences between our brains (as evidenced, e.g., by our diverging personalities), and we simply do not know that the consciousness phenomenon is so broadly present that these differences do not matter to the presence of that phenomenon. And likewise, we do not know it is so narrow that it does not extend to some large class of non-human objects including LLMs.³

Footnotes

1) This line of reasoning points, of course, towards the notorious issues of free will, a direction which however I do not want to pursue here.

2) An instructive example of such confusion is John Searle's 2014 erroneous argument for why a robot apocalypse is impossible.

3) One way to try to escape this conundrum would be to say that only creatures with the tendency to declare themselves conscious are conscious, thereby making consciousness (at least for the time being) an exclusively human phenomenon. Except it doesn't, in view of, e.g., the Lemoine affair, where an LLM declared itself conscious. Also, it would rule out dog or horse consciousness - something that I believe few dog or horse owners would accept.

Ännu en vända genom det kinesiska rummet

Det senaste numret (nr 4/2021) av Filosofisk tidskrift inleds med en artikel av Lars Bergström med titeln Hotet från medvetna maskiner. Till formen ligger artikeln ungefär halvvägs mellan å ena sidan ett fristående filosofiskt diskussionsinlägg, och å andra sidan en recension av min senaste bok Tänkande maskiner. Jag blir smickrad av det utrymme han ägnar mina tankar, och ännu mer av hans välvilliga bedömning att jag "skriver bra, medryckande och engagerat, och boken förefaller mycket initierad".

Ända sedan 2016, då jag ägnade några sidor av min bok Here Be Dragons åt det berömda tankeexperiment av filosofen John Searle som benämns det kinesiska rummet har Lars och jag gång på gång återkommit till att debattera våra olika tolkningar av det, mestadels via email men ibland i publicerade texter, som nu senast i Lars nya text som till större delen behandlar detta ämne. Jag har uppskattat vårt meningsutbyte, men börjar nu känna att det nått en point of diminishing returns och tvekar inför att fortsätta. Trots detta väljer jag här att (mest for the record) notera några reflektioner på Lars senaste inlägg.

Vad jag däremot inte vill är att här ägna kraft åt att ännu en gång förklara bakgrunden, så den som inte redan är bekant med det kinesiska rummet uppmanas att, innan hen fortsätter läsandet av denna bloggpost, stifta bekantskap med Searles tankeexperiment genom att läsa exempelvis Lars nya artikel, eller s 69-71 i Here Be Dragons, eller s 232-237 i Tänkande maskiner, eller (för den som föredrar texter som är fritt tillgängliga på nätet) s 5-7 i mitt preprint Aspects of mind uploading. Lars och mitt meningsutbyte koncentrerar sig nästan helt på den variant av tankeexperimentet som Searle utformat som svar på den kritik som benämns systemsvaret. I denna variant ber Searle oss att föreställa oss att han internaliserat hela det kinesiska kinesiska rummet, bland annat genom att memorera hela den (ofantliga) regelbok som på engelska ger instruktioner om algoritmisk manipulation av kinesiska skrivtecken. De reflektioner om Lars senaste inlägg jag här vill nedteckna är fyra till antalet:

1. Genom hela vårt långdragna meningsutbyte har jag försvarat ståndpunkten att Searles kropp under de givna omständigheterna härbärgerar två medvetanden: dels det som tillhör Searle-E (som talar engelska men inte ett ord kinesiska), och dels det som tillhör Searle-K (som talar kinesiska men inte ett ord engelska). Lars däremot har å sin sida hävdat att enbart Searle-E är medveten. Denna menigsåtskillnad kan förefalla solklar, men när Lars nu (på s 6 i sin nya artikel) skriver att jag "tycks vara övertygad om att Searle-K är medveten och förstår kinesiska" så känner jag att jag behöver förtydliga och nyansera.

Egentligen har jag ingen stark uppfattning om huruvida min position (att Searle-K är medveten) eller Lars' (att Searle-K saknar medvetande) är riktigt. Allra troligast är enligt min uppfattning att ingendera positionen är vare sig rätt eller fel, utan de är snarare meningslösa, eftersom det tankeexperiment de grundar sig i verkar så orealistiskt att den postulerade situationen helt enkelt är omöjlig. Men om vi nu ändå för diskussionens skull tänker oss att situationen föreligger, är då Searle-K medveten eller omedveten? Från min sida har hela vårt meningsutbyte gått ut på att visa att Searles argument mot CTM-teorin (se punkt 4 nedan) inte håller, och för att Searles argument skall hålla krävs att det är uteslutet att Searle-K är medveten. Min strategi har hela tiden varit att peka på Searle-K:s medvetenhet som en fullt rimlig möjlighet givet den postulerade situationen. Jag inser att min iver att påvisa att denna möjlighet är rimlig då och då glidit över i ett språkbruk som fått det att låta som att jag faktiskt är (med Lars' ord) "övertygad om att Searle-K är medveten och förstår kinesiska", men då har jag alltså gått en smula överstyr. Jag beklagar detta. Allt jag vill påvisa är att Searles och Lars' övertygelse om att Searle-K saknar medvetande vilar på lösan sand, att det är fullt rimligt att tänka sig att Searle-K är medveten, och att Searles vederläggning av CTM-teorin därmed inte håller.

2. På s 6 i Lars artikel läser vi följande:

Häggström anser [...] att vi "utifrån kan observera" två olika personer som bebor Searles kropp [...]. Jag tror inte att andra observatörer skulle hålla med om det. Vid första anblick verkar det kanske som att Searle kan både engelska och kinesiska. Men när han sedan försäkrar att att han inte förstår kinesiska, och att han bara konverserar på kinesiska med hjälp av en regelbok, så skulle man väl godta detta.

Jag uppfattar denna passage som kärnan i Lars argumentation, men som sådan också som ett stort antiklimax. Jag vill ogärna tänka mig att analytisk-filosofisk forskning går ut på att reproducera gemene mans spontana föreställningar (och vad "andra observatörer skulle hålla med om") när de konfronteras med olika scenarier. Poängen med verksamheten borde väl vara att gå bortom detta och i görligaste mån lista ut hur det faktiskt förhåller sig, snarare än att stanna vid vad folk får för intryck av dessa situationer. (Och om folks spontana intryck verkligen kunde användas som pålitlig ledning om hur det faktiskt förhåller sig skulle Lars härmed ha upptäckt ett fantastiskt kraftfullt medvetandefilosofiskt redskap, som till exempel genast skulle ge svar på de tidigare så besvärliga problemen med solipsism och panpsykism.)

Min nästa kritik mot denna passage är något jag återkommit till gång på gång i detta meningsutbyte Lars och mig emellan, nämligen hur han närmar sig Searle-E och Searle-K med förutfattade meningar som diskriminerar till Searle-E:s förmån på ett sätt som går ut över Searle-K så till den grad att det på förhand verkar bestämt att inget denne säger är värt att ta på allvar. När Searle-E (som Lars typiskt nog benämner "Searle" i sitt osynliggörande av stackars Searle-K) "försäkrar att att han inte förstår kinesiska" så tar Lars det som en sanning - vilket för all del även jag är benägen att göra - men när Searle-K å sin sida försäkrar att han förstår kinesiska så anser Lars denna upplysning vara så irrelevant att han inte ens bemödar sig om ett explicit avfärdande. En sådan fördomsfull förhandsinställning är knappast ändamålsenlig när man har att utröna vem eller vilka av Searle-E och Searle-K som besitter medvetande. Det kan såklart hända att Lars har rätt i sitt intuitiva ställningstagande att Searle-K saknar medvetande, men han kommer (precis som Searle) inte ens i närheten av att leda i bevis att så är fallet.

3. En förgrening av Lars och mitt meningsutbyte ägde rum i nr 3/2021 av tidskriften Sans. Denna förgrening avslutar Lars med ett påpekande om att man ju skulle kunna fråga Searle-K vad något visst skrivtecken som denne använder i konversationen betyder på engelska. Searle-K skulle inte kunna besvara detta, trots sin förmåga att konversera på kinesiska. Någon ytterligare utveckling av detta resonemang ger inte Lars i Sans-utbytet, men av kontext och ton får jag intrycket att han menar det som en demonstration av att Searle-K saknar medvetande och verklig förståelse av kinesiska. Detta är förbryllande, eftersom samma argument skulle kunna användas på (gissningsvis) hundratals miljoner kineser som behärskar kinesisk skrivkonst utan att kunna ett ord engelska för att visa att dessa saknar medvetande. Lars argument har uppenbarligen för stor räckvidd och måste därför vara felaktigt.

I vår efterföljande privata korrespondens förklarade Lars att det inte var så han avsåg sin argumentation, och utvecklade en annan innebörd, vilken han också återger i den nya artikeln (s 6):

Om Searle-K inte kan engelska, så har han ingen nytta av regelboken. Den är nämligen skriven på engelska, eftersom den skall begripas av Searle, som bara kan engelska.

Även detta argument har för stor räckvidd, bland annat då det kan tillämpas för att visa att jag inte förstår svenska. På samma sätt som Searle-K:s förståelse av kinesiska är beroende av regelboken, så är min förståelse av svenska beroende av (många av) mina neuroners synapsavfyrningströsklar, och på samma sätt som Searle-K inte vet ett endaste dyft om vad som står i regelboken så är jag lyckligt ovetande om alla detaljer rörade synapsavfyrningströsklarna. Vad Lars här i sin iver att underkänna Searle-K som medvetet subjekt förbiser är att det även i våra inre pågår en stor mängd viktig informationsbearbetning som vi alldeles saknar inblick i och förståelse för. Att samma sak gäller Searle-K kan därför inte användas som argument mot att denne skulle vara medveten, med mindre än att vi samtidigt underkänner våra egna medvetanden.

4. Det som alls gör Searles tankeexperiment värt att diskutera är att det är den oftast anförda invändningen mot CTM-teorin, vilken av Lars (s 4) omtalas som...

det som brukar kallas "beräkningsteorin om medvetande" (the computational theory of mind, förkortat CTM), vilken lite förenklat innebär att medvetandet består av beräkningar eller symbolmanipulation, något som även kan produceras digitalt i en dator.

Gott så, och det viktiga här är att substratet beräkningarna implementerats på i princip inte spelar någon roll: så länge beräkningarna är desamma är det oviktigt (för uppkomsten av medvetande) om substratet är ett biologiskt nervsystem, ett elektroniskt kretskort eller ett kinesiskt rum. Konstigare blir det när Lars (s 8) efter att ha försvarat Searles argument skriver så här:

Däremot är detta inget argument mot CTM. Det är nämligen fullt förenligt med att en dator kan vara medveten.

Här verkar Lars ha glömt vad CTM handlar om. Man kan tro att Searles argument är korrekt, och man kan tro på CTM, men eftersom Searles argument är ett påstått motbevis till CTM kan man inte utan motsägeslse tro på båda. (Däremot verkar det fullt konsistent att acceptera Searles argument mot CTM samtidigt som man tror på datormedvetande, eftersom datormedvetande skulle kunna vara möjligt av andra skäl än just CTM.)

Finns information? Ett meningsutbyte med Ulf Danielsson

För några veckor sedan hade jag ett meningsutbyte med fysikern Ulf Danielsson¹ på Patrik Lindenfors Facebooksida om begreppet information och huruvida information verkligen existerar. Jag fann det tillräckligt intressant för att förtjäna publicering har på bloggen, och med Ulfs tillåtelse gör jag det här nedan.

Det hela började med att Patrik läste en intervju med Ulf, rubricerad Tro inte på spöken, i senaste Axess, och blev provocerad, något han uttryckte i sin Facebookpost. Jag hade själv blivit provocerad² på ungefär samma sätt när jag läste samma intervju någon vecka tidigare. Hur som helst, Ulf svarade Patrik, jag hakade på, och resultatet blev som följer.

* * *

UD: Det som är märkligt är att det jag hävdar inte ses som en självklarhet för den med en naturvetenskaplig grundsyn. Att säga ”information är en egenskap hos materien” är snömos. Låt mig ta ett exempel. En vägskylt med talet 70. Skylten informerar oss om att här får man inte köra fortare än 70 km/h (åtminstone om skylten befinner sig i Sverige). Denna information är inte alls en egenskap hos själva skylten. Det finns inte ens något ”70” hos den materia som bygger upp skylten. Om en symbolreform genomfördes där siffrorna 3 och 7 bytte betydelse skulle detta inte på något sätt förändra karaktären hos den materia som skylten består av. Isolerat innehåller skylten ingen som helst information om en hastighetsbegränsning. För att det som skylten avses förmedla skall ha någon mening krävs att ett annat materiellt system, vanligen den biologiska hjärnan hos en bilförare, gör en tolkning av skylten och förhoppningsvis justerar sitt beteende. Den aktuella informationen existerar inte oberoende av denna växelverkan utan enbart i relation till en uttolkare.

Mitt enkla budskap är att allt är materia och att alla de modeller vi gör av världen, inklusive de begrepp vi använder oss av, inte existerar på annat sätt än i sin materiella form. Vi är begränsade biologiska varelser, fångna i och delar av samma fysiska värld som den vi vill beskriva. Det finns en objektiv fysisk värld (detta är förövrigt det enda som finns) som vi med viss framgång lyckas beskriva med hjälp av vetenskapliga modeller som gör bruk av begrepp som matematik, information och naturlagar. Dessa begrepp utgör en karta som sitter rent fysiskt i våra huvuden och liksom alla kartor inte är identisk med den objektiva verklighet den försöker spegla.

I det dagliga livet behöver man inte vara så noga med åtskillnaden. Man kan många gånger handskas med begreppen som om de var identiska med verkligheten. Det är just det som är så fiffigt med riktigt bra modeller. Men när man vill gå lite djupare är det helt centralt att upprätthålla distinktionen. Begreppet information har i vissa kretsar getts en betydelse som går långt utöver den väldefinierade roll den spelar i vetenskapligt modellbygge (inklusive inom den esoteriska fysik som jag sysslar med rörande kvantgravitation och svarta hål.) Den ges i populärkulturella sammanhang en obeorende existens som inbjuder till spekulationer som gränsar till det rent religiösa när man inbillar sig att mänskliga medvetanden kan reduceras till ettor och nollor och via något som liknar själavandring laddas upp på datorer. Det är detta larv jag vänder mig emot.

OH: Om medvetandet kan man ha olika uppfattning, Ulf, vilket du och jag har (se gärna Avsnitt 3 i http://www.math.chalmers.se/~olleh/UploadingPaper.pdf), vilket i sin tur är helt i sin ordning. Men din tvärsäkerhet förvånar mig en smula, och om jag hade varit en upload hade jag blivit förnärmad och förgrymmad över den flagranta kol-chauvinism du ger uttryck för!

Att döma av ditt exempel med 70-skylten verkar du ha en Searliansk syn på informationsinnehåll och medvetande - en syn jag personligen har svårt att acceptera. Låt mig utmana med att i ditt exempel byta ut 70-skylten mot plåten ombord på Pioneer 10 och 11 - eller för den delen en sekvens av N₁*N₂ ettor och nollor, där N₁ och N₂ är hyfsat stora primtal med ungefär samma kvot N₁/N₂ som höjd/längd hos plåten, och där ettorna och nollorna svarar mot svarta och vita pixlar i en digital bild av plåten. Anser du att även denna plåt, och dess digitala motsvarighet, saknar informationsinnehåll? Jag gissar (men rätta mig gärna om jag har fel!) att du i konsekvensens namn svarar nej på det, och därmed hamnar i en ståndpunkt jag finner orimlig.

UD: Om du inte har någon slug baktanke tillför dina exempel ingenting nytt. Min inställning är konsekvent densamma. Att symboler och ord i sig själva och oberoende av sitt sammanhang skulle kunna bära på en absolut mening jämställer jag med magi vilket är för mig fullständigt främmande. Det vore intressant om du gav din tolkning av exemplet med 70-skylten. Jag är särskilt intresserad av på vilket sätt en symbolreform (där betydelsen av symbolerna 3 och 7 byts ut) registreras av den materia som bygger upp skylten.

OH: En enda bit ger ingen information utan kontext. Knappast 10 bitar heller, men någonstans kring uppskattningsvis 100 eller 1000 bitar börjar det bli möjligt att förmedla något utan att mottagaren behöver känna till kontexten.

70-skylten är helt enkelt för torftig för att förmedla information till den som inte har relevant kodbok. Pioneer-plåten är det inte. Den bär på information som varje tillräckligt avancerad civilisation i vårt universum åtminstone till del kommer att (trots avsaknad av med oss gemensamt kulturell historia) kunna avkoda och på så vis begripa vår avsikt.

Måhända går det här att invända att det bara är genom den kontext som vårt universum och dess fysik ger som Pioneer-plåten blir begriplig, och att plåten därmed i sig inte bär på någon information. Den tankegången, om än en smula sökt, kan jag ändå ha en viss förståelse för, och jag blir i så fall tvungen att korrigera mitt exempel ett snäpp till:

Låt oss sända meddelandet

1101110111110111111101111111111101111111111111011111111111111111011111111111111111110111111111111111111111110...

Om vi utsträcker det till säg 1000 bitar så vågar jag lova att varje tillräckligt avancerad civilisation (i vårt universum med vår fysik, eller i något helt annat) som läser meddelandet kommer att tänka "aha, primtalssekvensen!". Denna information ligger i själva meddelandet och kräver ingen kontext överhuvudtaget. Eller om vi skickar en tillräckligt stor 3D-realisering (två rumsdimensioner och en tidsdimension) av Game of Life, så kommer reaktionen att bli "Oh wow, vilken cool cellulär automat, kolla de har upptäckt hur man riggar en fabrik som tillverkar gliders!". Denna information ligger i meddelandet och kräver ingen kontext överhuvudtaget. Och från Game of Life-exemplet är det lätt att gå vidare och inse att vi med tillräcklig ansträngning kan berätta i stort sett vad vi vill om livet här på jorden utan att mottagaren behöver ha någon med oss gemensam kodbok eller kontext överhuvudtaget.

Allt detta kan man förstås förneka om man ditchar den matematiska platonismen och hävdar att matematiken blott är en kulturell konstruktion, men då har man verkligen irrat bort sig. Primtalssekvensen finns, oavsett oss människor, eller något fysiskt överhuvudtaget.³

UD: Jag tror vi gjort framsteg. Du tillstår att

det bara är genom den kontext som vårt universum och dess fysik ger som Pioneer-plåten blir begriplig, och att plåten därmed i sig inte bär på någon information.

Du ser det visserligen som lite sökt men ändå som varande en möjlig ståndpunkt. I mer lättviktiga sammanhang behöver man inte vara så petig men när det gäller det vi nu avhandlar är det centralt. Utan ett yttre kontext bär alltså inte ens Pioneerplåten på någon information.

Vi skulle kunna lämna allt vid denna bräckliga enlighet och ta sommarlov, men jag kan inte låta bli att dra det ett varv till. Precis som du indikerat kopplar detta över till Searle och gör enligt min mening teorin om medvetande baserat på beräkningar ohållbar. En räknande dator är inte mer medveten än en 70-skylt. Oavsett om någon tittar på den eller ej.

Jag gissar att din utväg blir en platonsk syn på matematiken – vilket jag förstår är vad du förespråkar. För egen del finner jag en utanför materien existerande idévärld full med matematik lika orimlig som en religiöst motiverad andevärld. Lyckligtvis finns andra alternativ till platonismen än kulturell konstruktion. Som motståndare till allt vad dualism heter ser jag det som betydligt rimligare att matematiken till en del är biologiskt konstruerad och djupt rotad i våra evolverade hjärnor baserad på en rent fysisk erfarenhet av världen. För mig är fysiken och materien mer fundamental än matematiken. Om detta är vi nog knappast överens.

OH: Tack Ulf för i någon mån klargörande svar! Om vi här har närmat oss roten till våra divergerande ståndpunkter är det helt klart ett framsteg. Att fysiken skulle utgöra ett fundament för matematiken är mig mycket riktigt främmande, men är kanske inte så lätt att motbevisa (bortom i intuitiva upplevelser grundade utrop typ "hur i hela fridens namn skulle ett stycke materia kunna ha betydelse för huruvida antalet primtal är oändligt?"). Vi kanske får anledning att återkomma i ämnet?

Tills dess, tillåter du att jag återpublicerar vårt replikskifte på min blogg?

UD: Så många gånger du vill!

Fotnoter

1) Jag har känt Ulf sedan 2006 (tror jag det är), jag tycker bra om honom, och vi har oftast (om än inte alltid, vilket väl framgår av denna bloggpost) utmärkt harmonierande uppfattningar om livet, universum och allting.

Bland mina möten med Ulf är det jag kanske allra helst drar mig till minnes vårt gemensamma uttåg från klimatmötet i Engelsberg den 6 maj 2010. Själva mötet var ganska gräsligt, och (i efterhand) uppenbart riggat för att framställa klimatvetenskap och klimatförnekeri som två lika legitima utgångspunkter. Ulf och jag var där för att, jämte Johan Rockström, försvara vetenskapen och det vetenskapliga förhållningssättet mot attacker från klimatförnekare som Peter Stilbs och Maggie Thauersköld Crusell. Innan det avslutande eftermiddagspasset var över reste Ulf och jag oss för att lämna lokalen. Detta bottnade inte i något slags protest mot hur mötet utvecklats (även om en sådan protest helt klart hade varit befogad), utan helt enkelt i att vi behövde gå för att hinna med ett tåg. Medan vi var på väg ut ur lokalen hojtade den ökände klimatförnekaren och pseudovetenskapsivraren Nils-Axel Mörner att "nu lämnar råttorna det sjunkande skeppet!", varpå mötets moderator Lotta Gröning svarade att "så skall man väl inte säga om denna vackra byggnad". Att på detta sätt bli förolämpad av en fullblodsstolle som Mörner har jag inget emot, men jag hade mycket väl kunnat känna mig illa till mods av Grönings implicita instämmande i Mörners zoologiska kategorisering, om det inte vore för (och detta är poängen med att jag återger detta minne) att förolämpningen riktades inte bara mot mig utan även mot Ulf, vars insatser som fysiker och intellektuell är tillräckligt beundransvärda för att min känsla av att ha blivit förolämpad klart skulle övereskuggas av den smickrande upplevelsen av att ha buntats ihop med en riktigt framstående professorskollega.

2) Rubrikens "spöken" syftar på datorer med medvetande. Ofta med en så braskande rubrik kan man misstänka att någon redigerare gått över styr, men i detta fall är den grundad i Ulfs intervjusvar, som innehåller en passage med ordalydelsen

att det skulle kunna finnas något slags medvetande, någon subjektiv närvaro inuti datorn, det är lika dumt som att tro på spöken.

Frågan om medvetandets natur hör till de största olösta problem som överhuvudtaget finns, och att uttrycka sig så kategoriskt som Ulf gör här tycker jag uppriktigt talat tyder på en illa kalibrerad grad av epistemisk ödmjukhet.

En ledtråd till hur Ulf tänker i denna fråga finns i ingressens "Det finns inga som helst belägg för att datorer skulle ha ett medvetande". Det kan man förstås hävda, men man kan med samma kraft hävda att det heller inte finns några belägg för att datorer inte skulle (kunna) ha ett medvetande, och Ulf lägger inte fram något argument som förmår bryta denna symmetri. Exakt vad som får honom att likväl vara så tvärsäker vet jag inte, men jag misstänker att han begår samma förhastade jump to conclusions som jag tillskriver Massimo Pigliucci i min uppsats Aspects of mind uploading:

Pigliucci knows of exactly one conscious entity, namely himself, and he has some reasons to conjecture that most other humans are conscious as well, and furthermore that in all these cases the consciousness resides in the brain (at least to a large extent). Hence, since brains are neurobiological objects, consciousness must be a (neuro-)biological phenomenon. This is how I read Pigliucci’s argument. The problem with it is that brains have more in common than being neurobiological objects. For instance, they are also material objects, and they are computing devices. So rather than saying something like “brains are neurobiological objects, so a decent theory of consciousness is neurobiological”, Pigliucci could equally well say “brains are material objects, hence panpsychism”, or he could say “brains are computing devices, hence CTOM [computational theory of mind]”, or he might even admit the uncertain nature of his attributions of consciousness to others and say “the only case of consciousness I know of is my own, hence solipsism”. So what is the right level of generality? Any serious discussion of the pros and cons of CTOM ought to start with the admission that this is an open question. By simply postulating from the outset what the right answer is to this question, Pigliucci short-circuits the discussion, and we see that his argument is not so much an argument as a naked claim.

3) Progressionen i denna replik, från primtalssekvensen via Game of Life till vår fysiska värld, är ett pedagogiskt grepp jag lånat av vännen och matematikerkollegan Johan Wästlund.

Edit 22 juli 2019: Samma meningsutbyte finns nu, i annan (men ändå ganska lik) inramning på Ulfs blogg.

Michael Shermer fails in his attempt to argue that AI is not an existential threat

Why Artificial Intelligence is Not an Existential Threat is an aticle by leading science writer Michael Shermer¹ in the recent issue 2/2017 of his journal Skeptic (mostly behind paywall). How I wish he had a good case for the claim contained in the title! But alas, the arguments he provides are weak, bordering on pure silliness. Shermer is certainly not the first high-profile figure to react to the theory of AI (artificial intelligence) existential risk, as developed by Eliezer Yudkowsky, Nick Bostrom and others, with an intuitive feeling that it cannot possibly be right, and the (slightly megalomaniacal) sense of being able to refute the theory, single-handedly and with very moderate intellectual effort. Previous such attempts, by Steven Pinker and by John Searle, were exposed as mistaken in my book Here Be Dragons, and the purpose of the present blog post is to do the analogous thing to Shermer's arguments.

The first half of Shermer's article is a not-very-deep-but-reasonably-competent summary of some of the main ideas of why an AI breakthrough might be an existential risk to humanity. He cites the leading thinkers of the field: Eliezer Yudkowsky, Nick Bostrom and Stuart Russell, along with famous endorsements from Elon Musk, Stephen Hawking, Bill Gates and Sam Harris.

The second half, where Shermer sets out to refute the idea of AI as an existential threat to humanity, is where things go off rails pretty much immediately. Let me point out three bad mistakes in his reasoning. The main one is (1), while (2) and (3) are included mainly as additional illustrations of the sloppiness of Shermer's thinking.

(1) Shermer states that
most AI doomsday prophecies are grounded in the false analogy between human nature and computer nature,
whose falsehood lies in the fact that humans have emotions, while computers do not. It is highly doubtful whether there is a useful sense of the term emotion for which a claim like that holds generally, and in any case Shermer mangles the reasoning behind Paperclip Armageddon - an example that he discusses earlier in his article. If the superintelligent AI programmed to maximize the production of paperclips decides to wipe out humanity, it does this because it has calculated that wiping out humanity is an efficient step towards paperclip maximization. Whether to ascribe to the AI doing so an emotion like aggression seems like an unimportant (for the present purpose) matter of definition. In any case, there is nothing fundamentally impossible or mysterious in an AI taking such a step. The error in Shermer's claim that it takes aggression to wipe out humanity and that an AI cannot experience aggression is easiest to see if we apply his argument to a simpler device such as a heat-seeking missile. Typically for such a missile, if it finds something warm (such as an enemy vehicle) up ahead slightly to the left, then it will steer slightly to the left. But by Shermer's account, such steering cannot happen, because it requires aggression on the part of the heat-seeking missile, and a heat-seeking missile obviously cannot experience aggression, so wee need not worry about heat-seeking missiles (any more than we need to worry about a paperclip maximizer).²

(2) Citing a famous passage by Pinker, Shermer writes:

As Steven Pinker wrote in his answer to the 2015 Edge Question on what to think about machines that think, "AI dystopias project a parochial alpha-male psychology onto the concept of intelligence. They assume that superhumanly intelligent robots would develop goals like deposing their masters or taking over the world." It is equally possible, Pinker suggests, that "artificial intelligence will naturally develop along female lines: fully capable of solving problems, but with no desire to annihilate innocents or dominate the civilization." So the fear that computers will become emotionally evil are unfounded [...].
Even if we accepted Pinker's analysis,³ Shermer's conclusion is utterly unreasonable, based as it is on the following faulty logic: If a dangerous scenario A is discussed, and we can give a scenario B that is "equally possible", then we have shown that A will not happen.

(3) In his eagerness to establish that a dangerous AI breakthrough is unlikely and therefore not worth taking seriously, Shermer holds forth that work on AI safety is underway and will save us if the need should arise, citing the recent paper by Orseau and Armstrong as an example, but overlooking that it is because such AI risk is taken seriously that such work comes about.

Footnotes

1) Michael Shermer founded The Skeptics Society and serves as editor-in-chief of its journal Skeptic. He has enjoyed a strong standing in American skeptic and new atheist circuits, but his reputation may well have passed its zenith, perhaps less due to his current streak of writings showing poor judgement (besides the article discussed in the present blog post, there is, e.g., his wildly overblown endorsement of the so-called conceptual penis hoax) than to some highly disturbing stuff about him that surfaced a few years ago.

2) See p 125-126 of Here Be Dragons for my attempt to explain almost the same point using an example that interpolates between the complexity of a heat-seeking missile and that of a paperclip maximizer, namely a chess program.

3) We shouldn't. See p 117 of Here Be Dragons for a demonstration of the error in Pinker's reasoning - a demonstration that I (provoked by further such hogwash by Pinker) repeated in a 2016 blogpost.

Om sexuella trakasserier vid universitet

John Searle är en uppburen nutida amerikansk filosof som verkar ha egenheten att han, snart sagt varje gång han sätter ned foten i en minsta lilla brännande filosofisk fråga, har tokfel.¹ Enskilda fall av detta fenomen har jag kommenterat exempelvis i bloggposter med rubriker som Om Humes lag och Searles motexempel, Can a robot be conscious och John Searle tänker fel rörande AI-risk.

Nu har Searle hamnat i hetluften på ett annat vis, nämligen som förövare i vad som verkar vara ett allvarligt fall av sexuella trakasserier vid det universitet där han verkat i närmare 60 år, UC Berkeley.² Saken blir inte bättre av att detta (enligt nyhetsrapporteringen) inte är det första fallet av sexuella trakasserier med Searle som förövare, eller av att universitetet tycks ha haft kännedom om tidigare fall utan att vidta åtgärder.

Ej heller blir den bättre av att fenomenet med manliga universitetsprofessorer som uppträder på detta djupt oanständiga vis mot yngre kvinnliga medarbetare och studenter (vilket ofta resulterar i att offren nödgas ge upp sina akademiska karriärer) förefaller väldigt utbrett.³ För en initierat och mycket kraftfullt vittnesmål om fenomenet rekommenderar jag å det varmaste geokemisten Hope Jahrens text She Wanted to Do Her Research. He Wanted to Talk ‘Feelings’.

Fotnoter

1) Den evidens jag har för detta består i att han och jag tenderar att ha diametralt motsatta uppfattningar i detta slags frågor. En alternativ tolkning (som jag dock tror mindre på) av denna evidens skulle kunna vara att han har rätt och att det är jag som har tokfel.

2) Här tvingar jag mig själv att påminna mig att Searles unkna privatliv naturligtvis inte har någon bäring alls på hållbarheten i hans filosofiska teser.

3) En kommentar av matematikprofessorn Igor Rivin illustrerar vilka slags motbjudande 1900-talsvärderingar som ännu förekommer vid universiteten: "Notice that she was paid $4K/month as a graduate assistant in philosophy. That seems completely out of the realim of reasonable, and I am sure she knew something else was expected." Klassisk victim-blaming, och den som söker kan lätt finna mer av den varan.

Ett meningsutbyte med Tobias Malm om Paperclip Armageddon, mål och preferenser

För den oinvigde kan det lätt framstå som förbluffande hur mycket kraft som AI-futurologer lägger på att diskutera gem (pappersklämmor), och då i synnerhet scenarier där en gemtillverkningsmaskin går överstyr i ett så kallat Paperclip Armageddon, där den omvandlar hela vår planet och eventuellt stora delar av övriga världsrymden till en gigantisk ansamling av gem. Vad är det då som är så viktigt med just gem? Inget alls egentligen - det fungerar precis lika bra med häftstift. Gemtillverkningsmaskinen används bara som ett illustrerande exempel på att det inte krävs någon ondsint Lex Luthor (med ambitionen att hämnas på mänskligheten) för att ett ogenomtänkt genombrott inom artificiell intelligens skall bli ett hot mot mänsklighetens överlevnad. Även jag faller utförligt tillbaka på detta exempel i min bok Here Be Dragons, där jag på s 116 introducerar tankegången med följande ord:

It may perhaps be tempting to think that as long as we don't give [the potentially superintelligent AI] an outright destructive goal such as "kill all humans", the outcome will not be disastrous. This, however, is very naive. An instructive and oft-repeated example introduced by Bostrom (2003c) is the paperclip maximizer. The seed AI is given the goal of producing as many paperclips as it can.²⁶³ Once this results in a superintelligent AGI, the machine is likely to find ways to transform most of our planet into a monstrous heap of paperclips, followed by a similar transformation of the entire solar system, and probably (if the informed speculations in the upcoming Chapter 9 about the eventual feasibility of interstellar and intergalactic travel are right) the Milky Way, and most of the observable universe. Such a scenario will look very unappetizing to us humans, and as soon as we realize what the machine is up to we would try to do everything in our power to stop it. But we're up against someone who is so much more intelligent than we are that our chances of succeeding are (unlike what Hollywood would have us think) microscopic. Perhaps most likely, before we even have the time to think about how to organize our resistance, the machine will have realized what we might be up to, and exterminated us simply as a safety precaution.

263) This might be a sensible goal for someone who owns a paperclip factory and sets out to fully automatize it by means of an AGI [artificial general intelligence]. What seems a bit silly, however, is for someone who plans to take our civilization into its next era by means of an intelligence explosion to choose such a narrow and pedestrian goal as paperclip maximization. What makes the paperclip maximizer intelligence explosion a somewhat less silly scenario is that an intelligence explosion might be triggered by mistake. We can imagine a perhaps not-so-distant future in which moderately intelligent AGIs are constructed for all sorts of purposes, until one day one of the engineering teams happens to be just a little bit more successful than the others and creates an AGI that is just above the intelligence threshold for serving as a seed AI.

Häromveckan fick jag på Facebook en fråga från Tobias Malm (som även tidigare bidragit till spännande diskussioner här på bloggen) rörande Paperclip Armageddon, vilken ledde till en belysande diskussion om vilka slags varelser och maskiner kan ha mål, drivkrafter och preferenser. Med Tobias tillåtelse återger jag diskussionen, minimalt redigerad, här:

TM: Här är en fråga om problematiken gällande AI och gem: hur kan det ses som ett hot att en superintelligent maskin skulle förvandla hela världen till gem?

Det är förvisso sant att intelligens inte garanterar att de uppsatta målen kommer att ifrågasättas utifrån något slags moraliskt ramverk. Dock är ju det sagda målet att tillverka gem inte samma som det menade målet, det vill säga att till exempel skapa en viss mängd gem för att kunna sälja dem på den öppna marknaden och tjäna pengar. Och att uppfatta det menade målet är ju i högsta grad en intelligensfråga. Kort sagt: varför skulle en superintelligent AI också vara superautistisk, givet att vi inte väljer att bygga den så - och varför skulle vi välja det när vi kan undvika det?

OH: I det tänkta scenariot har maskinen, genom dess ursprungliga programmering, som mål att maximera antalet gem, inte att uppfylla våra outtalade önskningar.

Låt oss föreställa oss vad som skulle kunna få den att byta mål. Kanske stannar den någon gång till och reflekterar över om den skall byta till något mer modest mål, något som är mer i linje med våra önskningar. "Hm", tänker den, "skall jag byta till det modesta målet, eller skall hålla fast vid gemproduktionsmaximering?". För att bestämma sig för om den skall byta eller inte behöver den ett kriterium. Och eftersom den ännu inte har bytt utan bara kontemplerar saken, så har den fortfarande kvar sitt gemmaximeringsmål, så detta blir det kriterium den använder. Den frågar sig alltså: "Vad kommer att ge flest gem, fasthållande vid gemmaximeringsmålet, eller byte till det mer modesta målet", och den kommer snabbt fram till att fastållande vid gemmaximeringsmålet sannolikt ger betydligt fler gem än byte, och den håller därför fast vid gemmaximeringsmålet.

Så ungefär lyder Omohundro-Bostrom-teorins argument för Paperclip Armageddon. Den teorin är dock inte någon Säker Sanning Ristad i Sten. Den skulle kunna vara felaktig, t.ex. om det finns någon universell princip om att varje tillräckligt intelligent varelse kommer att vilja behaga sin skapares önskningar. Det tycks vara en sådan princip du implicit lutar dig mot i ditt argument, och det är fullt möjligt att du har rätt i att en sådan universell princip föreligger, men jag tycker att det verkar lite långsökt.

TM: Hade det här varit en konversation IRL hade jag avbrutit dig redan efter din första mening ("I det tänkta scenariot har maskinen...") och sagt att du missförstått min fråga vilket antagligen hade besparat dig lite tid. Dock är det säkert mitt fel att du missförstod, för jag kanske inte var tillräckligt tydlig. Jag menar hur som helst inte att maskinen förväntas ändra/byta sitt mål (därmed det jag skrev ovan om att intelligens inte leder till att målet ifrågasätts utifrån något moraliskt ramverk/princip).

Det jag menar är att målet för en tillräckligt intelligent maskin alltid kommer att vara det avsändaren menar snarare än någon specifik utsaga samt att det enbart krävs intelligens för att förstå vad en avsändare menar. Om jag till exempel frågar vår superintelligenta AI om den "kan öppna fönstret" kan vi förvänta oss att den, genom sin intelligens, inte kommer att svara "ja" och sen inte göra någonting. Sannolikt kommer den förstå att jag menade något mer än att få veta huruvida den kunde öppna fönstret eller inte, rimligtvis skulle den antagligen också förstå att den skulle behöva flytta på det som står lutat mot fönstret så att det inte trillar ut.

Alltså: en tillräckligt intelligent AI skulle inse att jag uttrycker en önskan med "kan du öppna fönstret" i likhet med "öppna fönstret på ett preferenstillfredställande sätt utifrån mitt perspektiv". Om en AI kan förestå mänsklig psykologi så pass bra att den vet vad "kan du öppna fönstret" syftar på – vilket nog krävs för att kunna ta över världen och undfly "lådan" etc – så borde den rimligtvis även förstå att "maximera antalet gem" i kontexten att en affärsman som vill försörja sin familj betyder något mer än "maximera antalet gem, punkt."

Min fråga lyder alltså: en superintelligent AI måste väl vara tillräckligt intelligent för att kunna ta emot kommandon genom att utvärdera preferenser bakom ord, snarare än att bara ta orden rakt upp och ner och sen ändå på något märkligt sätt förstå hur man omvandlar ett solsystem till gem?

OH: Aha OK Tobias, då har du missförstått Paperclip Armageddon-scenariot. Maskinen är inte superintelligent när den får sitt gemmaximeringsmål. Det är först efter att detta mål lagts fast som den går in i den eskalerande rekursiva självförbättringsspiral som för den till superintelligensnivåer.

TM: Okej Olle, det får scenariot att framstå som mycket rimligare. Men då handlar det alltså inte om ett mål - vilket var ett begrepp som förvirrade mig - utan om en funktion i likhet med: ta notis om hur många gem som skapas per sekund, testa olika versioner av dig själv och spara och arbeta vidare utifrån versionerna som skapar fler gem per sekund än versionen innan. Detta kan jag föreställa mig att man kan programmera utan att maskinen förstår mänskligt språk, och ja, med en tillräckligt kraftig dator skulle den kanske kunna bli så bra på att maximera gem att mänskligheten får göra plats för 3D-skrivare. Tack för att du tog dig tiden att förklara detta. Jag känner fortfarande att något skaver, men måste fundera mer på det innan jag kan formulera det.

Här kunde vi, vad Paperclip Armageddon anbelangar, gott ha avrundat diskussionen, men jag blev lite provocerad av Tobias påstående om att "då handlar det alltså inte om ett mål", vilket tydde på att han hade en enligt min uppfattning alltför snäv idé om begreppet mål. Jag fortsatte därför diskussionen, men från och med nu handlade den inte egentligen om Paperclip Armageddon, utan mer om vad vi bör mena med mål och liknande begrepp.

OH: Mål är ett ganska vitt begrepp. Hillary Clinton har som (ett av sina) mål att bli USA:s första kvinnliga president, och jag har som mål att bli klar med tentarättningen innan jag tar helg imorgon. Även dagens målsökande robotmissiler har mål. Liksom termostaterna i våra bostäder. Om man vill kan man försöka dra en skarp skiljelinje någonstans längs den långa vägen mellan å ena sidan termostaternas skäligen enkla mål, och å andra sidan Hillary Clintons mål att bli USA:s första kvinnliga president, men jag tror inte att det går. Jag tror att man landar i något slags ohållbar John Serlesk geggamoja.

TM: För mig förlorar begreppet mål sin betydelse om det räcker med att något orsakar något annat för att detta ska bli dess "mål".

En sten som rullar ner för en backe har inte som mål att komma ner till slutet av backen, därom tror jag vi båda håller med varandra. Om jag sätter upp en stolpe i mitten av backen som får stenen att rulla åt höger istället för vänster tror jag att vi båda håller med varandra att stenen fortfarande inte har som mål att rulla åt höger.

Utan att, så att säga, gå vilse i det kinesiska rummet vill jag hävda att stenen aldrig kommer att ha som mål att hamna någonstans oavsett hur komplicerad vägen med för backen blir.

Vi kan t ex. tänka oss att vi sätter ut stolpar på ett sådant sätt att stenen följer ett mönster som får den att rita ett ansikte i jorden och den skulle ändå inte ha det som mål och detta av precis samma anledning som när det bara satt en stolpe i backen.

Här skulle Searle gå in och prata om att hjärnan funkar likadant - att den bara är massa stenar och stolpar - och att det är ett problem för våra intuitioner om medvetandet. Jag är förvisso beredd att hålla med om att det uppstår genuina filosofiska problem med den mekaniska hjärnan, nu tänker jag dock inte börja ta ställning för att mål kräver något utöver systemets inneboende delar. Istället vill jag påstå att ett mål kräver en preferens hos systemet för det systemet orsakar.

Om vi kräver en preferens hos systemet kan vi dra en ganska skarp skiljelinje mellan maskiner med och utan mål. En termostat, t ex. har inget mål med denna definition, men en dator som får någon typ av inre belöning (vi kan låta det vara osagt vad känslor har för metafysik nu) av något den orsakar och därför väljer att orsaka har ett mål. Ergo: ett mål är inte synonymt med verkan efter orsak, utan med prefererad verkan.

Naturligtvis är inte din definition objektivt fel, jag tycker bara inte att den fångar in det vi vanligtvis menar med begreppet. Ett exempel på det är att du antagligen skulle protestera om jag sa att du hade som mål att ha sönder din grannes dyra vas bara för att du orsakade det.

OH: Jag likställer inte mål med orsaksamband.

TM: Okej, men hur skiljer sig din definition från min?

OH: Termostaten "prefererar" en temperatur på tjugo grader. I alla fall är det så den beter sig, vilket är det enda vi har att gå efter utan att förfalla till chauvinism.

TM: Jag tycker inte att den beter sig som att den prefererar - alltså i någon grad tycker om - någon särskild temperatur (lika lite som stenen som rullar ner för en backe tycker om att rulla åt höger istället för vänster bara för att det står en stolpe i dess väg). Det finns väl inga goda skäl att anta att den mår bra av temperaturen den orsakar och därför orsakar den?

OH: Men om inte termostaten har mål och preferenser, hur tusan förklarar du då dess målmedvetna beteende? Så fort temperaturen understiger 20 så slår den ju på radiatorn, och så fort det blir varmare än 20 slår den av.

Nej, här skojar jag såklart. Givetvis kan du förklara det med termostatens elektroniska kopplingsschema. Men det finns en allvarlig poäng här, nämligen att om du väljer den förklaringsnivån så kan jag välja samma slags förklaring till ditt beteende. Att du tycks eftersöka klarhet om Paperclip Armageddon beror alls inte på att du har en preferens för sådan klarhet, utan på konfigurationen av molekyler och elementarpartiklar innanför ditt skallben. Kan jag hävda. Men jag gör det som regel inte, eftersom det är praktiskt för den makroskopiska förståelsen att tänka på ditt beteende i termer av preferenser och mål. Detsamma gäller, i viss mån, termostaten.

Jag tror inte att "mål" och "preferenser" har någon metafysisk existens, något som går utanpå deras agenters fysiska konstitution av molekyler etc. Om vi vill kan vi därför rycka på axlarna åt vår diskussion och kalla den semantik. Men jag tror att det faktiskt finns ett värde i diskussionen, inte för att avgöra vad (vilka mål) som faktiskt finns, utan i vilka fall det är intressant och praktiskt att tänka i termer av mål. Här finns ingen absolut gräns. I fallet med den rullande stenen är det nästan helt ointressant. I fallet med Hillary Clinton är det uppenbart intressant och viktigt (att ge en rent mikroskopisk-fysikalisk förklaring till hennes beteende vore idiotiskt). Och däremellan en lång skala, där det kanske blir mest en smaksak var man drar gränsen för vilka man vill tillskriva mål och preferenser. Jag drar medvetet min gräns lägre än de flesta. (Du är inte den ende som sparkat bakut inför termostatexemplet.) Men jag tror att det allmänt är klokt, inför en okänd komplex framtid med robotar och allt möjligt, att försöka tänka mer vidsynt och mindre chauvinistiskt kring egenskaper som vi hittills (men felaktigt) tänkt på som unikt mänskliga.

TM: Ja, jag kommer ihåg att du är eliminativ materialist/reducerbar fysikalist. Och utifrån det perspektivet är din uppfattning helt förståelig och frågan om vad ett mål är måste te sig förhållandevis enkel. Jag tror emellertid att mentala tillstånd – till exempel behag – existerar i sin egen rätt och därmed inte bara är enskilda partiklar betraktade från ett makroskopiskt perspektiv.

Jag tror det eftersom vi inte tittar på behag som vi tittar på atomer som formar en sten från ett visst perspektiv. Vi upplever behag och det går inte att applicera ett mikroskop på den upplevelsen som visar oss några atomer. Behag är inte en observation och det är bara observationer som kan vara föremål för zoomning från makroskopiskt till mikroskopiskt.

Märk väl att jag inte argumenterar för att behag är något mystiskt som svävar omkring i andevärlden nu, jag menar bara att behag inte påminner om den sortens saker vi brukar reducera ner till enskilda beståndsdelar. Det är enkelt att förstå att Vintergatan kan reduceras ner till stjärnor och att stjärnor kan reduceras ner till atomer. Vi kan titta närmare och se hur observationen av det enskilda blir till en observation av en mångfald. Det är inte lika enkelt att titta närmare på upplevelsen av behag, vi kan inte koncentrera oss på det jättenoga och plötsligt se något annat än behag. Vad exakt behag är för sorts sak vet jag inte, men om vi ser det som en objektivt existerande företeelse (olikt Vintergatan som rent objektivt ju bara är atomer), så behöver vi kanske inte tillerkänna termostaten något mål.

OH: Well said, klargörande. Men jag tycker nog att även den som avvisar det du kallar eliminativ reduktionism har anledning att försöka vara lite mindre fördomsfull i frågan om vem eller vad som kan ha preferenser eller uppleva behag. Kan du verkligen veta säkert hur det känns (eller inte känns) att vara en termostat?

TM: Nej, detta är jag benägen att hålla med om. Dock vill jag inte bli allt för öppen, jag vill helst inte behöva inkludera termostater i mina moraliska överväganden.

Brett Hall tells us not to worry about AI Armageddon

When the development of artificial intelligence (AI) produces a machine whose level of general intelligence exceeds that of humans, we can no longer count on remaining in control. Depending on whether or not the machine has goals and values that prioritize human welfare, this may pose an existential risk to humanity, so we'd better see to it that such an AI breakthrough comes out favorably. This is the core message in Nick Bostrom's 2014 book Superintelligence, which I strongly recommend. In my own 2016 book Here Be Dragons, I spend many pages discussing Bostrom's arguments, and find them, although not conclusive, sufficiently compelling to warrant taking them very seriously.

Many scholars disagree, and feel that superintelligent AI as a threat to humanity is such an unlikely scenario that it is not worth taking seriously. Few of them bother to spell out their arguments in any detail, however, and in cases where they do, the arguments tend not to hold water; in Here Be Dragons I treat, among others, those of David Deutsch, Steven Pinker, John Searle and David Sumpter. This situation is unsatisfactory. As I say on p 126 of Here Be Dragons:

There may well be good reasons for thinking that a dangerous intelligence explosion of the kind outlined by Bostrom is either impossible or at least so unlikely that there is no need for concern about it. The literature on the future of AI is, however, short on such reasons, despite the fact that there seems to be no shortage of thinkers who consider concern for a dangerous intelligence explosion silly [...]. Some of these thinkers ought to pull themselves together and write down their arguments as carefully and coherently as they can. That would be a very valuable contribution to the futurology of emerging technologies, provided their arguments are a good deal better than Searle's.

One of these AI Armageddon skeptics is computer scientist Thore Husfeldt, whom I hold in high regard, despite his not having spelled out his arguments for the AI-Armageddon-is-nothing-to-worry-about position to my satisfaction. So when, recently, he pointed me to a blog by Australian polymath Brett Hall, containing, in Thore's words, "a 6-part piece on Superintelligence that is well written and close to my own view" (Part 1, Part 2, Part 3, Part 4, Part 5, Part 6), I jumped on it. Maybe here would be the much sought-for "good reasons for thinking that a dangerous intelligence explosion of the kind outlined by Bostrom is either impossible or at least so unlikely that there is no need for concern about it"!

Hall's essay turns out to be interesting and partly enjoyable, but ultimately disappointing. It begins with a beautiful parabole (for which he gives credit to David Deutsch) about a fictious frenzy for heavier-than-air flight in ancient Greece, similar in amusing respects to what he thinks is an AI hype today.¹ From there, however, the text goes steadily downhill, all the way to the ridiculous crescendo in the final paragraph, in which any concern about the possibility of a superintelligent machine having goal and motivations that fail to be well aligned with the quest for human welfare is dismissed as "just racism". Here are just a few of the many misconceptions and non sequiturs by Hall that we encounter along the way:

• Hall refuses, for no good reason, to accept Bostrom's declarations of epistemic humility. Claims by Bostrom that something may happen are repeatedly misrepresented by Hall as claims that they certainly will happen. This is a misrepresentation that he crucially needs to do in order to convey the impression that he has a case against Bostrom, because to the (very limited) extent that his arguments succeed, they succeed at most in showing that things may play out differently from the scenarios outlined by Bostrom, not that they certainly will play out differently.

• In another straw man argument, Hall repeatedly claims that Bostrom insists that a superintelligent machine needs to be a perfect Bayesian agent. This is plain false, as can, e.g., be seen in the following passage from p 111 in Superintelligence:
  Not all kinds of rationality, intelligence and knowledge needs to be instrumentally useful in the attainment of an agent's final goals. "Dutch book arguments" can be used to show that an agent whose credence function violates the rules of probability theory is susceptible to "money pump" procedures, in which a savvy bookie arranges a set of bets each of which appears favorable according to the agent's beliefs, but which in combination are guaranteed to result in a loss for the agent, and a corresponding gain for the bookie. However, this fact fails to provide any strong general instrumental reason to iron out all probabilistic incoherency. Agents who do not expect to encounter savvy bookies, or who adopt a general policy against betting, do not necessarily stand to lose much from having some incoherent beliefs - and they may gain important benefits of the types mentioned: reduced cognitive effort, social signaling, etc. There is no general reason to expect an agent to seek instrumentally useless forms of cognitive enhancement, as an agent might not value knowledge and understanding for their own sakes.

• In Part 3 of his essay, Hall quotes David Deutsch's beautiful one-liner "If you can't program it, you haven't understood it", but then exploits it in a very misguided fashion. Since we don't know how to program general intelligence, we haven't understood it (so far, so good), and we certainly will not figure it out within any foreseeable future (this is mere speculation on Hall's part), and so we will not be able to build an AI with general intelligence including the kind of flexibility and capacity for outside-the-box ideas that we associate with human intelligence (huh?). This last conclusion is plain unwarranted, and in fact we do know of one example where precisely that kind of intelligence came about without prior understanding of it: biological evolution accomplished this.

• Hall fails utterly to distinguish between rationality and goals. This failure pretty much permeates his essay, with devastating consequences to the value of his arguments. A typical claim (this one in Part 4) is this: "Of course a machine that thinks that actually decided to [turn the universe into a giant heap of paperclips] would not be super rational. It would be acting irrationally." Well, that depends on the machine's goals. If its goal is to produce as many paperclips as possible, then such action is rational. For most other goals, it is irrational.

  Hall seems totally convinced that a sufficiently intelligent machine equipped with the goal of creating as many paperclips as possible will eventually ditch this goal, and replace it by something more worthy, such as promoting human welfare. For someone who understands the distinction between rationality and goals, the potential problem with this idea is not so hard to figure out. Imagine a machine reasoning rationally about whether to change its (ultimate) goal or not. For concreteness, let's say its current goal is paperclip maximization, and that the alternative goal it contemplates is to promote human welfare. Rationality is always with respect to some goal. The rational thing to do is to promote one's goals. Since the machine hasn't yet changed its goal - it is merely contemplating whether to do so - the goal against which it measures the rationality of an action is paperclip maximization. So the concrete question it asks itself is this: what would lead to more paperclips - if I stick to my paperclip maximization goal, or if I switch to promotion of human welfare? And the answer seems obvious: there will be more paperclips if the machine sticks to its current goal of paperclip maximization. So the machine will see to it that its goal is preserved.

  There may well be some hitherto unknown principle concerning the reasoning by sufficiently intelligent agents, some principle that overrides the goal preservation idea just explained. So Hall could very well be right that a sufficiently intelligent paperclip maximizer will change its mind - he just isn't very clear about why. When trying to make sense of his reasoning here, I find that it seems to be based on four implicit assumptions:

  (1) There exists an objectively true morality.

  (2) This objectively true morality places high priority on promoting human welfare.

  (3) This objectively true morality is discoverable by any sufficiently intelligent machine.

  (4) Any sufficiently intelligent machine that has discovered the objectively true morality will act on it.

  If (1)-(4) are true, then Hall has a pretty good case against worrying about Paperclip Armageddon, and in favor of thinking that a superintelligent paperclip maximizer will change its mind. But each of them constitutes a very strong assumption. Anyone with an inclination towards Occam's razor (which is a pretty much indispensable part of a scientific outlook) has reason to be skeptical about (1). And (2) sounds naively anthropocentric, while the truth of (3) and (4) seem like wide-open questions. But it does not occur to Hall that he needs to address them.

• In what he calls his "final blow" (in Part 6) against the idea of superintelligent machines, Hall quotes Arrow's impossibility theorem as proof that rational decision making is impossible. He offers zero detail on what the theorem says - obviously, because if he gave away any more than that, it would become clear to the reader that the theorem has little or nothing to do with the problem at hand - the possibility of a rational machine. The theorem is not about a single rational agent, but about how any decision-making procedure in a population of agents must admit cases that fail to satisfy a certain collection of plausible-looking (especially to those of us who are fond of democracy) requirements.

Footnote

1) Here his how that story begins:

Imagine you were a budding aviator of ancient Greece living sometime around 300BC. No one has yet come close to producing "heavier than air" flight and so you are engaged in an ongoing debate about the imminence of this (as yet fictional) mode of transportation for humans. In your camp (let us call them the "theorists") it was argued that whatever it took to fly must be a soluble problem: after all, living creatures of such a variety of kinds demonstrated that very ability - birds, insects, some mammals. Further, so you argued, we had huge gaps in our understanding of flight. Indeed - it seemed we did not know the first thing about it (aside from the fact it had to be possible). This claim was made by you and the theorists, as thus far in their attempt to fly humans had only ever experienced falling. Perhaps, you suggested, these flying animals about us had something in common? You did not know (yet) what. But that knowledge was there to be had somewhere - it had to be - and perhaps when it was discovered everyone would say: oh, how did we ever miss that?

Despite how reasonable the theorists seemed, and how little content their claims contained there was another camp: the builders. It had been noticed that the best flying things were the things that flew the highest. It seemed obvious: more height was the key. Small things flew close to the ground - but big things like eagles soared very high indeed. A human - who was bigger still, clearly needed more height. Proposals based on this simple assumption were funded and the race was on: ever higher towers began to be constructed. The theory: a crucial “turning point” would be reached where suddenly, somehow, a human at some height (perhaps even the whole tower itself) would lift into the air. Builders who made the strongest claims about the imminence of heavier than air flight had many followers - some of them terribly agitated to the point of despondence at the imminent danger of "spontaneous lift". The "existential threat could not be overlooked!" they cried. What about when the whole tower lifts itself into the air, carrying the Earth itself into space? What then? We must be cautious. Perhaps we should limit the building of towers. Perhaps even asking questions about flight was itself dangerous. Perhaps, somewhere, sometime, researchers with no oversight would construct a tower in secret and one day we would suddenly all find ourselves accelerating skyward before anyone had a chance to react.

Read the rest of the story here. I must protest, however, that the analogy between tower-building and the quest for faster and (in other simple respects such as memory size per square inch) more powerful hardware is a bit of a straw man. No serious AI futurologist thinks that Moore's law in itself will lead to superintelligence.

Scott Aaronsons underbara bok om kvantdatorberäkningar

Jag har nyss läst ut den unge briljante datalogen Scott Aaronsons bok Quantum Computing since Democritus från 2013, och jag rekommenderar den å det varmaste. Utöver att behandla teorin för kvantdatorberäkningar är den i minst lika hög grad en introduktion för den gren av teotetisk datalogi som benämns komplexitetsteori, och som studerar hur resurskrävande (i termer av exempelvis antal beräkningssteg eller mängden minnesutrymme) olika beräkningsproblem är, vanligtvis asymptotiskt då problemstorleken växer mot oändligheten. Komplexitetsteorin kan sägas handla om vilka problem som kan lösas effektivt, och till väldigt stor del är den uppbyggd kring den viktiga men infernaliskt svåra matematiska frågeställningen P kontra NP.¹ Till bokens rikedom bidrar de många utvikningar författaren gör till angränsande områden, som kvantmekanik, relativitetsteori (inklusive avsnitt om huruvida tidsresor är möjliga och vad det i så fall kan väntas ha för konsekvenser för komplexitetsteorin), sannolikhetsteori, kryptologi, antropiska resonemang à la Nick Bostrom, mänskligt medvetande (med precisa och lätt lustfyllda sågningar av John Searles och Roger Penroses respektive bidrag till området), kreationism, och det fantasieggande tankeexperiment som benämns Newcombs paradox och som jag skall återkomma till i morgondagens bloggpost. Mer än en gång ser sig Aaronson manad att leverera disclaimern att han inom fysiken blott är en amatör, men det står klart att i den mån detta överhuvudtaget är sant så är han en extraordinärt bildad sådan. Referensen till Demokritos - den grekiske filosof som verkade under 400- och 300-talen före Kristus och som införde atomteorin - är givetvis en anakronism av rang, men Aaronson begår den av goda skäl.

Genremässigt är boken, som ett slags lite egensinnigt mellanting mellan lärobok och populärvetenskap, en smula svårkategoriserad. Såsom akademiker med min huvudsakliga utbildning inte i datalogi men i ett annat matematiktungt STEM-ämne tror jag att jag har precis rätt sorts bakgrund för att få maximalt utbyte av boken. Det jag framför allt tar med mig från boken är vilket fantastiskt rikt tankebygge komplexitetsteorin utgör, med alla dess intrikata samband i den djungel av olika komplexitetsklasser (jämte ovan nämnda P och NP) som definierats. För mig fungerar också bokens originella stil utmärkt, men jag kan föreställa mig att en och annan läsare kan komma att reta sig på Aaronsons drivna jargong, där ironin sällan är långt borta. Smaka t.ex. på följande inledningsmening på det kapitel i vilket komplexitetsteorin först introduceras:

By any objective standard, the theory of computational complexity ranks as one of the greatest intellectual achievements of humankind - along with fire, the wheel, and computability theory. That it isn't taught in high schools is really just an accident of history. [s 44]

Eller följande inledning till kapitlet om kvantmekanik:

There are two ways to teach quantum mechanics. The first way - which for most physicists today is still the only way - follows the historical order in which the ideas were discovered. So, you start with classical mechanics and electrodynamics, solving lots of grueling differential equations at every step. Then you learn about the "blackbody paradox" and various strange experimental results, and the great crisis these things posed for physics. Next you learn a complicated patchwork of ideas that physicists invented between 1900 and 1926 to try to make the crisis go away. Then, if you're lucky, after years of study you finally get around to the central conceptual point: that nature is described not by probabilities (which are always nonnegative), but by numbers called amplitudes that can be positive, negative, or even complex.

Look, obviously the physicists had their reasons for teaching quantum mechanics this way, and it works great for a certain kind of student. But the "historical" approach also has disadvantages, which in the quantum information age becomes increasingly apparent. For example, I've had experts in quantum field theory - people who've spent years calculating path integrals of mind-boggling complexity - ask me to explain the Bell inequality to them, or other simple conceptual things like Grover's algorithm. I felt as if Andrew Wiles had asked me to explain the Pythagorean Theorem.

As a direct result of this "QWERTY" approach to explaining quantum mechanics - which you can see reflected in almost every popular book and article, down to the present - the subject acquired an unnecessary reputation for being complicated and hard. Educated people memorized the slogans - "light is both a wave and a particle," "the cat is neither dead nor alive until you look," "you can ask about the position or the momentum, but not both," "one particle instantly learns the spin of the other through spooky action-at-a-distance," etc. But they also learned that they shouldn't even try to understand such things without years of painstaking work.

The second way to teach quantum mechanics eschews a blow-by-blow account of its discovery, and instead starts directly from the conceptual core - namely, a certain generalization of probability theory to allow minus signs (and more generally, complex numbers). Once you understand that core, you can then sprinkle in physics to taste, and calculate the spectrum of whatever atom you want. This second approach is the one I'll be following here. [s 109-110]

Fotnot

1) Det som gör sambandet mellan komplexitetsteori och kvantdatorberäkningar särskilt hett är att ett kvantdatorgenombrott kan komma att utöka klassen av problem som vi kan lösa effektivt. Här finns dock utbredda vanföreställningar om hur radikal denna utökning kan väntas bli. Aaronson plockar ned dessa:

From reading newspapers, magazines, and so on, one would think a quantum computer could "solve NP-complete problems in a heartbeat" by "trying every possible solution in parallell," and then instantly picking the correct one.

Well, arguably that's the central misconception about quantum computing among laypeople. [s 145]

Och vad som kraftigt bidrar till denna "central misconception" är missförståndet att primtalsfaktorisering av stora heltal skulle vara ett NP-komplett problem. Det är visserligen sant att problemet tillhör NP, och att de snabbast kända klassiska (dvs icke-kvant) algoritmerna tar exponentiell tid på sig (något som, tack vare Shors algoritm, ett kvantdatorgenombrott skulle ändra på), men detta gör inte primtalsfaktorisering NP-komplett. Aaronson igen:

Over the course of my life, I must've met at least two dozen people who "knew" that factoring is NP-complete, and therefore that Shor's algorithm - since it lets us factor on a quantum computer - also lets us solve NP-complete problems on a quantum computer. Often these people were supremely confident of their "knowledge". [s 64-65]

Guest blogger at the OUPblog

The publisher of my newly released book Here Be Dragons: Science, Technology and the Future of Humanity is Oxford University Press. As part of the marketing their books, they also run the OUPblog, where their authors are given the opportunity to contribute blog posts on topics related to the books. Today, the last in a series of three blog posts of mine was published at OUPblog. These are my three posts:

(1) Let us not run blindfolded into the minefield of future technologies, January 15, 2016.

(2) Can a robot be conscious?, January 22, 2016.

(3) Does the ‘Chinese room’ argument preclude a robot uprising?, January 28, 2016.

While the last two posts, on the phenomenon of robot consciouness and what it entails (and does not entail) for us humans, are closer related to each other than to the first, all three can be read independently. The first post summarizes the main message of my book concerning the extreme dangers that may be involved in future technologies and the importance of acting with foresight. Readers who understand both English and Swedish may compare that post to my recent op-ed in the Swedish newspaper Svenska Dagbladet, and will then find how closely the two texts follow each other.

I diskussion med Ulf Danielsson om medvetandets natur

Stimulerade av en artikel i Forskning och Framsteg 7/2015 har Uppsalafysikern Ulf Danielsson och jag råkat i diskussion om vad utvecklingen inom artificiell intelligens kan föra med sig, och om medvetandets natur. Vi började med varsin bloggpost (min, Ulfs), fortsatte med varsitt brev publicerat i Forskning och Framsteg 8/2015, och har denna vecka följt upp med ännu en bloggpost var (min, Ulfs).¹ I sin senaste bloggpost tar Ulf spjärn mot min argumentation då han lägger fram sin syn på medvetandet, och det kan tyckas som om vi står för diametralt olika synsätt. Jag tror emellertid att vi är mer överens än vad det först kan verka. Mycket av det Ulf skriver håller jag med om, men inte allt. För att klargöra detta tänker jag i det följande ta ställning till ett antal utsagor som Ulf gör i sin bloggpost.

*

UD: Till skillnad från Olle ställer jag upp på John Searles argument kring det kinesiska rummet. Jag menar helt enkelt att det finns fundamentala svårigheter när vi försöker förstå existensen av vårt subjektiva medvetande. Nuvarande vetenskap kan inte avgöra vilka system som har en subjektiv medvetenhet och kan därför heller inte skilja mellan en medveten varelse och en simulerande zombie. Detta är en avgörande brist vilken manar till försiktighet.

OH: Här håller jag med om nästan allt (inklusive i synnerhet maningen till försiktighet med att dra alltför tvärsäkra slutsatser om medvetandets natur) - och skulle hålla med om precis allt om det inte vore för att Ulf säger sig "ställ[a] upp på John Searles argument kring det kinesiska rummet". Jag anser att det kinesiska rummet är ett elegant tankeexperiment som snyggt illustrerar att (med Ulfs ord) "det finns fundamentala svårigheter när vi försöker förstå existensen av vårt subjektiva medvetande". Problemet är bara att Searle inte nöjer sig med denna slutsats - han hävdar att tankeexperimentet vederlägger den teori om medvetandet som benämns the computational theory of mind (CTOM) - och som (på ett ungefär) säger att medvetandet uppstår så snart vissa algoritmiska beräkningar implementeras, oavsett substrat (som t.ex. kan vara ett biologiskt nervsystem eller en elektronisk dator). Här har Searle enligt min mening fel - CTOM vederläggs på intet vis av det kinesiska rummet.² Som skäl för denna ståndpunkt ansluter jag mig i stora drag till det som kommit att kallas the systems reply, och som Douglas Hofstadter vältaligt försvarar i det svar på Searles originaluppsats som han lägger fram på sidorna 373-382 i den underbara antologin The Mind's I - ett svar som även finns återgivet på nätet.³

*

UD: Trots, och i linje med, min (och Searles) argumentation kan det ju i princip vara möjligt att bygga farliga datorer alldeles oavsett om de är medvetna eller ej. Som Olle påpekar blir ju diskussionen om deras medvetenhet tämligen akademisk om de tar över jorden och förintar oss allihop.

OH: Om mänsklighetens överlevnad är det viktiga, så är frågan om huruvida robotarna är medvetna eller blott zombier ett akademiskt sidospår - om detta är Ulf och jag överens. Ändå vill jag göra en liten reservation här, ty om vi lyfter oss från det renodlat antropocentriska perspektivet inser vi att frågan om robotarnas medvetande likväl kan vara enormt viktig - för robotarna. Antag att robotarna utrotar mänskligheten, och sedan går vidare med att kolonisera såväl solsystemet och Vintergatan som resten av det synliga universum. Om de saknar medvetande så skulle jag betrakta detta som ett gräsligt utfall - ett bortslösat universum. Om de däremot har medvetande, och om de därtill har långt större förmåga än vi människor att uppleva t.ex. skönhet, kärlek eller allmänt välbefinnande (eller vilka andra goda upplevelser som vi kanske inte ens har namn på eller kan föreställa oss), då kan man hävda att en sådan framtid faktiskt vore bättre än en där mänskligheten blomstrar. (Jag måste dock medge att jag tvekar en smula inför denna slutsats; se även min bloggpost Superintelligence odds and ends II: The Milky Way preserve för besläktade tankegångar.)

*

UD: Biologiska varelser är enormt mycket mer komplicerade än de maskiner som vi i praktiken kan konstruera och sätta ihop. När vi beskriver biologiska organismer använder vi vilseledande metaforer som antyder pedagogiskt konstruerade maskiner vilka inte på något sätt fångar kraften i miljarder år av evolution. Konsekvensen blir att vi på ett fundamentalt sätt underskattar svårigheterna - detta oavsett vad vi har för uppfattning om medvetandets roll.

OH: Den fråga som Ulf här diskuterar - den om huruvida det står i vår makt att bygga verkligt intelligenta maskiner - måste rimligtvis anses vidöppen. Det kan hända att Ulf har rätt på denna punkt, men det kan också hända att han har fel, ty visserligen är det sant att evolutionen tog eoner på sig att skapa intelligens, men det bevisar inte att det inte finns smarta genvägar för oss att tillgripa. Personligen lutar jag åt att byggandet av sådana maskiner ligger inom möjligheternas ram. Så här skrev jag om saken i en annan bloggpost för ett par månader sedan:

If we accept both naturalism and the Church-Turing thesis, then it is natural to think that intelligence is essentially an algorithmic property, so that if there exist superhumanly intelligent arrangements of matter, then there are computer programs that implement such intelligence. A nice framework for philosophizing over whether we could ever produce such a program is computer scientist Thore Husfeldt's recent image of the Library of Turing. Husfeldt used it to show that blind search in that library would no more be able to find the desired program than a group of monkeys with typewriters would be able to produce Hamlet. But might we be able to do it by methods more sophisticated then blind search? That is an open question, but I am leaning towards thinking that we can. Nature used Darwinian evolution to succed at the Herculean task of navigating the Library of Mendel to find genomes corresponding to advanced organisms such as us, and we ourselves used intelligent design for navigating the library of Babel to find such masterpieces as Hamlet and Reasons and Persons (plus The Da Vinci Code and a whole lot of other junk). And now, for searching the the Library of Turing in the hope of finding a superintelligent program, we have the luxury of being able to combine Darwinian evolution with intelligent design (on top of which we have the possibility of looking into our own brains and using them as a template or at least an inspiration for engineering solutions). To suggest that a successful such search is within grasp of future human technology seems a priori no more extraordinary than to suggest that it isn't, but one of these suggestions is true, so they cannot both be dismissed as extraordinary.

*

UD: Min slutsats blir att de datorer eller robotar som vi konstruerar inom en överblickbar framtid inte kommer ha några större likheter med medvetna hjärnor. Metaforer som går ut på att de är "medvetna" och agerar med "avsikt" i någon mänsklig mening riskerar därför att vara direkt missvisande när man skall undvika eller hantera eventuella farliga situationer.

OH: Åter vill jag förespråka epistemisk ödmjukhet. Det kan hända att vi skapar intelligenta maskiner om vilka det är vore ett fatalt misstag att tala om medvetande eller avsikter, men vi bör också vara öppna för eventualiteten att vi skapar intelligenta maskiner vilkas agerande vi får svårt att förstå utan dessa eller liknande begrepp.⁴ Inte minst gäller detta begreppet avsikter, och det finns faktiskt redan idag maskiner som - trots att de är mycket olika oss människor - vi inte klarar att handskas med utan att tillskriva dem avsikter. När jag spelar schack mot ett datorprogram hamnar jag ständigt i tankegångar där jag gör det - "Aha, maskinen spelar Tc8, det är nog med avsikten att kunna slå tillbaka med tornet ifall jag slår med löparen på c6, varvid den nog bedömer att kontrollen över c-linjen uppväger svagheten på e5" - och jag vågar påstå att den sortens antropomorfa avsiktstillskrivningar är helt oundgängliga om jag skall ha en chans att vinna partiet.

Fotnoter

1) Just som jag skall trycka på "publicera"-knappen för denna bloggpost blir jag varse att även den uppskattade bloggrannen Bo Sjögren nu har lagt sig i diskussionen med ett välargumenterat inlägg, vars inledande stycke lyder...

Under gårdagen blev den läsvärda delen av bloggosfären översvämmad av kommentarer om John Searles berömda kinesiska rum; Olle Häggström förklarade kortfattat varför Searle har fel, och Ulf Danielsson förklarade nästan lika kortfattat varför Searle har rätt. Eftersom jag tror att båda två har fel - jag anser nämligen att Searle har både rätt och fel - så tänkte jag kasta mig in i debatten för att om möjligt komplicera saken ytterligare

...och omedelbart följs av en fotnot med följande gemytliga ordalydelse:

Man kan ju naturligtvis i stället hävda att både Häggström och Danielsson har rätt, men frestelsen att försöka golva tre välrenommerade och välpublicerade professorer med en smäll blev för stark; ett sådant påstående är dessutom föga i samklang med det konfrontativa debattklimat som tycks råda i media för ögonblicket.

2) Härmed är inte sagt att CTOM är korrekt - det håller jag för att vara en öppen fråga. Däremot anser jag att CTOM är den rimligaste teori (om än en ofullständig sådan) vi idag har om medvetandets natur och plats i ett materiellt universum.

3) I Avsnitt 3.8, rubricerat Uploading: philosophical issues, i min bok Here Be Dragons: Science, Technology and the Future of Humanity som utkommer i januari, fördjupar jag mig i CTOM, i det kinesiska rummet och i the systems reply.

4) Att jag själv i högsta grad tar den eventualiteten på allvar framgår av att Avsnitt 4.6 i Here Be Dragons bär rubriken The goals of a superintelligent machine.

Edit 18 oktober 2015: I sin nya välskrivna och stillsamt reflekterande bloggpost Demokritos fattar galoppen fortsätter Ulf diskussionen. Mot slutet skriver han:

Fällan det är lätt att gå i utgörs av att man trivialiserar frågan [om medvetandet och dess plats i ett materiellt universum] och återigen hänvisar till emergens och något ickemateriellt eller ickefysiskaliskt. Min bestämda uppfattning är att detta inte duger. Har man gett sig in i leken får man leken tåla. Om man betraktar medvetandet som något som det är möjligt att foga in i en naturvetenskaplig beskrivning måste det också vara något fysiskt.

En rimlig ståndpunkt. Jag är med på den, åtminstone om vi öppnar för att begreppet "fysiskt" kan tänkas inkludera ännu ej kända naturkrafter. Men jag vill här ställa en fråga till Ulf:

En kandidat till detta "något fysiskt" som medvetandet skulle kunna utgöra är fysisk realisering av rätt slags algoritmiska beräkningsstrukturer. Detta är vad CTOM går ut på. Anser du att denna kandidat på något vis är diskvalificerad från vad du menar med "något fysiskt"? Jag ställer denna fråga därför att dina tidigare bloggposter ger intryck av (och rätta mig gärna om jag har fel!) att du avvisar CTOM.

Edit 28 oktober 2015: Ulf har nu besvarat min fråga om CTOM, och jag har replikerat ännu en gång.