fredag 15 april 2016

Wästlund om Newcombs paradox

Denna bloggpost är en uppföljare till mitt ett par veckor gamla inlägg Aaronson om Newcombs paradox, till vilket jag nu tillåter mig hänvisa för en sammanfattning av paradoxen. Med det inlägget lyckades jag uppmärksamma vännen och kollegan Johan Wästlund på Scott Aaronsons förslag till lösning, samt trigga honom att fundera vidare kring problemet; jag betraktar detta som inläggets överlägset viktigaste konsekvens så här långt (och vem vet, kanske det rentav visar sig vara det viktigaste inflytande min blogg haft överhuvudtaget... den som lever får se). För var och en som intresserar sig för Newcombs paradox och de filosofiska frågor denna ansluter till vill jag varmt rekommendera läsning av Johans nedteckning av sina funderingar, och nu syftar jag inte på hans initiala reaktion (som visserligen är väldigt rolig, men som istället för att på allvar ta sig an paradoxen snabbt spinner iväg i en diskussion om grammatik och genus), utan på hans andra bloggpost i ämnet, där han fördjupar sig i paradoxen och kopplar den till idén om självmedvetna datorprogram och en kanske ännu svårare paradox som sådana datorprogram verkar ge upphov till, via en variant av Turings halting problem. Jag kan här omöjligt göra rättvisa åt Johans bloggpost, men jag kan i alla fall klippa ut några små smakprov. Här är hans egen telegrafiska sammanfattning av vad bloggposten går ut på:
    In this post I argue that the Newcomb experiment is not only feasible, but might very well be significant to the design of intelligent autonomous robots [...]. Finally, as requested by some readers of my previous post, I will reveal my own Newcombian orientation.
(Orden "some readers" syftar här, om jag förstått saken rätt, åtminstone delvis på mig.)

Beträffande Aaronsons förslag till hur Newcombs paradox kan lösas upp, kallar Johan detta "a very neat argument", men hans djupdykning i begreppet kausalitet leder honom till att avvisa förslaget:
    Although I like this argument, I don't think it holds.
Jag hoppar här över den argumentation som leder Johan till denna ståndpunkt (men se hans bloggpost!), och nöjer mig med att konstatera att den är såpass bestickande att jag eventuellt tvingas ändra ståndpunkt igen rörande Newcombs paradox; jag har inte bestämt mig ännu. Istället vill jag citera hans sammanfattning av den patologiska situation för intelligenta och självmedvetna datorprogram som han kommer fram till - i hopp om att trigga läsaren att ta del av hur han når dessa slutsatser:
    The strange moral here is that once the program becomes aware of its own correctness (the fact that it never concludes that a program is safe if it isn't), it becomes incorrect! Also notice that we have no reason to think that the AI would be unable to follow this argument. It is not only aware of its own correctness, but also aware of the fact that if it thinks it is correct, it isn't. So an equally conceivable scenario is that it ends up in complete doubt of its abilities, and answers that it can't know anything.

    The Newcomb problem seems to be just one of several ways in which a self-aware computer program can end up in a logical meltdown. Faced with the two boxes, it knows that taking both gives more than taking one, and at the same time that taking one box gives $1,000,000 and taking both gives $1000.

    It might even end up taking none of the boxes: It shouldn't take the small one because that bungles a million dollars. And taking only the large one will give you a thousand dollars less than taking both, which gives you $1000. Ergo, there is no way of getting any money!?

    The last paragraph illustrates the danger with erroneous conclusions. They diffuse through the system. You can't have a little contradiction in an AI capable of reasoning. If you believe that 0=1, you will also believe that you are the pope (how many popes are identical to you?).

2 kommentarer:

  1. Om jag förstår Johan rätt så bygger han en stor del av sitt resoneman på att en själmedveten AI kommer att kunna överblicka hela sin egna programvara. Och att den därmed är dömd att ha en helt deterministisk syn på sitt eget själsliv och därmed omvärlden.

    Men är det nödvändigtvis så. Den kanske kommer att kunna överblicka den egna programvaran( vi vet väl faktiskt inte hur omfattande den behöver vara) Men det innebär ju inte att den kommer att kunna analysera igenom alla sina möjliga resultat i alla möjliga situationer. Inte heller finns det väl någon garanti ens med sammaför att en sådan dator kommer att komma till samma resultat varje gång på samma problem. Inte heller borde det vara självklart att den kan förstå hur programvaran som är dess jag egentligen klara av att tänka.

    Alltså är det verkligen själklart att den komjmer att vara låst till en deterministisk världsbild.

    SvaraRadera
  2. Jag lyssnade på rationally speaking-avsnittet om newcomb och kände att paradoxen avparadoxifierades totalt.

    Om jag föreställer mig att jag själv är prediktor åt mina vänner så blir det tydligt att spelet bara är en rigg som straffar rationella och belönar obstinata.

    Jag har ett par vänner som helt säkert skulle förstå att "vad som är i lådorna är i lådorna. Punkt.". Och jag vet att de skulle välja båda för att inte framstå son idioter. Därför lägger jag inget i deras stora låta. Det är inte konstigare än så. Att man ökar min färdighet till att ha "nästan alltid rätt" (som i ursprungsversionen) förändrar väl inget? Även om jag har tillgång till orimlig hjärnscanning och psykologi osv, så är principen densamma.

    /Daniel

    Ps
    Definitionen av rationell påverkas av tiden för avläsning (när man ska bestämma sig) och om man spelar fler gånger.

    Pss
    Exemplet med simuleringen är spännande med det bygger på mkt skarpare antaganden än vad vanliga newcomb gör.


    SvaraRadera