torsdag 7 december 2017

Diverse om AI

Idag har jag samlat några korta saker om AI (artificiell intelligens):
  • Igår chockades schackvärlden av DeepMinds offentliggörande av programmet AlphaZero, som utan annan schacklig förkunskap än själva reglerna tränade upp sig själv inom loppet av timmar (men stor datorkraft) att uppnå spelstyrka nog att i en match om 100 partier besegra regerande datorvärldsmästaren Stockfish 28 (som i sin tur är överlägsen alla mänskliga stormästare) med utklassningssiffrorna 64-36 (28 vinster, 72 remier och 0 förluster). Här finns tio av partierna för genomspelning, och förutom AlphaZeros fabulösa taktiska och strategiska färdigheter kan man fascineras av att den på egen hand återupptäckt en rad av våra traditionella spelöppningar (inklusive långtgående varianter i Damindiskt, Spanskt och Franskt), något som måhända kan tas som intäkt i att vi inte varit totalt ute och cyklat i vår mänskligt utvecklade spelöppningsteori.

    Att ett nytt schackprogram är bättre än de tidigare har givetvis hänt förut och är inte i sig sensationellt; paradigmskiftet består i att programmet uppnått sin spelstyrka på egen hand från scratch. Det kan hända att schacksajten chess24.com har rätt i sin spekulation att "the era of computer chess engine programming also seems to be over". Det kan också hända att jag överreagerar på grund av den nära relation till just schack jag haft i decennier (det är kanske inte ens givet att det vi fick veta igår är ett större genombrott än DeepMinds motsvarande framsteg i Go tidigare i år), men händelsen får mig att överväga en omvärdering av hur snabbt AI-utvecklingen mer allmänt går idag. Eliezer Yudkowskys uppsats There’s No Fire Alarm for Artificial General Intelligence är värd att åtminstone skänka en tanke i detta sammanhang.

  • Jag hade verkligen hoppats att aldrig mer behöva höra talas om de så kallade No Free Lunch-satserna - ett knippe triviala och på det hela taget oanvändbara matematiska observationer som genom flashig paketering kunnat få ett oförtjänt gott rykte och användas som retoriskt tillhygge av kreationister. Med min uppsats Intelligent design and the NFL theorems (samt den uppföljande rapporten Uniform distribution is a model assumption) för ett årtionde sedan hoppades jag ta död på detta rykte. Och sedan dess har det faktiskt varit lite tystare kring NFL - även om det är som bäst oklart i vad mån jag har del i äran av det. Men när nu ännu en AI-debattör av det slag som inte tror på superintelligens och därmed förknippad AI-risk och som är beredd att ta till precis vilka argument som helst för denna ståndpunkt (sådana debattörer plockar jag ned och här på bloggen) dykt upp, så borde jag måhända inte förvånas över att denne klämmer till med NFL-satserna i sin argumentation. Trams!

  • Frågan om superintelligent AI och huruvida sådan är inom räckhåll för AI-forskningen (och i så fall i vilket tidsperspektiv) är mycket svår, och även kunniga och intelligenta personers intuitioner går kraftigt isär. I ett sådant läge är jag såklart inte opåverkad av vad forskare och tänkare jag räknar som av yttersta toppklass tänker om saken även då de inte har så mycket att tillföra i sak. Därför är det av intresse att datalogen Scott Aaronson nu meddelat en justering av sin syn på superintelligens och AI-risk (händelsevis i samma bloggpost som uppmärksammade mig på det i föregående punkt omtalade NFL-tramset). Så här skriver han:
      A decade ago, it was far from obvious that known methods like deep learning and reinforcement learning, merely run with much faster computers and on much bigger datasets, would work as spectacularly well as they’ve turned out to work, on such a wide variety of problems, including beating all humans at Go without needing to be trained on any human game. But now that we know these things, I think intellectual honesty requires updating on them. And indeed, when I talk to the AI researchers whose expertise I trust the most, many, though not all, have updated in the direction of “maybe we should start worrying.” (Related: Eliezer Yudkowsky’s There’s No Fire Alarm for Artificial General Intelligence.)

      Who knows how much of the human cognitive fortress might fall to a few more orders of magnitude in processing power? I don’t—not in the sense of “I basically know but am being coy,” but really in the sense of not knowing.

      To be clear, I still think that by far the most urgent challenges facing humanity are things like: resisting Trump and the other forces of authoritarianism, slowing down and responding to climate change and ocean acidification, preventing a nuclear war, preserving what’s left of Enlightenment norms. But I no longer put AI too far behind that other stuff. If civilization manages not to destroy itself over the next century—a huge “if”—I now think it’s plausible that we’ll eventually confront questions about intelligences greater than ours: do we want to create them? Can we even prevent their creation? If they arise, can we ensure that they’ll show us more regard than we show chimps? And while I don’t know how much we can say about such questions that’s useful, without way more experience with powerful AI than we have now, I’m glad that a few people are at least trying to say things.

  • Som meddelades i en tidigare bloggpost så hade Stockholm besök förra månaden av två av vår tids vassaste och kanske viktigaste filosofer: Nick Bostrom och Daniel Dennett. I samband med marknadsföringen av de svenska översättningarna av deras respektive senaste böcker hade Fri Tankes förlagschef Christer Sturmark lyckat få till stånd ett seminarium med dem båda, under rubriken Medvetandets mysterium och tänkande maskiner. Jag var där, tillsammans med cirka 800 andra (en fantastisk siffra för ett filosofiseminarium!), och mina förväntningar var ganska höga. Framför allt hoppades jag att Dennett äntligen skulle pressas att ge solida argument för den ståndpunkt han ofta ventilerat men sällan eller aldrig motiverat: att det slags AI-risk (förknippad med uppkomsten av superintelligens) som Bostrom behandlar i sin bok inte är något att bry sig om.

    Så hur gick det? Vad tyckte jag om seminariet? Gav Dennett det slags besked jag hoppades på? Istället för att orda om detta här hänvisar jag till det poddsamtal som Sturmark och jag spelade in dagen efter seminariet, och som i hög grad kretsade kring vad Bostrom och Dennett hade talat om. Jag tror att vi fick till ett hyfsat givande samtal, så lyssna gärna på det! Men framför allt, tag gärna del av videoinspelningen av själva seminariet!

25 kommentarer:

  1. Till mina schackspelande vänner: Även om det säkert finns många underbara pärlor bland övriga partier på Chess24:s samling av tio, så är det bara det nionde jag tittat närmare på, och det är så underbart vackert att jag blir som förstummad! Jag tänker särskilt på (a) den tidiga kungscentraliseringen 15.Ld3 16.Kxd2 17.Ke3, (b) det positionella pjäsoffret 30.Lxg6, och (c) det iskalla 38.Dc3. Vilket mästerverk, så vackert att det nästan gör ont!

    Detta parti torde tjäna som effektivt botemedel för alla dem som fortfarande hävdar idiotier som "kreativitet är omöjligt för datorer" och "datorer kan bara göra vad de är tillsagda"...

    SvaraRadera
    Svar
    1. Någon läsare kanske är intresserad av Daniel Rensch video med analys av det tredje partiet. AlphaZero kväver i princip StockFish, som till slut inte har några bra drag kvar att göra.

      Radera
    2. Kanske någon kan förklara en annan aspekt av ärendet...? Hur går det till när en dator blir så bra att spela schack? Hur gör programmeraren? Eftersom datorn med lätthet slår världens bästa spelare i alla partier, så är det ändå svårt att tro att programmeraren är en skickligare schackspelare än världsmästaren i schack.

      Kan intuitivt tänka mig att det kan finnas algoritmer som kan förutsäga hur alla tänkbara partier skall gå, men hur vet datorn i varje läge att vad som är det bästa draget, och som därmed är det bästa "receptet" mot alla tänkbara motdrag. Ser datorn 10 drag framåt, eller ser den en helhet om hur alla tänkbara fortsättningar skulle bli? Kanske någon god programmerare (Stina Kvamme?) kan ge en "enkel" förklaring?

      Kjell Eriksson

      Radera
    3. Kjell, vad jag förstår vilar en klassisk schackdator på två ben: 1) möjligheten att tilldela varje schackställning ett värde som talar om hur bra de vita pjäserna står samt 2) en sökmotor som letar igenom ett träd av möjliga drag och försöker välja den fortsättning som är mest fördelaktig för schackdatorn, givet att motspelaren väljer de bästa svarsdragen.

      I praktiken görs 1) genom att man räknar värdet på materialet och korrigerar för positionella aspekter, t.ex. dubbelbönder, pjäsaktivitet, etc. Värden på dessa korrigeringar kan väljas genom trial-and-error, en slags evolutionär effekt. Vidare görs 2) genom approximationer - det går inte söka hela trädet så man måste klippa av någonstans. Valet var man klipper görs med heuristiska regler.

      AlphaZero fungerar aningen annorlunda. Den bygger också på positionsutvärderingen, men den görs av ett neuralt nätverk som tränats och den returnerar inte ett värde på hur bra ställning är utan en lista över möjliga bra drag tillsammans med sannolikheter för att dessa drag är de bästa. AlphaZero söker också igenom ett träd, men på ett annat sätt. Eftersom den har sannolikheter för dragen kan den göra en s.k. Monte-Carlo trädsökning där den väljer drag med dessa sannolikheter och spelar ett stort antal partier från nuvarande ställning tills dess någon sida vunnit. Därefter väljer den det drag från nuvarande ställning där den oftast vinner, eller alternativt maximerar väntevärdet sin poäng enligt systemet vinst 1 poäng, remi 1/2 poäng, förlust 0 poäng.

      Ovanstående är vad jag förstått, men jag kan ha fel och är i så fall tacksam om någon kan förklara hur det i själva verket fungerar.

      Radera
    4. Ingen har väl förnekat att de kan följa en algoritm?

      Radera
    5. Kjell, tack för förtroendet :) Men jag spelar inte spel och hade aldrig kunnat förklara bättre än Anonym. Däremot kan jag bekräfta att en dator kan följa/köra en algoritm. Det är, kära vänner, det enda den kan göra. Den kan inget annat.

      Radera
    6. "Den kan inget annat." Ständigt detta slagord från carbo-chauvinister, med den outtalade fortsättningen att vi människor (medelst gudomlig inspiration eller något annat slags magi) kan något helt annat.

      Radera
    7. Hehe, jag vet ju sedan länge att inga argument biter på dig, men här får du lite trevlig jul-lektyr.
      https://aeon.co/essays/your-brain-does-not-process-information-and-it-is-not-a-computer

      Radera
    8. Hahahahaha "your brain does not process information..." hahahah... well, tala för dig själv!

      Och God Jul!

      Radera
    9. Kvamme. Ok. jag kom på att du i något sammanhang på Olles blogg betonade just att du höll på med programmering. Därför kom jag på ditt namn :-). Men det är säkert som du säger, och då är det den "snillrika" algoritmen som är intressant, och inte kodningen av densamma ....., Och anonym kan mycket väl ha gett en förklaring som är fullt godtagbar/acceptabel.

      God fortsättning på julhögtiden

      Kjell Eriksson

      Radera
    10. Anonym. Absolut, algoritmen är nyckeln. Kodningen av densamma är jämförelsevis enkel. https://twitter.com/joeerl/status/934475706263851008

      God fortsättning

      Radera
    11. Hittade detta
      https://plus.google.com/+johncbaez999/posts/jHie2swPuwJ

      Radera
  2. Det påverkar dock inte min tendens att säga att kreativitet är ”omöjligt” för datorer (jag säger förstås aldrig att det är omöjligt eftersom jag tror på Church–Turing, bara att jag inte tror att det är något som vi i praktiken kommer att lyckas ge datorer), därför att det jag menar med kreativitet när jag säger så (i brist på bättre termer) inte ryms inom schackspelande. Schack, i all sin variationsrikedom, är ett extremt enkelt problem att definiera: ett antal regler och ett tydligt mål. Det är superhäftigt, förbluffande och imponerande att man lyckats få ett datorprogram att åstadkomma vackert schackspel genom att bara träna sig själv, men det handlar fortfarande bara om avsökning av lösningar från start till mål. Interpolation. För att ett datorprogram ska anses vara kreativt i den mening jag avser krävs extrapolation. Att det skapar sitt eget problem att lösa för att använda lösningen till… ja, vadå? Där tar det stopp däför att det är otänkbart att skapa ett datorprogram utan att veta vilket problem det ska lösa eller varför. Otänkbart är nog ett bra ord att ersätta omöjligt med ovan, jag tror faktiskt (men kan inte veta säkert) att det är objektivt otänkbart för människor, och jag ser ingenting som tyder på att kreativitet skulle uppstå i de slutna miljöer vi är kapabla att låta datorprogrammen leva i. Alpha Zeros interpolationsframsteg påverkar inte det det minsta, det är bara mer av samma sak som tidigare.

    Vad detta innebär är att jag inte tror på ett datorernas ”uppvaknande” till intelligens eller superintelligens. Det innebär däremot inte att det inte kan finnas anledning att oroa sig för effekterna av AI-framsteg på mänskligheten och samhället. En del effekter av it-utvecklingen som det finns anledning att oroa sig för är redan fakta. Och allt det där som jag håller med Scott Aaronson om att det finns större anledning att oroa sig för, det är oroande helt utan att vara ”intelligent”. Farlighet och superintelligens är helt ortogonala begrepp. Det enda argument jag kan anföra mot att oroa sig för AI-faror mer generellt är oron för den enligt min mening betydligt större faran att upplevda faror tas som intäkt för auktoritär kunskapsfientlighet.

    SvaraRadera
    Svar
    1. Jag ser inte annan än viss kvantitativ skillnad mellan...

      ...å ena sidan, att spela 30.Lxg6 med det långsiktiga syftet att vinna schackpartiet, och...

      ...å andra sidan, att skriva en Haiku (eller uppfinna kubismen eller Russells paradox, eller [insert your favorite example of human creativity]) med det långsiktiga syftet att vinna social status.

      Radera
    2. Att skriva en haiku är inte kreativt i den mening jag talar om (fast helt ok att kalla kreativt i ett annat sammanhang). Att uppfinna begreppet haiku, eller att uppfinna logiken skulle vara det. ”Att vinna social status” är ett väldigt vitt och vagt definierat problem, som jag alltjämt ser som otänkbart att skapa ett datorprogram för generellt, och även om man skulle lyckas med det på något sätt följer inte nödvändigtvis att det blir kreativt. Observera att begränsningarna jag ser inte ligger i själva datorn, utan i människans förmåga att göra datorn till en miljö där kreativitet ska skapas. Det är en mänsklig brist, inte en datorisk. Naturligtvis kan jag inte bevisa att det aldrig kan ske, men jag ser inget som indikerar att vi är på väg mot det.

      Radera
    3. Men Olle tänk vad festligt om datorn plötsligt vägrade spela schack och började skriva Haikus istället.

      Radera
  3. Jag har förstått att AlphaZero är ett stort framsteg för AI, av reaktionerna hos insatta att döma. Men intressant nog (vilket bara pekar ut min okunskap på området) så är premissen "utan annan schacklig förkunskap än själva reglerna" något som jag trott alltid varit premissen för schackdatorer, sånär som på att de försetts med öppningsbibliotek för att minska ner den initiala sökrymden (vilket väl måste vara en teoretiskt sett trivial addition?). Jag förstår nu att man också brukat förse AIn med sökrymdsbegränsande principer på alla nivåer (inte bara öppningsspelet), något jag inte visste innan. Men det har väl fortfarande alltid varit så att datorn måst lösa alla problem den inte haft bibliotek för genom att söka igenom en rymd av drag baserat på reglerna för schack? Därför har jag lite svårt att se det intressanta i just denna aspekt.

    Om jag förstår artikeln rätt så har datorn fått spela med sig själv på de premisserna (enbart reglerna, inga exempelbibliotek) och ett neuralt nätverk har tränats på de spelen, för att generalisera principer som senare kan användas för att minska sökrymden i efterföljande spel. Jag fattar vidare som att det nätverket plockar upp är liknande (och bättre) principer som programmerare tidigare försett systemet med.

    Så till saken:

    1) Spontant så känns det som att nätverkets operation är mer intressant än det faktum att maskinen bara utgår från reglerna för schack.

    2) Jag ser inte att principen "bara utgå från reglerna för schack" på något intressant sätt falsifierar argumentet "kreativitet är omöjligt för datorer", mer än en skulle kunna säga detsamma om en genetisk algoritm av klassisk snitt. Det är ju fortfarande så att vinstkriteriet ges av reglerna för schack (precis som alla genetiska algoritmer har ett stoppkriterium). Kreativitetsargumentet handlar som jag tolkat det om att maskinen plötsligt ska bestämma sig för det nya målet "världsherravälde" istället för det gamla målet "vinna schackmatchen", genom en kreativ insikt - något som minst skulle kräva att givna regler bryts. Har AlphaZero verkligen uppfunnit något nytt i den riktningen?

    SvaraRadera
  4. Om ett program inte följer sina instruktioner? Är väl nästan ett motsägelsefullt påstående, eftersom programmet då följer sina instruktioner om att inte följa sina...

    Jag tror problemet är att jag inte kan föreställa mig ett logiskt, deterministiskt system som samtidigt är icke-deterministiskt.

    Kan strategisk optimering (världsherravälde) med godtycklig beräkningskapacitet bli ett problem? Ja. Hur många schackspel det motsvarar låter jag vara osagt, men jag tycker nog inte att det är kreativt av datorn att följa sina instruktioner oavsett deras ursprung. Att hitta på egna instruktioner däremot...

    SvaraRadera
    Svar
    1. Nå, har du funderat på vad mänsklig kreativitet härrör ur då? Magi kanske?

      Radera
    2. När jag fick e-postnotifiering om Olles kommentar här trodde jag att den var ett på till min ovan. Som svar till Daniel funkar den något bättre, men i alla fall, här är hur jag skulle svara på frågan om den ställdes till mig:

      Lågt räknat har mänsklig kreativitet uppstått i en evolutionär miljö mycket mer mångfacetterad än datorprogrammens. De har inte ens naturligt någon evolution. Vi kan simulera en, som en av de möjligheter som finns att mänskliga förmågor plötsligt ska ploppa upp av sig själv utan att vi riktigt förstår hur (som jag är extremt skeptisk till), men vi kan inte veta att vi får parametrarna rätt, och inte ens veta om uppgiften är möjlig med de resurser vi har till vårt förfogande (Church–Turing säger inget om hur stor en Turingmaskin behöver vara). Simuleringen kommer i så fall rimligtvis att utföras i en innesluten miljö för vår oberoende observation, och varelserna i den kan inte plötsligt ta kontroll över den omgivning de inte ens kan veta existerar.

      Högt räknat är allt vi vet att mänsklig kreativitet uppstått en gång, i ett universum draget ur en urna av alla möjliga universa. I den miljön händer allt som över huvud taget är möjligt, oavsett hur osannolikt. Jag betraktar den mänskliga belägenheten som extremt osannolik (jag tycker inte att Fermis paradox är paradoxal), och mitt skäl till det är främst att de mänskliga förmågorna är tämligen ointressanta ur varje annat perspektiv än det mänskliga. Ingen annan än människor bryr sig om ifall människor eller maskiner är kreativa och intelligenta eller inte. Ur evolutionärt perspektiv är det inget mål, där gäller bara fortplantning, och kreativitet (den sorts jag talar om) och generell intelligens har så liten fitness för en jägar- och samlarart att vi saknar bättre förklaring till hur de uppstod än att de är osannolika spin off-effekter. Det finns en radikal skillnad mellan att något osannolikt händer någonstans någon gång bland oändliga möjligheter, och att det händer här och nu, under vår lilla stund på vår lilla planet. Man kan förstås hävda att de inte behöver vara oberoende händelser, men så länge vi inte har någon aning om hur vi ska frambringa mänsklig kreativitet hos maskiner – inte ens har en kravspec att mäta vår eventuella framgång utifrån – ser jag det som en rimlig approximation att anta att sannolikheten här är försvinnande liten.

      Radera
    3. Jag är inte främmande för det slags antropiska resonemang om Fermis paradox du för fram här, ctail, och har i själva verket varit inne på sådana emellanåt, bl.a. här på bloggen. Som försvar av din position i AGI-diskussionen tycker jag att de har viss relevans, men som försvar av Daniel Lehnbergs (som tycks mig stå för en väsentligt radikalare mänsklig-intelligens-mysticism än din) ser det mer ut som goddag yxskaft. Det är ingen tillfällighet att det lite sarkastiska svar jag gav honom 10:39 riktades mot honom och inte mot dig - såpass mycket begriper jag av din position (fastän jag är fortsatt förundrad över din dogmatiska tvärsäkerhet).

      Radera
    4. Ja kommentaren om magi är väl en sådan som inbjuder till svar bara en känner sig det minsta träffad :)

      Hypotesen att kreativitet är ett verkligt problem för turingmaskiner innebär väl (om sann) att Computational Theory of (human) Mind (CTOM) inte kan hålla. Huvudalternativet måste då vara inte magi utan någon annan naturalistisk teori om kognition. De olika formerna av E-kognition (ffa klustret kring termerna embodiment/enactivism) är som jag ser det i något bättre position att förklara kreativitet, eftersom de den öppenhet gentemot (det kognitiva) systemets omgivning som bland annat ctail pekar ut att algoritmiska system saknar. Därmed inte sagt att problemet är löst, vi saknar bra teorier, men kreativitet är iaf för mig ett mer tydligt problem hos CTOM än hos alternativen.

      Tesen att CTOM är falsk står inte alltså i motsats till naturalism, då att förkasta CTOM inte utesluter att det går att skapa intelligenta maskiner - det skulle bara betyda att turingmaskinen är en tankeövning utan teoretisk relevans för den som försöker bygga en AGI. (Däremot så kommer datorer säkerligen att vara oumbärliga verktyg även den dag någon kommer på en realistisk väg framåt med ett sådant projekt.)

      CTOM kan förresten i sig ses som en typ av mänsklig-intelligens-mysticism: algoritmiskt tänkande är den enda form av mänskligt tänkande som vi har full introspektiv åtkomst till, därför tror vi gärna att det utgör modellen för allt tänkande. Men det är en extrapolering från väldigt lite data, som vi kanske låter oss göra enbart för att våra egna kognitiva förmågor fascinerar oss så orimligt mycket. Antagandet att allt omedvetet tänkande också är algoritmiskt (en nödvändighet under CTOM) kan mycket väl vara ett felslut baserat på det lilla vi vet från vår introspektion kring egen huvudräkning eller syntaktiskt resonerande.

      Ingen av dessa invändningar ser jag dock som ett argument mot att betrakta stark AGI som ett hot att hålla på kartan tillsammans med övriga tänkbara hot mot mänsklig civilisation eller existens. Snarare så ser jag en möjligen farlig slagsida i att alla jag känner till som teoretiserar kring risker med stark AGI verkar göra det under antagandet att CTOM är sann. Finns det någon som seriöst utforskar möjligheten att AGI är möjligt inom en snar framtid, inklusive att det kan bli ett hot, även i fallet att CTOM är falsk?

      Radera
  5. En i mitt tycke central fråga inom AI-risk som jag sällan ser diskuteras, är huruvida AI:n kan erhålla kunskap om den yttre världen. Den yttre världen måste ju "erövras" av AI:n om den ska kunna förebygga alla tänkbara hot mot den (t ex människor som vill förstöra den). Vidare, hur ska AI:n kunna förutse alla tänkbara hot, och omsätta denna (medvetna?) kunskap i fysiska åtgärder? T ex ta kontroll över energiförsörjning etc?

    Läser f n Tegmarks senaste bok, och måste medge att prologen är lite skrämmande. Men jag har ändå svårt att föreställa mig intelligensexplosionen, även om jag förstår premisserna. Eller har den redan inträffat? Ligger AI:n och lurar ute på något nät? Ruggigt...

    SvaraRadera
  6. AI-översatta bruksanvisningar vållar ofta huvudbry.
    http://wulibraries.typepad.com/.a/6a00d8341ce04153ef01a3fd1aa79c970b-800wi

    SvaraRadera