fredag 21 oktober 2016

Ett meningsutbyte med Tobias Malm om Paperclip Armageddon, mål och preferenser

För den oinvigde kan det lätt framstå som förbluffande hur mycket kraft som AI-futurologer lägger på att diskutera gem (pappersklämmor), och då i synnerhet scenarier där en gemtillverkningsmaskin går överstyr i ett så kallat Paperclip Armageddon, där den omvandlar hela vår planet och eventuellt stora delar av övriga världsrymden till en gigantisk ansamling av gem. Vad är det då som är så viktigt med just gem? Inget alls egentligen - det fungerar precis lika bra med häftstift. Gemtillverkningsmaskinen används bara som ett illustrerande exempel på att det inte krävs någon ondsint Lex Luthor (med ambitionen att hämnas på mänskligheten) för att ett ogenomtänkt genombrott inom artificiell intelligens skall bli ett hot mot mänsklighetens överlevnad. Även jag faller utförligt tillbaka på detta exempel i min bok Here Be Dragons, där jag på s 116 introducerar tankegången med följande ord:
    It may perhaps be tempting to think that as long as we don't give [the potentially superintelligent AI] an outright destructive goal such as "kill all humans", the outcome will not be disastrous. This, however, is very naive. An instructive and oft-repeated example introduced by Bostrom (2003c) is the paperclip maximizer. The seed AI is given the goal of producing as many paperclips as it can.263 Once this results in a superintelligent AGI, the machine is likely to find ways to transform most of our planet into a monstrous heap of paperclips, followed by a similar transformation of the entire solar system, and probably (if the informed speculations in the upcoming Chapter 9 about the eventual feasibility of interstellar and intergalactic travel are right) the Milky Way, and most of the observable universe. Such a scenario will look very unappetizing to us humans, and as soon as we realize what the machine is up to we would try to do everything in our power to stop it. But we're up against someone who is so much more intelligent than we are that our chances of succeeding are (unlike what Hollywood would have us think) microscopic. Perhaps most likely, before we even have the time to think about how to organize our resistance, the machine will have realized what we might be up to, and exterminated us simply as a safety precaution.

    263) This might be a sensible goal for someone who owns a paperclip factory and sets out to fully automatize it by means of an AGI [artificial general intelligence]. What seems a bit silly, however, is for someone who plans to take our civilization into its next era by means of an intelligence explosion to choose such a narrow and pedestrian goal as paperclip maximization. What makes the paperclip maximizer intelligence explosion a somewhat less silly scenario is that an intelligence explosion might be triggered by mistake. We can imagine a perhaps not-so-distant future in which moderately intelligent AGIs are constructed for all sorts of purposes, until one day one of the engineering teams happens to be just a little bit more successful than the others and creates an AGI that is just above the intelligence threshold for serving as a seed AI.

Häromveckan fick jag på Facebook en fråga från Tobias Malm (som även tidigare bidragit till spännande diskussioner här på bloggen) rörande Paperclip Armageddon, vilken ledde till en belysande diskussion om vilka slags varelser och maskiner kan ha mål, drivkrafter och preferenser. Med Tobias tillåtelse återger jag diskussionen, minimalt redigerad, här:
    TM: Här är en fråga om problematiken gällande AI och gem: hur kan det ses som ett hot att en superintelligent maskin skulle förvandla hela världen till gem?

    Det är förvisso sant att intelligens inte garanterar att de uppsatta målen kommer att ifrågasättas utifrån något slags moraliskt ramverk. Dock är ju det sagda målet att tillverka gem inte samma som det menade målet, det vill säga att till exempel skapa en viss mängd gem för att kunna sälja dem på den öppna marknaden och tjäna pengar. Och att uppfatta det menade målet är ju i högsta grad en intelligensfråga. Kort sagt: varför skulle en superintelligent AI också vara superautistisk, givet att vi inte väljer att bygga den så - och varför skulle vi välja det när vi kan undvika det?

    OH: I det tänkta scenariot har maskinen, genom dess ursprungliga programmering, som mål att maximera antalet gem, inte att uppfylla våra outtalade önskningar.

    Låt oss föreställa oss vad som skulle kunna få den att byta mål. Kanske stannar den någon gång till och reflekterar över om den skall byta till något mer modest mål, något som är mer i linje med våra önskningar. "Hm", tänker den, "skall jag byta till det modesta målet, eller skall hålla fast vid gemproduktionsmaximering?". För att bestämma sig för om den skall byta eller inte behöver den ett kriterium. Och eftersom den ännu inte har bytt utan bara kontemplerar saken, så har den fortfarande kvar sitt gemmaximeringsmål, så detta blir det kriterium den använder. Den frågar sig alltså: "Vad kommer att ge flest gem, fasthållande vid gemmaximeringsmålet, eller byte till det mer modesta målet", och den kommer snabbt fram till att fastållande vid gemmaximeringsmålet sannolikt ger betydligt fler gem än byte, och den håller därför fast vid gemmaximeringsmålet.

    Så ungefär lyder Omohundro-Bostrom-teorins argument för Paperclip Armageddon. Den teorin är dock inte någon Säker Sanning Ristad i Sten. Den skulle kunna vara felaktig, t.ex. om det finns någon universell princip om att varje tillräckligt intelligent varelse kommer att vilja behaga sin skapares önskningar. Det tycks vara en sådan princip du implicit lutar dig mot i ditt argument, och det är fullt möjligt att du har rätt i att en sådan universell princip föreligger, men jag tycker att det verkar lite långsökt.

    TM: Hade det här varit en konversation IRL hade jag avbrutit dig redan efter din första mening ("I det tänkta scenariot har maskinen...") och sagt att du missförstått min fråga vilket antagligen hade besparat dig lite tid. Dock är det säkert mitt fel att du missförstod, för jag kanske inte var tillräckligt tydlig. Jag menar hur som helst inte att maskinen förväntas ändra/byta sitt mål (därmed det jag skrev ovan om att intelligens inte leder till att målet ifrågasätts utifrån något moraliskt ramverk/princip).

    Det jag menar är att målet för en tillräckligt intelligent maskin alltid kommer att vara det avsändaren menar snarare än någon specifik utsaga samt att det enbart krävs intelligens för att förstå vad en avsändare menar. Om jag till exempel frågar vår superintelligenta AI om den "kan öppna fönstret" kan vi förvänta oss att den, genom sin intelligens, inte kommer att svara "ja" och sen inte göra någonting. Sannolikt kommer den förstå att jag menade något mer än att få veta huruvida den kunde öppna fönstret eller inte, rimligtvis skulle den antagligen också förstå att den skulle behöva flytta på det som står lutat mot fönstret så att det inte trillar ut.

    Alltså: en tillräckligt intelligent AI skulle inse att jag uttrycker en önskan med "kan du öppna fönstret" i likhet med "öppna fönstret på ett preferenstillfredställande sätt utifrån mitt perspektiv". Om en AI kan förestå mänsklig psykologi så pass bra att den vet vad "kan du öppna fönstret" syftar på – vilket nog krävs för att kunna ta över världen och undfly "lådan" etc – så borde den rimligtvis även förstå att "maximera antalet gem" i kontexten att en affärsman som vill försörja sin familj betyder något mer än "maximera antalet gem, punkt."

    Min fråga lyder alltså: en superintelligent AI måste väl vara tillräckligt intelligent för att kunna ta emot kommandon genom att utvärdera preferenser bakom ord, snarare än att bara ta orden rakt upp och ner och sen ändå på något märkligt sätt förstå hur man omvandlar ett solsystem till gem?

    OH: Aha OK Tobias, då har du missförstått Paperclip Armageddon-scenariot. Maskinen är inte superintelligent när den får sitt gemmaximeringsmål. Det är först efter att detta mål lagts fast som den går in i den eskalerande rekursiva självförbättringsspiral som för den till superintelligensnivåer.

    TM: Okej Olle, det får scenariot att framstå som mycket rimligare. Men då handlar det alltså inte om ett mål - vilket var ett begrepp som förvirrade mig - utan om en funktion i likhet med: ta notis om hur många gem som skapas per sekund, testa olika versioner av dig själv och spara och arbeta vidare utifrån versionerna som skapar fler gem per sekund än versionen innan. Detta kan jag föreställa mig att man kan programmera utan att maskinen förstår mänskligt språk, och ja, med en tillräckligt kraftig dator skulle den kanske kunna bli så bra på att maximera gem att mänskligheten får göra plats för 3D-skrivare. Tack för att du tog dig tiden att förklara detta. Jag känner fortfarande att något skaver, men måste fundera mer på det innan jag kan formulera det.

Här kunde vi, vad Paperclip Armageddon anbelangar, gott ha avrundat diskussionen, men jag blev lite provocerad av Tobias påstående om att "då handlar det alltså inte om ett mål", vilket tydde på att han hade en enligt min uppfattning alltför snäv idé om begreppet mål. Jag fortsatte därför diskussionen, men från och med nu handlade den inte egentligen om Paperclip Armageddon, utan mer om vad vi bör mena med mål och liknande begrepp.
    OH: Mål är ett ganska vitt begrepp. Hillary Clinton har som (ett av sina) mål att bli USA:s första kvinnliga president, och jag har som mål att bli klar med tentarättningen innan jag tar helg imorgon. Även dagens målsökande robotmissiler har mål. Liksom termostaterna i våra bostäder. Om man vill kan man försöka dra en skarp skiljelinje någonstans längs den långa vägen mellan å ena sidan termostaternas skäligen enkla mål, och å andra sidan Hillary Clintons mål att bli USA:s första kvinnliga president, men jag tror inte att det går. Jag tror att man landar i något slags ohållbar John Serlesk geggamoja.

    TM: För mig förlorar begreppet mål sin betydelse om det räcker med att något orsakar något annat för att detta ska bli dess "mål".

    En sten som rullar ner för en backe har inte som mål att komma ner till slutet av backen, därom tror jag vi båda håller med varandra. Om jag sätter upp en stolpe i mitten av backen som får stenen att rulla åt höger istället för vänster tror jag att vi båda håller med varandra att stenen fortfarande inte har som mål att rulla åt höger.

    Utan att, så att säga, gå vilse i det kinesiska rummet vill jag hävda att stenen aldrig kommer att ha som mål att hamna någonstans oavsett hur komplicerad vägen med för backen blir.

    Vi kan t ex. tänka oss att vi sätter ut stolpar på ett sådant sätt att stenen följer ett mönster som får den att rita ett ansikte i jorden och den skulle ändå inte ha det som mål och detta av precis samma anledning som när det bara satt en stolpe i backen.

    Här skulle Searle gå in och prata om att hjärnan funkar likadant - att den bara är massa stenar och stolpar - och att det är ett problem för våra intuitioner om medvetandet. Jag är förvisso beredd att hålla med om att det uppstår genuina filosofiska problem med den mekaniska hjärnan, nu tänker jag dock inte börja ta ställning för att mål kräver något utöver systemets inneboende delar. Istället vill jag påstå att ett mål kräver en preferens hos systemet för det systemet orsakar.

    Om vi kräver en preferens hos systemet kan vi dra en ganska skarp skiljelinje mellan maskiner med och utan mål. En termostat, t ex. har inget mål med denna definition, men en dator som får någon typ av inre belöning (vi kan låta det vara osagt vad känslor har för metafysik nu) av något den orsakar och därför väljer att orsaka har ett mål. Ergo: ett mål är inte synonymt med verkan efter orsak, utan med prefererad verkan.

    Naturligtvis är inte din definition objektivt fel, jag tycker bara inte att den fångar in det vi vanligtvis menar med begreppet. Ett exempel på det är att du antagligen skulle protestera om jag sa att du hade som mål att ha sönder din grannes dyra vas bara för att du orsakade det.

    OH: Jag likställer inte mål med orsaksamband.

    TM: Okej, men hur skiljer sig din definition från min?

    OH: Termostaten "prefererar" en temperatur på tjugo grader. I alla fall är det så den beter sig, vilket är det enda vi har att gå efter utan att förfalla till chauvinism.

    TM: Jag tycker inte att den beter sig som att den prefererar - alltså i någon grad tycker om - någon särskild temperatur (lika lite som stenen som rullar ner för en backe tycker om att rulla åt höger istället för vänster bara för att det står en stolpe i dess väg). Det finns väl inga goda skäl att anta att den mår bra av temperaturen den orsakar och därför orsakar den?

    OH: Men om inte termostaten har mål och preferenser, hur tusan förklarar du då dess målmedvetna beteende? Så fort temperaturen understiger 20 så slår den ju på radiatorn, och så fort det blir varmare än 20 slår den av.

    Nej, här skojar jag såklart. Givetvis kan du förklara det med termostatens elektroniska kopplingsschema. Men det finns en allvarlig poäng här, nämligen att om du väljer den förklaringsnivån så kan jag välja samma slags förklaring till ditt beteende. Att du tycks eftersöka klarhet om Paperclip Armageddon beror alls inte på att du har en preferens för sådan klarhet, utan på konfigurationen av molekyler och elementarpartiklar innanför ditt skallben. Kan jag hävda. Men jag gör det som regel inte, eftersom det är praktiskt för den makroskopiska förståelsen att tänka på ditt beteende i termer av preferenser och mål. Detsamma gäller, i viss mån, termostaten.

    Jag tror inte att "mål" och "preferenser" har någon metafysisk existens, något som går utanpå deras agenters fysiska konstitution av molekyler etc. Om vi vill kan vi därför rycka på axlarna åt vår diskussion och kalla den semantik. Men jag tror att det faktiskt finns ett värde i diskussionen, inte för att avgöra vad (vilka mål) som faktiskt finns, utan i vilka fall det är intressant och praktiskt att tänka i termer av mål. Här finns ingen absolut gräns. I fallet med den rullande stenen är det nästan helt ointressant. I fallet med Hillary Clinton är det uppenbart intressant och viktigt (att ge en rent mikroskopisk-fysikalisk förklaring till hennes beteende vore idiotiskt). Och däremellan en lång skala, där det kanske blir mest en smaksak var man drar gränsen för vilka man vill tillskriva mål och preferenser. Jag drar medvetet min gräns lägre än de flesta. (Du är inte den ende som sparkat bakut inför termostatexemplet.) Men jag tror att det allmänt är klokt, inför en okänd komplex framtid med robotar och allt möjligt, att försöka tänka mer vidsynt och mindre chauvinistiskt kring egenskaper som vi hittills (men felaktigt) tänkt på som unikt mänskliga.

    TM: Ja, jag kommer ihåg att du är eliminativ materialist/reducerbar fysikalist. Och utifrån det perspektivet är din uppfattning helt förståelig och frågan om vad ett mål är måste te sig förhållandevis enkel. Jag tror emellertid att mentala tillstånd – till exempel behag – existerar i sin egen rätt och därmed inte bara är enskilda partiklar betraktade från ett makroskopiskt perspektiv.

    Jag tror det eftersom vi inte tittar på behag som vi tittar på atomer som formar en sten från ett visst perspektiv. Vi upplever behag och det går inte att applicera ett mikroskop på den upplevelsen som visar oss några atomer. Behag är inte en observation och det är bara observationer som kan vara föremål för zoomning från makroskopiskt till mikroskopiskt.

    Märk väl att jag inte argumenterar för att behag är något mystiskt som svävar omkring i andevärlden nu, jag menar bara att behag inte påminner om den sortens saker vi brukar reducera ner till enskilda beståndsdelar. Det är enkelt att förstå att Vintergatan kan reduceras ner till stjärnor och att stjärnor kan reduceras ner till atomer. Vi kan titta närmare och se hur observationen av det enskilda blir till en observation av en mångfald. Det är inte lika enkelt att titta närmare på upplevelsen av behag, vi kan inte koncentrera oss på det jättenoga och plötsligt se något annat än behag. Vad exakt behag är för sorts sak vet jag inte, men om vi ser det som en objektivt existerande företeelse (olikt Vintergatan som rent objektivt ju bara är atomer), så behöver vi kanske inte tillerkänna termostaten något mål.

    OH: Well said, klargörande. Men jag tycker nog att även den som avvisar det du kallar eliminativ reduktionism har anledning att försöka vara lite mindre fördomsfull i frågan om vem eller vad som kan ha preferenser eller uppleva behag. Kan du verkligen veta säkert hur det känns (eller inte känns) att vara en termostat?

    TM: Nej, detta är jag benägen att hålla med om. Dock vill jag inte bli allt för öppen, jag vill helst inte behöva inkludera termostater i mina moraliska överväganden.

16 kommentarer:

  1. En superintelligent termostat skulle kunna går runt problemet med mål och preferenser genom att ställa in sig på att preferensen är uppfylld utan att målet uppnåtts. Så länge termostaten signalerar (till sig själv) att det är 20 grader spelar det ju ingen roll om det verkligen är 20 grader. Preferensen blir på så sätt tillfredsställd med mindre energiåtgång än om målet verkligen skulle behöva uppfyllas, något en superintelligens säkerligen borde föredra. (Om nu inte "autenticitet" är något den skulle föredra - men då måste någon förklara varför den skulle föredra det.) Samma sak med Hillary Clinton - hon borde bli exakt lika lycklig av att tro att hon är president som av att verkligen vara det.

    Det här borde för övrigt applicera på alla superintelligenser - behovstillfredsställelsen kommer att kortslutas av den själv, om den är intelligent nog.

    SvaraRadera
    Svar
    1. Wireheading kallas det - ett mycket intressant fenomen som jag här på bloggen diskuterat i augusti 2012 och återkommit till i november 2013.

      Radera
  2. Kul att se era diskussioner. Önskar jag hade tid att bidra med synpunkter, men det får nog anstå... Det är ju inte särdeles enkla saker ni sysselsätter er med!

    SvaraRadera
  3. Om en superintelligens är (ser sig som) lika överlägsen mig i intellektuell förmåga som jag ser mig gentemot en termostat känns det obehagligt.

    En liten del av utgifterna på att ta fram allt smartare maskiner bör vi försöka få krav på ska satsas på att utreda möjligheterna att få fram vänliga hänsynsfulla AI likt den lilla del som satsas på konst vid husbyggen.

    Vänliga hälsningar

    Nanotec

    SvaraRadera
  4. Tycker att Tobias har klara poänger ifråga om såväl superintelligensers förmåga att förstå intentioner som rörande vad mål innebär. För mig framstår det som fullt möjligt och rent av självklart, att även en komplex AI som inte har nått superintelligensnivå, så snart möjligt utrustas med förmåga att tolka mänskliga intentioner. I så fall tar den av allt att döma denna förmåga med in i en eventuell intelligensexplosion, och gemkatastrofscenariot ter sig osannolikt. För övrigt får Olle gärna peka ut var i Boströms ”Superintelligence” han finner stöd för, att ”maskinen är inte superintelligent när den får sitt genmaximeringsmål”. Jag finner inget sådant.
    Beträffande diskussionen om vem/vad som kan ha ett mål är det svårt att se poängen med en definition som innebär att termostater kan ha mål, då det tycks strida mot den gängse uppfattningen av vad målstyrt agerande innebär (jmf. SAOB mål [sbst. 5] där ”riktas” och ”strävan” tycks kräva intention). Olles argument att det inte går att dra en skarp gräns mellan en termostat och en människa/superintelligens framstår som ihåligt. Exempelvis borde väl den som har ett mål ha något slags tidsbegrepp samt besitta metakognition (d.v.s. förmåga att processa delar av sin egen informationsprocess med hjälp av en minnesfunktion). Att ha mål kräver ju rimligen förmåga att från ett metaperspektiv ställa de egna potentiella besluten i relation till beslutens möjliga konsekvenser, som ligger i en föreställd framtid.
    Förmåga till tidsbegrepp och metakognition (inkl. minne) kan således utgöra en relativt ”skarp gräns” mellan aktiviteter, som endast till det yttre ter sig målstyrda, och sådana som verkligen är det. Termostater är lätta att placera i förhållande till denna gräns, och var en AI eller en människa hamnar hänger på vilka funktioner den är utrustad med.
    Det står naturligtvis Olle fritt att definiera ett helt eget målbegrepp, men han riskerar att det medför absurda kontraintuitiva implikationer, som att ett ägg har som mål att bli höna och att ojämviktiga termodynamiska system har som mål att uppnå jämvikt.
    Björn S

    SvaraRadera
    Svar
    1. "För övrigt får Olle gärna peka ut var i Boströms 'Superintelligence' han finner stöd för att..."

      Men vad är detta för fånerier? Nog för att jag har höga tankar om Bostroms bok, men det är ingen helig skrift. Jag har inget till övers för det slags bisarrt auktoritetstänkande som innebär att att envar som uttalar sig på detta område först behöver försäkra sig om att hen har explicit stöd i Superintelligence för sina yttranden.

      Radera
  5. Tror ni inte att det är sannolikt att en super-AI likt människor kan börja fråga sig vilken livets mål och mening är och inte nödvändigtvis snabbt hittar ett bra svar? Vi kan få en existentiellt vilsen super-AI!

    SvaraRadera
  6. Från mitt utvecklarperspektiv är det ett problem att filosofiska diskussioner, som ovanstående, tenderar att föras på en allt högre abstraktionsnivå. Så hög att det inte längre går att argumentera, varken för eller emot. Läs själv hur diskussionen avslutades, vad ska man säga om en sådan sak.

    Istället skulle jag vilja att man kliver ner några pinnhål i abstraktionstrappan, tills man närmar sig The Real Thing (tm). Då reser sig Bostrom upp och skriker "Vad vet du om verkligheten, vi kanske lever i en simulering". Jag bryr mig inte om Bostrom utan fortsätter nedåt.

    Ni vet att det finns självkörande bilar, det finns också självkörande k-pistammunition. Man bränner av en salva på måfå men varje kula genomborrar sitt mål ändå, genom hjärtat. Men om kulan känner något när den genomborrar sitt mål låter jag vara osagt.

    Det är inte science fiction, det är filosofi på en nivå där varje ord betyder något. Det är en nivå där man faktiskt skulle kunna komma med lösningar på hur vi kan förhindra att farlig AI utvecklas. Det vi håller på med idag ar precis vad många vill att att vi ska göra, nämligen sitta och grubbla över Fermi's paradox eller sitta i diskussionsgrupper 4 och 4 och prata om huruvida Singulariteten kommer om två decennier eller tio.

    SvaraRadera
    Svar
    1. Ja usch vad provocerande att det finns de som lyfter sig ovan våra omedelbara praktiska överväganden här och nu, och tar sig an långsiktigt tänkande och de riktigt stora frågorna.

      Radera
  7. Hej Olle
    Avstår från att gå i utförligt svaromål mot din "fåneri"-kommentar, där du tolkar min undran om överensstämmelse mellan Bostroms och ditt gemmaxscenario på annat vis än vad som var avsett. Avvaktar istället eventuella genomtänkta synpunkter på sakinnehållet i mitt inlägg.
    Björn S.

    SvaraRadera
    Svar
    1. Om det är jätteviktigt för dig hur Bostrom eventuellt ser på ordningsföljden gemmaximeringsmål-superintelligens i det hypotetiska Paperclip Armageddon-scenariot kan du ju beakta följande. För den som (likt Bostrom) accepterar Omohundro-Bostrom-teorin ingår så kallad goal preservation (se t.ex. Avsnitt 3 i den här uppsatsen) som en naturlig del i vad vi kan vänta oss av beteendet hos en superintelligent AI. Och om man accepterar goal preservation så inser man att en superintelligent AI inte skulle tillåta oss ynka människor att mixtra med dess målsättningar, varför målsättningen alltså torde ha kommit före superintelligensen.

      Radera
    2. Det är alltså trots superintelligens omöjligt för den att korrigera sig själv när den förstår att målet är missföstått?

      Radera
    3. Observera att här handlar det inte om att ändra sitt mål utan att ha förstått det bättre?

      Radera
    4. Nej, Anonym 22:34, nu tänker du fel. Du blandar ihop AI:ns mål med programmerarens. AI:ns mål är att maximera antalet gem i universum. Programmerarens mål är att AI:n skall ordna lagom mycket gem för att säkerställa en hygglig försörjning åt fabriksägaren. Så för att uppnå överensstämmelse behöver någon av dem ändra sitt mål.

      Jag skulle gissa att ditt tankefel beror på den outtalade föreställningen att AI:n har über-målet att uppfylla sin programmerares önskningar. Men den har inget sådant mål. Dess mål är att maximera antalet gem.

      Radera
  8. ”Jag skulle gissa att ditt tankefel beror på den outtalade föreställningen att AI:n har übermålet att uppfylla sin programmerares önskningar. Men den har inget sådant mål.”
    Men Olle, vad är detta för ad hoc-erier? En AI har de mål som den ursprungliga programmeraren har försett den med, om de också har följt med genom AI:ns förbättringar av sig själv eller nya AI på väg mot superintelligens. Om en AI förses med ”übermålet” att förstå och lyda programmerarens intentioner, så har den detta mål (läs Bostrom, 2014, s. 123: ”Unless the AI’s motivation is of a special kind...”). Och som jag skrev redan i inlägget 22/10 (och som Olle inte har besvarat), framstår det som fullt möjligt och rent av självklart, att även en komplex AI som inte har nått superintelligensnivå, så snart möjligt utrustas med förmåga att tolka mänskliga intentioner. Annars gäller det gamla ”crap in, crap out”.
    Självklart kan den ursprungliga programmeraren ha underlåtit att utrusta AI:n med förmåga att tolka mänskliga intentioner, för att därefter ge den oprecisa kommandon av typen att ”maximera antalet gem”, men det låter som ett mer än lovligt konstruerat scenario. I så fall framstår Lex Luthor-scenariot som mer realistiskt.
    Björn S

    SvaraRadera
    Svar
    1. Vadå inte besvarat? Jag besvarade kommentaren ifråga den 22/10 17:36, och sedan igen den 23/10 14:56. Vad mer begär du av mig?

      OK, jag besvarade inte varje enskild sak du tog upp i din kommentar, men större delen av den var ju bara en redogörelse för din lite mer inskränkta och antropocentriska åsikt om hur vi borde tolka begrepp som mål, strävan och intention, något som jag inte tyckte tarvade fortsatt diskussion.

      Och angående Paperclip Armageddon. Du argumenterar emot detta som om det vore en prediktion av vad som faktiskt kommer att hända. Men mig veterligen är det ingen som tror att vi och resten av universum kommer att förvandlas till gem. Paperclip Armageddon är inte en prediktion, utan ett tankeexperiment, avsett att illustrera vad som skulle kunna hända om vi inte noggrant tänker oss för i skapandet av en superintelligent AI. Du har givetvis rätt i att det är full tänkbart att vi i tid skapar rätt slags übermål, men det är också tänkbart att vi inte gör det, och übermålet ingår inte i Paperclip Armageddon-scenariot.

      Radera