En medborgare och matematiker ger synpunkter på samhällsfrågor, litteratur och vetenskap.
onsdag 15 maj 2013
Strannegård och Omohundro om artificiell intelligens
Mina två senaste blogginlägg om vart utvecklingen inom AI (artificiell intelligens) kan tänkas vara på väg, rubricerade Stoppa mördarrobotarna (23 april) och Yudkowsky om Singulariteten (6 maj), har till min förtjusning väckt mer diskussion än vanligt i kommentarsfälten. Jag vill gärna smida medan järnet är varmt, och presenterar därför härmed det tredje blogginlägget på kort tid om ämnet.
Jag menar att AI-utvecklingens enorma potential, och de därmed förknippade riskerna, sannolikt är en av mänsklighetens stora ödesfrågor, åtminstone i paritet med (den vida mer uppmärksammade) klimatfrågan. Än så länge är det inte många som håller med om detta, och till och med bland AI-forskarna själva är ointresset för frågan utbrett. Möjligen är en liten vindkantring på gång härvidlag (om det inte handlar om önsketänkande från min sida), som kan exemplifieras med hur min gode vän den kreative AI-forskaren och entreprenören Claes Strannegård nyligen ändrat uppfattning om frågans vikt. Senaste numret av Göteborgs universitets tidskrift GU-journalen ägnar stort utrymme åt en intervju med honom, där vi bland annat kan läsa följande:
Men i science fiction brukar försök att skapa artificiellt liv sluta i katastrof. Bladerunner och 2001 – ett rymdäventyr var filmer som Claes Strannegård tidigare inte tog på så stort allvar. Till i vintras. Då deltog han nämligen i the Winter Intelligence Conference i Oxford.
– Nu känner jag mig lite mer oroad för vissa framtidsscenarier. Tänk dig till exempel en robot som har som enda instruktion att bli så bra som möjligt på schack genom att spela massor av partier. Det låter väl helt fredligt? Men vad skulle hända om någon försökte stänga av roboten eller programmera om den? Då skulle den inte kunna utvecklas som schackspelare vilket skulle gå emot instruktionerna. Eftersom den saknar både folkvett och moral skulle den använda vilka metoder som helst, kanske också brutala, för att förhindra detta. En robot kan alltså vara ond trots att den inte programmerats så. Artificiell intelligens har många fördelar, men om vi inte funderar över de etiska, juridiska och ekonomiska konsekvenserna, tror jag att vi kan bli tagna på sängen.
Även jag deltog i nämnda Oxfordkonferensen, och rapporterade efteråt kort här på bloggen. Om jag förstått Claes rätt så var det framför allt Steve Omohundros föredrag Autonomous technology and the greater human good som gjorde sådant intryck på honom att han började ta de radikala framtidsfrågorna på allvar. Konferensarrangörerna har sent omsider börjat lägga upp sina videoupptagningar av föredragen på nätet, och här är Omohundros bidrag:
Se det! Det är ett sällsynt givande föredrag, som bland annat (med start ca 13:40 in i videon) redogör för det lärorika (men i GU-journalsintervjun alltför korthugget beskrivna) schackdatorexemplet. Även den påföljande diskussionen med frågor från publiken finns med i videon. Sådana frågestunder utgör ofta beklämmande antiklimax på goda föredrag, men den här gången bjöds på ett och annat intressant; se t.ex. Robin Hansons roliga men samtidigt mycket allvarliga och oroande kommentar om hedgefonder (55:20), och Claes Strannegårds fråga strax därefter (56:05, notera gärna yours truly sittandes jämte Claes, till höger i bild). Och läs gärna Omohundros uppsats om samma ämne: Rational artificial intelligence for the greater good.
Om vi först kan bli överens om vad som finns just nu vore det lättare att förstå hur du tänker.
Är Deep Blue intelligentare än Stina Kvamme? Nej, Deep Blue är bättre på schack, men inte intelligentare. Är en grävmaskinist intelligentare än Olle Häggström? Nej (kanske) inte, men bättre på att gräva med grävmaskin.
Det är skillnad på intelligens och kunskap.
Så, min utmaning till dig (och kanske Lars?) är: Var står vi idag när det gäller intelligenta system? Och då menar jag inte kunskapsbaserade system aka "Expertsystem" utan "The Real Thing", system som kan jämföras med din egen intelligensnivå.
Ge mig ett exempel på ett datorprogram som realiserar en intelligensnivå i paritet med din egen.
Detta är förstås ganska långt ifrån det jag håller på med i mitt dagliga arbete, och heller inget jag har med mig från min grundutbildning. Men med tanke på signaturen "Kvamme":s kommentar om att skilja på kunskap och intelligens så tänkte hag ändå drista mig till att ställa en lekmannamässig fråga: Hjälper oss inte en högre kunskapsnivå oss att fatta intelligentare beslut? Är det verkligen en tydlig skillnad? Kjell Eriksson
Ett nyfött barn har ingen kunskap alls men är oerhört intelligent. Googles servrar innehar en oerhörd mängd kunskap men är ändå inte intelligenta.
Ett beslut kan inte vara intelligent, det kan bara vara bra eller mindre bra. Med tillgång till Googles servrar fattar en intelligent hjärna bättre beslut.
Den avgjort största källan till debatt i detta ämne är att vi använder samma ord men lägger olika betydelse bakom. När jag skriver "fatta beslut" så menar jag en sak, Olle lägger en andra betydelse i orden och för dig är betydelsen säkert en tredje. Samma sak gäller orden "Intelligent", "Kunskap", "Information", "Data", listan kan göras lång.
Det finns tyvärr bara ett sätt att komma vidare och det är att debattera ämnet och samtidigt vara observant på möjliga olika tolkningar av termer och begrepp.
Så för att svara på din fråga, ur mitt perspektiv kan inte googles servrar fatta några beslut. Men det är som sagt min tolkning av domänen AI. Olle gör säkert en annan.
Tack "Kvamme" för svar. Och till att börja med vill jag säga att jag håller med dig om i stort sett allt du skrivet. Visst kan det vara så att vi lägger olika innebörd i de ord du nämner.
Jag funderade på ditt inlägg, och så började jag fundera om det spelar så stor roll i denna "debatt" vad vi egentligen menar med kunskap, intelligens mm. Låt oss i stället se på resultatet ("outout") av den process som sker i en mänsklig hjärna eller en dator, och strunta i själva processen som leder fram till resultatet, och låt oss också för diskussionens definera detta resultat som ett beslut.
I denna utmärka blogg (med både högt och lågt tonläge, och där jag måste tillstå att jag fortarande kämpar med att förstå skillnaden mellan proximata- och ultimata orsaker), så bloggades för en tid sedan om scackprogramnet "Houdini", där det konstaterades att en mänsklig schackspelare är helt chanslös.
Jag håller givetvis med om huvudslutsatsen i denna bloggpost, att AI:n är långt ifrån något som kan likna en människas förmåga, men det finns ändå intressanta specialfall, och Houdini är ett sådant.
Där kan vi väl vara överens om att ett schackdrag som leder till vinst är det bästa beslutet när en dator spelar mot en människa, och detta gäller alldeles oavsett hur den process om.lett fram till besluet ser ut, om det är intelligens eller något annat. Kjell Eriksson
Datorn vinner alltid om det finns en matematisk formel som beskriver vad som ska göras. Människan är ganska kass på matematik medan datorn glänser. Och det är precis så med schack, det finns en matematisk formel som beskriver hur man vinner i schack och det finns tyvärr också en matematisk formel för hur man styr en UAV mot ett mål.
Ett datorprogram är i realiteten en matematisk formel, Prof. Edsger W. Dijkstra brukade säga att (min övers.) "De mest begåvade matematikerna bör ägna sig åt datorprogrammering emedan de övriga får nöja sig med numerisk matematik"
Omohundros föreläsning är visserligen intressant, men eftersom jag skulle "svära i kyrkan", eller möjligen tvärtom, om jag berättade exakt vad jag ansåg om den är det nog säkrast att jag gör det på min egen blogg, någon gång, kanske...
Olle har den här månaden, oavsiktligt antar jag, gett två exempel på den form av AI som är vanligast förekommande; Artificiell Inelegans. Någonstans i bloggermjukvaran finns det en kodrad som säger något i stil med "om en rubrik som skrivs ut i bloggarkivet har 60 tecken eller fler, skriv ut de 60 första tecknen, följt av tre punkter". Denna 60-teckensgräns verkar för mig helt godtycklig, och dess inelegans blir särskilt poängterad då rubrikens längd befinner sig i intervallet 60-62, eftersom rubriken då förlängs i stället för förkortas. Detta ineleganta sätt att hantera text kan också leda till att så kallade entiteter huggs av, vilket kan leda till att exempelvis "ö", som normalt sett ska tolkas som "ö", skrivs ut som "&ou", följt av några punkter.
Jag minns från högstadiet en ostrukturerad genomgång av en syokonsulent som skrev ned en del av sina ord på svarta tavlan, och därvid istället för att skriva ut ordet "uppgift" i dess helhet valde förkortningen "uppgif.". För övrigt ser jag fram emot dina svordomar var du än väljer att publicera dem!
"... till och med bland AI-forskarna själva är ointresset för frågan utbrett"
Detta borde väl ge en hint om trovärdigheten i detta? Om Yudkowsky är "en av de stora på området" så är det ett akademiskt mycket lättviktigt område.
PZ Myers bloggade om konceptet väldigt väl ( http://freethoughtblogs.com/pharyngula/2012/07/14/and-everyone-gets-a-robot-pony/ ), särskilt denna kommentar ( http://freethoughtblogs.com/pharyngula/2012/07/14/and-everyone-gets-a-robot-pony/comment-page-1/#comment-397588 ).
Hur du kan ta detta område som kryllar av crackpots och uppenbara charlataner (Kurzweil, Yudkowsky) på allvar är minst sagt förvånande.
Tack Nemesis för dina ilskna glåpord! Om möjligt ännu trevligare och intressantare hade varit om du haft något att säga i sak, eller något lite vassare att stödja dig på än Myers sammanblandning av, å ena sidan, att ett projekt är mycket svårt och vi idag har långt ifrån tillräcklig mätteknisk precision, och, å andra sidan, att projektet för all framtid skulle vara omöjligt. Notera för övrigt att Yudkowsky inte ser hjärnemulering som något huvudspår i utvecklingen mot en superintelligens
Det är svårt att sia, speciellt om framtiden!
SvaraRaderaOm vi först kan bli överens om vad som finns just nu vore det lättare att förstå hur du tänker.
Är Deep Blue intelligentare än Stina Kvamme? Nej, Deep Blue är bättre på schack, men inte intelligentare. Är en grävmaskinist intelligentare än Olle Häggström? Nej (kanske) inte, men bättre på att gräva med grävmaskin.
Det är skillnad på intelligens och kunskap.
Så, min utmaning till dig (och kanske Lars?) är: Var står vi idag när det gäller intelligenta system? Och då menar jag inte kunskapsbaserade system aka "Expertsystem" utan "The Real Thing", system som kan jämföras med din egen intelligensnivå.
Ge mig ett exempel på ett datorprogram som realiserar en intelligensnivå i paritet med din egen.
Vad gäller datorprogram med allmänintelligens på människonivå kan jag utan omsvep säga att där är vi inte än.
RaderaDetta är förstås ganska långt ifrån det jag håller på med i mitt dagliga arbete, och heller inget jag har med mig från min grundutbildning. Men med tanke på signaturen "Kvamme":s kommentar om att skilja på kunskap och intelligens så tänkte hag ändå drista mig till att ställa en lekmannamässig fråga: Hjälper oss inte en högre kunskapsnivå oss att fatta intelligentare beslut? Är det verkligen en tydlig skillnad?
SvaraRaderaKjell Eriksson
Instämmer!
RaderaEtt nyfött barn har ingen kunskap alls men är oerhört intelligent.
RaderaGoogles servrar innehar en oerhörd mängd kunskap men är ändå inte intelligenta.
Ett beslut kan inte vara intelligent, det kan bara vara bra eller mindre bra.
Med tillgång till Googles servrar fattar en intelligent hjärna bättre beslut.
Följdfrågan är: hur vet du det, dvs att den intelligenta hjärnan fattar ett bättre beslut än googles servrar?
RaderaKjell Eriksson
Den avgjort största källan till debatt i detta ämne är att vi använder samma ord men lägger olika betydelse bakom. När jag skriver "fatta beslut" så menar jag en sak, Olle lägger en andra betydelse i orden och för dig är betydelsen säkert en tredje. Samma sak gäller orden "Intelligent", "Kunskap", "Information", "Data", listan kan göras lång.
RaderaDet finns tyvärr bara ett sätt att komma vidare och det är att debattera ämnet och samtidigt vara observant på möjliga olika tolkningar av termer och begrepp.
Så för att svara på din fråga, ur mitt perspektiv kan inte googles servrar fatta några beslut. Men det är som sagt min tolkning av domänen AI. Olle gör säkert en annan.
Tack "Kvamme" för svar. Och till att börja med vill jag säga att jag håller med dig om i stort sett allt du skrivet. Visst kan det vara så att vi lägger olika innebörd i de ord du nämner.
RaderaJag funderade på ditt inlägg, och så började jag fundera om det spelar så stor roll i denna "debatt" vad vi egentligen menar med kunskap, intelligens mm. Låt oss i stället se på resultatet ("outout") av den process som sker i en mänsklig hjärna eller en dator, och strunta i själva processen som leder fram till resultatet, och låt oss också för diskussionens definera detta resultat som ett beslut.
I denna utmärka blogg (med både högt och lågt tonläge, och där jag måste tillstå att jag fortarande kämpar med att förstå skillnaden mellan proximata- och ultimata orsaker), så bloggades för en tid sedan om scackprogramnet "Houdini", där det konstaterades att en mänsklig schackspelare är helt chanslös.
Jag håller givetvis med om huvudslutsatsen i denna bloggpost, att AI:n är långt ifrån något som kan likna en människas förmåga, men det finns ändå intressanta specialfall, och Houdini är ett sådant.
Där kan vi väl vara överens om att ett schackdrag som leder till vinst är det bästa beslutet när en dator spelar mot en människa, och detta gäller alldeles oavsett hur den process om.lett fram till besluet ser ut, om det är intelligens eller något annat.
Kjell Eriksson
Absolut, det är jag helt med på.
RaderaDatorn vinner alltid om det finns en matematisk formel som beskriver vad som ska göras. Människan är ganska kass på matematik medan datorn glänser. Och det är precis så med schack, det finns en matematisk formel som beskriver hur man vinner i schack och det finns tyvärr också en matematisk formel för hur man styr en UAV mot ett mål.
Ett datorprogram är i realiteten en matematisk formel, Prof. Edsger W. Dijkstra brukade säga att (min övers.) "De mest begåvade matematikerna bör ägna sig åt datorprogrammering emedan de övriga får nöja sig med numerisk matematik"
Omohundros föreläsning är visserligen intressant, men eftersom jag skulle "svära i kyrkan", eller möjligen tvärtom, om jag berättade exakt vad jag ansåg om den är det nog säkrast att jag gör det på min egen blogg, någon gång, kanske...
SvaraRaderaOlle har den här månaden, oavsiktligt antar jag, gett två exempel på den form av AI som är vanligast förekommande; Artificiell Inelegans. Någonstans i bloggermjukvaran finns det en kodrad som säger något i stil med "om en rubrik som skrivs ut i bloggarkivet har 60 tecken eller fler, skriv ut de 60 första tecknen, följt av tre punkter". Denna 60-teckensgräns verkar för mig helt godtycklig, och dess inelegans blir särskilt poängterad då rubrikens längd befinner sig i intervallet 60-62, eftersom rubriken då förlängs i stället för förkortas. Detta ineleganta sätt att hantera text kan också leda till att så kallade entiteter huggs av, vilket kan leda till att exempelvis "ö", som normalt sett ska tolkas som "ö", skrivs ut som "&ou", följt av några punkter.
Jag minns från högstadiet en ostrukturerad genomgång av en syokonsulent som skrev ned en del av sina ord på svarta tavlan, och därvid istället för att skriva ut ordet "uppgift" i dess helhet valde förkortningen "uppgif.". För övrigt ser jag fram emot dina svordomar var du än väljer att publicera dem!
Radera"... till och med bland AI-forskarna själva är ointresset för frågan utbrett"
SvaraRaderaDetta borde väl ge en hint om trovärdigheten i detta? Om Yudkowsky är "en av de stora på området" så är det ett akademiskt mycket lättviktigt område.
PZ Myers bloggade om konceptet väldigt väl ( http://freethoughtblogs.com/pharyngula/2012/07/14/and-everyone-gets-a-robot-pony/ ), särskilt denna kommentar ( http://freethoughtblogs.com/pharyngula/2012/07/14/and-everyone-gets-a-robot-pony/comment-page-1/#comment-397588 ).
Hur du kan ta detta område som kryllar av crackpots och uppenbara charlataner (Kurzweil, Yudkowsky) på allvar är minst sagt förvånande.
Tack Nemesis för dina ilskna glåpord! Om möjligt ännu trevligare och intressantare hade varit om du haft något att säga i sak, eller något lite vassare att stödja dig på än Myers sammanblandning av, å ena sidan, att ett projekt är mycket svårt och vi idag har långt ifrån tillräcklig mätteknisk precision, och, å andra sidan, att projektet för all framtid skulle vara omöjligt. Notera för övrigt att Yudkowsky inte ser hjärnemulering som något huvudspår i utvecklingen mot en superintelligens
RaderaSe även
SvaraRaderahttp://www.axess.se/magasin/default.aspx?article=1780