måndag 28 april 2014

Om trial-and-error

Vad händer om/när forskningen inom artificiell intelligens når ett genombrott och lyckas skapa en maskin med en allmännintelligens som överträffar människans? Kommer detta att leda till en intelligensexplosion och en så kallad teknologisk Singularitet? Detta är, vilket jag upprepade gånger (bl.a. här) framhållit, viktiga frågor som förtjänar långt större vetenskaplig uppmärksamhet än de får idag.

I sitt gästinlägg Why "intelligence explosion" and many other futurist arguments are nonsense i höstas här på bloggen hävdar David Sumpter att den tankeverksamhet som hittills ägnats frågorna är så spekulativ att den inte förtjänar kallas vetenskap, och därtill att frågorna är av sådan art att de knappast ens kan behandlas vetenskapligt. På dessa punkter är jag djupt oenig med David, och jag bemötte hans bloggpost i ett svar med rubriken No nonsense. Här och nu vill jag blott göra ett tillägg, rörande det alternativa förhållningssätt David förespråkar - dvs vad vi skall göra istället för att forska om den eventuella intelligensexplosionen. I sitt ursprungliga gästinlägg skriver han:
    Now I don’t know if the "intelligence explosion" is true or not, but I can think of some models that are more probable. Maybe I can ask my smart phone to do something more than calling my wife and it will actually do it? Maybe a person-sized robot can walk around for two minutes without falling over when there is a small gust of wind? Maybe I can predict, within some reasonable confidence interval, climate change a number of years in to the future? Maybe I can build a mathematical model that predicts short-term economic changes? These are all plausible models of the future and we should invest in testing these models. Oh wait a minute... that’s convenient... I just gave a list of the type of engineering and scientific questions our society is currently working on. That makes sense!
Och i en kommentar till mitt svar fortsätter han:
    It is impossible for me to rise to your challenge of rolling up my sleeves and get to work on the substance [regarding the problem of a possible intelligence explosion]. I would love to, but there is nothing substantive to work on. I have little data on which to build a model, nor has anyone supplied a concrete explanation of where to start. I could start working on a specific aspect, for example, automated learning for playing games or maybe models of social behaviour. But, actually, this is what I already do in my research. One day this information might provide a step in the path towards the Intelligence Explosion, but I have no way of saying how or when it will do so.
Enligt David är alltså vår bästa chans att förbättra kunskapsläget om något så grandiost futuristiskt som intelligensexplosionen följande: Vi bör helt enkelt släppa fokus på intelligensexplosionen och istället forska om mer jordnära ting. Ingen kan veta i förväg vart vetenskapen då skall föra oss och vilka oväntade upptäckter som skall uppdagas, men kanske kommer till slut något att uppenbaras som leder mot intelligensexplosionen.

Hans approach till problemet har något tilltalande ödmjukt över sig, men den duger enligt min mening inte. (Förtydligande: Det är helt OK om David Sumpter personligen anammar denna approach. Vad som inte går an är om forskarsamhället som helhet gör det.) Skälet är följande. Enligt min uppfattning (och många andras, inklusive Stuart Armstrong, James Barrat, Nick Bostrom, David Chalmers, Stephen Hawking, Bill Joy, James Miller, Anna Salamon, Kaj Sotala, Max Tegmark, Roman Yampolskiy och Eliezer Yudkowsky) är en eventuell intelligensexplosion förknippad med så kallad existentiell risk för mänskligheten - en risk för att vi helt enkelt går under, eller att vår potential till framtida blomstring går permanent förlorad. Sådana risker har vi inte råd att behandla på samma sätt som mer vardagliga och småskaliga risker. I sin uppsats Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards förklarar Bostrom varför:
    Our approach to existential risks cannot be one of trial-and-error. There is no opportunity to learn from errors. The reactive approach – see what happens, limit damages, and learn from experience – is unworkable. Rather, we must take a proactive approach. This requires foresight to anticipate new types of threats and a willingness to take decisive preventive action and to bear the costs (moral and economic) of such actions.
Jag är helt enig med Bostrom här. Låt mig ändå, för diskussionens skull, ge sista ordet i denna bloggpost till AI-forskaren Ben Goertzel, som i sin läsvärda och infallsrika recension av Stuart Armstrongs nya bok Smarter Than Us: The Rise of Machine Intelligence invänder följande mot den Armstrong-Bostromska ståndpunkten om hur oacceptabel trial-and-errormetoden är:
    I do agree with Armstrong that, before we launch superhuman AGIs upon the world, it would be nice to have a much better theory of how they operate and how they are likely to evolve. No such theory is going to give us any guarantees about what future superhuman AGIs will bring, but the right theory may help us bias and sculpt the future possibilities.

    However, I think the most likely route to such a theory will be experimentation with early-stage AGI systems...

    I have far more faith in this sort of experimental science than in "philosophical proofs", which I find generally tend to prove whatever the philosopher doing the proof intuitively believed in the first place...

    Of course it seems scary to have to build AGI systems and play with them in order to understand AGI systems well enough to build ones whose growth will be biased in the directions we want. But so it goes. That's the reality of the situation. Life has been scary and unpredictable from the start. We humans should be used to it by now!

16 kommentarer:

  1. Is anyone promoting the idea that the singularity is a possible solution to the Fermi paradox? If the singularity commonly destroys biological life, and doesn't take over the universe, then that could be a common fate to civilisations. But why wouldn't the singularity take over the universe? Perhaps the need to understand everything there is to know about the universe is within easy reach of a singularity, so relatively little resources would suffice to reach that goal. And as everyone knows, once you have figured out the solution to a problem the magic is gone and we put the pen down.

    /JJ

    SvaraRadera
    Svar
    1. Unless I misremeber, the Singularity is one of the 50 proposed solutions in Stephen Webb's Where is Everybody. I do not find it convincing. According to Bostrom's orthogonality thesis (which IMHO makes sense), the resulting superintelligence can have pretty much any idea of the meaning of life. "To understand everything there is to know about the universe" is just one of them. Paperclip maximization is another.

      Radera
  2. Att avstå att empiriskt utforska Singulariteten för att inte utsätta mänskligheten för risk är ju naturligtvis bra. Good guys avstår och Bad guys kör på med så många experiment dom bara kan komma på.

    Ta klimathotet t ex, Good guys försöker enas om en minskning av utsläpp medan Bad guys eldar petroleum utav bara h****te för egen vinnings skull. Förbränningen ökar i världen och risken för mänskligheten ignoreras.

    Eller atombomben där Good guys inte ens kunde avstå trial-and-error därför att Bad guys redan var på väg att bygga en egen som i så fall hade ritat om världskartan totalt.

    Mitt första exempel är dock fel, Bad guys experimenterar inte med Singulariteten vad vi vet idag. Konstigt, för en sådan teknologi som helt säkert skulle ge sin "ägare" världsherravälde borde inte lämnas ifred i första taget.

    Man kan tänka sig flera orsaker, vi kanske inte vet vad som pågår i Bad guys korridorer, eller också är både Good guys och Bad guys rörande överens om att det inte är möjligt att implementera Singulariteten, den är bara ett luftslott. Eller kanske båda sidor anser att det med dagens teknologi och programmeringsspråk inte går att experimentera med Singulariteten utan väntar tålmodigt tills hårdvara och mjukvara har utvecklats.

    Och så har vi det minst troliga skälet till att man skulle avstå, Good guys och Bad guys är överens om att det skulle vara för farligt.

    SvaraRadera
    Svar
    1. Frågan om incitamentsstrukturer i samband med skapandet av en Singularitet är intressant och viktig, och den behandlas mer utförligt i den amerikanske nationalekonomen James Millers bok Singularity Rising.

      Radera
    2. The mother of all incitament "världsherravälde" borde duga bra, frågan är varför ingen tar Singulariteten på allvar?

      Radera
    3. Du verkar föredra oneliners framför fördjupning, vilket jag finner en smula olyckligt på detta viktiga område. Men om du skulle ändra dig och verkligen vilja lära dig något, så vill jag faktiskt rekommendera att du läser Miller.

      Vem menar du förresten med "ingen"? Mig? Det illustra dussin som jag parentetiskt och alfabetiskt räknar upp i bloggposten? Författarna i samlingsvolymen Singularity Hypotheses (Springer, 2012)? KVA? Sveriges Radio? Al Gore? Future of Humanity Institute i Oxford? Machine Intelligence Research Institute i Berkeley?

      Radera
    4. Förlåt, det var kanske lite kortfattat. Men kommentarstråden handlar ju om varför ingen empirisk Singularitetsforskning pågår. Ditt svar antyder att det skulle bero på vilka incitament som föreligger. Jag svarar då att incitament finnes och ställer frågan varför man inte tar allvarligt på möjligheten att med empirisk forskning nå framsteg inom området Singulariteten.

      Radera
    5. Du frågar varför ingen "empirisk Singularitetsforskning" pågår. Svaret beror på vad du menar med "empirisk Singularitetsforskning". Om du menar "empirisk forskning på och utveckling av AI-system som potentiellt kan leda vägen mot en Singularitet" så är frågan fel ställd - massor av sådan forskning pågår. Om din fråga istället betyder "varför har ingen dragit igång någon Singularitet ännu?" så kan jag tänka mig att en starkt bidragande orsak är att ingen ännu vet hur man gör.

      Radera
    6. Som du envist :) hävdar (och även några kommentatorer) kan AI vara precis vad som helst som uppfattas som intelligent (Apples Siri, Googla Car etc). Det går inte ens att definiera begreppet Intelligens med någon större stringens.

      Om vi däremot begränsar oss till begreppet Singularitet är ramarna betydligt snävare, nu handlar det om en maskin som kan skapa en bättre version av sig själv, punkt.

      Empirisk forskning inom området Singularitet handlar alltså om att forska kring mjukvara som kan skriva om sig själv, rätta sina egna buggar, förenkla och förbättra sina algoritmer och förenkla sin datamodell.

      Som exempel kan vi ta min intelligenta gräsklipparrobot. En gräsklipparrobot som finns i handeln just nu måste uppgraderas med ny firmware, som regelbundet tillhandahålles av tillverkaren. Min robot borde (empirisk forskning krävs) förbättra sin egen firmware så att tillverkaren skulle vara tvungen att komma hem till mig och ladda ner den senaste mjukvaran från min robot och använda i sina nya klippare.

      Det vore ett (litet) steg i riktning mot Singulariteten, det är ju inte en människas intelligens vi hanterar utan bara en gräsklippares.

      Radera
    7. Nej, Stina, jag har aldrig (vare sig envist eller inte) hävdat att "AI kan vara precis vad som helst som uppfattas som intelligent". (Det påstående du tillskriver mig är helt på tok, och det är lätt att ge uppenbara motexempel: jag uppfattar Timothy Gowers som intelligent, men att klasificera honom som en AI vore likväl orimligt.) Däremot, se Wikipedia-artikeln Artificial intelligence för en sammanfattning av begreppets innebörd, och Applications of artificial intelligence för en indikation om AI-teknikens stora utbredning idag.

      Men tack i alla fall för att du, genom att ge din egen onleliner-definition av det annars så mångfacetterade begreppet Singularitet, och avsluta med konversationsstopparen "punkt", på ett närmast övertydligt sätt bekräftar det jag skrev 10:32 ovan, att "du verkar föredra oneliners framför fördjupning".

      Radera
    8. Tack för länkarna. I artikeln Applications of artificial intelligence skriver man att allt som tas fram i ett AI-lab är AI. I så fall skulle Timothy Gowers mycket väl kunna vara AI.

      Radera
    9. OK, good point, AI-områdets tillkomst brukar dateras till 1956 och Gowers är född 1963, så det du säger kan gott tänkas vara sant.

      Radera
  3. Does the singularity refer to an AI that is an enhanced version of human nature? Why would we not get something better? Why would it seek to dominate? That's the master-slave model that we find in control theory. A singularity would be capable of going beyond its programming. I still think we are ignoring the possibility of co-evolution. A good sci-fi story along these lines is Masters of Space by E. E. Smith and E. E. Evans

    SvaraRadera
    Svar
    1. My answers to your three questions would be (1) "Usage varies, but I think few thinkers attach such a narrow meaning to the term, and I certainly don't", (2) "Yes, why not, but there are thinkers like Kurzweil and Hanson who believe that whole brain emulation is the most workable way to AGI, and then (a possibly perverted version of) human nature will come with the package" and (3) "May I refer to Steve Omohundro, whose theory of Basic AI drives offers some pretty good answers to that?".

      Radera
  4. Tack för en intressant diskussion, speciellt mellan dig och David.

    Hur tycker du att man skall bemöta hotet från en intelligensexplosion i detta nu? Bör vi bromsa forskning inom AI redan nu (det kan ju tänkas att det är för sent när explosionen är inom räckhåll), eller ska vi nöja oss med att försöka förstå hur den kommer att uppstå (för att senare kunna hindra den)?

    SvaraRadera
    Svar
    1. Bra fråga, Philip. Jag vet inte vad som är rätt väg att gå, och intar därför följande pragmatiska hållning. Om jag, med dagens ganska klena kunskapsunderlag, skulle förespråka begränsningar av AI-forskningen (annat än vad gäller mördarrobotar), så skulle jag troligtvis inte uppnå något annat än att marginalisera mig själv bort ur debatten. Mer lovande känns idén att förespråka förbättring av kunskapsläget beträffande riskerna (och möjligheterna).

      Radera