Just idag förekommer jag på två håll i medialandskapet med uttalanden om den (för hela mänskligheten) dödligt farliga kapplöpning som pågår på AI-området. Dels har vi det timslånga samtal, rubricerat Om den artificiella intelligensens framtid, med Christer Sturmark i hans Fri Tanke-podden. Dels har vi den artikel i Göteborgs-Posten som bär rubriken Ledande AI-företag spelar rysk roulette med mänsklighetens överlevnad och följande ingress:
-
Redan 1951 formulerade datavetenskapens grundare Alan Turing en vision om hur en tillräckligt avancerad AI kan börja förbättra sig själv utan fortsatt mänsklig inblandning, och hur det kan leda vidare till ett läge där den tar över makten. Vi människor hamnar då i samma slags prekära situation som gorillor befinner sig i idag, och mänsklighetens öde kommer att hänga på vad maskinerna har för mål och drivkrafter, skriver Olle Häggström, professor i matematisk statistik vid Chalmers.
Minnesgoda läsare av denna blogg kan notera att jag i den nya artikeln återanvänder en del tankegångar från den som refuserades av DN förra månaden, men att jag denna gång valde lite andra aktualitetskrokar att anknyta till, inklusive den bioaktuella M3GAN, som enligt min mening är (trots klassiska föregångare som 2001 - ett rymdäventyr, Terminator och Ex Machina) Hollywoods bästa beskrivningen hittills av den centrala problematiken inom existentiell AI-risk.
Låt mig tillägga att AI-utvecklingen just nu går så rasande snabbt att både poddsamtalet och GP-artikeln redan hunnit bli delvis inaktuella trots att de spelades in respektive författades för blott en vecka sedan. Vad som därefter framför allt hänt är uppståndelsen kring Microsofts nya och kraftfulla men också (som det visat sig) psykopatiska AI-produkt Bing chat. Jag kan få anledning att återkomma till denna, men låt mig tills vidare bara nämna att det inträffade understryker vad jag säger i podden och i GP-artikeln om de stora AI-utvecklarnas livsfarligt bristande kontroll över sina produkter, och i övrigt hänvisa till Evan Hubingers och Erik Hoels kommentarer om saken.
Har du sett Peter Thiels 25 minuter långa föredrag i Oxford Debating Union? Han ironiserade över åtminstone ett par kända svenskar (Greta Thunberg och Nick Boström) som tror på regleringar på olika områden. Lösningen på alla problem är mer teknik, menade han, men han misslyckades med att precisera någon teknisk lösning på AI-problematiken.
SvaraRaderaJag vaknade i natt och läste inlägget i Less Wrong om att "Bing Chat is blatantly, aggressively misaligned". Visst är det en spännande värld vi lever i? Bilderbergaren, mångmiljardären och preppern Peter Thiel fann i föredraget jag nämnde skäl att nämna vilddjuret/anti-krist. Vi skulle kunna få en artificiell världsdiktator som hårdstyr världen och eliminerar alla som den stör sig på, bland annat genom att skicka ut en massa mördar-drönare. Uppenbarelseboken skulle kunna utgöra en välvillig varning om hur illa det kan gå om man inte passar sig. Den rymmer en hel del konstigheter, men också en del klart intressanta förutsägelser.
SvaraRaderaSom jag nämnde för dig har jag ett högst intressant tänkande kring motivation och värderingar, men hur sunt tänkandet än är så blir det sannolikt svårt att få alla super-AIs att omfatta det, så läget ser klart allvarligt ut. Det är kanske läge för att hoppas att en välvillig universell super-AI kommer till vår räddning. Sturmark och hans ateistkompisar har alldeles säkert noll lösningar på problemet.
SvaraRaderaKänn dig fri att tala nedlåtande om "Sturmark och hans ateistkompisar", men tänk då gärna på (a) att jag tillhör denna grupp, och (b) att det antal pålitliga lösningar som gruppen ifråga har levererat beträffande AI alignment-problematiken (dvs noll) är detsamma som alla andra.
RaderaJag postade nyligen det här i en filosofigrupp:
SvaraRaderaIntellectuals and experts say that we'll soon have an artificial super-intelligence on Earth. What is the probability that it never ever before has happened in the history of our multiverse? What is the probability that every super-AI has died, instead of expanding its power over the universe? It seems extremely low, I would say. Have you atheists ever thought about this? Don't you consider an evolved god to be a real god? Why do you think you can ignore such a being? What difference would it make if the Christian God evolved many eons ago? Could an evolved God save us from pubertal super-AIs as well as from other shit?
Om du kan få AIsarna att omfatta en intelligent ekologisk värdepluralism så har du hyfsade chanser att få ordning på världen. Problemen är alla som programmerar sina AIs för mycket snävare syften. Exempelvis var det nyligen någon här som försökte få dig att köpa att 'klassisk liberalism", dvs nyliberalism, är frälsningsvägen. Det är den förstås inte. Penningbegäret är sannerligen inte roten till allt gott, även om en del inbillar sig det.
SvaraRaderaÄr du lika pessimistisk som Eliezer Yudkowski? Om nej, varför inte?
SvaraRaderaNej. It's a long story, men det korta svaret är (a) att det kan hända att han tar miste om AI alignment-problemets svårighetsgrad och (b) att det finns en rad AI alignment-forskare som tycker sig se framkomliga vägar framåt.
RaderaStort tack för svar.
RaderaJag följde den här debatten på avstånd för 6 - 7 år sen, men det var aldrig ett ämne som verkligen engagerade mig. Den senaste tiden har jag försökt läsa in mig på frågan igen, och känslomässigt har jag pendlat mellan nedstämdhet och ren skräckslagenhet. Sidney/Bing i kombination med att jag numer har två små barn gör hela skillnaden skulle jag tro.
För några år sen uppfattade jag att det mycket hårdraget fanns tre läger:
1. Medvetande går inte att skapa digitalt. Datorer kommer aldrig få egen agens. Vi behöver inte oroa oss för Alignment.
2. Medvetande går antagligen att skapa digitalt, men vi är inte i närheten av att kunna skapa det för tillfället. Om det uppstår ligger det många, många decennier framåt i tiden. Det kan vara värt att fundera på Alignment, men det är inte akut och det finns många större problem för mänskligheten.
3. Medvetande kan med högsta sannolikhet uppstå i datorer. Det kan hända snart. Alignment är därför mänsklighetens viktigaste fråga.
När jag nu återvänder till diskussionerna om AGI ser jag i stort sett enbart debattörer som tillhör läger tre. De är oense om hur svårt Alignment är, men alla tycks vara överens om att AGI inte bara är möjligt utan troligtvis snart här.
Är detta en missuppfattning? Är det närmast en självklarhet för kunniga debattörer att AGI kommer uppstå på något sätt under första halvan av vårt århundrande?
Min bild av läget skiljer sig från din på åtminstone två sätt:
RaderaDet ena är att jag ser medvetandefrågan som ortogonal mot AI alignment-problematiken, på så vis att oavsett om AI-medvetande är i faggorna eller inte kan AI-xrisk vara hög eller låg. Det farliga (för oss) är inte AI:ns eventuella medvetande utan dess intelligens.
Det andra är att även om du byter ut medvetande mot AGI i din trikotomi så ser jag ingen allmän enighet om uppfattning 3 (som dock har vunnit mark på senare år). Jag anser personligen att företrädare för 1 och 2 fått vissa saker om bakfoten, så det blir lite av en definitionsfråga om de kan räknas som "kunniga debattörer", men en del av dem är AI-forskare och/eller professorer.
Johan Rockströms senaste klimatbok får Andreas Cervenka att må fysiskt illa, då problemen ter sig mycket mer realistiska än lösningarna - https://www.aftonbladet.se/kultur/bokrecensioner/a/9zozEW/recension-av-en-jord-for-alla-av-johan-rockstrom-med-fler
SvaraRaderaMed anledning av detta skrev jag hos tidigare SVT-journalisten Martin Saar att "Jokern i leken är nog AI-utvecklingen. Vi kommer ha mer eller mindre välvilliga super-intelligenser långt innan klimatet havererar och gröna måste nog faktiskt börja diskutera detta.
Gröna skulle kunna börja drömma om att utveckla en grön super-AI som räddar planeten, inte minst genom att tvinga in mänskligheten i hållbarhet. Tyvärr kan det nog bli riktigt ruggigt, eftersom en sådan AI inte nödvändigtvis är snäll mot oss."
Synpunkter?