söndag 16 april 2023

Ett bottennapp i AI-debatten

Min av AI-utvecklingen och AI-debatten triggade förhöjda medianärvaro som jag för ett par veckor sedan rapporterade om i den förra bloggposten har fortsatt. Jag tänker inte räkna upp alla framträdanden, men vill peka på de båda var för sig drygt timslånga poddsamtalen på Future Strategist och Rak höger med Ivar Arpi som de tydliga höjdpunkterna. Lyssna gärna på något av dem!

Istället för att orda mer om dessa tänker jag här istället säga lite om det som varit det tydligaste bottennappet, nämligen mitt meningsutbyte i Aftonbladet med egenföretagaren och tidigare riksdagsledamoten Mathias Sundin: Sundins inledande artikel är en attack på det öppna brev från Future of Life Institute som jag är medundretecknare till och har rapporterat om tidigare, och som förordar en paus i träningen av de största AI-modellerna så att det eftersläntrande säkerhetsarbetet skall ha en chans att komma ikapp. Hans huvudinvändning mot brevet är att en sådan paus skulle bädda för Kina att köra om oss i väst i AI-utvecklingen, och han passar också på att banna oss ''AI-alarmister'' för att sakna grund för våra varningar och för att istället föra ''extremt långtgående och krystade teoretiska resonemang som de sedan dramatiskt målar upp som mänsklighetens undergång''.

I mitt svar beklagar jag att Sundin driver
    exakt det slags retorik som riskerar att elda på den farliga kapplöpningen, och fördomsfullt tar för givet att kinesiska bolag skulle vara mindre villiga än amerikanska att ta ansvar och samarbeta kring undvikandet av en AI-apokalyps,
men i övrigt lägger jag merparten av spaltutrymmet på att kort peka på delar av den (alls icke krystade) teoretiska grunden för att betrakta den skenande AI-utvecklingen som ett existentiellt hot mot mänsklighetens överlevnad. Man hade kunnat hoppas att Sundin i sin slutreplik skulle befatta sig med något av detta, men av detta blir det exakt noll och intet, och han nöjer sig istället med att (felaktigt) proklamera att de risker jag framhåller är ''ren spekulation'' och ''en fantasi som inte baseras på några fakta''. Och lika lite som han bygger under dessa påståenden,1 lika lite ger han något skäl för sin bisarra ståndpunkt att ''ChatGPT 4 kan inte tänka och är inte intelligent, inte ens lite''.2

Ingenting i Sundins båda debattinlägg ger någon som helst antydan om att han bemödat sig om att ta del av den forskning han beskriver som ''ren spekulation''.3 Att gå ut i allmän debatt och grundlöst men med myndig stämma och spelad auktoritet döma ut hela forskningsområden utan att kunna något om dem är ett beteende som vi tidigare sett hos exempelvis klimatförnekare och kreationister, och som försämrar signal-brus-förhållandet i debatten på ett direkt skadligt vis.

Jag vill helst tro gott om mina medmänniskor, och antar därför att Sundin gärna skulle höja nivån på sin AI-retorik jämfört med den nuvarande, som är präglad av det som verkar vara hans modus operandi: att ur röven dra fram sakpåståenden och torgföra dessa om de låter som stöd för hans allmänna agenda, helt utan hänsyn till deras eventuella sanningshalt. Men för en sådan nivåhöjning krävs att han lär sig något om forskningsläget inom AI-risk, och för den sakens skull har jag några lästips åt honom:

Han skulle kunna börja med att läsa Stuart Russells bok Human Compatible: Artificial Intelligence and the Problem of Control från 2019, eller min egen Tänkande maskiner: Den artificiella intelligensens genombrott från 2021.4 Dessa böcker ger en allmän bakgrundsteckning, även om de trots att de bara har fyra respektive två år på nacken redan har börjat bli lite föråldrade i vissa delar till följd av den rasande takten i senare års AI-utveckling. Därför kan det vara bra att komplettera med några nyare och lite kortare texter. Här finns mycket att välja på, men två jag verkligen vill rekommendera är AI alignment from a deep learning perspective av Richard Ngo, Lawrence Chan och Sören Mindermann, och Without specific countermeasures, the easiest path to transformative AI likely leads to AI takeover av Ajeya Cotra. Det kan också vara värdefullt för Sundin att ta del av OpenAI:s dokument Planning for AGI and beyond från februari i år, där den framtid de aspirerar på att vara med och skapa diskuteras med ord som dessa:
    The first AGI will be just a point along the continuum of intelligence. We think it’s likely that progress will continue from there [...]. If this is true, the world could become extremely different from how it is today, and the risks could be extraordinary. A misaligned superintelligent AGI could cause grievous harm to the world. [...]

    Successfully transitioning to a world with superintelligence is perhaps the most important—and hopeful, and scary—project in human history. Success is far from guaranteed, and the stakes (boundless downside and boundless upside) will hopefully unite all of us.

Här kan man glädjas åt att de inte hänger sig åt samma nedlåtande syn som Sundin på risker och risktänkande. Icke desto mindre agerar de vanvettigt våghalsigt med allas vår framtid i potten, vilket de med chockerande uppriktighet medger i den tekniska dokumentationen i samband med förra månadens släpp av GPT-4:
    Finally, we facilitated a preliminary model evaluation by the Alignment Research Center (ARC) of GPT-4’s ability to carry out actions to autonomously replicate and gather resources—a risk that, while speculative, may become possible with sufficiently advanced AI systems—with the conclusion that the current model is probably not yet capable of autonomously doing so.

    Further research is needed to fully characterize these risks.

    [Mina kursiveringar.]

Som sagt: AI-paus, anyone?

Fotnoter

1) Det närmaste jag hittar sådan underbyggnad från Sundins sida är hans förklaring i en efterföljande Twitterdiskussion att hans uppskattning om ''0% risk att AGI förgör mänskligheten'' är ''baserad på att mänsklighet kommer undvika att något sådant sker''. Vi kommer alltså, om Sundin här har rätt, att lyckas ta oss samman och förhindra en slutlig AI-katastrof. Detta är i själva verket det utfall jag för egen del hoppas på och eftersträvar, men om det skall kunna bli verklighet krävs att vi tar riskerna på allvar. Att på Sundins vis förneka riskernas existens är inte något bra sätt att uppmuntra till det nödvändiga säkerhetsarbetet.

2) I debatten florerar en uppsättning handviftningsargument för varför de förmågor GPT och andra stora språkmodeller uppvisar inte är äkta intelligens, men de har alla det gemensamt att de (med minimala modifieringar) visar att inte heller människor har äkta intelligens. Av detta kan vi dra slutsatsen att argumenten antingen är felaktiga eller att de underförstått laborerar med ett irrelevant intelligensbegrepp. Jag hoppas inom kort få tid till en bloggpost med en kort genomgång av de vanligaste argumenten av denna typ.

3) Inte heller i Sundins bakgrund finns något som tyder på kunskaper i ämnet - Wikipedia anger hans främsta akademiska meritering som ''tidigare lärarstudent''.

4) Om Sundin är intresserad kan jag skicka honom ett signerat exemplar av Tänkande maskiner.

5 kommentarer:

  1. Kanske Sundin bara är någon sorts hologram/avatar och hans text genererad av en ChatGpt?

    Skämt åsido, Sundins text andas lite av den naiva teknikoptimism som är vanlig hos politiker som inte satt sig in i ämnet.

    SvaraRadera
  2. Hej Olle! Hade aldrig lyssnat på någon podd med Arpi innan men lyssnade nu idag och tyckte samtalet var toppen. Imponerad av din energi att ta dig an ämnet i så många olika forum! Så viktigt och vi är många som är tacksamma, det ska du veta. Diskussionen ang. värdet av att det är just en människa som utför vissa yrken/aktiviteter är något jag grubblat över senaste åren, och nu blir det allt mer uppenbart för de flesta av oss att det mesta (om inte allt) intellektuellt arbete kommer att kunna automatiseras inom en inte alldeles för avlägsen framtid. Finns det då ett egenvärde med att vi människor utför saker som går bortom det instrumentella? Vad gäller 100-meters löpare eller schackspelare så kanske det är mer tydligt att det är just en människa vi vill ha. Men hur är det med en copywriter? Webbdesigner? 3d-grafiker? Läkare? Om du orkar och hinner får du gärna kika på den artikel jag skrev i GP (https://www.gp.se/debatt/vill-vi-ha-cancerbesked-av-en-ai-avatar-1.96162318) i påskas som handlar om just detta, skulle väldigt gärna veta hur du tänker. Vet att du pratat om kol-chauvinism, men tolkat det primärt som kopplat till frågan om eventuellt substratoberoende. Att se ett egenvärde i att en människa utför något skulle kanske också kunna sägas vara kolchauvinism, men det är inte så jag tolkat begreppet.

    Oavsett om du håller med eller inte hade det varit väldigt intressant att veta vad du tycker. Och om du (eller dina andra läsare här) håller med om att vissa aktiviteter bör fortsätta att hanteras av människor, hur gör vi kollektivt för att definiera dessa områden? Tror det måste ske demokratiskt i så fall. Förutsatt att vi överlever den eventuella yudkowski apokalypsen…

    SvaraRadera
    Svar
    1. Hej David! Det frågebatteri du tar upp är saker som jag tänkt en hel del på, dock utan att landa i några bestämda svar. Kolchauvinism är nog ett lite för trubbigt begrepp i arbetsmarknadsfrågor, men jag lutar försiktigt åt något i sitl med följande ståndpunkt:

      Om AI kan utföra en arbetsuppgift bättre och effektivare än en människa och vi ändå av arbetsmarknadsskäl avstår från sådan automatisering så blir de arbetstillfällen som vi därmed räddar åt människor mest ett slags terapi. Jag har svårt att tro att detta någonsin kan vara att föredra framför att låta AI sköta jobbet och ge människan mer ändamålsenlig terapeutisk verksamhet på annat håll.

      Notera dock att ordet "bättre" här kan inbegripa ett kundperspektiv, och att om kunder specifikt efterfrågar människor som exempelvis 100-meterslöpare, romanförfattare eller läkare så kan det vara ett vägande skäl att behålla människor i dessa roller.

      Radera
  3. Jo, det är väl precis det som är den springande punkten. Att det nu är ganska enkelt att föreställa sig en AI som är precis lika bra eller bättre än oss på allt, dvs allt från att ställa diagnos till att signalera empati, men just vetskapen/uppskattningen om att det är "dött" på insidan, inga qualia upplevs och inget medvetande existerar som kan uppfatta vårt eget känsloliv vilket för mig devalverar min upplevelse av ett sånt samtal enormt (i just känslomässigt engagerande ämnen). Gillar sättet som Tegmark kallar mänskligheten homo sentients, att det är qualia som får bli vår mest utmärkande unicitet framgent och inte intelligens. Sen, om vi på ett trovärdigt sätt bedömer att AI har liknande kapacitet att uppfatta emotioner som vi har kanske denna argumentation faller, men där håller jag med Yudkowski i att en maskinell superintelligens är så främmande/alien att det sannolikt kommer vara omöjligt att avgöra. Att det yttre lagret kan ge en projektion av medvetenhet men så länge systemen är icke-transparenta är det omöjligt att veta att det inte är en medveten manipulation i djupet av nätverket
    .

    SvaraRadera
    Svar
    1. Senaste svaret blev visst anonymt men det är forfarande jag som är skyldig. Kan lägga till att jag tolkar Tegmark som ganska extrem i hans senaste samtal med Lex Fridman. Extrem i avseendet motverka automatisering. Han är helt för automatisering av farliga, icke-tillfredställande arbeten men motsätter sig (min tolkning) automatisering av arbeten som ger en känsla av meningsfullhet och tillfredställelse. Kalla mig cynisk men med de ekonomiska incitamenten tror jag att den typen av brett motstånd mot automatisering tror jag är omöljig (och kanske inte heller önskvärd). Lyckas vi konservera vissa nischer av arbeten där en medveten organisms själva varsevarane är viktigt för funktionen så skulle jag vara nöjd.

      Radera