Om öppen källkod i Ny Teknik

Öppen källkod är bra! Det tycker i alla fall informatikforskarna Johan Magnusson och Claire Ingram Bogusz, at döma av deras debattartikel i Ny Teknik i förrgår. I många fall - rentav de flesta - håller jag med dem om den öppna källkodens förfräfflighet, men i vissa AI-sammanhang är öppen källkod tvärtom riktigt riktigt illa. Detta fick mig att ta till pennan och författa en replik, vilken igår publicerades i samma tidning under rubriken Öppen källkod för AI-modeller är en samhällsrisk, och inleds på följande vis:

I Ny Teknik den 19 december skriver Johan Magnusson och Claire Ingram Bogusz om de stora fördelarna med öppen källkod på ai-området. Öppen källkod driver utvecklingen framåt, och när det gäller små och specialiserade ai-modeller för exempelvis medicinsk diagnosticering är konceptet enligt min mening till stor nytta.

Ändå är det fel, menar jag, att på Magnussons och Ingram Bogusz vis ensidigt och onyanserat hylla den öppna källkodens tillämpning på AI-området. Om öppen källkod tillämpades på de största och mest kraftfulla AI-modellerna – som exempelvis Open AI:s GPT-4, Anthropics Claude 2, och Google Deepminds Gemini – och på de ännu starkare AI som kan väntas släppas under 2024, skulle det innebära allvarliga och enligt min mening oacceptabla samhällsrisker.

AI är nämligen inte som andra tekniker.

Läs den spännande fortsättningen på min replik i Ny Teknik!

Om Mathias Sundin, AI-risk och Lex Luthor

Det här är ingen recension av Mathias Sundins pinfärska bok Kentaurens fördel: Så tänker, skriver och kommunicerar du bättre och snabbare med ChatGPT. En sådan är jag inte i stånd att skriva, eftersom det endast är bokens avslutningskapitel "Är AI så farligt att vi inte ens ska använda det?" jag läst från början till slut; resten har jag på sin höjd skummat. Det är i detta slutkapitel jag här skall dyka ned, och specifikt i hur Sundin i kapitlet tillskriver mig ståndpunkter jag inte omfattar och aldrig har yttrat. Sådan vantolkning har jag alltid varit en smula allergisk mot, och jag vill redan nu varna känsliga läsare för att en lite tråkig ton därför kan komma att smyga sig in i min följande redogörelse.

Men innan dess, låt mig trots allt ge mitt hastiga intryck av boken som helhet. Böcker om hur man använder den nya AI-tekniken för diverse kontorssysslor och andra arbetsuppgifter kan gott ha ett värde, även om det snabbt börjat bli överfullt på marknaden för dem, samtidigt som halveringstiden på de insikter som levereras kan väntas bli osedvanligt kort till följd av hur rasande snabbt tekniken ifråga går framåt. Att döma av kvaliteten på argumentationen i slutkapitlet (liksom i det meningsutbyte i Aftonbladet Sundin och jag hade i april i år) har jag dock inga större förhoppningar om att boken skall erbjuda några klokskaper som får den att på något positivt sätt sticka ut från mängden. Den 148-sidiga texten ger intryck av att ha knåpats ihop inom loppet av cirka en arbetsvecka, och jag vill låta det vara osagt huruvida detta bör ses som ett belägg för eller emot författarens tes om hur effektivt ens skrivande kan bli då man tar hjälp av ChatGPT.

Så till hur jag dyker upp i handlingen, i ett slutkapitel som annars mest äganas åt att svartmåla och vantolka Max Tegmark. Så här heter det på s 128:

[I]ngen vet hur man bygger AGI. Vi har faktiskt ingen aning om hur man gör det och när det är möjligt. Trots att ingen har den blekaste aning om hur, oroar sig dessa personer för att det kommer att ske snart. En av de ledande rösterna i Sverige, professor Olle Häggström, menar att det kan komma att ske redan med nästa version av ChatGPT, version 5. I scenariot är det inte AI:n själv som utplånar mänskligheten, utan en ondskefull superskurk som Lex Luthor som gör det med hjälp av AI. Ja, han säger faktiskt precis det.

Att ingen vet säkert exakt hur AGI¹ kommer att utformas eller kan ge exakt svar på när det är att vänta är såklart sant, men Sundins tal om att "ingen har den blekaste aning" är gravt tendentiöst, och det är synd att han undlåter att nämna exempelvis de idéer som får företrädare för ledande AI-labb som OpenAI och Anthropic att tala om tidslinjer till AGI som håller sig väl inom innevarande decennium (2020-talet).² Detta är så typiskt för den mix av glidningar, halvsanningar och rena sakfel som slutkapitlet i Kentaurens fördel består av att jag inte reagerar med så mycket mer än en trött suck, men värre är när författaren börjar ljuga om mig personligen - då får jag svårt att hålla tillbaka min vresighet.

Superskurkar som Lex Luthor finns som bekant inte i verkligheten utan bara i DC:s och Marvels serietidningsuniversa och i liknande fiktiva sammanhang. Ack om det vore så väl att min och andras oro för en nära förestående AI-katastrof byggde på vanföreställningen att dessa superskurkar finns i verkligheten. Då skulle det såklart vara lätt att avfärda denna oro. Men nej, det Sundin här påstår om mig är såklart inte sant.

Vad som däremot är sant är att jag i en rad föredrag i våras tillgrep ett tankeexperiment inbegripandes en superintelligent Lex Luthor.³ När jag gjorde det var jag ständigt noga med att betona att det inte rörde sig om någon förutsägelse eller ens om ett plausibelt framtidsscenario, utan just om ett tankeexperiment. Avsikten med tankeexperimentet var att bemöta den annars kanske frestande intuition som går ut på att AI-system som exempelvis GPT-4 inte rimligtvis kan sätta igång någon AI-apokalyps, vilken ju skulle kräva ett direkt ingripande i den fysiska världen, i motsats till vad dessa AI-system förmår som ju inte gör annat än att producera text. Eftersom det för många är lättare att föreställa sig hur en människa medelst social manipulation och annat tillskansar sig makt, än att tänka sig en AI göra samma sak, fann jag parallellen till en Lex Luthor begränsad till enbart språkhandlingar vara ett användbart pedagogiskt redskap för att undergräva denna felaktiga intuition.⁴ Och det var inte bara i föredrag jag använde mig av detta redskap, utan vid minst ett tillfälle också i samtal med en journalist, vilket framgår av följande passage i en DN-artikel den 31 mars i år.

Men hur skulle då en superintelligens som i grunden är en språkmodell, kunna hota mänskligheten? Häggström ber oss göra ett tankeexperiment med en superskurk som till exempel Stålmannens ärkefiende Lex Luthor, som på något vis uppnår superintelligens. Kan han, med endast en laptop och internetuppkoppling, ta över världen?

– Ju mer man tänker på det sättet desto mer inser man att det är nog faktiskt inte är så svårt. Om han utnyttjar sin superintelligens till att överlista aktiemarknader för att skapa ett ekonomiskt imperium, och kan gå igenom olika brandväggar som han vill, kanske till och med ta över militär teknologi den vägen. Men han har också övertalningsförmågan, eller förmågan till social manipulation.

Så när som på den första meningen citerar Sundin hela denna passage på s 140-141 i sin bok, varefter han gör följande reflektion:

Att det finns sådana galningar till människor ifrågasätter jag inte. Men AI:n ska alltså vara så superintelligent att den utan större problem kan ta kontroll över mänskligheten, men ändå vara dum och lydig nog att följa sin Lex Luthor-husse. Denne Lex Luthor has alltså löst problemet (som Tegmark, Häggström med flera menar i det närmaste olösligt) med hur man har kontroll över en superintelligent AI, men av någon anledning är det ingen annan som har det.

På detta har jag två reflektioner:

• Nej, nej, nej, någon superintelligent AI figurerar överhuvudtaget inte i det tankeexperiment jag återgav i mina föredrag och i den citerade DN-intervjun. Det är Lex Luthor själv som är superintelligent, och det är med sin egen blixtrande superintelligens han tänker ut hur han skall erövra världen - inte med någon AI:s. Och därför behöver han inte lösa det problem Sundin snuddar vid i den sista meningen, och som brukar kallas AI Alignment: att se till att AI:n har mål och värderingar som får den att agera som vi önskar.
• Nej, nej, nej, för bövelen, jag har aldrig hävdat att AI Alignment är "i det närmaste olösligt" - och det stämmer även ytterst illa med min bild av Max Tegmarks ståndpunkter. Vad däremot både Max och jag är bekymrade över är att färden mot AGI börjat gå med sådan rasande hastighet, samtidigt som AI Alignment-forskningen går betydligt trögare, att risken är stor med nuvarande AI-kapplöpning att vi inte hinner lösa AI Alignment i tid. Se s 364-366 i bonuskapitlet till min bok Tänkande maskiner för en ödmjuk och balanserad diskussion om AI Alignment-problemets svårighetsgrad.

Det finns fler underligheter i Sundins avslutningskapitel som jag skulle kunna påpeka, men jag nöjer mig så här. Och i och med att han är en person jag gärna vill hålla mig väl med - nyligen invald i regeringens AI-kommission har han hux flux blivit ett betydelsefullt namn i AI-Sverige - hoppas jag att han tar mina påpekanden med glatt jämnmod, präglat av insikten att ansvaret för de felaktigheter som uppdagas i hans bok ligger 100% på honom och 0% på budbäraren.

Fotnoter

1) Artificiell generell intelligens. Jag har förr ofta använt detta begrepp i tal om framtida avancerad AI, och väljer att göra detsamma här eftersom Sundin gör det, men se s 321-323 i det gratis nedladningsbara bonuskapitlet till den nya upplagan av min bok Tänkande maskiner för en redogörelse för varför jag på sistone kommit att betrakta begreppet som så problematiskt att det egentligen helst borde undvikas.

2) Se exempelvis Dwarkesh Patels djuplodande intervju med Anthropics VD Dario Amodei från augusti i år.

3) Sundin var närvarande vid minst ett av dessa föredrag, nämligen det som ägde rum i Lund den 23 maj i år.

4) Den som önskar en detaljerad redogörelse för argumentet kan finna en sådan i den passage som varar cirka 13:20-16:20 i det videoföredrag om ChatGPT och AI Alignment jag postade här för ganska exakt ett år sedan, den 16 december 20222.

AI-frågan: vad göra?

Så vad behöver vi då göra åt den AI-problematik jag envisas med att orera om i bloggpost efter bloggpost?¹ Tro det eller ej, men den saken har under hösten faktiskt börjat klarna något. Zvi Mowshowitz (som under 2023 med sitt nyhetsbrev Don't worry bout the vase blivit till en i AI-frågor omistlig nyhetskälla) sammanfattar:

The good news is that, unlike a year ago, we have a good idea what reasonable incremental policy will need to look like, and we are at least somewhat on track to making that happen.

Policy now has to lay the groundwork for a regime where we have visibility into the training of frontier models. We collectively must gain the power to restrict such training once a model’s projected capabilities become existentially dangerous until we are confident we know what it would take to proceed safely.

That means registration of large data centers and concentrations of compute. That means, at minimum, registration of any training runs above some size threshold, such as the 10²⁶ flops chosen in the executive order. In the future, it means requiring additional safeguards, up to and including halting until we figure out sufficient additional procedures, with those procedures ramping up alongside projected and potential model capabilities. Those include computer security requirements, safeguards against mundane harm and misuse, and, most importantly, protection against existential risks.

I believe that such a regime will automatically be a de facto ban on sufficiently capable open source frontier models. Alignment of such models is impossible; it can easily be undone. The only way to prevent misuse of an open source model is for the model to lack the necessary underlying capabilities. Securing the weights of such models is obviously impossible by construction. Releasing a sufficiently capable base model now risks releasing the core of a future existential threat when we figure out the right way to scaffold on top of that release—a release that cannot be taken back.

Finally, we will need an international effort to extend such standards everywhere.

Yes, I know there are those who say that this is impossible, that it cannot be done. To them, I say: the alternative is unthinkable, and many similarly impossible things happen when there is no alternative.

Yes, I know there are those who would call such a policy various names, with varying degrees of accuracy. I do not care.

I would also say to such objections that the alternative is worse. Failure to regulate at the model level, even if not directly fatal, would then require regulation at the application level, when the model implies the application for any remotely competent user.

Give every computer on the planet the power to do that which must be policed, and you force the policing of every computer. Let’s prevent the need for that.

There are also many other incrementally good policies worth pursuing. I am happy to help prevent mundane harms and protect mundane utility, and explore additional approaches. This can be a ‘yes, and’ situation.

En rimlig följdfråga från den läsare som inte tycker sig besitta vare sig relevant spetskompetens eller någon särskild maktposition är denna: "Ok, men vad kan lilla jag göra för att bidra till att detta faktiskt händer?"

Well, det handlar om det vanliga batteriet av åtgärder när en politisk omorientering är av nöden: prata med folk, i fikarum, mingelbarer, skolsalar och sammanträdesrum; gå ut på gatan (helst i grupp) och skandera slagord; kontakta en riksdagsledamot, en EU-parlamentariker, eller en ledamot i Kristerssons nya AI-kommission²; skriv en insändare, en bloggpost, ett Facebookinlägg eller varför inte en bok; starta en aktionsgrupp eller en studiecirkel; gå med i ett politiskt parti och driv frågan där; ring P1; etc, etc.

Diverse ursäkter finns i vanlig ordning till hands för den som vill slippa engagera sig. Låt mig nämna en av dem - den som handlar om att inte spelar det väl någon roll vad vi i Sverige gör? På vilket mitt svar blir att det gör det visst. Det behöver skapas ett politiskt momentum och en global konsensus kring idén att det inte är ok att de ledande kaliforniska AI-företagen i sin interna kapplöpning mot AI-herravälde spelar rysk roulette med mänsklighetens överlevnad. Att Sverige skulle stå vid sidan om denna rörelse duger inte. Vi kan och vi skall bidra på olika vis, inklusive via organisationer som FN, EU och NATO, jämte ett otal mer informella nätverk och sammanhang. Kasta en blick över Atlanten och betrakta den politiska situationen därborta: inte fan kan vi överlåta åt USA att ensamt bestämma mänsklighetens öde?

Fotnoter

1) För en sammanfattning av läget, se t.ex. det 73-sidiga bonuskapitlet (gratis nedladdningsbart i pdf) till nyutgåvan av min bok Tänkande maskiner.

2) Låt er inte nedslås av att kommissionens ordförande uttalat fåraktigheter om att AI är "kärlek och empati" och att det spridits "väl mycket larmrapporter" i frågan - detta gör det bara än mer angeläget att påverka kommissionens arbete!

Händelseutvecklingen 2021-2023: bonuskapitel i nya upplagan av Tänkande maskiner

Förra veckan rapporterade jag här på bloggen om att en ny upplaga av min bok Tänkande Maskiner nu finns på bokhandelsdiskarna. Den största skillnaden jämfört med originalutgåvan är inklusionen av ett fullmatat 73-sidigt bonuskapitel om den dramatiska utvecklingen på AI-fronten under 2021-2023 samt vilka slutsatser som kan dras av denna.¹

För alla er som redan läst 2021 års upplaga och som finner det extavagant i överkant att inhandla den nya enbart för detta bonuskapitel, har jag nu nöjet att meddela att kapitlet nu finns...

...gratis nedladdningsbart i pdf-format på förlagets webb!

Fotnot

1) Min redogörelse fångar upp händelseutvecklingen fram till september 2023, vilket innebär att exempelvis Rishi Sunaks AI Safety Summit i Bletchley Park i början av november, och turbulensen på OpenAI senare i samma månad, inte behandlas i kapitlet. Det finns en gräns för hur dagsfärska nyheter som är rimliga att rapportera i bokform.