Talking about OpenAI on the For Humanity Podcast

There's been a lot happening at OpenAI in recent weeks, including the departure of their two leading AI safety researchers Ilya Sutskever and Jan Leike. I discussed some of this, along with a handful of related AI risk and AI safety issues, in a long conversation with John Sherman in the latest episode of his podcast For Humanity: An AI Risk Podcast.

Those content with hearing the audio can alternatively get that via Google Podcasts or Apple Podcasts or wherever you listen to podcasts. The episode was released yesterday, May 29, and was recorded one week earlier, on May 22. For updates on what has happened since then with all of the ongoing OpenAI drama, I generally recommend Zvi Mowshowitz on his Substack Don't Worry About the Vase, and right now in particular his posts OpenAI: Fallout (from May 28) and AI #66: Oh to Be Less Online (from today, May 30).

Min erfarenhet av kursen Diversity and inclusion in higher education

Jag lyckades i vintras kamma hem mina första högskolepoäng på flera decennier! Skälet till att det dröjt så länge är att jag i min ungdom lyckades göra så snabb akademisk karriär att jag hann nå det högsta karriärsteget - professor - redan vid millennieskiftet, vilket var innan man hunnit införa diverse högskolepedagogiska kurser som krav för olika karriärsteg.

Men i år var det alltså dags. På Chalmers har nämligen utfärdats ett direktiv om att alla lärare med kursansvar behöver ha läst och blivit godkända på kursen Diversity and inclusion in higher education (CLS930) senast den 1 januari 2027 för att inte förlora sina examinatorrättigheter.¹ Mot detta krav räcker det inte ens att vifta med professorstitel, gott lärarrenommé och mångårig undervisningerfarenhet.

Jag gick in i kursen utan några högre förväntningar men med ett öppet sinnelag och föresatsen att utan att ställa till något bråk göra vad som krävs för att uppfylla kurskraven så länge detta är möjligt inom ramen för de intellektuella redlighetskrav jag alltid ställer på mig själv. Min upplevelse av kursen blev mestadels negativ, och jag började tidigt leka med tanken att redovisa mina erfarenheter av den i en bloggpost, något jag bedömde vara förenligt med ambitionen att inte ställa till bråk. Jag blev färdig med kursen i mars, och att jag inte kommit till skott med bloggposten tidigare handlar mestadels om lättja och prioritering av annat skrivande, men den impuls som nu fått mig att fatta pennan är en artikel i Dagens Nyheter av Carl Cederström, lektor i företagsekonomi vid Stockholms universitet, som berättar om sin egen erfarenhet av högskolepedagogiska kurser. Artikeln satte igång omfattande Facebookdiskussioner bland universitetslärarkollegor, och jag tror att det kan ha ett värde att jag fyller på med mina egna upplevelser.

Det skall omedelbart sägas att Chalmerskursen jag läste inte inbegrep något som tillnärmelsevis liknar de komjölkningscharadsbisarrerier som Cederström berättar om:

Sedan kom dagen då borden skjutits åt sidan och stolarna ställts i en cirkel som på ett AA-möte.

”Visst blir man lite naknare när man ställer upp ett klassrum så här”, förklarade kursläraren.

Sanningshalten i påståendet var svårbestridligt.

Förklaringen till varför vi nödvändigtvis skulle känna oss nakna, om det gavs någon, har jag glömt. Men naknare blev det. Efter lunch ombads vi ta av oss skorna. Läraren snörade på sig ett par svarta mjuka dansskor.

Vi ställde oss i en stor ring. Vi skulle svepa våra blickar fritt över rummet. Och när vi fick ögonkontakt med någon annan skulle vi hoppa jämfota, båda två samtidigt, och sedan marschera mot mitten och just som vi passerade varandra ropa ”hej”!

Utanför sken solen. Trägolvet blänkte. Jag kände mig lite yr.

Vi hoppade runt en stund i strumplästen och skrek hej! och sedan förflyttade vi oss, i fantasin, till en bondgård i mitten av 1800-talet. Nu rörde vi oss fritt i salen, huller om buller, i väntan på att någon ropade ut valfri bondgårdsaktivitet.

”Såga!” ropade någon och vi började rycka med armarna fram och tillbaka genom luften.

”Tvätta kläder!” ropade någon annan och vi böjde oss ner och klämde med händerna mot golvet.

”Hugga ved!” ropade en tredje och vi svingade med armarna.

Och sedan kom det slutligen:

”Mjölka en ko!”

Detta slapp jag. Något annat jag slapp, men som många kollegor i nämnda Facebookdiskussioner vittnade om, var det slags pedagogiskt överteoretiserande utan koppling till hur man faktiskt bör agera i klassrummet som tydligen är ganska vanligt i högskolepedagogiska kurser. Mitt problem med CLS930 var snarast det motsatta: kursen bjöd rikligt på direktiv och rekommendationer om hur man bör agera som universitetslärare i olika situationer, men väldigt lite eller inget alls om den eventuella teoretiska underbyggnad som skulle kunna anföras som skäl till varför just de rekommenderade agerandena är de rätta. Gång på gång under kursen - främst i de obligatoriska inlämningarna men emellanåt också muntligt i föreläsningslokalen - försökte jag föra in diskussionen i riktning mot denna teoretiska underbyggnad eller i brist på sådan underbyggnad åtminstone något slags redig akademisk argumentation, men jag fick väldigt lite respons. Här ett exempel från min inlämning på den del av kursen som behandlade likabehandling av studenter med funktionshinder:

Three of the documents we were assigned feature prominently the statement “All students must be able to study on equal terms”. Taken literally, this has far-reaching and radical consequences, but from what follows in these documents on national and local (Chalmers) policies, this is not how the statement is meant to be read; rather “equal terms” seems to mean “terms that are equal along a certain limited set of aspects”. There is an interesting and important (in my opinion) discussion to be had regarding what this set of aspects should be, and why, but this is entirely lacking in the assigned documents. Consider the following examples of nonequal terms:
(1) Alice has legs to walk on, whereas Bob is wheelchair-dependent.
(2) Alice has excellent eyesight, whereas Bob is blind.
(3) Alice is a proficient reader, whereas Bob is dyslexic.
(4) Alice is highly talented in abstract thinking and mathematics, whereas Bob is simply unable to do or grasp any mathematics beyond the simplest arithmetic.
(5) Alice has excellent grit and stamina for academic work, whereas Bob is notoriously lazy.
(6) Alice has a home environment ideally suited for academic work, whereas Bob lives in a tiny and disorganized flat with his dysfunctional single parent and five younger siblings that he must spend many hours a day taking care of.
In each case, Bob is highly disadvantaged compared to Alice, and yet, we treat the cases very differently. My impression (which admittedly is uncertain) of Chalmers’ policy is that the beautiful words about “All students must be able to study on equal terms” are meant to cover cases (1), (2) and (3) where we are obliged to take compensatory action to help Bob carry out his studies on (at least somewhat more) equal terms, while cases (4), (5) and (6) are taken to be beyond the scope of what we are obliged to compensate for. In some cases, I can (at least initially) feel a strong intuitive pull that the difference in treatments is justified, such as in cases (1) vs (5): of course we should make sure our lecture halls can accommodate wheelchair-bound students, whereas of course we shouldn’t coddle students who are just plain lazy. In other cases, it is not so obvious, and in particular I have a hard time coming up with a convincing justification why a line should be drawn between cases (3) and (4). Furthermore, the more I think about contrasts such as (1) vs (5), the less obvious to me is it that treating the cases differently is justified. One might argue that in case (1) Bob is mobility-impaired through no fault of his own, while in case (5) he has only himself to blame for his laziness, but this latter claim seems highly questionable when we consider the possibility that Bob’s laziness is a consequence of some combination of genetic and early-childhood environmental factors that were entirely beyond his control.

We talk so much about fairness in this course that I think it’s only fair that we spend at least a few minutes discussing the unfairness inherent in our policy to compensate students for some kinds of disability and impairment but not for others.

På detta fick jag ingen respons alls. Jag kan ha viss förståelse för att läraren på en kurs som CLS930 inte har tid att fördjupa sig i alla kursdeltagares alla inlämningar, och kanske blir extra trött av inlämningar som likt den ovanstående kan framstå vid första påseende som en smula obstinat, men jag tycker faktiskt att jag reser en berättigad fråga och är lite besviken på bristen på respons. Det kan såklart också hända att jag alldeles tar miste och att min fråga i själva verket är oberättigad och dum, men om så är fallet skulle jag likväl vara betjänt av en förklaring.

Detta mönster upprepade sig flera gånger under kursen och jag kände mig alltmer intellektuellt otillfredsställd.² En aspekt som bidrog kraftigt till denna otillfredsställelse var att de praktiska rekommendationer för hur vi driver vår undervisning som framkom i kursen uppvisade flera fall av till motsägelse gränsande inre spänningar. Främst bland dessa är hur kursen förmedlade en generellt fördömande attityd gentemot diskriminering, samtidigt som de olika åtgärder som rekommenderades nästan uteslutande själva utgjordes av olika slags diskriminering. Måhända är det ett tecken på att jag är akademiskt miljöskadad, men när jag stöter på sådant känner jag ett behov av att gräva djupare för att försöka hitta rötterna till dessa spänningar och eventuellt i bästa fall upplösa dem. Dylikt gräv ingick dock inte i kursen, och jag har fortfarande besvär med att få ihop (a) det kompromisslösa avståndstagande från diskriminering, där bland annat ordet "nolltolerans" används, i olika officiella Chalmersdokument,³ med (b) de olika diskriminerande åtgärder som lärosätet driver, och ofta marknadsför med visst pompa och ståt.⁴

Jag säger alltså inte att åtgärderna i (b) nödvändigtvis alla är fel, bara att jag inte förstår hur de går ihop med (a). För egen del har jag dock valt att i min undervisningsgärning inte medvetet eller avsiktligt ägna mig åt någon som helst diskriminering, något jag också höll fast vid i de inlämningsuppgifter på CLS930 som handlade om hur jag avsåg implementera insikter från kursen i min egen undervisning.⁵ Jag lekte här med tanken att denna vägran att rätta in mig i ledet skulle kunna rendera mig underkänt på kursen, och sa lite roat till mig själv att jag hoppas att examinator här inte är lika sträng som ledningen på UC Berkeley,⁶ för då är jag kanske rökt. Men detta var inte något som gjorde mig det minsta nervös, dels för att värsta fall-scenariot (att jag från och med 2027 skulle behöva ha en spökexaminator på de kurser jag i övrigt ansvarade för) inte kändes särskilt skräckinjagande, och dels för att Carl Cederström nog träffar nära sanningen då han i ovan nämnda DN-artikel skriver att "mig veterligt har ingen någonsin blivit kuggad på en högskolepedagogisk kurs". Och godkänd blev jag mycket riktig, utan minsta antydan om bakläxa.

Fotnoter

1) Med tanke på hur långt fram i tiden denna deadline ligger kanske någon läsare undrar varför jag läste kursen redan i år (om exempelvis jorden går under eller det stränga Chalmersdirektivet ändras före den 1 januari 2027 kommer jag ju därigenom att i viss mening ha läst kursen i onödan). Svaret ligger i att man på grund av det ökade intresse för att läsa kursen som uppstått till följd av det nya direktivet och som kraftigt överstiger antalet platser har infört ett system där varje institution får nominera ett begränsat antal lärare till varje kursomgång. På min institution valde ledningen att prioritera mig i detta sammanhang; jag tror att skälet är att de bedömde att jag i min roll som ledamot i Chalmers anställningskommitté skulle ha extra stor nytta av kursstoffet.

2) Vad som dock skänkte stor lindring var att jag parallellt med kursen (och på eget initiativ) läste boken The Identity Trap av Yasha Mounk, som ämnesmässigt behandlar delvis samma område som CLS930 men på ett helt annat sätt, där idéerna tas på stort intellektuellt allvar och författaren går på djupet med deras bakgrund. Rekommenderas varmt!

3) Se exempelvis texten Gender equality and equal opportunity plan från 2022, vilken ingick i den rekommenderade litteraturen på kursen.

4) Se exempelvis Camp Vera, som säkert är mycket värdefullt för deltagarna och troligen även för Chalmers, men som samtidigt är flagrant diskriminerande i och med att endast personer som "identifierar [s]ig som tjej eller icke-binär" är välkomna att delta.

5) Som skäl för denna policy för den egna undervisningsverksamheten anförde jag bland annat att diskriminerande åtgärder riskerar att bryta mot den svenska diskrimineringslagen från 2008, vilken vi hade lärt oss om i början av kursen. Men på detta fick jag faktiskt svar från läraren, som pekade på en paragraf i lagen som undantar "åtgärder som är ett led i strävanden att främja jämställdhet mellan kvinnor och män och som avser annat än löne- eller andra anställningsvillkor".

Detta är intressant, och kan vara ett led i upplösandet av den motsättning jag här diskuterar mellan å ena sidan fördömandet av diskriminering och å andra sidan bruket av detsamma. Men riktigt klok på detta blir jag ändå inte. Antagligen skulle det citerade undantaget fria exempelvis Camp Vera-initiativet från anklagelser om diskriminering, men hur skulle lagen tillämpas om någon exempelvis drev en cancerklinik med policyn att alltid prioritera manliga patienter framför kvinnliga och att släppa in de senare endast i mån av plats, och som anförde att syftet med denna policy är att främja jämställdhet mellan män och kvinnor i fråga om medellivslängd? Sett genom mina juridiskt okunniga och naiva ögon ser det ut som att undantaget i lagen är tillämpligt och att cancerkliniken kan frias, men jag tror och hoppas att vi alla är överens om att det vore fullkomligt på tok.

6) Jag syftar här på deras bedömningsregler för det mångfalds- och inklusions-yttrande som är obligatoriskt när man söker lärartjänst hos dem, och som jag känner till tack vare Bryan Caplan. Eventuellt ser vi nu ett första tecken på att dylika ideologiska bekännelseobligatorier är på tillbakagång i det amerikanska universitetsväsendet.

Om KVA:s nya AI-skrift

Ett av de olika sätt som Kungliga Vetenskapsakademien (KVA) bedriver sitt utåtriktade arbete mot allmänheten är via den överlag utmärkta skriftserien Vetenskapen säger. Konceptet att på 16 lättillgängliga sidor presentera något aktuellt vetenskapsområde är utmärkt, men djävulen bor i detaljerna, och den senaste utgåvan, vilken utkom den 11 april i år och handlar om AI, är inte helt lyckad.

Som KVA-ledamot känner jag ett behov av att meddela att denna skrift inte representerar någon konsensusuppfattning inom KVA om AI-frågor. Rent formellt kan hävdas att detta påpekande är överflödigt, eftersom det på broschyrens sista sida står att den är författad av en expertgrupp bestående av Virginia Dignum, Fredrik Heintz, Danica Kragic Jensfeldt, Amy Loutfi och Anders Ynnerman, och att den "speglar expertgruppens uppfattning och ska inte ses som ett uttalande eller ställningstagande av [KVA]". Med tanke på hur lätt hänt det kan vara att läsaren missar detta, och på hur hårt KVA har marknadsfört skriften bland annat i sociala medier, ser jag ändå ett värde i att göra den separata disclaimer som denna bloggpost utgör.

I slutet av broschyren ägnas ett par sidor åt diverse framtida samhällsutmaningar som AI reser, vilka genomgående är av mer jordnära karatär än de existentiella riskfrågor jag brukar lyfta exempelvis i mina föredrag och böcker samt här på bloggen. Frågor av det senare slaget omnämns i KVA-skriften endast som hastigast, i en faktaruta med följande ordalydelse:

AGI och debatten om X-Risk

Artificiell Generell Intelligens (AGI) skulle vara ett AI-system som kan göra allt som vi människor kan, och mer. En del AI-forskare anser att vi är ganska nära detta – andra att det dröjer decennier, eller att AGI aldrig kommer att finnas. Flera stora företag tävlar i dag om att först lyckas utveckla AGI. Nu växer en debatt om så kallad existentiell risk, X-Risk: att AGI utom kontroll skulle kunna hota vår existens. Vad händer om vi skapar AGI, ger den stort inflytande över den fysiska världen och otillräckliga instruktioner? Vissa forskare menar att systemen skulle kunna prioritera andra mål högre än vår trygghet och skada oss för att uppnå de målen.

AI-experter är inte överens om hur stor X-Risk är och när, eller ens om, den blir aktuell. Men de som varnar vill att även den risken tydligt vägs in i AI-regleringar.

Allt annat lika är det såklart positivt att denna faktaruta finns med jämfört med om den inte hade gjort det. Ändå anser jag att den styvmoderligt undanskymda plats xriskfrågan fått i broschyren skapar en skevhet i det övergripande budskapet. Den läsare som trots allt når ända fram till faktarutan och inför dess besked kanske tänker "oj, hota vår existens, det låter allvarligt", men broschyrens utformning är som gjort för att läsarens nästa tanke skall vara "fast nej, AI-forskarna har rimligtvis läget under kontroll, för om de inte hade det skulle väl skriften ha fått en annan utformning där denna katastrofrisk fått ett helt annat utrymme, antagligen redan från sida ett".

Men detta intryck är bedrägligt, för situationen är inte under kontroll. Jag finner detta särskilt allvarligt med tanke på att en explicit uttalad målgrupp för skriftserien är gymnasieelever. Det kan inte vara en ok kommunikationsstrategi gentemot våra barn och ungdomar att tona ned och sopa under mattan de globala problem vi vuxna skapat och på några års sikt är i färd med att lämna över till dem.

Att faktarutan alls kom med tar jag åt mig äran av. Någon månad innan broschyren släpptes fick jag - närmast av en tillfällighet - möjlighet att läsa ett utkast och en inbjudan att kommentera. I utkastet fanns inte ett ord om xrisk-frågor, och med min kännedom om de forskare som ingick i författargruppen (jag känner alla utom en och är väl bekant med deras ointresse för xrisk) är jag övertygad om att så hade förblivit fallet även i slutversionen om jag inte hade besvarat inbjudan att kommentera. Det som här följer är ett par mycket lätt redigerade utdrag ur det ebrev jag skrev den 14 mars till Ulf Ellervik, som inte ingick i författargruppen men som har ett övergripande redaktionellt ansvar för skriftserien.

Hej Ulf, och tack för att jag fick kika på utkastet till Vetenskapen säger – om AI!

Mycket i texten är utmärkt, men jag har ett antal mindre påpekanden som jag tycker föranleder korrigeringar, plus en betydligt större synpunkt som i korthet innebär att texten bleve till stor skada om den publicerades i nuvarande skick. Men låt mig avverka småsakerna först.

Den därpå följande listan över mindre synpunkter, vilka överlag behandlades nöjaktigt i broschyrens slutversion, kan vi lämna därhän. Efter listan gick jag rakt på mitt huvudbudskap:

Så långt randanmärkningarna – nu till min allvarligaste kritik mot textutkastet:

Det räcker med ett kort studium av människans förhistoria för att inse hur farligt det kan vara att hamna på efterkälken och på anda plats på listan över planetens intelligentaste arter. Skapandet av AGI utgör därför en existentiell risk för Homo sapiens, och det är därför en alarmerande situation vi idag befinner oss i när de tre ledande AI-utvecklarna (OpenAI, Anthropic och Google/DeepMind) är inbegripna i en rasande kapplöpning mot AGI, där ledande företrädare för dessa bolag förutser att bara några få år återstår tills detta mål är uppnått, men utan att kunna prestera några tillnärmelsevis övertygande lösningsförslag på den så kallade AI Alignment-problematik som syftar till att göra AGI till mänsklighetens tjänare eller vän istället för dess utplånare.

Denna AI-drivna existentiella risk (xrisk) har på några få år seglat upp som den enligt min mening allra mest akuta samhällsfrågan att lösa, och om vi misslyckas med det så kan det mycket väl gå så illa att ingen enda människa får uppleva innevarande decenniums utgång. Att i en text som Vetenskapen säger – om AI underlåta att med så mycket som ett ord omnämna denna xriskproblematik är en grotesk felbedömning.

I textens avslutande avsnitt talas en del om andra AI-risker, förknippade med exempelvis deep fakes och med hur enskilda bidragstagare i det nederländska socialförsäkringssystemet kan komma i kläm till följd av skeva AI-bedömningar. Det är bra, för dessa frågor är viktiga, men att dryfta dem utan att alls nämna AI-xrisk är lite som om ett säkerhetsinspektionsprotokoll inför fartyget Titanics jungfrufärd skulle anmärka på den lite för glesa förekomsten av brandsläckare i fartygskorridorerna, och på halkrisken i köksutrymmena, men utan att ägna minsta uppmärksamhet åt fartygets sjöduglighet i händelse av grundstötning eller krock med isberg.

Extra märkligt blir intrycket av texten då den vidgår att AGI kan vara på gång (med en formulering som ”vissa AI-forskare hävdar att vi är ganska nära”), utan att gå vidare med den xrisk-problematik som därigenom ligger ytterst nära till hands.

Jag hävdar givetvis inte att frågan om AI-xrisk är okontroversiell. Tvärtom, uppfattningarna hos ledande forskare på området går starkt isär, vilket nyligen exemplifierades i en samanställning av några kända AI-profilers uppskattningar av risknivån (https://pauseai.info/pdoom). Så någon konsensus om att risken är betydande finns inte, men ej heller finns konsensus om att den är försumbar, något som dock blir det implicita budskapet i det nuvarande utkastet. Om detta står sig i textens slutversion blir den i praktiken till ett bidrag till den osakliga propagandakampanj om AI:s ofarlighet som drivs av mörka krafter med kortsiktiga kommersiella och andra intressen.

Det går inte an. Det går sannerligen inte an i ett läge där två av de tre forskare som delade 2018 års Turingspris med en prismotivering som inkluderar orden ”the fathers of the deep learning revolution”, jämte ledarna för de tre främsta AI-laboratorierna, plus hundratals prominenta AI-forskare och professorer, tillsammans skrivit under på att AI-xrisk är en av vår tids angelägnaste frågor att hantera (https://www.safe.ai/work/statement-on-ai-risk). När Vetenskapen säger – om AI når sin slutliga utformning och publiceras behöver xrisk-prespektivet finnas med. Det kan inte undanhållas våra gymnasieungdomar och andra läsare av den planerade pamfletten. Och med tanke på frågans ohyggliga dignitet – det handlar ju om huruvida våra anhöriga och släktingar som nu är i spädbarnsåldern skall få chansen att växa upp till skolålder – räcker det inte med att saken omnämns med ett par-tre meningar, utan den behöver ägnas åtminstone en eller helst två sidor i den slutliga tryckta texten.

Något som helst problem att fylla detta utrymme med intressant och engagerande sakdiskussion finns inte. Evidensen för att vi står inför en akut risksituation har under de år som gått av 2020-talet snabbt vuxit sig allt starkare. En del av detta redovisas utförligt i 2023 års upplaga av min senaste bok Tänkande maskiner (https://fritanke.se/bokhandel/bocker/tankande-maskiner/). Idealt skulle, med tanke på hur kontroversiell frågan är, pamfletten redogöra för argumenten hos båda sidor – de som menar att AI-xrisk bör tas på allvar och de som menar att vi kan rycka på axlarna åt den. En viss svårighet med detta är dock att den senare kategorin argument tenderar att vara så svaga och lättflyktiga att de vid minsta kritiska analys avdunstar. För ett typexempel på det sistnämnda, se den paneldiskussion jag i höstas deltog i tillsammans med Virginia Dignum (https://haggstrom.blogspot.com/2023/10/debating-ai-takeover-with-virginia.html) vars fingeravtryck är tydliga på många ställen i föreliggande textutkast. Sagda svårighet kan dock övervinnas, och jag är övertygad om att pamflettens slutliga utformning kan göras bra och välbalanserad.

Låt mig slutligen notera att textutkastets avslutningsstycke –

Det är inte ovanligt att människor är rädda för AI. Ofta beskrivs AI som något som händer oss, något vi inte kan kontrollera utan bara försöka lindra konsekvenserna av. Det ger en känsla av maktlöshet. Men AI händer inte oss – det är vi som får AI att hända. AI skapas och designas av människor och det ger oss alternativ och val. Genom ansvarsfull utveckling, tydliga regler och noggranna etiska överväganden kan vi säkra att risken för skador blir så liten som möjligt och att AI används för samhällets bästa.
– är välskrivet och något jag helt och fullt kan skriva under på. Den ansvarsfulla utvecklingen kan dock inte bygga på att vi blundar för risker och sopar dem under mattan. Sanningen behöver ses i vitögat även när den är skrämmande, precis som fallet är med klimatfrågan. Och precis som med klimatfrågan är syftet med denna klarsyn inte att göra folk rädda. Syftet är att sprida den beslutsamhet som krävs för att korrigera utvecklingen. Om det bedöms att jag kan vara till nytta med det vidare arbetet med texten står jag givetvis till tjänst.

Mvh,
Olle