En medborgare och matematiker ger synpunkter på samhällsfrågor, litteratur och vetenskap.
[...]
En typ av arbetsuppgift där AI gjort särskilt dramatiska framsteg de senaste åren och som kan komma att få stor betydelse för den fortsatta utvecklingen som helhet är kodning och mjukvaruutveckling. AI-systemens förmåga att skriva korrekt kod och i övrigt lösa uppgifter riktigt är starkt avhängig uppgiftens omfattning. I en rapport från AI-säkerhetsorganisationen METR i mars i år studeras hur denna förmåga utvecklats över tid. Det visar sig att omfattningen – mätt i tidsåtgång för en mänsklig expert – som AI klarar av har ökat från enstaka sekunder 2019 till cirka en timme idag. Ökningen är exponentiell, med en observerad genomsnittlig fördubblingstid på sju månader, och om man extrapolerar den trenden blott ett par-tre år in i framtiden blir resultatet dramatiskt. Sådan kurvanpassning inbegriper givetvis stora osäkerheter, men ser man till hur modellerna förbättrats från 2024 och framåt verkar det snarast som att utvecklingen är på väg att gå ännu fortare.
Det är bland annat den sortens data som ligger till grund för den gedigna rapporten AI 2027, utkommen i april i år och författad av en kvintett forskare med den avhoppade OpenAI-medarbetaren Daniel Kokotajlo i spetsen. Rapporten är det ambitiösaste och bästa som hittills skrivits vad gäller detaljerade förutsägelser av kommande års AI-utveckling. Osäkerheterna är som sagt stora, men successivt och månad för månad arbetar de fram vad de ser som det mest sannolika förloppet. Centralt i detta förlopp är hur AI, till följd av den utveckling som bland annat METR-rapporten påvisat, år 2027 når en punkt där den är en lika skicklig AI-utvecklare som dagens främsta sådana av kött och blod. Tack vare att de ledande AI-företagen då kan sätta hundratusentals eller miljontals sådana AI i arbete leder detta på några få månader till så kallad superintelligens – AI som vida överträffar människan över hela spektret av relevanta förmågor.
[...]
AI alignment-pionjären Eliezer Yudkowsky kan med blott en mild överdrift sägas egenhändigt ha lagt grunden för området under 00-talet. I en inflytelserik artikel från 2008 beskriver han det han bedömer vara default-scenariot ifall vi misslyckas med eller helt enkelt ignorerar AI alignment: ”AI:n hatar dig inte, ej heller älskar den dig, men du består av atomer som den kan ha annan användning för”.
I en sådan situation vill vi givetvis inte hamna, och därför behöver vi lösa AI alignment i tid. Hur lång tid har vi då på oss? Ingen vet säkert, och det enda omdömesgilla är att medge att stor osäkerhet föreligger, men jag menar att vi bör ta på allvar den i AK-ekosystemet i San Francisco och Silicon Valley alltmer utbredda uppfattningen att superintelligent AI kan bli en realitet inom en tidsrymd som mäts i enstaka år snarare än decennier.
[...]
För att ge AI alignment-forskningen en chans att hinna ikapp tror jag att vi behöver dra i nödbromsen för utvecklingen av de allra mest kraftfulla AI-systemen. Detta försvåras dock av den kapplöpningssituation som föreligger, både mellan enskilda AI-företag och mellan länder (främst USA och Kina). Det allmänt hårdnande internationella klimatet sedan Trumps andra presidentämbetestillträde gör inte heller saken lättare. Ett lågvattenmärke för den globala AI-diskursen nåddes vid toppmötet AI Action Summit i Paris i februari i år, där säkerhetsfrågor sopades under mattan samtidigt som toppolitiker bjöd över varandra i vilka mångmiljardbelopp de avsåg satsa på AI-utveckling. Värst av allt var hur den amerikanske vicepresidenten JD Vance i sitt anförande uttryckte oförblommerat förakt för AI-säkerhet, då han slog fast att han ”inte var där för att tala om AI-säkerhet” och att ”vår AI-framtid inte erövras genom att oja sig över säkerhet utan genom att bygga”. Hans förhoppning lite längre fram i samma tal om att ”AI-ekonomin kommer att […] transformera den värld som består av atomer” ger, för den som minns Yudkowskys ovan citerade oneliner om AI och atomer, en isande rysning längs ryggraden.
Detta säger något om vilka krafter vi behöver övervinna om vi skall få ordning på AI-utvecklingen och styra den i för mänskligheten mer gynnsam riktning jämfört med vart vi idag verkar vara på väg. Men framtiden är inte ristad i sten, och jag tror fortfarande att det är möjligt att förhindra en AI-katastrof. Något som skulle förbättra oddsen ytterligare vore om vi lyckas mobilisera den folkopinion mot skapandet av övermänskligt intelligent AI som enligt diverse opinionsundersökningar verkar föreligga. Så hjälp gärna till att sprida budskapet!
1) Anyone wishing to nevertheless try to do so is strongly advised to follow Zvi Mowshowitz' newsletter Don't Worry About the Vase.
I själva verket symboliserar hästarna verktyg. När ånglok och bilar gör vad hästar tidigare gjorde fast bättre och billigare kommer allt färre att fortsätta använda hästar.
1) Jag instämmer i det min gode vän Markus Stoor skriver i kommentarsfältet till Andreas nya bloggpost, och tillåter mig här att återge deras meningsutbyte:
Markus:
Men nej, det stämmer ju inte alls att det räcker med komparativa fördelar!
De komparativa fördelarna måste vara tillräckligt stora för att bära de fasta kostnaderna för en arbetare(eller häst).
Så kan det ju säkert vara så länge människor är nästan lika bra som maskiner på något, men det är väl vara osannolikt att vi i längden skulle stå oss så pass väl.
Eller?
Vi anställer ju inte 3-åringar eller schimpanser (eller hästar!) trots att de har komparativa fördelar.
Transaktionskostnaderna är för stora och värdet av deras arbetskraft för litet. Den samlade mänskligheten inklusive 3-åringarna och apligheten och hästligheten skulle producera mindre än den samlade mänskligheten pga att vi måste avdela så många vuxna till att organisera, arbetsleda och betala aporna, barnen och hästarna.
Andreas:
Hej Markus!
Min poäng var att man bör tänka i termer av komparativa fördelar, inte absoluta fördelar. Och det tycks du hålla med mig om.
Sedan beskriver du ett intressant specialfall i tillämpningen av komparativa fördelar, där exvis treåringar inte får arbete för att nettovärdet är negativt: kostnaden för att arbetsleda dem skulle överstiga värdet av vad de producerar. Då blir de oanvända i produktionen, det har du rätt i. Hur sannolikt det är att vuxna människor kommer att bli som treåringar i ditt exempel vill jag däremot låta vara osagt.
Markus:
Jag tycker att man ska vara uppmärksam på att teorin om komparativa fördelar har en gräns när den inte längre är tillämplig (det du här kallar specialfall). Även om det är väldigt tydligt med exemplet treåringar så gäller det också vuxna människor, vilket vi både ser på svensk arbetsmarknad och i internationell handel.
I fallet med treåringarna blir värdet nettonegativt redan om man ska involvera redan existerande treåringar i produktionen. Det tror jag är osannolikt vad gäller större delen av den vuxna befolkningen.
Tyvärr är dock klassen av specialfall större än så (eller som jag ser det, gränsen för modellen om de komparativa fördelarnas giltighet snävare än så) i och med att det inte räcker att lämna ett positivt produktionsbidrag efter transaktionskostnader. Man måste också täcka sina egna fasta kostnader.
För en människa innebär det ytterst att man måste vara effektivare i sitt resursutnyttjande vad det gäller begränsade resurser än maskinerna. Blir den sammanlagda produktionen högre ifall det står solceller på åkern där vetet till ditt bröd skulle ha odlats så är tyvärr din existens inte ett positivt bidrag till den sammanlagda produktionen. På det viset tror jag att det är rejält sannolikt att vi människor, liksom draghästarna den gången, kommer att bli obsoleta.
En fingervisning om det tycker jag mig se bakom den liknelse (fabel?) du ofta återkommer till i podden. Kentauren. Det fanns en tid när människor med schackprogram kunde slå schackprogram utan människor. Men kentaurernas tid var kort.
2) Se den här debattartikeln i Kvartal för min egen (skarpt kontrasterande) syn på kommissionens rapport.
3) Detta alltså trots att Andreas läst min bok Tänkande maskiner, något som jag dessvärre får notera som ett pedagogiskt misslyckande med boken. Det jag nu skulle önska mig mest av allt från Andreas, om han har tid och intresse för saken, är att han läser (åtminstone Avsnitt 1 och 3 i) min Stop the bear-essä och funderar ett varv till på hur långt han tror att AI-utvecklingen kommer att nå, i termer av TRS-skalan, samt (gärna i bayesianska termer) hur säker han är på denna prediktion. Ett skäl till att jag skulle tycka detta vore intressant är att jag tror att en väldigt stor del av dagens AI-debatt lider skada av att många kommentatorer implicit och strängt taget omotiverat tar för givet att AI inte kommer att utvecklas stort mer än epsilon bortom dagens nivå, och det vore intessant att se vad som händer om en allmänkompetent tänkare i denna kategori anstränger sig att resonera mer explicit om detta.