Sotala och Yampolskiy om katastrofala AI-scenarier och hur dessa eventuellt kan förebyggas

Ingen kan säkert säga om den artificiella intelligensen (AI) någonsin kommer att nå eller passera mänsklig intelligensnivå, eller i så fall om det blir om 10, 50 eller 200 år. Experternas meningar går kraftigt isär, och om vi blickar bakåt så ser vi att många felaktiga prediktioner i frågan gjorts. Datalogerna Kaj Sotala och Roman Yampolskiy påpekar emellertid, i den aktuella uppsatsen Responses to catastrophic AGI risk: a survey (där titelns AGI står för artificial general intelligence), att det

would be a mistake, however, to leap from "AGI is very hard to predict" to "AGI must be very far away."

Ännu svårare att säga vad konsekvenserna blir, om och när det sker. Ett scenario som vi i alla fall inte bör ränka bort är det slags hastigt accelererande utveckling jag ofta återkommit till under beteckningen Singulariteten, där den nya AI som är smartare än vi specifikt också är skickligare på att designa AI och därför bygger en ännu bättre AI, och så vidare i en spiral mot allt högre höjder.

Huruvida konsekvenserna av ett sådan intelligensexplosion blir gynnsam för oss människor är en fråga som inte har något självklart svar. Som ett rimligt default-scenario att ha i åtanke för vad som kan hända om vi inte tänker efter, tjänar Eliezer Yudkowskys ofta citerade påpekande...

The AI does not hate you, nor does it love you, but you are made out of atoms which it can use for something else

...hämtat från hans 2008 publicerade uppsats Artificial intelligence as a positive and negative factor in global risk. Notera gärna titelns "positive and negative" - en dramatisk AI-utveckling innebär inte nödvändigtvis bara en global katastrofrisk, utan kan också tänkas fungera som hjälp för att avvärja andra globala katastrofrisker. Hur som helst är Yudkowskys "you are made of atoms"-scenario något vi har anledning att försöka undvika.

Men hur? Sotalas och Yampolskiys synnerligen väl-researchade uppsats (av dess 78 sidor upptar referenslistan inte mindre än 19) är en systematisk genomgång och nykter evaluering av de förslag som hittills framförts, alltifrån "låt dem döda oss, det är lika bra om mänskligheten dör ut" och "frågan är inte värre akut än att den gott kan skjutas på framtiden" till totalförbud mot AGI-forskning, mer nyanserade forskningspolitiska regleringar, och idéer om hur AGI kan förses med drivkrafter och moralsystem som gör ett för oss gynnsamt utfall mer troligt. Jag skulle vilja utnämna uppsatsen till obligatorisk läsning inte bara för alla de AI-forskare som glatt jobbar på utan att närmare fundera över vilka omstörtande konsekvenser som ett genombrott kan få, utan också för var och en som på allvar vill sätta sig in i vilka de riktigt stora framtidsfrågorna är. Hur vi förbereder oss för ett AI-genombrott är förvisso inte den enda, men allt annat än att ränka in den bland topp fem eller så vore orimligt våghalsigt.