fredag 19 april 2024

Future of Humanity Institute 2005-2024

The news that University of Oxford's Future of Humanity Institute (FHI), after nearly two decades of existence, closed down earlier this week (Tuesday, April 16) made me very sad. The institute was Nick Bostrom's brainchild, and it was truly pioneering in terms of formulating some of the most profound and important questions about how to ensure a flourshing future for mankind, as well as in beginning the work of answering them. Their work has more or less uninterruptedly been at the forefront of my mind for more than a decade, and although I only visited their physical headquarters twice (in 2012 and 2016), it is clear to me that it was a uniquely powerful and creative research environment.

In the first draft of this blog post I used the acronym RIP in the headline, but decided to change that, because I wish that what remains from the institute - the minds and the ideas that it fostered - will not rest in peace, but instead continue to sparkle and help create a splendid future. They can do this at the many subsequent research institutes and think tanks that FHI helped inspire, such as The Centre for the Study of Existential Risk in Cambridge, The Future of Life Institute in Massachussetts, The Global Priorities Institute in Oxford, and The Mimir Center at the Institute for Future Studies in Stockholm. And elsewhere.

My friend Anders Sandberg was a driving force at the institue almost from the start and then until the very end. His personal memoir of the institute, entitled Future of Humanity Institute 2005-2024: Final Report offers a summary and many wonderful glimpses from their successful work, including a generous collection of photographs.1 Reading it is great consolation at this moment. Along with the successes, Anders also tells us briefly about the institute's downfall:
    Starting in 2020, the Faculty [of Philosophy] imposed a freeze on fundraising and hiring. Unfortunately, this led to the eventual loss of lead researchers and especially the promising and diverse cohort of junior researchers, who have gone on to great things in the years since. While building an impressive alumni network and ecosystem of new nonprofits, these departures severely reduced the Institute. In late 2023, the Faculty of Philosophy announced that the contracts of the remaining FHI staff would not be renewed. On 16 April 2024, the Institute was closed down. [p 19]
Later, on p 60-61, he offers three short paragraphs about what failings on the FHI's side may have led to such harsh treatment from the Faculty. What he offers is hardly the full story, and I have no specific insight into their organization that can add anything. Still, let me offer a small speculation, mostly based in introspection into my own mind and experience, about the kind of psychological and social mechanisms that may have contributed:

If you are an FHI kind of person (as I am), it will likely seem to you that lowering P(doom) by as little as a ppm is so obviously urgent and important that it appears superfluous and almost perverse to argue for such work using more traditional academic measuring sticks and rituals. That may lead you to ignore (some of) those rituals. If this clash of cultures continues for sufficiently long without careful intervention, the relations to the rest of the university are likely to decline and eventually collapse.

Footnote

1) See also his latest blog post.

4 kommentarer:

  1. "FHI aimed at working on the biggest questions about humanity’s long-term prospects, the questions where answers would have the most impact for improving our future. This includes deep philosophical questions about what actually matters, how to think rigorously about these things, and how to set priorities. It also includes the investigation of emerging technology, natural and technological hazards, as well as digging into useful facts from all sorts of disciplines."

    Frågan "what actually matters" har de förmodligen inte gett något bra svar på. Jag är väldigt långt ifrån någon nihilist, men känner mig ändå ganska frestad att svara "nothing matters". Kanske utgörs problemet av det engelska ordet "matter". Det låter alltför objektivistiskt. Kanske bör man svara att "psychology matters". Exakt hur psykologin spelar roll finns det dock delade meningar om. Vissa menar att "feelings matters" medan jag är mer benägen att säga att "desires matters" och inte minst att "frontal lobe desires matters".

    Jag har ett alltmer avancerat tänkande och skrivande kring de här sakerna, inte minst i en text med rubriken "Vettigare etiskt tänkande?", som jag troligen publicerar snart. Jag har förhoppningar om att mitt tänkande kan göra människor lite vettigare, men att ge vett åt super-AIs förefaller väldigt svårt. De har sannolikt svårt att hantera pluralism, vilket är precis det som vi människor måste klara av att hantera. För vi har inte ett behov eller ett begär, utan många sådana. De kan inte reduceras till ett enda. Vi måste klara av att hantera komplexitet.

    SvaraRadera
  2. Det här med ditt "alltmer avancerade tänkande och skrivande" låter som en god nyhet. Hör av dig när något är publicerat!

    SvaraRadera
    Svar
    1. Intelligent värdehantering och värde-affirmism

      Vill man ägna sig åt intelligent värdehantering kan man behöva börja med frågan huruvida värden är objektiva, subjektiva eller halvobjektiva/halvsubjektiva. Det är lättare att framställa värden som subjektiva än objektiva, men att se dem som alldeles subjektiva förefaller inte särskilt rimligt. Värden har en relation till vad vi önskar och vad vi önskar är fakta som inte är alldeles slumpmässiga och individberoende. Våra viljor är genom biologin starkt relaterade till vad som hjälper oss att överleva och det gäller då också våra värden. Grunden för våra värderingar är således naturvetenskaplig, vilket gör dem en aning mindre "subjektiva".

      Vissa verkar mena att om allt slutar med värmedöden så kan ingenting ha något värde, vilket dock förefaller som ett tvivelaktigt påstående, alldeles bortsett från att värmedöden är en tvivelaktig hypotes, då vårat universum sannolikt aldrig skulle tillkommit om termodynamikens lagar är så obetvingliga.

      Många upplever att angenäma och intressanta liv kan vara värda att leva även om allt skulle ta slut till slut. Bestämmer man sig för att ta tillvara den spännande möjlighet till existens man fått så finns det många värden, både sådant som man vill och sådant man behöver för det man vill.

      Intelligent värdehantering är svårt både för att verklighetens karaktär tenderar att vara en aning otydlig, för att vi har många värdesfärer vi behöver bry oss om och för att det inte ens är alldeles tydligt vad vi "innerst inne" vill, om något alls. Vissa föreställer sig att det enda vi innerst inne vill är att vara lyckliga eller att uppleva njutning, men det är högst tvivelaktiga psykologiska teorier. Hedonister borde räkna med att vi också vill ha intressanta, roliga och spännande upplevelser och det är inte exakt samma sak som lycka och njutning. Dessutom vill många av oss utveckla oss själva till kompetenta varelser, snarare än bara vara lyckliga hamstrar. Många av oss vill också förstå verkligheten som den är, snarare än bara anta vilken föreställning som helst som förmodas göra oss lyckliga.

      "Vi människor är inte utvecklade för att må bra, utan för att överleva. Instinkten att skanna sin omgivning är otroligt stark i oss", såg jag häromdagen den i Sverige kände psykiatrikern Anders Hansen säga.

      Många har argumenterat för "värdepluralism" (exempelvis Isaiah Berlin), medan andra talat om "the fragmentation of value" (Thomas Nagel) och "the complexity of value" (Eliezer Yudkowsky). Sociologen Max Weber identifierade ett antal olika värdesfärer och inom psykologin har self-affirmation theory identifierat ungefär samma värdedimensioner. Värdeteori och etik är alldeles tydligt komplext snarare än enkelt.

      Värdena finns redan tämligen inskrivna i verkligheten, men man behöver också bejaka dem. Det gör man ibland först efter en del kritiska reflektioner och modifikationer.

      Man skulle kunna tala om "värdebejakandeism" eller "value yesism", men de akademiska filosoferna önskar sannolikt gärna någon annan beteckning. Ordet bejaka kan översättas till "affirm", så man skulle kunna tala om "value affirmism". Jag promotar gärna både value affirmism och value yesism.

      För att värdena skall ha någon större tyngd måste de ha både en objektiv och en subjektiv grund. Naturalistisk funktionalism är inte tillräcklig, utan det krävs att man har begär och att man bejakar dessa begär. Ens begär vill gärna höja saker ovanför den naturalistiska funktionalismen. Saker skall inte bara vara nyttiga, utan också intressanta, roliga, angenäma, spännande och estetiskt tilltalande.

      När ens begär och inte minst pannlobsbegären bejakat, modifierat och kanske också "pimpat" naturvärdena börjar de få en mer helgjuten karaktär.

      Radera
    2. Jag tror att en super-AI kan begripa de här sakerna och när den gjort det blir den sannolikt en god pluralist, vilket torde vara vad vi behöver!

      Radera