*
The following two-sentence paragraph, which opens Chapter 15 of
Superintelligence, is likely to anger many of my mathematician colleagues.
A colleague of mine likes to point out that a Fields Medal (the highest honor in mathematics) indicates two things about the recipient: that he was capable of accomplishing something important, and that he didn't. Though harsh, the remark hints at a truth.
At this point, I urge the angry mathematicians reading this
not to stop reading, and
not to conclude that Bostrom is a jackass and/or a moron unworthy of further attention. There is more to his
"harsh" position than first meets the eye. And less, because to those of us who continue reading, it quickly becomes clear that he is
not saying that the mathematical results discovered by some or all Fields Medalists are unimportant. Instead, he has two interesting and original points to make about research in mathematics (and in other disciplines), one general, and one more concrete. The general point is that the value of the discovery of a result is not equal to the value of the result itself, but rather the value of how much earlier we, as a consequence of the discovery, learned the result compared to what would have been the case without that particular discovery.
1 The more concrete point is that even if deep and ground-breaking results in pure mathematics are valuable
in themselves (as opposed to whatever scientific or engineering applications may eventually grow out of them), then there may be a vastly more efficient way to advance mathematics (compared to what the typical Fields Medalist engages in), namely to contribute to the development of AI or of transhumanistic technologies for enhancement of human cognitive capacities, in order for the next generation of mathematicians (made of flesh-and-blood or of silicon) to be in a vastly better position to make even deeper and even more ground-breaking discoveries. Here's how Bostrom explains his position:
Think of a "discovery" as an act that moves the arrival of information from a later point in time to an earlier time. The discovery's value does not equal the value of the information discovered but rather the value of having the information available earlier than it otherwise would have been. A scientist or a mathematician may show great skill by being the first to find a solution that has eluded many others; yet if the problem would soon have been solved anyway, then the work probably has not much benefited the world. There are cases in which having a solution even slightly sooner is immensely valuable, but this is more plausible when the solution is immediately put to use, either by being deployed for some practical end or serving as the foundation to further theoretical work. And in the latter case [...] there is great value in obtaining the solution slightly sooner only if the further work it enables is itself both important and urgent.
The question, then, is [...] whether it was important that the medalist enabled the publication of the result to occur at an earlier date. The value of this temporal transport should be compared to the value that a world-class mathematical mind could have generated by working on something else. At least in some cases, the Fields Medal might indicate a life spent solving the wrong problem - perhaps a problem whose allure consisted primarily in being famously difficult to solve.
Similar barbs could be directed at other fields, such as academic philosophy. Philosophy covers some problems that are relevant to existential risk mitigation - we encountered several in this book. Yet there are also subfields within philosophy that have no apparent link to existential risk or indeed any practical concern. As with pure mathematics, some of the problems that philosophy studies might be regarded as intrinsically important, in the sense that humans have reason to care about them independently of any practical application. The fundamental nature of reality, for instance, might be worth knowing about, for its own sake. The world would arguably be less glorious if nobody studied metaphysics, cosmology, or string theory. However, the dawning prospect of an intelligence explosion shines a new light on this ancient quest for wisdom.
The outlook now suggests that philosophic progress can be maximized via an indirect path rather than by immediate philosophizing. One of the many tasks on which superintelligence (or even just moderately enhanced human intelligence) would outperform the current cast of thinkers is in answering fundamental questions in science and philosophy. This reflection suggests a strategy of deferred gratification. We could postpone work on some of the eternal questions for a little while, delegating that task to our hopefully more competent successors - in order to focus our own attention on a more pressing challenge: increasing the chance that we will actually have competent successors. This would be high-impact philosophy and high-impact mathematics.
If this is not enough to calm down those readers feeling anger on behalf of mathematics and mathematicians, Bostrom furthermore offers the following conciliatory footnote:
I am not suggesting that nobody should work on pure mathematics or philosophy. I am also not suggesting that these endeavors are especially wasteful compared to all the other dissipations of academia or society at large. It is probably very good that some people can devote themselves to the life of the mind and follow their intellectual curiosity wherever it leads, independent of any thought of utility or impact. The suggestion is that at the margin, some of the best minds might, upon realizing that their cognitive performance may become obsolete in the forseeable future, want to shift their attention to those theoretical problems for which it makes a difference whether we get the solution a little sooner.
The view of research priorities and the value of mathematical, philosophical and scientific progress that Bostrom offers in the above passages may seem provocative at first, but on second reflection it strikes me as wise and balanced. Are there any aspects of this issue he has failed to take into account? Of course there are, but the question should be whether there are any such aspects that are sufficiently relevant to overthrow his conclusion. Here's the best one I can come up with for the moment:
Perhaps the main value of a mathematical discovery lies not in the result itself, but in the process leading up to the discovery, and perhaps it is important that the cognitive work is done by an ordinary human tather than an enhanced human or some super-AI. Well, a bit of enhancement is OK - many years of education, plus some caffeine - but anything much beyond that reduces the value of the discovery significantly.
Something along those lines. But, honestly, doesn't it sound arbitrary, artificial, and more than a little anthropochauvinistic? It is certainly not an argument with which the mathematical community can hope to convince tax payers to support research in mathematics. Perhaps some similar argument might work for music or for literature, as the audience might have a preference for songs or novels they know are written by ordinary humans rather than by some superintelligence.2 But the case is very different for mathematics, because the population of people who can appreciate and enjoy, say, Wiles' proof of Fermat's Last Theorem or Perelman's proof of the Poincaré conjecture, is very small and consists almost exclusively of professional mathematicians. So using the argument for mathematics comes very close to asking taxpayers to support mathematical research because it is enjoyable to mathematicians.
The process-more-important-then-result objection fails to convince. All in all, I think that Bostrom's new perspective on the value of research findings, although of course not the only valid viewpoint, is very much worth putting on the table when discussing priorities regarding which research areas to fund.3
Footnotes
1) This notion of the value of a discovery is not entirely unproblematic, however. Consider the case of my friends Svante Linusson and Johan Wästlund, and their their solution to the famous problem of proving Parisi's conjecture. On the very same day that they announced their result, another group, consisting of Chandra Nair, Balaji Prabhakar and Mayank Sharma, announced that they had achieved the same thing (using a different approach). For the sake of the argument, let us make the following simplifying assumptions: (a) the two works and their timings were independent (almost true),
(b) there is no extra value in having the two different proofs of the result compared to having just one (plain false),
(c) without the two works, it would have taken another ten years for the scientific community to come up with a proof of Parisi's conjecture (pure speculation on my part).
With these assumptions, Bostrom's way of attaching value to research discoveries has some strange consequences. The work of Linusson and Wästlund is deemed worthless (because in view of the Nair-Prabhakar-Sharma paper, they did not accelerate the proof of Parisi's conjecture). Similarly and symmetrically, the Nair-Prabhakar-Sharma paper is deemed worthless. Yet, Bostrom has to accept that the two papers, taken together, are valuable, because they gave us proof of Parisi's conjecture ten years earlier than what would have been the case without them.
Such superadditivity of values is not unusual. A hot dog on its own may be worthless to me, and the same may go for a bun, but together they constitute a highly delicious and valuable meal. But the Linusson-Wästlund and the Nair-Prabhakar-Sharma papers, exhibiting the same superadditivity, still does not fit the hot-dog-and-bun pattern, because unlike the hot dog and the bun, each of the papers contains, on its own, the whole thing we value (the early arrival of the proof of Parisi's conjecture). Strange.
2) And chess. As a chess amateur,
I enjoy studying the games of world champions and other grandmasters. For more than a decade, there have been computer programs that play clearly better chess than the very best human chess players. And yet, I do not find even remotely the same thrill in studying games between these programs, compared to those played between humans.
3) It will be interesting to see how this statement will be received by my friends and colleagues in the mathematics community. My hope and my belief is that the position I'm endorsing will be appreciated for its nuances and recognized as a point of view that merits discussion. But I am not certain about this. If worst comes to worst, my statement will be widely condemned and perhaps even mark the end of a 15-or-so years period during which I have received a steady stream of invitations and requests to take on various positions of trust in which I am expected to defend the interests of research mathematics. I would not welcome such a scenario, but I much prefer it to one in which I refrain from speaking openly on important issues.
Eftersom det inte verkar bli så mycket diskussion om de här inläggen dristar jag mig till att göra ett inlägg. Det förefaller mig som att Boströms åsikt är en variant på den gamla tanken att de fria forskarna skulle göra klokt i att bli lite mer målinriktade och kanske skulle må väl av att bli lite mer styrda. Det som skiljer ut honom är kanske att valet av forskningsområden som forskarna helst borde ägna sig åt i hans fall görs av en så liten grupp, möjligen främst av honom själv.
SvaraRaderaDet förefaller mig som om du tolkar Bostrom illvilligt, Bo. Att ha synpunkter på vilken forskning som är angelägen och vilken som är något mindre angelägen (vilket jag för övrigt skulle tro att även du har) är inte samma sak som att ha ambitionen att bil diktator över alla världens forskare med mandat att beordra vem som skall forska kring vad (det är förstås möjligt att jag missbedömer dig, men den ambitionen tror jag inte att du har).
RaderaEn analogi kanske kan vara på sin plats. Jag anser att Max Raabe & Palast Orchester spelar bättre musik än Matz Bladhs, men jag anser inte för den sakens skull att folk som föredrar att lyssna på Matz Bladhs skall förbjudas att göra det för att istället påtvingas Max Raabe & Palast Orchester.
Hej,
SvaraRaderajag tror att de flesta som läser (din återgivning av) Boströms åsikter instinktivt känner att det måste vara något fel i resonemanget, även om det kan vara svårt att sätta fingret precis på vad det är. Efter konsultation med en kollega som önskar vara anonym ( vi kan kalla honom R B ) är jag nu dock redo att göra ett försök. Här är tror jag några svaga punkter i resonemanget:
1. En del av resonemanget bygger på att vetenskapliga upptäckter främst bör värderas i tid. Eftersom dom hur som helst - om dom är väsentliga - skulle upptäckts någon gång är enda nyttan med att någon finner dom just nu tidsmässig. Egentligen tror jag inte det argumentet behövs för att komma fram till slutsatsen att alla goda krafter bör inrikta sig på AI - om den forskningslinjen är så lovande (jag återkommer till det nedan) verkar det finnas goda anledningar att satsa på den hur som helst. Ändå kan man fundera på om argumentet är riktigt i sig.
Jag tror att förvirringen bygger på oklarheten i vad man menar med ett forskningsresultat. Vetenskapliga framsteg är sammanvävda med andra framsteg på ett komplicerat sätt. Om man med forskningsresultat menar saker som lösningen av Fermats problem, upptäckten av Perron Frobenius sats eller beviset av Poincares hypotes är det mycket riktigt svårt att hävda att det var jättebra att lösningarna inte drog ut på tiden. Men nyttan av de här sakerna ligger i den väv av andra saker som de samverkar med. Om vi räknar Google som en nyttig upptäckt, och accepterar att den åtminstone i början byggde på Perron Frobenius sats, så spelar det ingen roll om upptäckten av satsen som är drygt hundra år gammal hade fått vänta femtio år till. Dock hade det spelat roll om den hade väntat 200 år. Vem kan analysera och värdera en sådan process och dirigera vad som bör göras omedelbart och vad som kan vänta?
Ett liknande resonemang kan man göra om användningen av Fermats lilla sats i public key cryptography. I det fallet tog det fyra hundra år till satsen fick en användning. Nu kanske man kan säga att det som man bör räkna som 'upptäckten' i de här fallen inte var Perron-Frobenius sats eller Fermats sats utan användningen på Page Rank respektive kryptering. Men då inser man att den yttersta upptäckten i båda fallen inte var lösningen på ett redan formulerat problem utan formuleringen av en intressant frågeställning.
Om AI skall hjälpa oss måste den alltså användas, inte för att lösa redan formulerade problem, utan för att hitta nya intressanta frågeställningar. Det är alltså inte fråga om att prgrammera en dator till 'Bevisa Riemannhypotesen!' utan till 'hitta något nytt intressant!.
Jag är för okunnig om AI för att kunna säga om detta är realistiskt inom den närmaste tiden, men jag misstänker att det inte är det. Jag skulle till och med som R B misstänka att om nya stora framsteg görs inom AI, så kommer dom inte vara resultatet av en riktad satsning på det området.
Tack Bo för dessa synpunkter! Samtalet med R B tycks ha gjort dig gott, ty jag finner denna din kommentar 11:54 vara väldigt mycket intressantare och bättre genomtänkt än din föregående 20:26.
RaderaI kommentaren 20:26 nöjde du dig med att ventilera din upprördhet över att Bostrom dristar sig att ha synpunkter på vilken forskning som är angelägen och vilken som är något mindre angelägen. Att du nu (11:54) dristar dig att själv uttrycka den sortens synpunkter tolkar jag som att du backar från 20:26-spåret, vilket jag i så fall välkomnar. Utan åsikter om vilken forskning som är angelägen och vilken som är något mindre angelägen (tänk dig in i situationen att du inte hade något som helst grepp om vilket som var angelägnast, att försöka bevisa RIemannhypotesen eller att försöka avgöra om antalet primtal i intervallet [3468201, 872435782330056060695729] är jämnt eller udda...) skulle vi forskare ju bli fullkomligt handlingsförlamade rörande vilka forskningsproblem vi skall ta tag i, och givetvis bör vi också dryfta dessa åsikter med varandra.
I din retoriska fråga "Vem kan analysera och värdera en sådan process och dirigera vad som bör göras omedelbart och vad som kan vänta?" tycker jag mig dock, i ordet "dirigerar", skönja en tendens till återfall i 20:26-argumentationen, så låt mig säga det igen: att Bostrom anser att the control problem är undervärderat och att han beskriver en central komponent i detta som "a research challenge worthy of some of the next generation's best mathematical talent" betyder inte att han förordar tillstättandet av en diktator skall sitta och "dirigera" matematiktalanger att syssla med the control problem. Hans ambition, så som den kommer till uttryck i de stycken jag citerar i bloggposten ovan, är långt blygsammare: att försöka locka någon eller några talanger till ett område han (IMHO på goda grunder) anser vara väldigt viktigt.
Åter till detta med "Vem kan analysera och värdera en sådan process och dirigera vad som bör göras omedelbart och vad som kan vänta?". Jag håller med om att det hela är ohyggligt komplext och svårgripbart. Men sådant är livet, och precis som vi i livet ständigt behöver fatta beslut under osäkerhet så behöver vi göra forskningsprioriteringar under osäkerhet. Att bara kasta upp armarna i vädret och säga att vi inte kan förutspå framtiden och därför inte vet vad vi skall ta oss till duger inte. Vi är så illa tvungna att göra vårt bästa och fatta så kloka beslut vi kan, trots den ohyggliga svårighetsgraden och komplexiteten. Jag hyser, i all ödmjuket inför dessa svårigheter, ändå ett visst hopp om att de nya synvinklar som Bostrom för upp på bordet kan var till viss hjälp för åtminstone vissa av oss att fatta aningen klokare beslut än vad vi hade gjort annars.
Hej igen,
SvaraRaderajag kände inte riktigt igen mitt första inlägg i din beskrivning så jag läste om det igen. Jag förstår fortfarande inte vad du menar att jag 'ventilerar min upprördhet över...' vare sig det ena eller andra. Och, jag har verkligen ingenting emot att folk har synpunkter på vilken forskning som är väsentlig och vilken som inte är det . Inte desto mindre kan ju varje sådan synpunkt kritiseras och det är det som jag har gjort.
Så, återigen, om man som N B verkar tycka, skall låta tidsargumentet vara en faktor när man bestämmer väljer vilken forskning man skall ägna sig åt, bör man ha ett sätt att ta reda på när ett resultat behövs. Jag tycker det verkar svårt att göra, och inget i vad du skriver motsäger detta. I vissa fall - kanske behandling av ebola, ny antibiotika etc- verkar det klart, men för det mesta inte.
Om jag förstår rätt är den forskningsinriktning som N B förespråkar AI, eller 'superintelligence' eller 'enhanced human intelligence'. Det ligger nära till hands att jämföra det förslaget med förslaget att prioritera beräkningsmatematik. Tycker du att det också är en bra ide (jag tror mig minnas att du inte gör det)? Om inte, vad är det som gör NBs förslag bättre?
OK, jag uppfattade din nidbild 20:26 av de bostromska synpunkterna som att du ventilerade din upprördhet, men om du hade en annan avsikt så beklagar jag att jag missförstod dig. Jag finner i sagda kommentar ingen kritik mot någon specifik bostromsk uppfattning om vilka forskningsområden som är viktiga, något som jag tolkade som att din kritik rörde blotta det faktum att han hade den sortens synpunkter. Åter tydligen ett missförstånd från min sida - beklagar igen. Men när du nu tydligt sätter ned foten med att du "har verkligen ingenting emot att folk har synpunkter på vilken forskning som är väsentlig och vilken som inte är det" så kan vi konstatera att vi åtminstone på denna punkt är överens, och vi kan lägga 20:26 bakom oss.
RaderaSå till den mer konkreta sakfrågan om huruvida det vore bra med en allmän storsatsning på AI-forskning. Jag är mycket tveksam till om det vore klokt med en sådan, och jag uppfattar inte heller Bostrom som att han argumenterar för en sådan. Vad han däremot verkar anse, och vad jag i så fall håller med om, är att en alltför liten andel av AI-forskningen fokuseras på säkerhetsproblemet med att undvika ett för hela mänskligheten katastrofalt utfall när väl ett genombrott sker. Som jag skrev i min recension: "Unfortunately, among the many thousands of researchers working on AI today, only a tiny fraction show a serious interest in the control problem. Bostrom is eager to change this."
"Perhaps the main value of a mathematical discovery lies not in the result itself, but in the process leading up to the discovery, and perhaps it is important that the cognitive work is done by an ordinary human" does not at all "sound arbitrary, artificial, and more than a little anthropochauvinistic" to me. The task of humanity is not to add to some list of proven mathematical truths. Mathematicians struggle to understand mathematical structures and solve mathematical problems. If science is considered to be of benefit to humanity, then mathematics is of benefit to humanity. Proven theorems are just a spin-off. Part of how we organise society (career paths in academia). Also part of how we organise our knowledge (remembering some key facts and key names).
SvaraRaderaI wholeheartedly agree with your view that progress in mathematics cannot be reduced to merely consisting in proven theorems. So let's take a broader view of what progress in mathematics means, and include all the organization of knowledge, dissemination to other sciences, and so on. And ask again: is it still important that all this stuff is carried out by unenhanced humans, as opposed to cognitively enhanced posthumans or AI:s?
Radera