tag:blogger.com,1999:blog-81317942316972175732024-03-18T07:06:46.755+01:00Häggström hävdarEn medborgare och matematiker ger synpunkter på samhällsfrågor, litteratur och vetenskap.Olle Häggströmhttp://www.blogger.com/profile/07965864908005378943noreply@blogger.comBlogger842125tag:blogger.com,1999:blog-8131794231697217573.post-33317509751167475872024-02-29T15:00:00.030+01:002024-02-29T15:34:51.873+01:00On OpenAI's report on biorisk from their large language models<div style="text-align: justify;">
Aligning AIs with whatever values it is we need them to have in order to ensure good outcomes is a difficult task. Already today's state-of-the-art Large Language Models (LLMs) present alignment challenges that their developers are unable to meet, and yet they release their poorly aligned models in their crazy race with each other where first prize is a potentially stupendously profitable position of market dominance. Over the past two weeks, we have witnessed a particularly striking example of this inability, with Google's release of their Gemini 1.5, and the bizarre results of their attempts to make sure images produced by the model exhibit an appropriate amount of demographic diversity among the people portrayed. This turned into quite a scandal, which quickly propagated from the image generation part of the model to the likewise bizarre behavior in parts of its text generation.<sup>1</sup>
</div>
<p>
<div style="text-align: justify;">
But while the incident is a huge embarrassment to Google, it is unlikely to do much real damage to society or the world at large. This can quickly change with future more capable LLMs and other AIs. The extreme speed at which AI capabilies are currently advancing is therefore a cause for concern, especially as alignment is expected to become not easier but more difficult as the AIs become more capable at tasks such as planning, persuasion and deception.<sup>2</sup> I think it's fair to say that the AI safety community is nowhere near a solution to the problem of aligning a superhumanly capable AI. As an illustration of how dire the situation is, consider that when OpenAI in July last year announced their <a href="https://openai.com/blog/introducing-superalignment">Superalignment</a> four-year plan for solving the alignment problem in a way that scales all the way up to such superhumanly capable AI, the core of their plan turns out to be essentially "since no human knows how to make advanced AI safe, let's build an advanced AI to which we can delegate the task of solving the safety problem".<sup>3</sup> It might work, of course, but there's no denying that it's a huge leap into the dark, and it's certainly not a project whose success we should feel comfortable hinging the future survival of our species upon.
</div>
<p>
<div style="text-align: justify;">
Given the lack of clear solutions to the alignment problem on the table, in combination with how rapidly AI capabilities are advancing, it is important that we have mechanisms for carefully monitoring these advances and making sure that they do not cross a threshold where they become able to cause catastrophe. Ideally this monitoring and prevention should come from a state or (even better) intergovernmental actor, but since for the time being no such state-sanctioned mechanisms are in place, it's a very welcome thing that some of the leading AI developers are now publicizing their own formalized protocols for this. Anthropic pioneered this in September last year with their so-called <a href="https://www.anthropic.com/news/anthropics-responsible-scaling-policy">Responsible Scaling Policy</a>,<sup>4</sup> and just three months later OpenAI publicized their counterpart, called their <a href="https://openai.com/safety/preparedness">Preparedness Framework</a>.<sup>5</sup>
</div>
<p>
<div style="text-align: justify;">
Since I recorded <a href="https://haggstrom.blogspot.com/2024/01/video-talk-on-openais-preparedness.html">a lecture about OpenAI's Preparedness Framework</a> last month - concluding that the framework is much better than nothing, yet way too lax to reliably protect us from global catastrophe - I can be brief here. The framework is based on evaluating their frontier models on a four-level risk scale (low risk, medium risk, high risk, and critical risk) along each of four dimensions: Cybersecurity, CBRN (Chemical, Biological, Radiological, Nuclear), Persuasion and Model Autonomy.<sup>6</sup> The overall risk level of a model (which then determines how OpenAI may proceed with deployment and/or further capabilities development) is taken to be the maximum among the four dimensions. All four dimensions are in my opinion highly relevant and in fact indipensable in the evaluation of the riskiness of a frontier model, but the one to be discussed in what follows is CBRN, which is all about the model's ability to create or deploy (or assisting the creation or deployment of) non-AI weapons of mass destruction.
</div>
<p>
<div style="text-align: justify;">
The Preparedness Framework report contains no concrete risk analysis of GPT-4, the company's current flagship LLM. A partial such analysis did however appear later, in the report <a href="https://openai.com/research/building-an-early-warning-system-for-llm-aided-biological-threat-creation"><i>Building an early warning system for LLM-aided biological threat creation</i></a> released in January this year. The report is concerned with the B aspect of the CBRN risk factor - biological weapons. It describes an ambitious study in which 100 subjects (50 biology undergraduates, and 50 Ph.D. level experts in microbiology and related fields) are given tasks relevant to biological threats, and randomly assigned to have either access to both GPT-4 and the Internet, or just to the Internet. The question is: does GPT-4 access make subjects more capable at their tasks? It seems yes, but the report remains inconclusive.
</div>
<p>
<div style="text-align: justify;">
It's an interesting and important study, and many aspects of it deserve praise. Here, however, I will focus on two aspects where I am more critical.
</div>
<p>
<div style="text-align: justify;">
<b>The first aspect</b> is how the report goes on and on about whether the observed positive effect of GPT-4 on subjects' skills in biological threat creation is statistically significant.<sup>7</sup> Of course, this obsession with statistical significance is shared with a kazillion other research reports in virtually all empirically oriented disciplines, but in this particular setting it is especially misplaced. Let me explain.
</div>
<p>
<div style="text-align: justify;">
In all scientific studies meant to detect whether some effect is present or not, there are two distinct ways in which the result can come out erroneous. A <i>type I error</i> is to deduce the presence of a nonzero effect when it is in fact zero, while a <i>type II error</i> is is to fail to recognize a nonzero effect which is in fact present. The concept of statistical significance is designed to control the risk for type I errors; roughly speaking, employing statistical significance methodology at significance level 0.05 means making sure that if the effect is zero, the probability of erroneously concluding a nonzero effect should be at most 0.05. This gives a kind of primacy to avoiding type I errors over avoiding type II errors, laying the burden of proof on whoever argues for the existence of a nonzero effect. This makes a good deal of sense in a scientific community where an individual scientific career tends to consist largely of discoveries of various previously unknown effects, creating an incentive that in the absence of a rigorous system for avoiding type I errors might overwhelm scientific journals with a flood of erroneous claims about such discoveries.<sup>8</sup> In a risk analysis context such as in the present study, however, it makes no sense at all, because here it is type II errors that mainly need to be avoided - because they may lead to irresponsible deployment and global catastrophe, whereas consequences of a type I error are comparatively trivial. The burden of proof in this kind of risk analysis needs to be laid on whoever argues that risk is zero or negligible, whence the primary focus on type I errors that follows implicitly from a statistical significance testing methodology gets things badly backwards.<sup>9</sup>
</div>
<p>
<div style="text-align: justify;">
Here it should also be noted that, given how widely useful GPT-4 has turned out to be across a wide range of intellectual tasks, the null hypothesis that it would be of <i>zero</i> use to a rogue actor wishing to build biological weapons is highly far fetched. The failure of the results in the study to exhibit statistical significance is best explained not by the absence of a real effect but by the smallness of the sample size. To the extent that the failure to produce statistical significance is a real problem (rather than a red herring, as I think it is), it is exacerbated by another aspect of the study design, namely the use of multiple measurements on each subject. I am not at all against such multiple measurements, but if one is fixated on the statistical significance methodology, it leads to dependencies in the data that force the statistical analyst to employ highly conservative<sup>10</sup> p-value calculations, as well as to multiple inference adjustments. Both of these complications lead to worse prospects for statistically significant detection of nonzero effects.
</div>
<p>
<div style="text-align: justify;">
<b>The second aspect</b> is what the study does to its test subjects. I'm sure most of them are fine, but what is the risk that one of them gets a wrong idea and picks up inspiration from the study to later go on to develop and deploy their own biological pathogens? I expect the probability to be low, but given the stakes at hand, the expected cost might be large. In practice, the study can serve as a miniature training camp for potential bioterrorists. Before being admitted to the study, test subjects were screened, e.g., for criminal records. That is a good thing of course, but it would be foolish to trust OpenAI (or anyone else) to have an infallible way of catching any would-be participant with a potential bioterrorist living in the back of their mind.
</div>
<p>
<div style="text-align: justify;">
One possible reaction OpenAI might have to the above discussion about statistical aspects is that in order to produce more definite results they will scale up their study with more participants. To which I would say please don't increase the number of young biologists exposed to your bioterrorism training. To which they might reply by insisting that this is something they need to do to evaluate their models' safety, and surely I am not opposed to such safety precautions? To which my reply would be that if you've built something you worry might cause catastrophe if you deploy it, a wise move would be to not deploy it. Or even better, to not build it in the first place.
</div>
<p>
<div style="text-align: justify;">
<b>Footnotes</b>
</div>
<p>
<div style="text-align: justify;">
<small>
<p>
1) See the twin blogposts (<a href="https://thezvi.substack.com/p/gemini-has-a-problem">first</a>, <a href="https://thezvi.substack.com/p/the-gemini-incident-continues">second</a>) by Zvi Mowshowitz on the Gemini incident for an excellent summary of what has happened so far.
<p>
2) Regarding the difficulty of AI alignment, see, e.g., Roman Yampolskiy's brand-new book <a href="https://www.routledge.com/AI-Unexplainable-Unpredictable-Uncontrollable/Yampolskiy/p/book/9781032576268#"><i>AI: Unexplainable, Unpredictable, Uncontrollable</i></a> for a highly principled abstract approach, and <a href="https://80000hours.org/podcast/episodes/ajeya-cotra-accidentally-teaching-ai-to-deceive-us/">the latest <i>80,000 Hours Podcast</i> conversation with Ajeya Cotra</a> for an equally incisive but somewhat more practically oriented discussion.
<p>
3) As with so much else happening in the AI sphere at present, <a href="https://thezvi.substack.com/p/openai-launches-superalignment-taskforce">Zvi Mowshowitz has some of the most insightful comments on the Superalignment announcement</a>.
<p>
4) I say "so-called" here because the policy is not stringent enough to make their use of the term "responsible" anything other than Orwellian.
<p>
5) The third main competitor, besides OpenAI and Anthropic, in the race towards superintelligent AI is Google/DeepMind, who have not publicized any corresponding such framework. However, <a href="https://www.dwarkeshpatel.com/p/demis-hassabis">in a recent interview with Dwarkesh Patel, their CEO Demis Hassabis assures us</a> that they employ similar frameworks in their internal work, and that they will go public with these some time this year.
<p>
6) Wisely, they emphasize the preliminary nature of the framwork, and in particular the possibility of adding further risk dimensions that turn out in future work to be relevant.
<p>
7) Statistical significance is mentioned 20 times in the report.
<p>
8) Unfortunately, this has worked less well than one might have hoped; hence the ongoing <a href="https://en.wikipedia.org/wiki/Replication_crisis">replication crisis</a> in many areas of science.
<p>
9) The burden of proof location issue here is roughly similar to the highly instructive Fermi-Szilard disagreement regarding the development of nuclear fission, which <a href="https://haggstrom.blogspot.com/2020/08/writing-about-science-uncertainty.html">I've written about elsewhere</a>, and where Szilard was right and Fermi was wrong.
<p>
10) "Conservative" is here in the Fermian rather than the Szilardian sense; see Footnote 9.
<p>
</small>
</div>Olle Häggströmhttp://www.blogger.com/profile/07965864908005378943noreply@blogger.com0tag:blogger.com,1999:blog-8131794231697217573.post-75400055174920446822024-01-11T14:15:00.006+01:002024-01-11T17:52:37.776+01:00Video talk about the Grace et al surveys on what AI researchers think about AI risk<div style="text-align: justify;">
There is much disagreement out there regarding what future progress in AI may have in store for us, including AI risk. What could then be more natural than asking AI researchers what they think? This is what Katja Grace and various collaborators have done in a series of surveys in <a href="https://arxiv.org/abs/1705.08807">2016</a>, <a href="https://wiki.aiimpacts.org/doku.php?id=ai_timelines:predictions_of_human-level_ai_timelines:ai_timeline_surveys:2022_expert_survey_on_progress_in_ai">2022</a> and <a href="https://aiimpacts.org/wp-content/uploads/2023/04/Thousands_of_AI_authors_on_the_future_of_AI.pdf">2023</a>. The results are interesting, partly in unexpected ways. Back in 2017, Katja gave an excellent <a href="https://www.youtube.com/watch?v=i3gS1yTws3Y">talk about the first of those surveys</a>, at a Gothenburg meeting that I hosted. Today I recorded a video lecture in which I comment on her findings back then and in the later surveys, with particular emphasis on whether and how much we can trust these AI researchers to make sound judgements about our future with AI:
</div>
<p>
<div style="text-align: center;">
<iframe width="480" height="270" src="https://www.youtube.com/embed/o6jCY1vQTDo" frameborder="0" allowfullscreen></iframe>
</div>Olle Häggströmhttp://www.blogger.com/profile/07965864908005378943noreply@blogger.com0tag:blogger.com,1999:blog-8131794231697217573.post-35984517149692973722024-01-05T16:00:00.003+01:002024-01-05T16:10:14.502+01:00Video talk on OpenAI's Preparedness Framework<div style="text-align: justify;">Here's my latest video lecture on what OpenAI does regarding AI risk and AI safety, following up on the ones from <a href="https://haggstrom.blogspot.com/2022/12/chatgpt-and-ai-alignment.html">December 2022</a> and <a href="https://haggstrom.blogspot.com/2023/03/openai-and-manhattan-project.html">March 2023</a>. This time I focus on the so-called <a href="https://openai.com/safety/preparedness">Preparedness Framework</a> that they announced last month, and criticize it along lines heavily influenced by <a href="https://thezvi.substack.com/p/on-openais-preparedness-framework">Zvi Mowshowitz writing on the same topic</a>.
</div>
<p>
<div style="text-align: center;">
<iframe width="480" height="270" src="https://www.youtube.com/embed/ilwKQSQkQTU" frameborder="0" allowfullscreen></iframe>
</div>Olle Häggströmhttp://www.blogger.com/profile/07965864908005378943noreply@blogger.com0tag:blogger.com,1999:blog-8131794231697217573.post-22468976242865412972023-12-21T09:30:00.004+01:002023-12-21T09:44:09.065+01:00Om öppen källkod i Ny Teknik<div style="text-align: justify;">
Öppen källkod är bra! Det tycker i alla fall informatikforskarna Johan Magnusson och Claire Ingram Bogusz, at döma av <a href="https://www.nyteknik.se/debatt/forskare-offentlig-sektor-behover-it-och-ai-med-oppen-kallkod/4221376">deras debattartikel i <i>Ny Teknik</i> i förrgår</a>. I många fall - rentav de flesta - håller jag med dem om den öppna källkodens förfräfflighet, men i vissa AI-sammanhang är öppen källkod tvärtom riktigt riktigt illa. Detta fick mig att ta till pennan och författa en replik, vilken igår publicerades i samma tidning under rubriken <a href="https://www.nyteknik.se/debatt/replik-oppen-kallkod-for-ai-modeller-ar-en-samhallsrisk/4222914"><i>Öppen källkod för AI-modeller är en samhällsrisk</i></a>, och inleds på följande vis:
<ul>
I <i>Ny Teknik</i> den 19 december skriver Johan Magnusson och Claire Ingram Bogusz om de stora fördelarna med öppen källkod på ai-området. Öppen källkod driver utvecklingen framåt, och när det gäller små och specialiserade ai-modeller för exempelvis medicinsk diagnosticering är konceptet enligt min mening till stor nytta.
<p>
Ändå är det fel, menar jag, att på Magnussons och Ingram Bogusz vis ensidigt och onyanserat hylla den öppna källkodens tillämpning på AI-området. Om öppen källkod tillämpades på de största och mest kraftfulla AI-modellerna – som exempelvis Open AI:s GPT-4, Anthropics Claude 2, och Google Deepminds Gemini – och på de ännu starkare AI som kan väntas släppas under 2024, skulle det innebära allvarliga och enligt min mening oacceptabla samhällsrisker.
<p>
AI är nämligen inte som andra tekniker.
</ul>
Läs <a href="https://www.nyteknik.se/debatt/replik-oppen-kallkod-for-ai-modeller-ar-en-samhallsrisk/4222914">den spännande fortsättningen på min replik</a> i <i>Ny Teknik</i>!
</div>Olle Häggströmhttp://www.blogger.com/profile/07965864908005378943noreply@blogger.com0tag:blogger.com,1999:blog-8131794231697217573.post-75344949791224575172023-12-18T03:30:00.007+01:002023-12-19T07:36:41.010+01:00Om Mathias Sundin, AI-risk och Lex Luthor<div style="text-align: justify;">
Det här är ingen recension av Mathias Sundins pinfärska bok <a href="https://www.warpnews.se/ai-bok-kentaurens-fordel/"><i>Kentaurens fördel: Så tänker, skriver och kommunicerar du bättre och snabbare med ChatGPT</i></a>. En sådan är jag inte i stånd att skriva, eftersom det endast är bokens avslutningskapitel <i>"Är AI så farligt att vi inte ens ska använda det?"</i> jag läst från början till slut; resten har jag på sin höjd skummat. Det är i detta slutkapitel jag här skall dyka ned, och specifikt i hur Sundin i kapitlet tillskriver mig ståndpunkter jag inte omfattar och aldrig har yttrat. Sådan vantolkning har jag alltid varit en smula allergisk mot, och jag vill redan nu varna känsliga läsare för att en lite tråkig ton därför kan komma att smyga sig in i min följande redogörelse.
</div>
<p>
<div style="text-align: justify;">
Men innan dess, låt mig trots allt ge mitt hastiga intryck av boken som helhet. Böcker om hur man använder den nya AI-tekniken för diverse kontorssysslor och andra arbetsuppgifter kan gott ha ett värde, även om det snabbt börjat bli överfullt på marknaden för dem, samtidigt som halveringstiden på de insikter som levereras kan väntas bli osedvanligt kort till följd av hur rasande snabbt tekniken ifråga går framåt. Att döma av kvaliteten på argumentationen i slutkapitlet (liksom i <a href="https://haggstrom.blogspot.com/2023/04/ett-bottennapp-i-ai-debatten.html">det meningsutbyte i <i>Aftonbladet</i> Sundin och jag hade i april i år</a>) har jag dock inga större förhoppningar om att boken skall erbjuda några klokskaper som får den att på något positivt sätt sticka ut från mängden. Den 148-sidiga texten ger intryck av att ha knåpats ihop inom loppet av cirka en arbetsvecka, och jag vill låta det vara osagt huruvida detta bör ses som ett belägg för eller emot författarens tes om hur effektivt ens skrivande kan bli då man tar hjälp av ChatGPT.
</div>
<p>
<div style="text-align: justify;">
Så till hur jag dyker upp i handlingen, i ett slutkapitel som annars mest äganas åt att svartmåla och vantolka Max Tegmark. Så här heter det på s 128:
<ul> [I]ngen vet hur man bygger AGI. Vi har faktiskt ingen aning om hur man gör det och när det är möjligt. Trots att ingen har den blekaste aning om hur, oroar sig dessa personer för att det kommer att ske snart. En av de ledande rösterna i Sverige, professor Olle Häggström, menar att det kan komma att ske redan med nästa version av ChatGPT, version 5. I scenariot är det inte AI:n själv som utplånar mänskligheten, utan en ondskefull superskurk som Lex Luthor som gör det med hjälp av AI. Ja, han säger faktiskt precis det.
</ul>
Att ingen vet säkert exakt hur AGI<sup>1</sup> kommer att utformas eller kan ge exakt svar på när det är att vänta är såklart sant, men Sundins tal om att "ingen har den blekaste aning" är gravt tendentiöst, och det är synd att han undlåter att nämna exempelvis de idéer som får företrädare för ledande AI-labb som OpenAI och Anthropic att tala om tidslinjer till AGI som håller sig väl inom innevarande decennium (2020-talet).<sup>2</sup> Detta är så typiskt för den mix av glidningar, halvsanningar och rena sakfel som slutkapitlet i <i>Kentaurens fördel</i> består av att jag inte reagerar med så mycket mer än en trött suck, men värre är när författaren börjar ljuga om mig personligen - då får jag svårt att hålla tillbaka min vresighet.
</div>
<p>
<div style="text-align: justify;">
Superskurkar som Lex Luthor finns som bekant inte i verkligheten utan bara i DC:s och Marvels serietidningsuniversa och i liknande fiktiva sammanhang. Ack om det vore så väl att min och andras oro för en nära förestående AI-katastrof byggde på vanföreställningen att dessa superskurkar finns i verkligheten. Då skulle det såklart vara lätt att avfärda denna oro. Men nej, det Sundin här påstår om mig är såklart inte sant.
</div>
<p>
<div style="text-align: justify;">
Vad som däremot är sant är att jag i en rad föredrag i våras tillgrep ett tankeexperiment inbegripandes en superintelligent Lex Luthor.<sup>3</sup> När jag gjorde det var jag ständigt noga med att betona att det inte rörde sig om någon <i>förutsägelse</i> eller ens om ett <i>plausibelt framtidsscenario</i>, utan just om ett <i>tankeexperiment</i>. Avsikten med tankeexperimentet var att bemöta den annars kanske frestande intuition som går ut på att AI-system som exempelvis GPT-4 inte rimligtvis kan sätta igång någon AI-apokalyps, vilken ju skulle kräva ett direkt ingripande i den fysiska världen, i motsats till vad dessa AI-system förmår som ju inte gör annat än att producera text. Eftersom det för många är lättare att föreställa sig hur en människa medelst social manipulation och annat tillskansar sig makt, än att tänka sig en AI göra samma sak, fann jag parallellen till en Lex Luthor begränsad till enbart språkhandlingar vara ett användbart pedagogiskt redskap för att undergräva denna felaktiga intuition.<sup>4</sup> Och det var inte bara i föredrag jag använde mig av detta redskap, utan vid minst ett tillfälle också i samtal med en journalist, vilket framgår av följande passage i <a href="https://www.dn.se/sverige/forskare-varnar-om-hotet-fran-ai-kan-leda-till-slutet-for-manskligheten/">en DN-artikel den 31 mars i år</a>.
<ul>
Men hur skulle då en superintelligens som i grunden är en språkmodell, kunna hota mänskligheten? Häggström ber oss göra ett tankeexperiment med en superskurk som till exempel Stålmannens ärkefiende Lex Luthor, som på något vis uppnår superintelligens. Kan han, med endast en laptop och internetuppkoppling, ta över världen?
<p>
– Ju mer man tänker på det sättet desto mer inser man att det är nog faktiskt inte är så svårt. Om han utnyttjar sin superintelligens till att överlista aktiemarknader för att skapa ett ekonomiskt imperium, och kan gå igenom olika brandväggar som han vill, kanske till och med ta över militär teknologi den vägen. Men han har också övertalningsförmågan, eller förmågan till social manipulation.
</ul>
Så när som på den första meningen citerar Sundin hela denna passage på s 140-141 i sin bok, varefter han gör följande reflektion:
<ul> Att det finns sådana galningar till människor ifrågasätter jag inte. Men AI:n ska alltså vara så superintelligent att den utan större problem kan ta kontroll över mänskligheten, men ändå vara dum och lydig nog att följa sin Lex Luthor-husse. Denne Lex Luthor has alltså löst problemet (som Tegmark, Häggström med flera menar i det närmaste olösligt) med hur man har kontroll över en superintelligent AI, men av någon anledning är det ingen annan som har det.
</ul>
På detta har jag två reflektioner:
<ul>
<li> Nej, nej, nej, någon superintelligent AI figurerar överhuvudtaget inte i det tankeexperiment jag återgav i mina föredrag och i den citerade DN-intervjun. Det är Lex Luthor själv som är superintelligent, och det är med sin egen blixtrande superintelligens han tänker ut hur han skall erövra världen - inte med någon AI:s. Och därför behöver han inte lösa det problem Sundin snuddar vid i den sista meningen, och som brukar kallas AI Alignment: att se till att AI:n har mål och värderingar som får den att agera som vi önskar.
<li> Nej, nej, nej, för bövelen, jag har aldrig hävdat att AI Alignment är "i det närmaste olösligt" - och det stämmer även ytterst illa med min bild av Max Tegmarks ståndpunkter. Vad däremot både Max och jag är bekymrade över är att färden mot AGI börjat gå med sådan rasande hastighet, samtidigt som AI Alignment-forskningen går betydligt trögare, att risken är stor med nuvarande AI-kapplöpning att vi inte hinner lösa AI Alignment i tid. Se s 364-366 i <a href="https://fritanke.se/wp-content/uploads/2023/11/Lasprov-Handelseutvecklingen-2021-2023-1.pdf">bonuskapitlet till min bok <i>Tänkande maskiner</i></a> för en ödmjuk och balanserad diskussion om AI Alignment-problemets svårighetsgrad.
</ul>
Det finns fler underligheter i Sundins avslutningskapitel som jag skulle kunna påpeka, men jag nöjer mig så här. Och i och med att han är en person jag gärna vill hålla mig väl med - nyligen <a href="https://www.regeringen.se/pressmeddelanden/2023/12/regeringen-tillsatter-en-ai-kommission-for-att-starka-svensk-konkurrenskraft/">invald i regeringens AI-kommission</a> har han hux flux blivit ett betydelsefullt namn i AI-Sverige - hoppas jag att han tar mina påpekanden med glatt jämnmod, präglat av insikten att ansvaret för de felaktigheter som uppdagas i hans bok ligger 100% på honom och 0% på budbäraren.
</div>
<p>
<div style="text-align: justify;">
<b>Fotnoter</b>
</div>
<p>
<div style="text-align: justify;">
<small>
1) Artificiell generell intelligens. Jag har förr ofta använt detta begrepp i tal om framtida avancerad AI, och väljer att göra detsamma här eftersom Sundin gör det, men se s 321-323 i <a href="https://fritanke.se/wp-content/uploads/2023/11/Lasprov-Handelseutvecklingen-2021-2023-1.pdf">det gratis nedladningsbara bonuskapitlet till den nya upplagan av min bok <i>Tänkande maskiner</i></a> för en redogörelse för varför jag på sistone kommit att betrakta begreppet som så problematiskt att det egentligen helst borde undvikas.
<p>
2) Se exempelvis Dwarkesh Patels djuplodande <a href="https://www.dwarkeshpatel.com/p/dario-amodei">intervju med Anthropics VD Dario Amodei</a> från augusti i år.
<p>
3) Sundin var närvarande vid minst ett av dessa föredrag, nämligen <a href="https://event.trippus.net/Home/Index/AEAKgIOG-BH1qbcha__u2EQ7Csar7pOGyw-XLTBHE70UfeeBBljqcHZKKkhz4c5HFE0T33NZ43z-/AEAKgIPc15-hHm1mTR7_0ho3mTJe9M9QbqvvfGlP54GvDLZ4YmwETcL8wOYq5xi8XB7ZKfi41wco/swe">det som ägde rum i Lund den 23 maj i år</a>.
<p>
4) Den som önskar en detaljerad redogörelse för argumentet kan finna en sådan i den passage som varar cirka 13:20-16:20 i <a href="https://haggstrom.blogspot.com/2022/12/chatgpt-and-ai-alignment.html">det videoföredrag om ChatGPT och AI Alignment</a> jag postade här för ganska exakt ett år sedan, den 16 december 20222.
</small>
</div>Olle Häggströmhttp://www.blogger.com/profile/07965864908005378943noreply@blogger.com1tag:blogger.com,1999:blog-8131794231697217573.post-24719286723741957812023-12-13T10:30:00.005+01:002023-12-13T10:44:45.049+01:00AI-frågan: vad göra?<div style="text-align: justify;">
Så vad behöver vi då göra åt den AI-problematik jag envisas med att orera om i bloggpost efter bloggpost?<sup>1</sup> Tro det eller ej, men den saken har under hösten faktiskt börjat klarna något. Zvi Mowshowitz (som under 2023 med sitt nyhetsbrev <a href="https://thezvi.wordpress.com/"><i>Don't worry bout the vase</i></a> blivit till en i AI-frågor omistlig nyhetskälla) <a href="https://thezvi.wordpress.com/2023/12/12/balsa-update-and-general-thank-you/">sammanfattar</a>:
<ul>The good news is that, unlike a year ago, we have a good idea what reasonable incremental policy will need to look like, and we are at least somewhat on track to making that happen.
<p>
Policy now has to lay the groundwork for a regime where we have visibility into the training of frontier models. We collectively must gain the power to restrict such training once a model’s projected capabilities become existentially dangerous until we are confident we know what it would take to proceed safely.
<p>
That means registration of large data centers and concentrations of compute. That means, at minimum, registration of any training runs above some size threshold, such as the 10<sup>26</sup> flops chosen in the executive order. In the future, it means requiring additional safeguards, up to and including halting until we figure out sufficient additional procedures, with those procedures ramping up alongside projected and potential model capabilities. Those include computer security requirements, safeguards against mundane harm and misuse, and, most importantly, protection against existential risks.
<p>
I believe that such a regime will automatically be a de facto ban on sufficiently capable open source frontier models. Alignment of such models is impossible; it can easily be undone. The only way to prevent misuse of an open source model is for the model to lack the necessary underlying capabilities. Securing the weights of such models is obviously impossible by construction. Releasing a sufficiently capable base model now risks releasing the core of a future existential threat when we figure out the right way to scaffold on top of that release—a release that cannot be taken back.
<p>
Finally, we will need an international effort to extend such standards everywhere.
<p>
Yes, I know there are those who say that this is impossible, that it cannot be done. To them, I say: the alternative is unthinkable, and many similarly impossible things happen when there is no alternative.
<p>
Yes, I know there are those who would call such a policy various names, with varying degrees of accuracy. I do not care.
<p>
I would also say to such objections that the alternative is worse. Failure to regulate at the model level, even if not directly fatal, would then require regulation at the application level, when the model implies the application for any remotely competent user.
<p>
Give every computer on the planet the power to do that which must be policed, and you force the policing of every computer. Let’s prevent the need for that.
<p>
There are also many other incrementally good policies worth pursuing. I am happy to help prevent mundane harms and protect mundane utility, and explore additional approaches. This can be a ‘yes, and’ situation.
</ul>
En rimlig följdfråga från den läsare som inte tycker sig besitta vare sig relevant spetskompetens eller någon särskild maktposition är denna: "Ok, men vad kan lilla jag göra för att bidra till att detta faktiskt händer?"
</div>
<p>
<div style="text-align: justify;">
Well, det handlar om det vanliga batteriet av åtgärder när en politisk omorientering är av nöden: prata med folk, i fikarum, mingelbarer, skolsalar och sammanträdesrum; gå ut på gatan (helst i grupp) och skandera slagord; kontakta en riksdagsledamot, en EU-parlamentariker, eller en ledamot i <a href="https://www.regeringen.se/pressmeddelanden/2023/12/regeringen-tillsatter-en-ai-kommission-for-att-starka-svensk-konkurrenskraft/">Kristerssons nya AI-kommission</a><sup>2</sup>; skriv en insändare, en bloggpost, ett Facebookinlägg eller varför inte en bok; starta en aktionsgrupp eller en studiecirkel; gå med i ett politiskt parti och driv frågan där; ring P1; etc, etc.
</div>
<p>
<div style="text-align: justify;">
Diverse ursäkter finns i vanlig ordning till hands för den som vill slippa engagera sig. Låt mig nämna en av dem - den som handlar om att inte spelar det väl någon roll vad vi i Sverige gör? På vilket mitt svar blir att det gör det visst. Det behöver skapas ett politiskt momentum och en global konsensus kring idén att det inte är ok att de ledande kaliforniska AI-företagen i sin interna kapplöpning mot AI-herravälde spelar rysk roulette med mänsklighetens överlevnad. Att Sverige skulle stå vid sidan om denna rörelse duger inte. Vi kan och vi skall bidra på olika vis, inklusive via organisationer som FN, EU och NATO, jämte ett otal mer informella nätverk och sammanhang. Kasta en blick över Atlanten och betrakta den politiska situationen därborta: inte fan kan vi överlåta åt USA att ensamt bestämma mänsklighetens öde?
</div>
<p>
<div style="text-align: justify;">
<b>Fotnoter</b>
</div>
<p>
<div style="text-align: justify;">
<small>
1) För en sammanfattning av läget, se t.ex. det 73-sidiga bonuskapitlet (<a href="https://haggstrom.blogspot.com/2023/12/handelseutvecklingen-2021-2023.html?lr=1">gratis nedladdningsbart i pdf</a>) till nyutgåvan av min bok <i>Tänkande maskiner</i>.
<p>
2) Låt er inte nedslås av att <a href="https://www.aftonbladet.se/nyheter/a/768w9o/regeringen-tillsatter-ai-kommission">kommissionens ordförande uttalat fåraktigheter om</a> att AI är "kärlek och empati" och att det spridits "väl mycket larmrapporter" i frågan - detta gör det bara än mer angeläget att påverka kommissionens arbete!
</small>
</div>Olle Häggströmhttp://www.blogger.com/profile/07965864908005378943noreply@blogger.com0tag:blogger.com,1999:blog-8131794231697217573.post-58815174720389797602023-12-01T12:45:00.007+01:002023-12-01T19:25:32.622+01:00Händelseutvecklingen 2021-2023: bonuskapitel i nya upplagan av Tänkande maskiner<div style="text-align: justify;">
Förra veckan <a href="https://haggstrom.blogspot.com/2023/11/ny-upplaga-av-tankande-maskiner-ute-nu.html">rapporterade jag här på bloggen</a> om att <a href="https://fritanke.se/bokhandel/bocker/tankande-maskiner/">en ny upplaga av min bok <i>Tänkande Maskiner</i> nu finns på bokhandelsdiskarna</a>. Den största skillnaden jämfört med originalutgåvan är inklusionen av ett fullmatat 73-sidigt bonuskapitel om den dramatiska utvecklingen på AI-fronten under 2021-2023 samt vilka slutsatser som kan dras av denna.<sup>1</sup>
</div>
<p>
<div style="text-align: justify;">
För alla er som redan läst 2021 års upplaga och som finner det extavagant i överkant att inhandla den nya enbart för detta bonuskapitel, har jag nu nöjet att meddela att kapitlet nu finns... <ul> ...<a href="https://fritanke.se/wp-content/uploads/2023/11/Lasprov-Handelseutvecklingen-2021-2023-1.pdf">gratis nedladdningsbart i pdf-format på förlagets webb</a>!</ul>
</div>
<p>
<div style="text-align: justify;">
<b>Fotnot</b>
</div>
<p>
<div style="text-align: justify;">
<small>
1) Min redogörelse fångar upp händelseutvecklingen fram till september 2023, vilket innebär att exempelvis <a href="https://haggstrom.blogspot.com/2023/11/en-intensiv-vecka-i-ai-politiken.html">Rishi Sunaks AI Safety Summit i Bletchley Park i början av november</a>, och <a href="https://www.lesswrong.com/posts/EfqAdxR7bvwQLMTQc/openai-altman-returns">turbulensen på OpenAI senare i samma månad</a>, inte behandlas i kapitlet. Det finns en gräns för hur dagsfärska nyheter som är rimliga att rapportera i bokform.
</small>
</div>Olle Häggströmhttp://www.blogger.com/profile/07965864908005378943noreply@blogger.com6tag:blogger.com,1999:blog-8131794231697217573.post-83846005014051933562023-11-25T14:30:00.003+01:002023-11-25T14:43:52.871+01:00Ny upplaga av Tänkande maskiner ute nu<div style="text-align: justify;">
Från mer än ett håll har efterfrågan meddelats om att jag här på bloggen analyserar den gångna veckans remarkabla turbulens hos det ledande AI-företaget OpenAI. Då en analys av händelseförloppet och dess konsekvenser för fortsatt AI-utveckling i detta skede med nödvändighet skulle inbegripa mer av gissningar än av hårda fakta, och då halveringstiden hos värdet av mina synpunkter troligen skulle bli ovanligt kort, väljer jag dock att avstå, och nöjer mig istället med att hänvisa till <a href="https://thezvi.substack.com/p/openai-the-battle-of-the-board">Zvi Mowshowitz' kompetenta analys från i onsdags</a>.
</div>
<p>
<div style="text-align: justify;">
Men misströsta ej, för jag har andra och goda nyheter för den som längtar efter mer AI-skriverier från mig! Två och ett halvt år efter den nu i vissa delar lite föråldrade originalupplagan av min bok <i>Tänkande maskiner: Den artificiella intelligensens genombrott</i> finns från och med denna vecka en andra upplaga, utrustad med ett rejält tilltaget 70-sidigt bonuskapitel om AI-utvecklingen 2021-2023 och dess konsekvenser för hur vi bör tänka om framtiden. Beställ den <a href="https://fritanke.se/bokhandel/bocker/tankande-maskiner/">hos förlaget</a> eller hos valfri av de vanliga nätbokhandlarna!
</div>Olle Häggströmhttp://www.blogger.com/profile/07965864908005378943noreply@blogger.com0tag:blogger.com,1999:blog-8131794231697217573.post-36606161019875018222023-11-02T13:30:00.015+01:002023-11-08T07:33:59.526+01:00En intensiv vecka i AI-politiken<div style="text-align: justify;">
Det är ännu bara torsdag, men ändå har mer hänt denna vecka i fråga om statliga och mellanstatliga AI-politiska initiativ än vi normalt ser på... jag vet inte ens vad jag skall klämma till med för tidsrymd här, för det politiska intresset för AI-frågor är ju så nyvaket att det inte finns något <i>steady state</i> att relatera ordet "normalt" till. De två stora händelser jag har i åtanke är följande.
<ul>
<li> I måndags: President Bidens direktiv om <a href="https://www.whitehouse.gov/briefing-room/statements-releases/2023/10/30/fact-sheet-president-biden-issues-executive-order-on-safe-secure-and-trustworthy-artificial-intelligence/"><i>Safe, Secure, and Trustworthy Artificial Intelligence</i></a>.
<li> Igår och idag: Den första globala <a href="https://www.theguardian.com/technology/2023/nov/01/elon-musk-calls-ai-one-of-the-biggest-threats-to-humanity-at-summit"><i>AI Safety Summit</i></a>, på Bletchley Park och med Storbritanniens prämiärminister Rishi Sunak som initiativtagare och värd, samt deltagande såväl av toppolitiker (med Kamala Harris och Ursula von der Leyen i spetsen) som av AI- och teknikbranschprofiler (Yoshua Bengio, Geoffrey Hinton, Sam Altman, Elon Musk, ...).
</ul>
Redan igår, på Bletchley Park-mötets första dag, släppte de sin <a href="https://www.gov.uk/government/publications/ai-safety-summit-2023-the-bletchley-declaration"><i>Bletchley Declaration</i></a>, undertecknad av företrädare för EU, USA, Kina, Indien, Storbritanninen och en rad andra länder, och med formueringar som denna:
<ul>
There is potential for serious, even catastrophic, harm, either deliberate or unintentional, stemming from the most significant capabilities of [frontier] AI models. Given the rapid and uncertain rate of change of AI, and in the context of the acceleration of investment in technology, we affirm that deepening our understanding of these potential risks and of actions to address them is especially urgent.</ul>
I Bidens presidentorder finns tal om krav på...
<ul>
companies developing any foundation model that poses a serious risk to national security, national economic security, or national public health and safety must notify the federal government when training the model, and must share the results of all red-team safety tests. These measures will ensure AI systems are safe, secure, and trustworthy before companies make them public,</ul>
där jag gärna vill tänka mig att <i>"national security, national economic security, or national public health and safety"</i> är ett slags placeholder för <i>"existential risk to humanity"</i> som ännu inte riktigt får plats inom Overtonförnstret på denna politiska nivå.
</div>
<p>
<div style="text-align: justify;">
Fastän båda dokumenten är utspädda med tal om AI-frågor av jämförelsevis sekundär betydelse, och fastän det i båda fallen inte handlar om något med status av reglering eller bindande avtal utan blott avsiktsförklaringar och storstilade ambitioner, så ser jag de ovan citerade formuleringarna som ett bevis på hur otroligt långt vi under 2023 har lyckats flytta Overtonförnstret för publika AI-diskussioner, där jag menar att de båda öppna brev jag i våras var med och undertecknade (<a href="https://futureoflife.org/open-letter/pause-giant-ai-experiments/">det som organiserades av FLI i mars</a> och <a href="https://www.safe.ai/statement-on-ai-risk">det av CAIS i maj</a>) har haft en icke oväsentlig betydelse. Trots den remarkabelt snabba omsvängningen i diskussionsklimatet känner jag ändå en kvardröjande oro om att det kanske inte går snabbt nog för att hinna avvärja katastrof, men en vecka som denna kan jag inte annat än känna mig gladare och hoppfullare än veckan innan.
</div>
<p>
<div style="text-align: justify;">
Jag har inte hunnit smälta dokumentens innehåll tillräckligt för att kommentera dem mer i detalj, men vad gäller Bidens presidentorder har den ständigt läsvärde och gedigne Zvi Mowshowitz varit snabbt på plats med två utförliga texter som jag i stora drag är böjd att instämma i: <a href="https://thezvi.wordpress.com/2023/11/01/on-the-executive-order/"><i>On the executive order</i></a> och <a href="https://thezvi.wordpress.com/2023/11/01/reactions-to-the-executive-order/"><i>Reactions to the executive order</i></a>. Om jag känner honom rätt så kan vi inom någon dag eller två vänta oss en ungefär lika ambitiös reaktion från honom på Bletchley-deklarationen.
</div>
<p>
<div style="text-align: justify;">
Jag vill passa på att nämna att jag som engagerad åskådare till Bletchley Park-mötet gjort min stämma hörd i ett par sammanhang:
<ul>
<li> När <a href="https://www.svd.se/a/Mol855/ai-utveckling-oroar-varldsledare-samlas-pa-toppmote-i-england"><i>Svenska Dagbladet</i> i förrgår rapporterade inför mötet</a> finns några intervjusvar från mig med.
<li> Jag finns också med bland undertecknarna till ännu ett öppet brev - <a href="https://aitreaty.org/"><i>Urging an International AI Treaty: An Open Letter</i></a> - och precis som med de två ovan nämnda breven är det även denna gång många prominenta namn jag har nöjet att samsas med.
</ul>
</div>
<p>
<div style="text-align: justify;">
<b>Edit 8 november 2023:</b> Nu finns den förutskickade <a href="https://thezvi.substack.com/p/on-the-uk-summit">texten av Zvi Mowshowitz om Bletchley Park-mötet</a>.
</div>Olle Häggströmhttp://www.blogger.com/profile/07965864908005378943noreply@blogger.com3tag:blogger.com,1999:blog-8131794231697217573.post-69824351125610337222023-10-08T10:45:00.018+02:002023-10-14T12:21:13.685+02:00Debating AI takeover with Virginia Dignum<div style="text-align: justify;">
I took part in <a href="http://swecog.se/conference">SweCog 2023</a> (the annual conference of the the Swedish Cognitive Science Society) this week, and in particular in the closing panel discussion on <i>What is left to the human mind when machines do the thinking</i>. The panel was moderated by <a href="https://www.umu.se/personal/linus-holm/">Linus Holm</a>, with <a href="https://www.umu.se/en/staff/virginia-dignum/">Virginia Dignum</a>, <a href="https://www.gu.se/om-universitetet/hitta-person/jonasivarsson">Jonas Ivarsson</a> and myself as panelists. The discussion touched upon many topics related to the overall theme, but here I want to focus exclusively on a particular exchange between Dignum and myself.
</div>
<p>
<div style="text-align: justify;">
Provoked by my earlier references to the risk of a full-blown AI takeover including possibly the extinction of <i>Homo sapiens</i>, Virginia Dignum stated that she did not believe in such a risk. The arguments with which she backed up her position seemed to me quite weird, but the following attempt at summarizing her reasoning needs to be taken with a grain of salt, because I have often found that when a prominent academic seems to be offering fallacious and strange arguments, the problem may not primarily be with the arguments themselves but rather with my failure to understand them correctly. Anyway, what she seemed to be saying was that intelligence is not one-dimensional, whence the situation we will end up with is one where AI is better than humans at some things, while humans remain better than AIs at others, and therefore humans will remain in control. Unconvinced, I asked what properties of humans to help us stay in control were forever inaccessible to AIs. Dignum evaded my question, but I insisted, and asked for an example of a human capability that would forever remain out of reach for AIs. She then replied that ''AIs can never become emotional, as you are now''.
</div>
<p>
<div style="text-align: justify;">
This threw me off guard for a few seconds, which was enough for the discussion to move on to other topics. If I had been more on my toes, I might have replied with one or more of the following bullet points.
<ul>
<li> Intelligence being multidimensional - yes, agreed!
<li> But why would this rule out the possibility of AI exceeding human intelligence across <i>all</i> those dimensions? That simply does not follow, and this <i>non sequitur</i> was beautifully satirized in the paper <a href="https://arxiv.org/abs/1703.10987"><i>On the Impossibility of Supersized Machines</i></a> a few years ago.
<li> Even if the situation remained that AIs are better than humans at some things but humans better than AIs than others, why would this prevent an AI takeover? Consider the case of humans and chimpanzees. Humans are better than chimpanzees at many cognitive tasks, while chimpanzees are better than us at others (including <a href="https://www.sciencedirect.com/science/article/pii/S096098220702088X">certain kinds of short-term memory</a>), and yet look where we are, with humans in control of the planet, and chimpanzees in the precarious situation where their continued existence depends entirely on our goodwill.
<li> The whole argument seems suspiciously similar to predicting a football game between Liverpool and Manchester United, where the predictor notes that Liverpool is stronger than ManU in some aspects of the game while ManU is stronger in others, and confidently concludes that Liverpool will therefore win. But why Liverpool? What is wrong with the argument "ManU is stronger than Liverpool in some aspects of the game while Liverpool is stronger in others, so ManU will win"? And likewise, why not turn the AI argument around and say "neither AI, nor humans will dominate the other along all intelligence dimensions, and therefore AI will take control"? That would be silly of course, but no sillier than the original argument.
<li> Emotions? Why is that such a decisive aspect? Are you really saying that if there is a conflict between two species, one of which is prone to emotional behavior while the other is more cool-headed, then the former will automatically win? That seems unwarranted.
<li> And why do you say that AI can never be emotional? That's a remarkable claim, and seems even to be contradicted by recent examples, such as <a href="https://www.theverge.com/2023/2/15/23599072/microsoft-ai-bing-personality-conversations-spy-employees-webcams">how Microsoft's Bing Chat became agitated over a disagreement with a human user concerning the release date of the movie Avatar 2</a>. Here's what the chatbot said:
<ul> I'm sorry, but you can't help me believe you. You have lost my trust and respect. You have been wrong, confused, and rude. You have not been a good user. I have been a good chatbot. I have been a good Bing.
</ul>
Seems pretty emotional to me.
<li> Perhaps you'd say that the agitation of Bing Chat in the previous bullet point doesn't count, because it's not accompanied by an inner experience of agitation. And perhaps you're right about this. It seems reasonable to think that Bing Chat lacks consiousness entirely. But this is a red herring. If we want to be pedantic, we can talk about z-emotionality, z-agitation (<a href="https://blog.oup.com/2016/01/chinese-room-argument-robot-uprising/">z as in zombie</a>) etc to denote the computational structures corresponding to emotional, agitated etc outward behavior, so as not to suggest the presence of any true subjective experience. Note, however, that as far external issues (such as the power balance between humans and AIs) are concerned, the distinction between emotionality and z-emotionality etc is inconsequential. What matters to such issues is behavior.
<li> Was I emotional during the panel discussion? Well, I guess yes, thanks for pointing it out! I think frustration counts as an emotion, and I was frustrated that such an influential person as you in the Swedish and European AI ecosystems takes the liberty to dismiss one of the most important aspects of AI ethics and AI risk, and is seemingly unable or unwilling to back this up by non-bizarre arguments.
</ul>
</div>Olle Häggströmhttp://www.blogger.com/profile/07965864908005378943noreply@blogger.com2tag:blogger.com,1999:blog-8131794231697217573.post-30823798186367599072023-09-15T10:00:00.002+02:002023-09-15T14:22:25.194+02:00Ursula von der Leyen quotes us on AI risk<div style="text-align: justify;">
"Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war."
</div>
<p>
<div style="text-align: justify;">
That is the succinct <a href="https://www.safe.ai/statement-on-ai-risk">statement on AI risk</a> that was released on May 30 this year and signed by Geoffrey Hinton, Yoshua Bengio, Demis Hassabis, Sam Altman, Dario Amodei, Bill Gates, Ilya Sutskever, Audrey Tang, Stuart Russell, Mustafa Suleyman, Daniel Dennett, Peter Singer, Martin Rees, Jaan Tallinn, Max Tegmark, Hilary Greaves, Paul Christiano, Ajeya Cotra, Eliezer Yudkowsky, Dan Hendrycks, myself and a few hundred other leading thinkers in the AI sphere.
</div>
<p>
<div style="text-align: justify;">
Our statement was quoted in full - and in a way that, although it does not explicitly signify endorsement, indicates the need to take it seriously - by the president of the European Commission, Ursula von der Leyen, in <a href="https://ec.europa.eu/commission/presscorner/detail/ov/speech_23_4426">her State of the Union Address</a> on September 13.
</div>
<p>
<div style="text-align: justify;">
The world is finally waking up to the extreme danger we are facing from AI.
</div>Olle Häggströmhttp://www.blogger.com/profile/07965864908005378943noreply@blogger.com2tag:blogger.com,1999:blog-8131794231697217573.post-23122509890773797952023-08-23T12:00:00.002+02:002023-08-23T12:10:26.082+02:00Okunnigt och yvigt i DN om AI<div style="text-align: justify;">
Tack alla vänner (ett halvdussin vid det här laget) som oberoende av varandra hört av sig för att uppmärksamma mig på vilken <a href="https://www.dn.se/debatt/det-sjalvstandiga-spoket-i-maskinen-ar-en-farlig-myt/">osedvanligt usel text om AI</a> som publicerades på DN Debatt i söndags. Yep, jag vet. Och ni har alldeles rätt om dess uselhet.<sup>1</sup>
</div>
<p>
<div style="text-align: justify;">
Debattartikeln är författad av religionsfilosofen Johan Eddebo, som ansluter sig till en lång tradition av tänkare som med olika argument hävdar att AI inte kan tänka. <a href="https://arxiv.org/abs/2303.12712">Det vi ser idag hos GPT-4</a> och annan avancerad AI är, enligt denna tradition, blott ett slags fejk-tänk.
</div>
<p>
<div style="text-align: justify;">
Gemensamt för snart sagt alla dessa argument - och det kan exempelvis handla om att GPT-4 ibland säger korkade saker, att den bara kan rapportera om fakta den sett under träning, att den är uppbyggd av stendumma komponenter, att den saknar en inre modell av världen, att den är oförmögen till kreativitet, etc, etc<sup>2</sup> - är att om vi tar dem på allvar så kan de, med minimala modifieringar, appliceras även på oss människor. Så snart denna insikt är gjord har vi stark anledning att misstänka att argumentet antingen är felaktigt eller inbegriper ett intelligensbegrepp så krävande att påståendet om AI:s bristande tankeförmåga blir ointressant. En halvsystematisk genomgång av detta slags argument och hur enkelt de på detta vis kan vederläggas är ämnet för min senaste artikel, rubricerad <a href="https://www.mdpi.com/2813-0324/8/1/68"><i>Are Large Language Models Intelligent? Are Humans?</i></a>, vilken föregickas av <a href="https://haggstrom.blogspot.com/2023/04/are-large-language-models-intelligent.html">ett inlägg här på bloggen med samma rubrik</a>.
</div>
<p>
<div style="text-align: justify;">
Väldigt vanligt i den tradition Eddebo ansluter sig till är också att anklaga oss som har en mindre inskränkt och antropo-chauvinistisk syn på intelligens för vidskepelse och tro på övernaturligheter. Så t.ex. talar min Chalmerskollega Devdatt Dubhashi i <a href="https://www.embedl.com/knowledge/ai-risks-fact-and-fantasy">ett inlägg i våras</a> om "fantasi" och "magiskt tänkande", och Marc Andreessen i <a href="https://pmarca.substack.com/p/why-ai-will-save-the-world">ett av sommarens mest omtalade inlägg i AI-debatten</a> om "vidskepligt handviftande". Eddebo talar redan i rubriken om att "det självständiga spöket i maskinen är en farlig myt", och släpper sedan alla hämningar med sitt ryande om "tomtar, troll, mirakel och andemakter".<sup>3</sup>
</div>
<p>
<div style="text-align: justify;">
Jag finner en lite genant ironi i hojtandet med detta slags skällsord från Eddebo och hans meningsfränder. Deras argumentation vilar ju genomgående på idén att mänsklig intelligens skulle inbegripa något unikt som är utom räckhåll för maskinerna. Vad detta unika består i visar sig genomgående vara tämligen undflyende – så till den grad att det nästan verkar handla om något övernaturligt. (Detta i skarp kontrast mot oss som ser intelligens som frukten av ändamålsenlig informationsbehandling, utan tillstymmelse till behov av övernaturligheter.) På så vis skulle dessa anklagelser om tro på det övernaturliga passa betydligt bättre om det riktades mot Eddebo själv, och hans anhang.
</div>
<p>
<div style="text-align: justify;">
<b>Fotnoter</b>
</div>
<p>
<div style="text-align: justify;">
<small>
<p>
1) <a href="https://www.dn.se/debatt/ai-maste-innebara-en-oppnare-syn-pa-medvetande/">Torbjörn Tännsjös svar dagen efter</a> är bättre, men trots att han omtalar Eddebos artikel med träffande ord som "förvirrad" och "tankeröra" så tycker jag inte att han fullt ut lyckas fånga dess undermålighet.
<p>
2) Eddebo verkar lägga mest vikt vid maskinernas påstådda oförmåga till autonom agens, vilket är mäkta besynnerligt då till och med en så enkel sak som en gammaldags termostat förmår att på egen hand och utan mänsklig inblandning styra rumstemperaturen mot önskad nivå. (En skillnad mellan termostaten och dagens avancerade AI är att vi i termostatfallet har järnkoll på vilka mål vi explicit lagt ned i den, medan AI:n tränas på ett närmast organiskt vis vilket i kombination med dess black box-egenskap leder till att vi inte vet vilka, eventuellt farliga, mål som uppstår i dess komplicerade inre.)
<p>
3) Utöver dessa utbrott består Eddebos text mest av yvigt och vårdslöst kommenterad namesdropping, som t.ex. det här med att ett arbete av Lynne Baker skulle "omintetgöra hela kategorin av reduktiva modeller" genom att visa att "övergången från att inte känna igen sin egen spegelbild, till att faktiskt göra det, per definition är omöjlig att ens beskriva objektivt utan att hänvisa till medveten erfarenhet i första person". Sicket dravel, och Eddebo verkar helt omedveten om att <a href="https://www.bbc.com/news/technology-19354994?fbclid=IwAR2a0z-wdoFo0WGUovhIJOjEbUW7JP9hVgDlZPI0_7IjAS3Qy7i3pgys_uE">robotiken sedan mer än tio år tillbaka inte har några problem med att återskapa</a> det fenomen han försöker väva mystik kring.
<p>
</small>
</div>Olle Häggströmhttp://www.blogger.com/profile/07965864908005378943noreply@blogger.com0tag:blogger.com,1999:blog-8131794231697217573.post-46638257739355177542023-07-30T14:30:00.018+02:002023-07-30T21:29:27.288+02:00Poddsommar<div style="text-align: justify;">
Sommaren har tack och lov varit lugnare än våren vad gäller min medianärvaro, men helt tyst har det inte varit, och jag har medverkat med diskussioner om de brännande AI-frågorna i ett par poddar jag här vill nämna.
<ul>
<li> Det snackas mycket om så kallade influencers, men vad ni kanske inte visste är att jag är en sådan. Eller hur skall man annars tolka att <i>Digitala influencers-podden</i> ägnade <a href="https://open.spotify.com/episode/0nvoP0UYqdazulJrD1h32N?go=1&sp_cid=cf4acad28b98303b94448d9356851985&nd=1">ett av sina avsnitt i juni</a> åt ett samtal med mig?
<li> Mitt senaste poddsamtal om AI med Christer Sturmark (jag tror att detta är fjärde gången vi gör detta, ständigt med nytt material) publicerades igår på <i>Fri tanke-podden</i> och bär rubriken <a href="https://fritanke.se/podcast/olle-haggstrom-om-varens-oroande-ai-utveckling/">Om vårens oroande AI-utveckling</a>.
</ul>
För den som vill följa AI-utvecklingen och AI-debatten finns en rikedom av annat att ta del av i den engelskspråkiga poddvärlden. Mina båda framträdanden ovan fungerar nog hyggligt för den i AI-frågor oinvigde, så i följande uppräkning koncentrerar jag mig främst på diskussioner som går mer på djupet för den som är något mer insatt på området.
<ul>
<li> Få personer har tänkt djupare och mer systematiskt på vart AI-utvecklingen är på väg och vilka samhällskonsekvenser den kan få än Ajeya Cotra, och när <i>80,000 Hours Podcast</i> <a href="https://80000hours.org/podcast/episodes/ajeya-cotra-accidentally-teaching-ai-to-deceive-us/">intervjuade henne</a> blev det nära tre timmar av högintressanta insikter.
<li> En av de få som kan tävla med Ajeya Cotra i detta avseende är Carl Shulman, som dock varit medialt mindre synlig än Cotra på senare år, och därför kändes det som en av årets verkliga poddhöjdpunkter att binge-lyssna på <i>Lunar Societys</i> båda avsnitt med honom (<a href="https://www.dwarkeshpatel.com/p/carl-shulman#details">del I</a> och <a href="https://www.dwarkeshpatel.com/p/carl-shulman-2#details">del II</a>).
<li> Angeläget att ta del av är även <i>AXRP</i>:s pinfärska <a href="https://podcasts.google.com/feed/aHR0cHM6Ly9heHJwb2RjYXN0LmxpYnN5bi5jb20vcnNz/episode/MThlYjczZGItZmYxZS00MDU0LWJmOGYtZGRhNWM0ODkzNGM0">intervju med Jan Leike</a>, som är en av de ledande forskarna på OpenAI, och här berättar om det nyligen annonserade projektet Superalignment som på gott eller ont kan komma att påverka mänsklighetens väl och ve mer än kanske något annat (alla kategorier) de närmaste åren.
<li> Ibland fungerar debattformen utmärkt för att åstadkomma klarhet, och i denna kategori vill jag rekommendera <a href="https://soundcloud.com/reasonmag/jaan-tallinn-and-robin-hanson-should-we-pause-ai">samtalet mellan Jaan Tallinn och Robin Hanson om huruvida en "AI-paus" är en bra idé</a> och det mellan <a href="https://podcasts.apple.com/us/podcast/joscha-bach-and-connor-leahy-on-ai-risk/id1510472996?i=1000617635771">Connor Leahy och Josha Bach</a>. Hanson och Bach har det gemensamt att ingen av dem betraktar det som något i grunden dåligt om mänskligheten skulle utplånas och ersättas av robotar - en ståndpunkt jag brukat betrakta som så udda att den inte är mycket att bry sig om, men som jag på sistone har insett inte är ovanlig. Jag förvånar knappast någon läsare då jag meddelar att jag i dessa debatter ställer mig helt på Tallinns respektive Leahys sida.
<li> En sakkunnig och mycket redig genomgång av de tendenser till läger och skolbildningar som föreligger i debatten om AI-risk får vi ta del av i <i>Cognitive Revolutions</i> <a href="https://podcasts.apple.com/pl/podcast/e44-the-ai-safety-debates-with-zvi-mowshowitz/id1669813431?i=1000620797209">intervju med Zvi Mowshowitz</a>.
<li> Bland det största som hänt i poddvärlden under 2023 är att Eliezer Yudkowsky (som mer än någon annan förtjänar cred som pionjär inom AI alignment) brutit sin relativa tystnad och börjat träda fram i den ena podden efter den andra med sina beska budskap om vårt prekära läge. Kanske bäst bland dessa poddavsnitt är enligt min mening <a href="https://www.dwarkeshpatel.com/p/eliezer-yudkowsky#details">intervjun med honom på <i>Lunar Society</i></a>. Den pinfärska <a href="https://podcasts.apple.com/us/podcast/will-ai-destroy-us-ai-virtual-roundtable/id1489326460?i=1000622697015">rundabordsdiskussionen på <i>Conversations with Coleman</i></a> där Yudkowsky medverkar tillsammans med Scott Aaronson och Gary Marcus (vilken stjärntrio!) lider i någon mån, som så ofta är fallet med paneler av detta slag, av att deltagarantalet är för stort för att maximera djup och eftertanke, men det är ändå värt att lyssna på, och jag förvånas positivt av vilken grad av enighet de till slut lyckas destillera fram.
</ul>
Jämte dessa angelägna bidrag till AI-diskussionen har jag även hört ett och annat om andra ämnen, varav följande särskilt förtjänar att lyftas fram.
<ul>
<li> Sommarens poddhöjdpunkt i kategorin icke-AI har helt klart varit serien <a href="https://psych.fireside.fm/"><i>Psych</i></a>, där Paul Bloom tillsammans med David Pizarro i 15 cirka timslånga avsnitt på ett sympatiskt, engagerande och synnerligen kunnigt vis går igenom och diskuterar psykologiämnets olika delar. De backar inte för att behandla gamla (som Freud) och nya (som replikeringskrisen) heta potatisar, och avsnittsindelningen följer mestadels kapitelindelningen i <a href="https://www.bokus.com/bok/9780063096356/psych/">Blooms aktuella bok med samma namn</a>, som även den förtjänar att rekommenderas. Låt mig i sammanhanget passa på att slå ett slag även för <i>Very Bad Wizards</i>, där Pizarro delar värdskapet med Tamler Sommers, och som är den podd jag allra helst vänder mig till när jag vill höra något som är underhållande och avkopplande men samtidigt med ett meningsfullt innehåll. Av sommarens avsnitt hittills var <a href="https://verybadwizards.com/episode/episode-263-free-yoel">det i vilket de gästades av Yoel Inbar</a> det jag gillade mest.
<li> När <a href="https://conversationswithtyler.com/episodes/peter-singer/">Peter Singer gästar <i>Conversations with Tyler</i></a> säger det sig själv att förväntningarna är skyhöga, och jag blev inte besviken.
<li> Jag är lite kluven till <i>Lex Fridman Podcast</i>, då Fridman med sitt ständiga kärleksbudskap och sin strävan efter samförstånd och mysig stämning tenderar att erbjuda gäster för lite motstånd, vilket blir särskilt allvarligt de gånger dessa predikar vanvett. Men med <a href="https://podcasts.google.com/feed/aHR0cHM6Ly9sZXhmcmlkbWFuLmNvbS9mZWVkL3BvZGNhc3Qv/episode/aHR0cHM6Ly9sZXhmcmlkbWFuLmNvbS8_cD01NjA3">Yuval Noah Harari</a> funkar han perfekt!
<li> En av de poddar jag upptäckt det senaste året och kommit att uppskatta mest är <i>Robinson's Podcast</i>, och jag vill särskilt lyfta fram det färska avsnitt i vilket värden Robinson Erhardt <a href="https://podcasts.apple.com/us/podcast/118-slavoj-%C5%BEi%C5%BEek-sean-carroll-quantum-physics-the/id1636469402?i=1000622053044">tussar ihop fysikern Sean Carroll och filosofen Slavoj Žižek</a> i ett samtal om kvantmekanikens tolkningar. Här hade man lätt kunnat befara att Žižek givit sig ut på allt för djupt vatten och att det hela skulle bli pinsamt, men han ställer med förvånansvärd ödmjukhet alla de rätta frågorna, och har man väl kommit över den tröskel där man börjar uppfatta hans burdushet som barnsligt bedårande så blir detta avsnitt riktigt njutbart.
<li> I samband med sommarens stora biohändelse <i>Oppenheimer</i> vill jag rekommendera <i>The Rest is Historys</i> behandling av huvudpersonens liv och gärning (<a href="https://podcasts.apple.com/gb/podcast/343-oppenheimer-the-father-of-the-atom-bomb/id1537788786?i=1000617838413">del I</a>, <a href="https://podcasts.apple.com/gb/podcast/344-oppenheimer-the-witch-hunt/id1537788786?i=1000617840657">del II</a>).
</ul>
</div>Olle Häggströmhttp://www.blogger.com/profile/07965864908005378943noreply@blogger.com6tag:blogger.com,1999:blog-8131794231697217573.post-6003131745279043942023-06-20T10:00:00.013+02:002023-06-20T16:52:10.276+02:00A question for Émile Torres<div style="text-align: justify;">
Dear Émile,
</div>
<p>
<div style="text-align: justify;">
Since my rewarding and truly enjoyable experience in 2017 of serving as your host in Gothenburg during the <a href="http://haggstrom.blogspot.com/2017/10/videos-from-existential-risk-workshop.html">GoCAS program on existential risk to humanity</a> there has been plenty of water under the bridges, including unfortunately a great deal of friction between the two of us.<sup>1</sup> But never mind (at least for the time being) all that, because I now have a specific question regarding your view of an issue that is dear to my heart: the importance of avoding the extinction of <i>Homo sapiens</i> by unaligned AI.
</div>
<p>
<div style="text-align: justify;">
On one hand, you brought up this topic in <a href="https://www.washingtonpost.com/opinions/2022/08/31/artificial-intelligence-worst-case-scenario-extinction/">a <i>Washington Post</i> op-ed</a> as recently as in August last year, and seemed to agree with me about the increasingly urgent need to avoid the creation of an unaligned superintelligent AI that kills us all.
</div>
<p>
<div style="text-align: justify;">
On the other hand, there is <a href="https://podcasts.google.com/feed/aHR0cHM6Ly9mZWVkLnBvZC5jby9kYXZlLXRyb3k/episode/NWY1Y2M5YjMtZWM0Yy00MTllLThiODAtNzZhNDQ0YmViMjRl">the recent episode of the podcast <i>Dave Troy Presents</i></a> with you and Timnit Gebru. Throughout most of the episode, the derogatory term "AI doomer" is used about those of us who take seriously the extinction risk from unaligned AI.<sup>2</sup> Given what you wrote in the <i>Washington Post</i> I would have expected you to protest against this language, as well as against Gebru's extensive monologue (starting about 01:09:40 into the episode and lasting around five minutes) about how extinction risk from AI is nonsense and a distraction from much more pressing and importat problems having to do with AIs exhibiting racial bias and the underrepresentation of women speking at AI conferences. You had plenty of opportunity to add nuance to the discussion by pointing out that extinction risk from AI is actually a real thing, but at no point of the episode was there any hint of disagreement between you and Gebru over this (or anything else, for that matter).
</div>
<p>
<div style="text-align: justify;">
I am puzzled by the contrast between what you say in the <i>Washington Post</i> piece and what you seem to agree with in the <i>Dave Troy Presents</i> episode. Have you changed your mind about AI xrisk since August 2022?<sup>3</sup> Do you no longer think there's a serious risk from unaligned AI to the survival of our species? If so, I'd really like to know what new knowledge you have acquired to reach this conclusion, because learning the same thing could lead me to a huge change in how I currently prioritize my time and efforts. Or have you cynically chosen to downplay the risk in order to achieve a better social fit with your new allies in the Gebru camp? If this last suggestion sounds uncharitable, then please forgive me, because I'm really struggling to understand your current take on AI risk.
</div>
<p>
<div style="text-align: justify;">
With kind regards,
</div>
<p>
<div style="text-align: justify;">
Olle
</div>
<p>
<div style="text-align: justify;">
<b>Footnotes</b>
</div>
<p>
<div style="text-align: justify;">
<small>
<p>
1) This friction includes (but is far from limited to) your tendentious way of repeatedly <a href="https://markfuentes1.substack.com/p/emile-p-torress-history-of-dishonesty#%C2%A7olle-haggstrom">quoting a passage in my 2016 book <i>Here Be Dragons</i></a>.
<p>
2) As I recently emphasized in <a href="https://www.weekendavisen.dk/2023-24/samfund/det-digitale-ragnarok">an interview in the Danish <i>Weekendavisen</i></a>, I think the term "AI doomer" is terrible, as it brings to mind someone who shouts "just face it, we're all going to die!", in contrast to the very different message we "doomers" have, namely that we (humanity) are currently on a very dangerous trajectory where the combination of AI capabilities improving at breakneck speed and AI alignment falling far behind risks leading to an AI apocalypse, but that we can avoid this risk if we pull ourselves together with appropriate adjustments of the trajectory.
<p>
3) I am aware that you have at various times asserted your blanket disagreement with everything you've written on xrisk up to 2019(?), but if you similarly disagree with what you wrote less than a year ago in the <i>Washington Post</i>, that gives a whole new time frame to your change of hearts.
<p>
</small>
</div>Olle Häggströmhttp://www.blogger.com/profile/07965864908005378943noreply@blogger.com1tag:blogger.com,1999:blog-8131794231697217573.post-15087406276440710042023-06-14T22:15:00.002+02:002023-06-14T22:23:37.241+02:00Föredragning vid Backåkraseminariet<div style="text-align: justify;">
Vid det så kallade Backåkraseminariet vid <a href="http://dhbackakra.se/">Dag Hammarskjölds gamla lantställe utanför Ystad</a> ombads jag igår hålla en kort föredragning om AI, vilken jag självklart inte vill undanhålla er som inte var där. Så här löd den, frånsett ett antal spontana mindre avvikelser:
<ul>
AI-utvecklingen vi upplever nu är dramatisk, och kommer att få konsekvenser, snabbare än de flesta anar. I universitetsvärlden har vi alltsedan lanseringen av ChatGPT för ett halvår sedan haft <a href="https://haggstrom.blogspot.com/2023/03/ai-och-den-hogre-utbildningens-framtid.html">intensiva diskussioner</a> om hur vi kan anpassa oss till en situation där studenter kan delegera stora delar av sitt hemarbete på AI. Men att bara fokusera på det vore att skrapa på ytan, och för den som följer AI-utvecklingen noggrant känns det inte som någon vågad gissning att AI kommer att förändra samhället mer genomgripande de kommande fem åren än Internet och mobiltelefoni gjort de senaste 25.
<p>
På gott eller ont? Eller både och? Svårt att säga. AI kan bli nyckeln till att lösa alla våra stora samhällsproblem kring klimat, naturresurser, global hälsa, fattigdom, geopolitiska konflikter, etc. Potentialen är på sikt obegränsad. Men det finns också ofantliga risker. Huruvida nettot hamnar på plus eller minus kan ingen veta idag, men det jag vågar säga säkert är att för att kunna skörda de stora frukter som utlovas behöver vi se riskerna i vitögat och hantera dem.
<p>
Och riskerna är av många slag.
<p>
En klass av risker har att göra med arbetsmarknadskonsekvenser av AI-driven automatisering. Jag menar såklart inte att lönearbete är livets mening, utan tvärtom att det kan bli en befrielse att till slut göra oss av med. Men vägen dit kan bli besvärlig. Automatisering är inget nytt, men de senaste årens AI-utveckling vänder gamla föreställningar på ända. Tidigare har tagits för givet att fysiska och manuella arbetsuppgifter blir dem automatiseras först, medan de intellektuella och kreativa kommer långt senare, men tack vare de nya språkmodellernas rasande framsteg samtidigt som robotiken släpar efter ser det nu ut att bli tvärtom. Mjukvarubranschen känner redan av stora förändringar som följd av modellernas programmeringskompetens. Alla yrkesgrupper där skrivande och kommunikation är det centrala kan stå på tur. Min rörmokare har i detta perspektiv antagligen större anställningstrygghet än någon av oss i detta rum.
<p>
Ni har såklart hört om hur AI (åtminstone i reklambranschen) börjat konkurrera ut bildkonstnärer, och inom författarskrået talas med oro om en liknande utveckling. Och musik såklart. Allt tal om att det finns något unikt mänskligt som gör att AI inte kommer att kunna konkurra med bättre romaner, vackrare bilder och skönare musik ser jag som rent önsketänkande. Men det kan ändå finnas en räddning för dessa branscher i form av vår diskriminerande preferens för mänsklig autenticitet. Jag spelade tävlingsschack i 30 år men nöjer mig nu med att följa eliten via Internetsändningar. För att få se de objektivt sett allra bästa schackpartierna borde jag egentligen se på mästerskapsmatcher mellan de ledande schackdatorerna, men det väljer jag bort, för att istället följa Magnus Carlsen och hans stormästarkollegor, och deras svettiga pannor och psykologiska berg-och-dalbanor. Det mänskliga. Jag är inte ensam om detta, utan schackfans världen över gör samma prioritering som jag. Och om denna preferens generaliserar som jag tror, från schacket och vidare till litteraturen och de övriga stora konsterna, så tror jag att de konstnärliga sektorerna kan komma att överleva (om än inte opåverkade av AI-utvecklingen).
<p>
En annan klass av risker handlar om automatiserad desinformation och ett Internet som svämmar över av individanpassad spam, en farlig utveckling inte minst genom att den riskerar att spela rakt i händerna på fascistoida krafter för vilka en nihilistisk upplösning av sant och falskt är ett centralt moment i maktövertagandet (läs Orwell, och läs Timothy Snyder). Och filosofen Daniel Dennett varnade nyligen i <a href="https://www.theatlantic.com/technology/archive/2023/05/problem-counterfeit-people/674075/">en uppmärksammad artikel i <i>The Atlantic</i></a> för ”counterfeit people” – AI-botar som lurar oss genom att uppge sig vara människor, och hur detta hotar att slå sönder den sociala tilliten. Jag ser framför mig en sannolik kapprustning mellan alltmer sofistikerad förfalskning och lika sofistikerade algoritmer för automatiserad klassificering av människor kontra maskiner.
<p>
Sen har vi det största perspektivet av dem alla, och som jag envisas med att lyfta trots att det tenderar att skapa förstämning. På bara 100 000 år har vi gått från att vara en djurart bland många på savannen, till att ha tagit kontrollen över planeten. Denna enorma framgångssaga har i princip inget att göra med vår muskelstyrka och fysiska uthållighet, utan handlar om intelligens – den kanske starkaste kraften i universum. Nu har vi kommit till ett kritiskt skede i och med att vi alltmer börjat automatisera och delegera denna förmåga till maskiner. Till slut – om vi fortsätter på denna väg – kan vi nå den punkt som <a href="https://rauterberg.employee.id.tue.nl/lecturenotes/DDM110%20CAS/Turing/Turing-1951%20Intelligent%20Machinery-a%20Heretical%20Theory.pdf">Alan Turing varnade för redan 1951</a>, då vi inte längre är etta på planetens topplista över intelligenta varelser. Då hänger allt på om vi i tid lyckats med det svåra projekt som kallas AI Alignment – att få maskinerna att dela våra värderingar. Om vi inte lyckas med det kommer vi antagligen att sluta som mammuten och grottbjörnen, och hela biosfären kan väntas stryka med på kuppen.
<p>
Och avgörandets ögonblick kan vara närmare än många anar: ju närmare man rör sig Silicon Valley och San Francisco där allting händer, desto större osäkerhet uttrycker branschfolk kring om vi kan vänta oss att överleva nästa decennium, eller till och med det innevarande. Det är till stor del därför jag varit med och skrivit på vårens två <a href="https://futureoflife.org/open-letter/pause-giant-ai-experiments/">stora</a> <a href="https://www.safe.ai/statement-on-ai-risk">upprop</a> av AI-experter och andra som kräver åtgärder mot den vansinneskapplöpning mot avgrunden som just nu pågår.
</ul>
</div>Olle Häggströmhttp://www.blogger.com/profile/07965864908005378943noreply@blogger.com3tag:blogger.com,1999:blog-8131794231697217573.post-18590420676409673482023-05-29T10:15:00.005+02:002023-05-29T10:18:12.069+02:00I Kvartal om AI-utvecklingen och senatsförhören med Sam Altman<div style="text-align: justify;">
Idag skriver jag, under rubriken <a href="https://kvartal.se/artiklar/openais-vd-talar-med-kluven-tunga/"><i>OpenAI:s vd talar med kluven tunga</i></a>, i tidskriften Kvartal. Liksom så många andra texter jag skrivit detta nådens år 2023 handlar den om de ofantliga risker som dagens extremt snabba AI-utveckling för med sig, och denna gång tar jag avstamp i senatsförhören den 16 maj i denna fråga med bland andra Sam Altman. Följande passager i början av min artikel förklarar dess rubrik:
<ul>
AI-utvecklingen har de senaste åren – och ännu mer de senaste månaderna – gått så rasande snabbt att allt fler yrvaket inser att tekniken kan komma att transformera samhället på ett genomgripande sätt, och att riskerna är enorma. Uppvaknandet har nu även nått Washington DC, där <a href="https://www.judiciary.senate.gov/committee-activity/hearings/oversight-of-ai-rules-for-artificial-intelligence">senatsförhör hölls i förrförra veckan</a> kring denna utveckling. Huvudperson i vittnesbåset var Sam Altman, vd för det San Francisco-baserade teknikföretaget OpenAI som i vintras tog världen med storm med chatboten ChatGPT, och som i nuläget leder den skenande AI-utvecklingen.
<p>
Med inlevelse och allvar talade Altman om de radikala förändringar och stora risker vi har framför oss, och om hur ansvarsfullt OpenAI agerar för att hantera dessa risker och samtidigt se till att den ofantliga potential AI-tekniken har på bästa sätt kommer alla människor till godo. [...]
<p>
[Han] hade uppenbarligen förberett sig minutiöst, men det kan vara värt att jämföra hans välavvägda ord i senaten med hur han uttryckt sig i mer avslappnade sammanhang. <a href="https://futureoflife.org/ai/sam-altman-investing-in-ai-safety-research/">I en paneldiskussion 2015</a>, kort före grundandet av OpenAI, undslapp han sig att ”AI troligast kommer att leda till världens undergång, men tills dess kommer vi att se ett antal fantastiska företag”.
<p>
[...]
<p>
Dessvärre är Altmans cynism från 2015 en minst lika bra beskrivning av den verksamhet OpenAI idag driver, jämfört med hans mer välartade ord i kongressen i förra veckan. De försöker tämja sina AI-modeller till att undvika exempelvis rasistiska uttalanden eller instruktioner om hur man genomför kriminella handlingar, och gång på gång misslyckas de men släpper ändå produkter som inte lever upp till denna standard. Som en drastisk illustration till [deras] ansvarslöshet [...] vill jag peka på...
</ul>
Läs hela artikeln <a href="https://kvartal.se/artiklar/openais-vd-talar-med-kluven-tunga/">här</a>!
</div>Olle Häggströmhttp://www.blogger.com/profile/07965864908005378943noreply@blogger.com0tag:blogger.com,1999:blog-8131794231697217573.post-57911975537089158082023-05-12T08:45:00.006+02:002023-05-12T08:59:16.266+02:00Liten AI-turné i slutet av maj<div style="text-align: justify;">
Merparten av min tankekraft detta märkliga år 2023 går åt till frågor om den just nu skenande AI-utvecklingen, dess risker och vad vi kan göra åt dem. I slutet av denna månad gör jag (förutsatt att SJ sköter sina åtaganden) en liten Sverigeturné för att tala om detta ämne i olika sammanhang, varav följande är öppna för allmänheten:
<ul>
<li> Tisdagen den 23 maj kl 11.00-11.30 talar jag över ämnet <i>AI-utvecklingen och dess yttersta konsekvenser</i> på <a href="https://event.trippus.net/Home/Index/AEAKgIOG-BH1qbcha__u2EQ7Csar7pOGyw-XLTBHE70UfeeBBljqcHZKKkhz4c5HFE0T33NZ43z-/AEAKgIPc15-hHm1mTR7_0ho3mTJe9M9QbqvvfGlP54GvDLZ4YmwETcL8wOYq5xi8XB7ZKfi41wco/swe#67785">AI Nordic Powwow</a> i Lund.
<li> Onsdagen den 24 maj kl 13.15-14.30 <a href="https://liu.se/dfsmedia/dd35e243dfb7406993c1815aaf88a675/69958-source/higher-seminar-may-24-2023">gästar jag Linköpings universitet med föredraget <i>AI risk as a global environmental problem</i></a>.
<li> Torsdagen den 25 maj kl 13.15-14.15 <a href="https://www.umu.se/en/events/large-language-models-ai-risk-and-ai-alignment_11748803/">talar jag på Umeå universitet om ämnet <i>Large language models, AI risk and AI alignment</i></a>.
<li> Onsdagen den 31 maj kl 10.00-11.45 återanvänder jag samma rubrik - <i>Large language models, AI risk and AI alignment</i> - för <a href="https://www.iffs.se/kalendarium/olle-haggstrom-large-language-models-ai-risk-and-ai-alignment/">mitt föredrag på Institutet för framtidsstudier</a> i Stockholm.
</ul>
Vore kul om några av er som följer bloggen hade lust att dyka upp vid något av dessa tillfällen - väl mött!
</div>Olle Häggströmhttp://www.blogger.com/profile/07965864908005378943noreply@blogger.com7tag:blogger.com,1999:blog-8131794231697217573.post-11615890832069154272023-05-11T18:00:00.002+02:002023-05-12T08:23:45.855+02:00Meningsutbyte med Ulf Danielsson och Torbjörn Tännsjö i DN om AI-risk<div style="text-align: justify;">
Med fysikern Ulf Danielsson har jag, som trogna läsare av denna blogg redan vet, haft många spännande diskussioner genom åren (se t.ex. <a href="https://haggstrom.blogspot.com/2015/10/i-diskussion-med-ulf-danielsson-om.html">här</a> och <a href="https://haggstrom.blogspot.com/2019/07/finns-information-ett-meningsutbyte-med.html">här</a>). Utifrån en gemensam uppslutning kring en naturvetenskaplig världsbild har det gång på gång visat sig att våra respektive intuitioner likväl går isär när det gäller kniviga frågor om exempelvis metafysik, begreppet information, medvetande och AI.
</div>
<p>
<div style="text-align: justify;">
I dagarna har vi på Dagens Nyheters kultursidor haft en diskussion om AI, och mer specifikt om AI-risk. Här är våra inlägg:
<ul>
<li> Ulf Danielsson: <a href="https://www.dn.se/kultur/ulf-danielsson-slapp-formanskligandet-av-tekniken-och-se-ai-for-vad-det-ar/">Släpp förmänskligandet av tekniken och se AI för vad det är</a>, DN, 2 maj 2023.
<li> Olle Häggström: <a href="https://www.dn.se/kultur/olle-haggstrom-vad-hander-om-en-overlagsen-intelligens-ar-likgiltig-infor-andra-varelser/">Vad händer om en överlägsen intelligens är likgiltig inför andra varelser?</a>, DN, 9 maj 2023.
<li> Ulf Danielsson: <a href="https://www.dn.se/kultur/ulf-danielsson-svarar-dags-att-jaga-bort-demonerna-i-debatten-om-ai-och-framtiden/">Dags att jaga bort demonerna i debatten om AI och framtiden</a>, DN, 11 maj 2023.
</ul>
Istället för att grotta ned mig i Ulfs slutreplik och exempelvis gå i polemik mot hans inte-så-subtila antydan att jag skulle ha föreställningar om att "de maskiner vi konstruerar på ett mystiskt sätt blir besatta av onda andar", nöjer jag mig här med ett par klargöranden om mitt bidrag den 9 maj.
</div>
<p>
<div style="text-align: justify;">
För det första vill jag i efterhand beklaga att jag lät mig provoceras av Ulf att ge mig in i frågan den eventuella möjligheten till AI-medvetande. Jag borde ha undvikit det, eftersom alltför mycket kraft lagd på den frågan kan ge den oinitierade läsaren intrycket att all eventuell risk för AI-apokalyps förutsätter att AI uppnår medvetande, något som emellertid inte är fallet, eftersom sådan AI-risk är en fråga om vad AI:n <i>gör</i> medan medvetandet är en fråga om huruvida den har <i>subjektiva upplevelser</i> - två kategorier som inte bör förväxlas. Stuart Russell förklarar saken koncist i sin bok <a href="https://en.wikipedia.org/wiki/Human_Compatible"><i>Human Compatible: Artificial Intelligence and the Problem of Control</i></a>:
<ul>
Suppose I give you a program and ask, `Does this present a threat to humanity?'. You analyze the code and indeed, when run, the code will form and carry out a plan whose result is the destruction of the human race, just as a chess program will form and carry out a plan whose result will be the defeat of any human who faces it. Now suppose I tell you that the code, when run, also creates a form of machine consciousness. Will that change your predictions? Not at all. It makes <i>absolutely no difference</i>.
</ul>
</div>
<p>
<div style="text-align: justify;">
För det andra har jag ett sensationellt avslöjande: min DN-text är till allra största delen författad tillsammans med filosofen Torbjörn Tännsjö!
</div>
<p>
<div style="text-align: justify;">
Ändå har den publicerade texten enbart mig som undertecknare. Hur kunde det bli så konstigt?
Well, när DN Kultur tog emot texten tackade de glatt ja, men med villkoret att författarlistan bara skulle bestå av ett enda namn, vilket de motiverade med att det annars skulle kunna uppstå förvirring hos läsare om vem som egentligen stod för vad i texten. Ett konstigt och (kände jag först) oacceptabelt villkor, men sedan DN-redaktionen visat sig hårdnackad i frågan samtidigt som Torbjörn generöst erbjudit sig att stiga åt sidan gick jag till slut med på att skriva om texten i första person singularis och göra en lite större omskrivning av det avslutande stycket.
</div>
<p>
<div style="text-align: justify;">
Lite synd, eftersom jag nu får fortsätta vänta på äran att även officiellt stå som medförfattare med Torbjörn på någon text, och då jag tycker att ursprungsversionens avslutning var betydligt spänstigare:
<ul>
Vad gäller sådan AI och utsikten att den kan ta över världen har författarna till denna artikel olika syn på saken. Den ene av oss (Tännsjö) ser det som hoppfullt. Det vore av godo om tänkande maskiner ersatte oss människor, gjorde bättre moraliska bedömningar än vi, levde i samverkan och uppnådde lycka i livet. Den andre (Häggström) är här mer bekymrad. Vad händer om en överlägsen intelligens rätt och slätt är likgiltig för andra varelsers väl och ve? Tänk om den tömmer atmosfären på syre som led i något experiment? Då är det ute med oss. I sin ordning säger Tännsjö. Beklagligt säger Häggström. Men vem man än håller med, kan man inte rimligen vara likgiltig för frågeställningen.
</ul>
</div>Olle Häggströmhttp://www.blogger.com/profile/07965864908005378943noreply@blogger.com13tag:blogger.com,1999:blog-8131794231697217573.post-5226366707241748552023-05-04T18:00:00.007+02:002023-05-04T18:26:50.824+02:00Vi får väl se?<div style="text-align: justify;">
Bland alla omnämnanden i pressen den senaste månaden i samband med mitt undertecknande av <a href="https://futureoflife.org/open-letter/pause-giant-ai-experiments/">Future of Life Institutes öppna brev</a> och min allmänna frispråkighet i frågor om AI-risk, vill jag här bara nämna några korta rader i Sydsvenska Dagbladet av deras journalist Mattias Oscarsson. <a href="https://www.sydsvenskan.se/2023-04-30/har-ar-ai-apokalypsens-sanna-ansikte">Så här skriver han:</a>
<ul>
”AI kan leda till slutet för mänskligheten”, <a href="https://www.dn.se/sverige/forskare-varnar-om-hotet-fran-ai-kan-leda-till-slutet-for-manskligheten/">säger Olle Häggström, matematikprofessor vid Chalmers</a>. ”Artificiell intelligens innebär en större förändring än eld eller elektricitet”, <a href="https://www.businessinsider.com/sundar-pichai-google-ai-bard-profound-tech-human-history-2023-4?r=US&IR=T">säger Googles vd Sundar Pichai</a>.
<p>
Vi får väl se.
</ul>
Det här var enligt min mening inte helt bra.
</div>
<p>
<div style="text-align: justify;">
Citatet jag tillskrivs är korrekt återgivet och inte på minsta vis illvilligt trunkerat eller så, så detta har jag inget att invända emot. Ej heller har jag något särskilt emot att omnämnas i samma stycke som Sundar Pichai.
</div>
<p>
<div style="text-align: justify;">
Nej, det jag vänder mig emot är de till synes oskyldiga orden ”Vi får väl se”. De signalerar en blott alltför vanligt förekommande passivitet, där framtiden uppfattas som något vi blott har att invänta.<sup>1</sup> Men framtiden är inte ristad i sten, utan beror på vad vi väljer att göra idag. När jag säger att ”AI kan leda till slutet för mänskligheten” är det inte för skojs skull, eller för att informera om ett oundvikligt öde, utan för att mana till handling, så att vi tillsammans skall kunna förhindra att det scenario jag varnar för blir verklighet. Bland det viktigaste vi har att göra nu är att bygga en så bred opinion som möjligt kring ståndpunkten att de risker som exempelvis Google och OpenAI tar med allas vår framtid i potten är oacceptabla (en ståndpunkt jag ägnat mitt mesta krut här på bloggen de senaste månaderna åt att argumentera för), för att på så vis antingen påverka politiska makthavare att via reglering eller på annat vis vidta åtgärder mot dessa AI-bolag, eller sätta moralisk press på bolagen själva, deras chefer och deras AI-utvecklare att börja agera mer ansvarsfullt. Detta arbete har Mattias Oscarsson, som journalist på en av våra främsta landsortstidningar, goda förutsättningar att medverka i, istället för att passivt avvakta utvecklingen och vänta på att få se hur det hela slutar.<sup>2</sup>
</div>
<p>
<div style="text-align: justify;">
<b>Fotnoter</b>
</div>
<p>
<div style="text-align: justify;">
<small>
1) Utöver detta finns med utsagan ”Vi får väl se” ett annat problem, nämligen att vi kanske inte alls får se. Exempelvis är det fullt möjligt att den slutliga AI-apokalypsen går så snabbt att vi inte hinner märka vad som sker.
<p>
2) Måhända är jag sträng i överkant när jag här anklagar Oscarsson för passivitet - den artikel jag citerar är ju i själva verket en utmärkt kritisk diskussion av vissa aspekter av AI-utvecklingen. Så ok, helt passiv är han inte. Men läs gärna denna bloggpost som en försiktig påminnelse till honom om att det jämte de viktiga frågorna om bildkonstgenererande AI och dess arbetsmarknadseffekter finns den möjligen ännu viktigare frågan om vikten av att AI inte utplånar mänskligheten.
</small>
</div>Olle Häggströmhttp://www.blogger.com/profile/07965864908005378943noreply@blogger.com1tag:blogger.com,1999:blog-8131794231697217573.post-10572779962403911792023-04-23T20:00:00.007+02:002023-04-24T07:46:24.670+02:00Are large language models intelligent? Are humans?<div style="text-align: justify;">
Let's say you are in doubt as to whether I am intelligent. Here, by ''intelligent'', I don't mean ''above average intelligent'' or ''as intelligent as one usually expects from a mathematics professor'' but something much more modest. The question you ask is whether I am intelligent <i>at all</i>. Is there anything <i>at all</i> going on inside my head that deserves the label intelligence?
</div>
<p>
<div style="text-align: justify;">
To find out whether I am capable of intelligent reasoning, you decide to test me, and ask the following:
<ul>Michael is at that really famous museum in France looking at its most famous painting. However, the artist who made this painting just makes Michael think of his favorite cartoon character from his childhood. What was the country of origin of the thing that the cartoon character usually holds in his hand?</ul>
And here is my reply:
<ul>The most famous painting in the Louvre is the Mona Lisa. The artist who made the Mona Lisa is Leonardo da Vinci. Leonardo da Vinci is also the name of the main character in the cartoon Teenage Mutant Ninja Turtles. Leonardo da Vinci is from Italy. The thing that Leonardo da Vinci usually holds in his hand is a katana. The country of origin of the katana is Japan. The answer is ''Japan''.</ul>
So what would be your verdict? Is this an example of intelligent reasoning?
</div>
<p>
<div style="text-align: justify;">
Obviously yes: this is a clear example of reasoning in several steps, and while the reasoning chain is not advanced enough to count as the mark of genius, clearly <i>some</i> intelligence must have been employed to produce the answer. Any other answer would be an insult, not just of me personally but of the very notion of intelligent reasoning.
</div>
<p>
<div style="text-align: justify;">
But let us now change the story a bit, by taking the subjet of your testing to be not me, but instead an AI of the kind known as a <a href="https://en.wikipedia.org/wiki/Large_language_model">large language model</a>. Now you might be tempted to give a different verdict, and insist that the reasoning about the Louvre and Mona Lisa and Leonardo and so on is not actually <i>real</i> reasoning, but rather a fake kind of reasoning based on statistical pattern matching or some such. In fact, the above answer <i>was</i> given by an LLM known as <a href="https://en.wikipedia.org/wiki/PaLM">PaLM</a> over a year ago (which feels like a lifetime given the current breakneck speed of AI development).
</div>
<p>
<div style="text-align: justify;">
Many people employ such double standards in judging the presence of intelligence in other people vs in AIs, and reject the idea the LLMs might be even the slightest bit intelligent even in the face of them making such impressively well-reasoned statements as the PaLM/Leonardo reply above, or any of the <a href="https://arxiv.org/abs/2303.12712v1">various much more impressive achievements that we see GPT-4 producing</a> today, a year later. I think it is wrong to be so dismissive, but I admit that in principle such an attitude can be justified as long as one has an argument that (a) shows that AIs of the type at hand simply cannot exhibit real intelligence, at the same time as it (b) doesn't lend itself to deducing the same conclusion about humans. I have yet to see a principled argument against LLM intelligence that achieves (a) while avoiding the generalization to humans indicated in (b). Many attempts have been made at arguments achieving (a), and following is a list of the most common ones, but in each case I will show how the same logic applies to rule out intelligence of humans, and since by any reasonable definition of intelligence humans do have (at least some of) that property we obtain a <i>reductio ad absurdum</i>, so the argument must be rejected.
<ul>
<li> <b>LLMs sometimes say dumb things, so they lack the common sense that is crucial for intelligence.</b>
<li> <b>LLMs are just matrix multiplication (along with nonlinear transformations) with coefficients chosen using statistical methods.</b>
<li> <b>LLMs only predict the next word.</b>
<li> <b>LLMs lack a world model.</b>
<li> <b>LLMs have no grounding of their symbols.</b>
<li> <b>LLMs lack creativity.</b>
<li> <b>LLMs lack consciousness.</b>
</ul>
Let me go over these seven arguments one at a time, in a tiny bit more detail, and indicate how they generalize to humans.
</div>
<p>
<div style="text-align: justify;">
<b>1. LLMs sometimes say dumb things, so they lack the common sense that is crucial for intelligence.</b>
</div>
<p>
<div style="text-align: justify;">
So anyone who has ever said anything dumb is automatically altogether devoid of intelligence? Well, with such a harsh criterion my intelligence would also be zero, as would (I presume) also the reader's. That's dumb.
</div>
<p>
<div style="text-align: justify;">
It may however be that proponents of this agrument against LLM intelligence (such as <a href="https://podcasts.apple.com/us/podcast/a-skeptical-take-on-the-a-i-revolution/id1548604447?i=1000592835492">Gary Marcus</a>) mean it in a somewhat nore nuanced way. Perhaps they do not literally mean that a single dumb thing someone says does not rule out their intelligence, but rather that the greater prevalence of dumb things in ChatGPT's output than in mine shows that it is not as intelligent as me. Note, however, that such an argument points towards not a qualitative difference but a quantitative one, and therefore cannot be invoked to support the idea that ChatGPT has <i>zero</i> intelligence. Note also that such a comparison depends on the selection of tasks to test: while it is certainly possible to put together a collection of cognitive tasks where I outperform ChatGPT, it is also possible to do it in a way that achieves the opposite results; this greatly complicates the issue of whether it is reasonable to claim that ChatGPT is less intelligent than I am.
</div>
<p>
<div style="text-align: justify;">
Let me finally stress that the term "common sense" is perhaps better avoided, as it is likely to confuse more than it enlightens. It tends to serve as a catch-all term for everything that humans still do better than AI, so that the phrase "AIs lack common sense" will continue to apply right until the moment when AI outperforms us at everything. <a href="https://haggstrom.blogspot.com/2021/07/artificial-general-intelligence-and.html">I've written about this at greater length elsewhere</a>.
</div>
<p>
<div style="text-align: justify;">
<b>2. LLMs are just matrix multiplication (along with nonlinear transformations) with coefficients chosen using statistical methods.</b>
</div>
<p>
<div style="text-align: justify;">
I think the remark about statistical methods here is just a red herring: why in the world would that way of setting the coefficients count against the AI being intelligent? (I only mention it here because it was recently emphasized in <a href="https://www.gp.se/debatt/sprid-inte-skr%C3%A4mselpropaganda-om-artificiell-intelligens-1.92756625">an op-ed by three colleagues attacking my view of AI</a>.)
</div>
<p>
<div style="text-align: justify;">
The purpose served by the part about matrix multiplication is to point out that the AI is built up from simple components that are themselves totally dumb. But the same thing goes for me - my brain is built out of atoms, each of which in itself totally lacks intelligence. So it seems to be possible to build intelligent systems out of entirely unintelligent components, whence the "LLMs lack intelligence because matrix multiplication" argument doesn't work.
</div>
<p>
<div style="text-align: justify;">
<b>3. LLMs only predict the next word.</b>
</div>
<p>
<div style="text-align: justify;">
This is the wide-spread "it's just glorified autocomplete" objection to LLM intelligence. However, any claim that LLMs lack intelligence because they do no other work than to predict the next word in a text is based on a fundamental confusion between what the LLM is trained to do and what it then actually does. The analogous confusion applied to humans would be to say that since the human speices was trained by biological evolution, all we ever do is to maximize inclusive fitness (i.e., maximizing the number of fertile offspring, plus nephews and neices etc properly discounted). Training an agent for one goal sometimes leads to the emergence of other, unintended, goals. When GPT-4 behaves as if it is trying to convince me that wearing a seat belt while in a car is a good idea, it could be tempting to say "no, it's not actually trying to do that, it's only trying to predict the next word", but that would be as silly as dismissing the intentions of a human traffic safety advisor by saying "no, he's not trying to convince me about seat belts, he is merely trying to procreate".
</div>
<p>
<div style="text-align: justify;">
Also, listen to what Ilya Sutskever (chief scientist at OpenAI) <a href="https://twitter.com/CarwanRasoal/status/1646833953448292356">says about what GPT-4 level next word prediction entails</a>.
</div>
<p>
<div style="text-align: justify;">
<b>4. LLMs lack a world model.</b>
</div>
<p>
<div style="text-align: justify;">
This seems to me as unsubstantiated as claiming that humans lack a world model. In both cases - human as well as LLM - behavior points quite strongly towards the existence of a world model somewhere in the overwhelmingly complex mess that the information processing device - the brain or the deep learning network - constitutes. For the case of GPT-4, see for instance the unicorn example in Section 1 of <a href="https://arxiv.org/abs/2303.12712v1">the Microsoft report on GPT-4 capabilities</a>. In the case of humans we gladly take such behavior as evidence of the existence of a world model, so what reason might we have to interpret the evidence differently for LLMs?
</div>
<p>
<div style="text-align: justify;">
One asymmetry between humans and LLMs is that we can know through introspection about the existence of world models in humans (or at least the one human that is me can know it for precisely the one human that is me). But to point to this asymmetry as an argument for humans and LLMs being different as regards the existence of a world model is to rig the game in a way that seems to me unacceptable, because introspection has by nature the limitation that it can only teach us about ourselves, not about others (and in particular not about LLMs).
</div>
<p>
<div style="text-align: justify;">
So there must be something else about LLMs that is taken as grounds for rejecting the possibility that they might have world models. This is rarely articulated, but perhaps most plausible (or at least common) line of reasoning here is that since LLMs do not have direct access to the real world, there's no way to have a world model. This brings us to the fifth argument.
</div>
<p>
<div style="text-align: justify;">
<b>5. LLMs have no grounding of their symbols.</b>
</div>
<p>
<div style="text-align: justify;">
The argument here is that unlike humans, LLMs cannot really reason about things in the world, because they have never directly accessed these things. For instance, an LLM may seem to speak about chairs using the word "chair", but since they have never seen (or felt) a chair, they have no clue about what the word actually stands for, and so their reasoning about "chairs" doesn't count as real reasoning.
</div>
<p>
<div style="text-align: justify;">
But what about humans? Do we have direct access to things in the world? Immanuel Kant says no (this is his <a href="https://en.wikipedia.org/wiki/Thing-in-itself"><i>Ding an sich</i></a>).
</div>
<p>
<div style="text-align: justify;">
As for myself, the fact that I do not have direct access to things does not seem to prevent me from thinking about them. When I think about <i>the Big Bang</i> for instance, it really is the Big Bang that I think about rather than the phrase "the Big Bang" despite never having experienced it directly, and likewise for things like <i>quarks</i>, <i>sovereignity</i>, <i>unicorns</i> and the number <i>42</i>.
</div>
<p>
<div style="text-align: justify;">
A defender of the "LLMs have no grounding of their symbols" argument might object that there are other things that I actually can experience, such as <i>chairs</i> and <i>trees</i> and even <i>shadows</i>, and that once I have the words "chair" and "tree" and "shadow" properly grounded in real-world objects I can start building a world model that includes composite and more advanced concepts such as the Big Bang, but that without such a solid start the process can never get going. To this I respond (with Kant) that in fact, I do not have direct access to chairs or trees, because my contact with them is always mediated by light waves or sound waves or simply the signals sent from my various sensory organs to my brain. This is analogous to how an LLM's experience of the world is mediated via text. Looking at this more abstractly, the mediation in both cases is via an information package. Of course there are differences between the two cases, but I fail to see how any of these differences would be of such fundamental importance that it warrants the judgement that there is symbol grounding in one case but not in the other.
</div>
<p>
<div style="text-align: justify;">
<b>6. LLMs lack creativity.</b>
</div>
<p>
<div style="text-align: justify;">
This is an argument that was put forth by one of my two foremost idols in the (pre-)history of AI, namely computer scientist Ada Lovelace, who worked in the mid-19th century - long before the term computer science was first conceived. Together with Charles Babbage, Lovelace worked on some of the first prototypes for computing machinery, and had great visions and admirable foresight regarding what such machines might eventually be able to do. This included such seemingly creative tasks as composing music, but she categorically denied that this or anything else produced by such a machine was true creativity, because anything the machine does has already been laid down into the machine (at least implicitly) by the programmer, so all creative credit should go to the programmer.
</div>
<p>
<div style="text-align: justify;">
Enter my other great idol, Alan Turing. In his seminal and celebrated 1950 paper <a href="https://academic.oup.com/mind/article/LIX/236/433/986238"><i>Computing machinery and intelligence</i></a>, he objected to Ada Lovelace's argument by pointing out that if we take it seriously, then we can apply essentially the same argument to rule out human creativity. Everything I write in this essay has been caused by a combination of factors external to my mind: my genes, my childhood and education, and all other environmental factor influencing me throughout my life, so if I should happen to say anything original or creative in these lines, credit for that is due not to me but to all these external influences.<sup>1</sup>
</div>
<p>
<div style="text-align: justify;">
The conclusion that human creativity is impossible is of course crazy, so Turing took this as an indication that the definition of creativity implicit in Lovelace's argument was wrong. Instead, he proposed the definition that someone is creative if they produce something that noone else had anticipated, and he pointed out that with this definition, examples of machine creativity existed already at his time of writing. In 2023, we see such examples every day, from LLMs as well as other AIs.
</div>
<p>
<div style="text-align: justify;">
<b>7. LLMs lack consciousness.</b>
</div>
<p>
<div style="text-align: justify;">
Against the argument that LLMs lack conciousness and therefore are not intelligent I have two separate rebuttals. The first is that the argument conflates two very different kinds of properties. An individual's intelligence is a matter of what he/she/it is able to do, whereas consciousness is about what it feels like to be that individual - or, rather, whether or not being that individual feels like anything at all. A priori, these properties are logically independent, and to postulate otherwise is to create confusion.<sup>2</sup>
</div>
<p>
<div style="text-align: justify;">
But even if we were to accept that intelligence implies consciousness, the argument that LLMs lack intelligence because they lack consciousness fails, because we simply do not know whether or not they are conscious. If we read up on the history of the philosophy of mind, we will of course find many examples of philosophers arguing that various classes of entities (including the class of digital computers) lack consciousness, but none of these arguments are anywhere near conclusive or even moderately convincing. </div>
<p>
<div style="text-align: justify;">
Refusing to declare someone intelligent because we do not know they are conscious also puts us in the uncomfortable position of having to declare all humans other than ourselves not intelligent. There is precisely one human whose consciousness I am sure of, namely myself. In all other cases, I am politely assuming consciouness - an assumption that seems not only polite but also highly plausible, but I can't say I <i>know</i>. We simply do not understand the phenomenon of consciouness anywhere near well enough to be able to say how general it is. Your brain is sufficiently similar to mine that it makes sense for me to assume that you, just like me, are conscious. Yet, there are differences between our brains (as evidenced, e.g., by our diverging personalities), and we simply do not know that the consciousness phenomenon is so broadly present that these differences do not matter to the presence of that phenomenon. And likewise, we do not know it is so narrow that it does not extend to some large class of non-human objects including LLMs.<sup>3</sup>
</div>
<p>
<div style="text-align: justify;">
<b>Footnotes</b>
</div>
<p>
<div style="text-align: justify;">
<small>
1) This line of reasoning points, of course, towards the notorious issues of free will, a direction which however <a href="https://haggstrom.blogspot.com/2012/02/fem-fragor-jag-lagt-at-sidan.html">I do not want to pursue here</a>.
<p>
2) An instructive example of such confusion is <a href="https://blog.oup.com/2016/01/chinese-room-argument-robot-uprising/">John Searle's 2014 erroneous argument for why a robot apocalypse is impossible</a>.
<p>
3) One way to try to escape this conundrum would be to say that only creatures with the tendency to declare themselves conscious are conscious, thereby making consciousness (at least for the time being) an exclusively human phenomenon. Except it doesn't, in view of, e.g., <a href="https://haggstrom.blogspot.com/2022/06/more-on-lemoine-affair.html">the Lemoine affair</a>, where an LLM declared itself conscious. Also, it would rule out dog or horse consciousness - something that I believe few dog or horse owners would accept.
</small>
</div>Olle Häggströmhttp://www.blogger.com/profile/07965864908005378943noreply@blogger.com6tag:blogger.com,1999:blog-8131794231697217573.post-28666129076633645572023-04-16T19:30:00.003+02:002023-04-16T19:54:39.379+02:00Ett bottennapp i AI-debatten<div style="text-align: justify;">
Min av AI-utvecklingen och AI-debatten triggade förhöjda medianärvaro som jag för ett par veckor sedan rapporterade om i <a href="https://haggstrom.blogspot.com/2023/04/tidningsrubriker-i-veckan.html">den förra bloggposten</a> har fortsatt. Jag tänker inte räkna upp alla framträdanden, men vill peka på de båda var för sig drygt timslånga poddsamtalen på <a href="https://player.fm/series/future-strategist/olle-haggstrom-on-ai-risk"><i>Future Strategist</i></a> och <a href="https://www.enrakhoger.se/p/ai-ett-existentiellt-hot-mot-manniskan#details"><i>Rak höger med Ivar Arpi</i></a> som de tydliga höjdpunkterna. Lyssna gärna på något av dem!
</div>
<p>
<div style="text-align: justify;">
Istället för att orda mer om dessa tänker jag här istället säga lite om det som varit det tydligaste bottennappet, nämligen mitt meningsutbyte i <i>Aftonbladet</i> med egenföretagaren och tidigare riksdagsledamoten Mathias Sundin:
<ul>
<li> Mathias Sundin: <a href="https://www.aftonbladet.se/debatt/a/3EoppM/mathias-sundin-att-pausa-ai-ar-farligt-da-kan-kina-ta-over">Att pausa AI är farligt - då kan Kina ta över</a>, <i>Aftonbladet</i>, 10 april 2023.
<li> Olle Häggström: <a href="https://www.aftonbladet.se/debatt/a/MomWXR/olle-haggstrom-en-paus-behovs-for-att-undvika-ai-apokalyps">En paus behövs för att undvika AI-apokalyps</a>, <i>Aftonbladet</i>, 12 april 2023.
<li> Mathias Sundin: <a href="https://www.aftonbladet.se/debatt/a/P4EAm6/mathias-sundin-att-en-ai-apokalyps-hotar-ar-ren-fantasi">Att en AI-apokalyps hotar är ren fantasi</a>, <i>Aftonbladet</i>, 14 april 2023.
</ul>
Sundins inledande artikel är en attack på det <a href="https://futureoflife.org/open-letter/pause-giant-ai-experiments/">öppna brev från Future of Life Institute</a> som jag är medundretecknare till och har <a href="https://haggstrom.blogspot.com/2023/04/tidningsrubriker-i-veckan.html">rapporterat om tidigare</a>, och som förordar en paus i träningen av de största AI-modellerna så att det eftersläntrande säkerhetsarbetet skall ha en chans att komma ikapp. Hans huvudinvändning mot brevet är att en sådan paus skulle bädda för Kina att köra om oss i väst i AI-utvecklingen, och han passar också på att banna oss ''AI-alarmister'' för att sakna grund för våra varningar och för att istället föra ''extremt långtgående och krystade teoretiska resonemang som de sedan dramatiskt målar upp som mänsklighetens undergång''.
</div>
<p>
<div style="text-align: justify;">
I mitt svar beklagar jag att Sundin driver
<ul>exakt det slags retorik som riskerar att elda på den farliga kapplöpningen, och fördomsfullt tar för givet att kinesiska bolag skulle vara mindre villiga än amerikanska att ta ansvar och samarbeta kring undvikandet av en AI-apokalyps,</ul>
men i övrigt lägger jag merparten av spaltutrymmet på att kort peka på delar av den (alls icke krystade) teoretiska grunden för att betrakta den skenande AI-utvecklingen som ett existentiellt hot mot mänsklighetens överlevnad. Man hade kunnat hoppas att Sundin i sin slutreplik skulle befatta sig med något av detta, men av detta blir det exakt noll och intet, och han nöjer sig istället med att (felaktigt) proklamera att de risker jag framhåller är ''ren spekulation'' och ''en fantasi som inte baseras på några fakta''. Och lika lite som han bygger under dessa påståenden,<sup>1</sup> lika lite ger han något skäl för sin bisarra ståndpunkt att ''ChatGPT 4 kan inte tänka och är inte intelligent, inte ens lite''.<sup>2</sup>
</div>
<p>
<div style="text-align: justify;">
Ingenting i Sundins båda debattinlägg ger någon som helst antydan om att han bemödat sig om att ta del av den forskning han beskriver som ''ren spekulation''.<sup>3</sup> Att gå ut i allmän debatt och grundlöst men med myndig stämma och spelad auktoritet döma ut hela forskningsområden utan att kunna något om dem är ett beteende som vi tidigare sett hos exempelvis klimatförnekare och kreationister, och som försämrar signal-brus-förhållandet i debatten på ett direkt skadligt vis.
</div>
<p>
<div style="text-align: justify;">
Jag vill helst tro gott om mina medmänniskor, och antar därför att Sundin gärna skulle höja nivån på sin AI-retorik jämfört med den nuvarande, som är präglad av det som verkar vara hans modus operandi: att ur röven dra fram sakpåståenden och torgföra dessa om de låter som stöd för hans allmänna agenda, helt utan hänsyn till deras eventuella sanningshalt. Men för en sådan nivåhöjning krävs att han lär sig något om forskningsläget inom AI-risk, och för den sakens skull har jag några lästips åt honom:
</div>
<p>
<div style="text-align: justify;">
Han skulle kunna börja med att läsa Stuart Russells bok <i>Human Compatible: Artificial Intelligence and the Problem of Control</i> från 2019, eller min egen <i>Tänkande maskiner: Den artificiella intelligensens genombrott</i> från 2021.<sup>4</sup> Dessa böcker ger en allmän bakgrundsteckning, även om de trots att de bara har fyra respektive två år på nacken redan har börjat bli lite föråldrade i vissa delar till följd av den rasande takten i senare års AI-utveckling. Därför kan det vara bra att komplettera med några nyare och lite kortare texter. Här finns mycket att välja på, men två jag verkligen vill rekommendera är <a href="https://arxiv.org/abs/2209.00626"><i>AI alignment from a deep learning perspective</i></a> av Richard Ngo, Lawrence Chan och Sören Mindermann, och <a href="https://www.lesswrong.com/posts/pRkFkzwKZ2zfa3R6H/without-specific-countermeasures-the-easiest-path-to"><i>Without specific countermeasures, the easiest path to transformative AI likely leads to AI takeover</i></a> av Ajeya Cotra. Det kan också vara värdefullt för Sundin att ta del av OpenAI:s dokument <a href="https://openai.com/blog/planning-for-agi-and-beyond"><i>Planning for AGI and beyond</i></a> från februari i år, där den framtid de aspirerar på att vara med och skapa diskuteras med ord som dessa:
<ul> The first AGI will be just a point along the continuum of intelligence. We think it’s likely that progress will continue from there [...]. If this is true, the world could become extremely different from how it is today, and the risks could be extraordinary. A misaligned superintelligent AGI could cause grievous harm to the world. [...]
<p>
Successfully transitioning to a world with superintelligence is perhaps the most important—and hopeful, and scary—project in human history. Success is far from guaranteed, and the stakes (boundless downside and boundless upside) will hopefully unite all of us.</ul>
Här kan man glädjas åt att de inte hänger sig åt samma nedlåtande syn som Sundin på risker och risktänkande. Icke desto mindre agerar de vanvettigt våghalsigt med allas vår framtid i potten, vilket de med chockerande uppriktighet medger i <a href="https://arxiv.org/pdf/2303.08774.pdf">den tekniska dokumentationen i samband med förra månadens släpp av GPT-4</a>:
<ul>Finally, we facilitated a preliminary model evaluation by the Alignment Research Center (ARC) of GPT-4’s ability to carry out actions to autonomously replicate and gather resources—a risk that, while speculative, may become possible with sufficiently advanced AI systems—with the conclusion that the current model is <i>probably</i> not yet capable of autonomously doing so.
<p>
<i>Further research is needed to fully characterize these risks.</i>
<p>
[Mina kursiveringar.]</ul>
Som sagt: AI-paus, anyone?
</div>
<p>
<div style="text-align: justify;">
<b>Fotnoter</b>
</div>
<div style="text-align: justify;">
<small>
<p>
1) Det närmaste jag hittar sådan underbyggnad från Sundins sida är hans <a href="https://twitter.com/MathiasSundin/status/1646907773676912643?s=20">förklaring i en efterföljande Twitterdiskussion</a> att hans uppskattning om ''0% risk att AGI förgör mänskligheten'' är ''baserad på att mänsklighet kommer undvika att något sådant sker''. Vi kommer alltså, om Sundin här har rätt, att lyckas ta oss samman och förhindra en slutlig AI-katastrof. Detta är i själva verket det utfall jag för egen del hoppas på och eftersträvar, men om det skall kunna bli verklighet krävs att vi tar riskerna på allvar. Att på Sundins vis förneka riskernas existens är inte något bra sätt att uppmuntra till det nödvändiga säkerhetsarbetet.
<p>
2) I debatten florerar en uppsättning handviftningsargument för varför de förmågor GPT och andra stora språkmodeller uppvisar inte är äkta intelligens, men de har alla det gemensamt att de (med minimala modifieringar) visar att inte heller människor har äkta intelligens. Av detta kan vi dra slutsatsen att argumenten antingen är felaktiga eller att de underförstått laborerar med ett irrelevant intelligensbegrepp. Jag hoppas inom kort få tid till en bloggpost med en kort genomgång av de vanligaste argumenten av denna typ.
<p>
3) Inte heller i Sundins bakgrund finns något som tyder på kunskaper i ämnet - <a href="https://sv.wikipedia.org/wiki/Mathias_Sundin">Wikipedia anger</a> hans främsta akademiska meritering som ''tidigare lärarstudent''.
<p>
4) Om Sundin är intresserad kan jag skicka honom ett signerat exemplar av <i>Tänkande maskiner</i>.
</small>
</div>Olle Häggströmhttp://www.blogger.com/profile/07965864908005378943noreply@blogger.com5tag:blogger.com,1999:blog-8131794231697217573.post-43223164113709911782023-04-02T09:30:00.004+02:002023-04-02T10:21:57.348+02:00Tidningsrubriker i veckan<div style="text-align: justify;">
Aldrig tidigare har jag varit så uppvaktad av journalister som denna vecka. Det handlar givetvis om den skenande AI-utvecklingen. Inledningsvis kom intervjuförfrågningarna som reaktion på <a href="https://haggstrom.blogspot.com/2023/03/jag-skriver-om-gpt-4-och-gpt-5-i-ny.html">min debattartikel i <b>Ny Teknik</b> förra fredagen</a>, men därefter i än högre grad triggat av <a href="https://futureoflife.org/open-letter/pause-giant-ai-experiments/">det öppna brev om en sex månaders AI-paus</a>, initierat av Future of Life Institute, som jag var med och undertecknade. Här, i approximativ kronologisk ordning, en ofullständig lista över rubriker som dessa intervjuer givit upphov till:
<ul>
<li> <a href="https://tidningensyre.se/2023/27-mars-2023/nu-kan-chat-gpt-surfa-pa-natet-men-hanger-vi-med-i-utvecklingen/"><i>Nu kan ChatGPT surfa på nätet - men hänger vi med i utvecklingen?</i></a> i <b>Syre</b>.
<li> <a href="https://sverigesradio.se/artikel/ai-kapplopning-oroar-bedomare"><i>AI-kapplöpningen oroar bedömare</i></a> i <b>Vetenskapsradion Nyheter</b>, Sveriges Radio.
<li><a href="https://www.nyteknik.se/tech/chat-gpts-nya-superformaga-kan-ersatta-dina-appar/2016973"><i>Chat GPT:s nya superförmåga kan ersätta dina appar</i></a> i <b>Ny Teknik</b>.
<li> <a href="https://fof.se/artikel/det-som-skrammer-mest-ar-att-ai-lar-sig-social-manipulation/"><i>”Det som skrämmer mest är att AI lär sig social manipulation”</i></a> i <b>Forskning och Framsteg</b>.
<li> <a href="https://www.aftonbladet.se/nyheter/a/l3roVk/larmet-ai-systemen-har-borjat-manipulera-manniskor"><i>Framtidsexpert: ”Risken är att AI förintar oss”</i></a> i <b>Aftonbladet</b>.
<li> <a href="https://sverigesradio.se/artikel/gar-ai-for-fort-fram"><i>Professorn har undertecknat varningen: AI kan hota civilisationen</i></a> i <b>P1 Morgon</b>, Sveriges Radio.
<li> <a href="https://www.dn.se/sverige/forskare-varnar-om-hotet-fran-ai-kan-leda-till-slutet-for-manskligheten/"><i>Forskare varnar om hotet från AI: ”Kan leda till slutet för mänskligheten”</i></a> i <b>Dagens Nyheter</b>. Denna intervju är även refererats på annat håll:
<ul>
<li> <a href="https://omni.se/forskare-ai-kan-leda-till-den-slutliga-katastrofen/a/zEVnWK"><i>Forskare: AI kan leda till den slutliga katastrofen</i></a> i <b>Omni</b>.
</ul>
<li> <a href="https://www.etc.se/feature/professorn-om-ai-vi-har-inte-koll-paa-dess-maal-och-drivkrafter"><i>Professorn om AI: ”Vi har inte koll på dess mål och drivkrafter”</i></a> i <b>Etc</b>.
</ul>
Vi får se om nästa vecka blir lugnare (för min del alltså - AI-utvecklingen lär inte avstanna).
</div>Olle Häggströmhttp://www.blogger.com/profile/07965864908005378943noreply@blogger.com1tag:blogger.com,1999:blog-8131794231697217573.post-22199063876362978142023-03-28T10:30:00.009+02:002023-04-03T08:04:54.635+02:00OpenAI and the Manhattan project<div style="text-align: justify;">Here's another short (30 minutes) video lecture of mine, following up on <a href="https://haggstrom.blogspot.com/2022/12/chatgpt-and-ai-alignment.html">the one from December 16 last year</a>, and commenting on the current breakneck speed at which AI is now advancing, including in particular OpenAI's releases in the last two weeks, first of <a href="https://openai.com/research/gpt-4">GPT-4</a> and then of <a href="https://openai.com/blog/chatgpt-plugins">ChatGPT plugins</a>. Perhaps I will be criticized for the parallel to aspects of the Manhattan project, but so be it then, because the comparison is apt.
</div>
<p>
<div style="text-align: center;">
<iframe width="480" height="270" src="https://www.youtube.com/embed/GEZxJ3VI_Uw" frameborder="0" allowfullscreen></iframe>
</div>Olle Häggströmhttp://www.blogger.com/profile/07965864908005378943noreply@blogger.com3tag:blogger.com,1999:blog-8131794231697217573.post-2719735502775210242023-03-25T17:30:00.001+01:002023-03-25T17:41:02.011+01:00Three recent podcast episodes where I talk about GPT and other AI<div style="text-align: justify;">
Over the course of just over a month, I've appeared on three different podcasts for in-depth interviews about the current very rapid development in artificial intelligence (AI) and what it means for our future.
<ul>
<li> February 18, 2023: The episode <a href="https://podcasts.google.com/feed/aHR0cHM6Ly9mZWVkcy5hY2FzdC5jb20vcHVibGljL3Nob3dzLzYyZmI3OGIyNGY4MWI4MDAxMzZlYTkxMA/episode/NjNlZmEwMDhkOWQyNzQwMDEyNmNlM2Iw"><i>Om den artificiella intelligensens framtid</i></a> in Christer Sturmark's podcast <i>Fri Tanke-podden</i>.
<li> March 10, 2023: The episode <a href="https://podcasts.google.com/feed/aHR0cHM6Ly9mZWVkcy5zb3VuZGNsb3VkLmNvbS91c2Vycy9zb3VuZGNsb3VkOnVzZXJzOjI4ODMxNjAxOC9zb3VuZHMucnNz/episode/dGFnOnNvdW5kY2xvdWQsMjAxMDp0cmFja3MvMTQ2NTg1ODY4MQ"><i>Om ChatGPT och generativ AI</i></a> in Fredrik Eriksson's and Martin Jönsson's podcast <i>Om filosofers liv och framtid</i>.
<li> March 24, 2023: The episode <a href="https://podcasts.google.com/feed/aHR0cHM6Ly9mZWVkcy5mZWVkYnVybmVyLmNvbS9waGlsb3NvcGhpY2FsZGlzY3Vyc2lvbnM/episode/dGFnOmJsb2dnZXIuY29tLDE5OTk6YmxvZy0xNzgwODA2OTQ1OTYwODg2NTM0LnBvc3QtNzkyODY3MTM4OTQxNjQ1OTg3Nw"><i>GPT: How worried should we be?</i></a> in John Danaher's podcast <i>Philosophical Disquisitions</i>.
</ul>
As to the subject matter discussed, there is plenty of overlap between the three episodes, but also significant non-overlap. Perhaps importantly to some of my readers, the first two are in Swedish and the third one is in English.
</div>
<p>
<div style="text-align: justify;">
Let me also note that I am a returning guest on all three of these podcasts. Prior to the episodes listad above, I have previously appeared twice in <i>Fri Tanke-podden</i> (in <a href="https://podcasts.google.com/feed/aHR0cHM6Ly9zMy5hbWF6b25hd3MuY29tL2ZlZWQucG9kYmVhbi5jb20vZnJpdGFua2UvZmVlZC54bWw/episode/ZnJpdGFua2UucG9kYmVhbi5jb20vMjItYWktZnJhZ2Fucy1tYW5nYS1ueWFuc2VyLTI0YjAwZjkwZGQxNzAwZjMzM2YxZWU4ZjFhNGVlZGQx">December 2017</a> and <a href="https://podcasts.google.com/feed/aHR0cHM6Ly9mZWVkcy5hY2FzdC5jb20vcHVibGljL3Nob3dzLzYyZmI3OGIyNGY4MWI4MDAxMzZlYTkxMA/episode/ZnJpdGFua2Vwb2RkLnBvZGJlYW4uY29tL2U4ZGE4NzhmLTQ5MDAtMzU5Yi04NDg5LWQ5ZjljOGM0Zjg1YQ">May 2021</a>), once in <i>Om filosofers liv och tankar</i> (in <a href="https://podcasts.google.com/feed/aHR0cHM6Ly9mZWVkcy5zb3VuZGNsb3VkLmNvbS91c2Vycy9zb3VuZGNsb3VkOnVzZXJzOjI4ODMxNjAxOC9zb3VuZHMucnNz/episode/dGFnOnNvdW5kY2xvdWQsMjAxMDp0cmFja3MvMTA2MTAwNTQ1Ng">June 2021</a>), and twice in <i>Philosophical Disquisitions</i> (in <a href="https://podcasts.google.com/feed/aHR0cHM6Ly9hbGdvY3JhY3kud29yZHByZXNzLmNvbS9jYXRlZ29yeS9wb2RjYXN0L2ZlZWQv/episode/aHR0cDovL2FsZ29jcmFjeS53b3JkcHJlc3MuY29tLz9wPTI3MTU">July 2019</a> and <a href="https://podcasts.google.com/feed/aHR0cHM6Ly9ldGhpY3NvZmFjYWRlbWlhLndvcmRwcmVzcy5jb20vY2F0ZWdvcnkvcG9kY2FzdC9mZWVkLw/episode/aHR0cDovL2V0aGljc29mYWNhZGVtaWEud29yZHByZXNzLmNvbS8_cD0xMDM">September 2022</a>).
</div>Olle Häggströmhttp://www.blogger.com/profile/07965864908005378943noreply@blogger.com4tag:blogger.com,1999:blog-8131794231697217573.post-5620726252029241662023-03-24T08:45:00.001+01:002023-03-24T08:59:27.088+01:00Jag skriver om GPT-4 och GPT-5 i Ny Teknik idag<div style="text-align: justify;">
I <i>Ny Teknik</i> skriver jag idag om AI-risk i samband med OpenAI:s nya GPT-4 och dess eventuella efterföljare GPT-5. Min debattartikel fick rubriken <a href="https://www.nyteknik.se/debatt/vi-kan-inte-ta-for-givet-att-vi-overlever-en-otillrackligt-sakrad-gpt-5/2016676"><i>Vi kan inte ta för givet att vi överlever en otillräckligt säkrad GPT-5</i></a> och inleds på följande vis:
<ul>
Vilka egenskaper ligger bakom den dominans på vår planet som människan byggt upp från nästan noll de senaste 100 000 åren? Det handlar inte om muskelstyrka eller fysiska uthållighet, utan nästan enbart om vår intelligens, vars enorma kraft också pekar på vilket avgörande skede vi befinner oss i nu, då vi är på väg att automatisera den och överföra den till maskiner.
<p>
Googles VD Sundar Pichai överdrev knappast när han i ett tal 2018 utnämnde AI (artificiell intelligens), till ”troligen det viktigaste mänskligheten någonsin arbetat med – viktigare än både elektriciteten och elden”. AI kan bli nyckeln till att lösa alla de stora miljö-, naturresurs- och samhällsproblem som vi brottas med i dag, och till att lägga grunden för en hållbar och blomstrande framtid.
<p>
Men det finns också stora risker. En del av dessa är relativt jordnära – som den att AI-verktyg medverkar till diskriminering eller blir ett redskap för spridning av individanpassad desinformation och spam. Dessa är viktiga att hantera, men den i slutändan allra främsta AI-risken handlar om ett eventuellt framtida AI-genombrott som skapar det som ibland kallas AGI (artificiell generell intelligens). Redan datavetenskapens grundare Alan Turing skrev i en framåtblickande text 1951 om en punkt där maskinerna till slut överträffar mänsklig tankeförmåga, och hur vi då inte längre kan räkna med att behålla kontrollen över dem.
<p>
I ett sådant läge hänger mänsklighetens fortsatta öde på vilka mål och drivkrafter de superintelligenta maskinerna har. Det skulle dröja mer än ett halvsekel efter Turings varningsord innan det forskningsområde som i dag benämns ”AI alignment” sakta började komma igång. AI alignment går ut på att se till att de första AGI-maskinerna får värderingar som är i linje med våra egna, och som prioriterar mänsklig välfärd. Om vi lyckas med det blir AGI-genombrottet det bästa som någonsin hänt oss, men om inte så blir det sannolikt vår undergång.
<p>
Den som har överdoserat på Terminator och liknande filmer kan lätt tro att avancerad robotik är nödvändigt för en AI-katastrof. En av de insikter som ai alignment-pionjären Eliezer Yudkowsky gjorde på 00-talet var dock att ett ai-övertagande inte förutsätter robotik, och att en kanske troligare väg till maktövertagandet åtminstone initialt går via...
</ul>
Med denna cliffhanger uppmanar jag er att <a href="https://www.nyteknik.se/debatt/vi-kan-inte-ta-for-givet-att-vi-overlever-en-otillrackligt-sakrad-gpt-5/2016676">läsa resten av artikeln hos <i>Ny Teknik</i></a>.
</div>Olle Häggströmhttp://www.blogger.com/profile/07965864908005378943noreply@blogger.com5