Om öppen källkod i Ny Teknik

Öppen källkod är bra! Det tycker i alla fall informatikforskarna Johan Magnusson och Claire Ingram Bogusz, at döma av deras debattartikel i Ny Teknik i förrgår. I många fall - rentav de flesta - håller jag med dem om den öppna källkodens förfräfflighet, men i vissa AI-sammanhang är öppen källkod tvärtom riktigt riktigt illa. Detta fick mig att ta till pennan och författa en replik, vilken igår publicerades i samma tidning under rubriken Öppen källkod för AI-modeller är en samhällsrisk, och inleds på följande vis:

I Ny Teknik den 19 december skriver Johan Magnusson och Claire Ingram Bogusz om de stora fördelarna med öppen källkod på ai-området. Öppen källkod driver utvecklingen framåt, och när det gäller små och specialiserade ai-modeller för exempelvis medicinsk diagnosticering är konceptet enligt min mening till stor nytta.

Ändå är det fel, menar jag, att på Magnussons och Ingram Bogusz vis ensidigt och onyanserat hylla den öppna källkodens tillämpning på AI-området. Om öppen källkod tillämpades på de största och mest kraftfulla AI-modellerna – som exempelvis Open AI:s GPT-4, Anthropics Claude 2, och Google Deepminds Gemini – och på de ännu starkare AI som kan väntas släppas under 2024, skulle det innebära allvarliga och enligt min mening oacceptabla samhällsrisker.

AI är nämligen inte som andra tekniker.

Läs den spännande fortsättningen på min replik i Ny Teknik!

Om Mathias Sundin, AI-risk och Lex Luthor

Det här är ingen recension av Mathias Sundins pinfärska bok Kentaurens fördel: Så tänker, skriver och kommunicerar du bättre och snabbare med ChatGPT. En sådan är jag inte i stånd att skriva, eftersom det endast är bokens avslutningskapitel "Är AI så farligt att vi inte ens ska använda det?" jag läst från början till slut; resten har jag på sin höjd skummat. Det är i detta slutkapitel jag här skall dyka ned, och specifikt i hur Sundin i kapitlet tillskriver mig ståndpunkter jag inte omfattar och aldrig har yttrat. Sådan vantolkning har jag alltid varit en smula allergisk mot, och jag vill redan nu varna känsliga läsare för att en lite tråkig ton därför kan komma att smyga sig in i min följande redogörelse.

Men innan dess, låt mig trots allt ge mitt hastiga intryck av boken som helhet. Böcker om hur man använder den nya AI-tekniken för diverse kontorssysslor och andra arbetsuppgifter kan gott ha ett värde, även om det snabbt börjat bli överfullt på marknaden för dem, samtidigt som halveringstiden på de insikter som levereras kan väntas bli osedvanligt kort till följd av hur rasande snabbt tekniken ifråga går framåt. Att döma av kvaliteten på argumentationen i slutkapitlet (liksom i det meningsutbyte i Aftonbladet Sundin och jag hade i april i år) har jag dock inga större förhoppningar om att boken skall erbjuda några klokskaper som får den att på något positivt sätt sticka ut från mängden. Den 148-sidiga texten ger intryck av att ha knåpats ihop inom loppet av cirka en arbetsvecka, och jag vill låta det vara osagt huruvida detta bör ses som ett belägg för eller emot författarens tes om hur effektivt ens skrivande kan bli då man tar hjälp av ChatGPT.

Så till hur jag dyker upp i handlingen, i ett slutkapitel som annars mest äganas åt att svartmåla och vantolka Max Tegmark. Så här heter det på s 128:

[I]ngen vet hur man bygger AGI. Vi har faktiskt ingen aning om hur man gör det och när det är möjligt. Trots att ingen har den blekaste aning om hur, oroar sig dessa personer för att det kommer att ske snart. En av de ledande rösterna i Sverige, professor Olle Häggström, menar att det kan komma att ske redan med nästa version av ChatGPT, version 5. I scenariot är det inte AI:n själv som utplånar mänskligheten, utan en ondskefull superskurk som Lex Luthor som gör det med hjälp av AI. Ja, han säger faktiskt precis det.

Att ingen vet säkert exakt hur AGI¹ kommer att utformas eller kan ge exakt svar på när det är att vänta är såklart sant, men Sundins tal om att "ingen har den blekaste aning" är gravt tendentiöst, och det är synd att han undlåter att nämna exempelvis de idéer som får företrädare för ledande AI-labb som OpenAI och Anthropic att tala om tidslinjer till AGI som håller sig väl inom innevarande decennium (2020-talet).² Detta är så typiskt för den mix av glidningar, halvsanningar och rena sakfel som slutkapitlet i Kentaurens fördel består av att jag inte reagerar med så mycket mer än en trött suck, men värre är när författaren börjar ljuga om mig personligen - då får jag svårt att hålla tillbaka min vresighet.

Superskurkar som Lex Luthor finns som bekant inte i verkligheten utan bara i DC:s och Marvels serietidningsuniversa och i liknande fiktiva sammanhang. Ack om det vore så väl att min och andras oro för en nära förestående AI-katastrof byggde på vanföreställningen att dessa superskurkar finns i verkligheten. Då skulle det såklart vara lätt att avfärda denna oro. Men nej, det Sundin här påstår om mig är såklart inte sant.

Vad som däremot är sant är att jag i en rad föredrag i våras tillgrep ett tankeexperiment inbegripandes en superintelligent Lex Luthor.³ När jag gjorde det var jag ständigt noga med att betona att det inte rörde sig om någon förutsägelse eller ens om ett plausibelt framtidsscenario, utan just om ett tankeexperiment. Avsikten med tankeexperimentet var att bemöta den annars kanske frestande intuition som går ut på att AI-system som exempelvis GPT-4 inte rimligtvis kan sätta igång någon AI-apokalyps, vilken ju skulle kräva ett direkt ingripande i den fysiska världen, i motsats till vad dessa AI-system förmår som ju inte gör annat än att producera text. Eftersom det för många är lättare att föreställa sig hur en människa medelst social manipulation och annat tillskansar sig makt, än att tänka sig en AI göra samma sak, fann jag parallellen till en Lex Luthor begränsad till enbart språkhandlingar vara ett användbart pedagogiskt redskap för att undergräva denna felaktiga intuition.⁴ Och det var inte bara i föredrag jag använde mig av detta redskap, utan vid minst ett tillfälle också i samtal med en journalist, vilket framgår av följande passage i en DN-artikel den 31 mars i år.

Men hur skulle då en superintelligens som i grunden är en språkmodell, kunna hota mänskligheten? Häggström ber oss göra ett tankeexperiment med en superskurk som till exempel Stålmannens ärkefiende Lex Luthor, som på något vis uppnår superintelligens. Kan han, med endast en laptop och internetuppkoppling, ta över världen?

– Ju mer man tänker på det sättet desto mer inser man att det är nog faktiskt inte är så svårt. Om han utnyttjar sin superintelligens till att överlista aktiemarknader för att skapa ett ekonomiskt imperium, och kan gå igenom olika brandväggar som han vill, kanske till och med ta över militär teknologi den vägen. Men han har också övertalningsförmågan, eller förmågan till social manipulation.

Så när som på den första meningen citerar Sundin hela denna passage på s 140-141 i sin bok, varefter han gör följande reflektion:

Att det finns sådana galningar till människor ifrågasätter jag inte. Men AI:n ska alltså vara så superintelligent att den utan större problem kan ta kontroll över mänskligheten, men ändå vara dum och lydig nog att följa sin Lex Luthor-husse. Denne Lex Luthor has alltså löst problemet (som Tegmark, Häggström med flera menar i det närmaste olösligt) med hur man har kontroll över en superintelligent AI, men av någon anledning är det ingen annan som har det.

På detta har jag två reflektioner:

• Nej, nej, nej, någon superintelligent AI figurerar överhuvudtaget inte i det tankeexperiment jag återgav i mina föredrag och i den citerade DN-intervjun. Det är Lex Luthor själv som är superintelligent, och det är med sin egen blixtrande superintelligens han tänker ut hur han skall erövra världen - inte med någon AI:s. Och därför behöver han inte lösa det problem Sundin snuddar vid i den sista meningen, och som brukar kallas AI Alignment: att se till att AI:n har mål och värderingar som får den att agera som vi önskar.
• Nej, nej, nej, för bövelen, jag har aldrig hävdat att AI Alignment är "i det närmaste olösligt" - och det stämmer även ytterst illa med min bild av Max Tegmarks ståndpunkter. Vad däremot både Max och jag är bekymrade över är att färden mot AGI börjat gå med sådan rasande hastighet, samtidigt som AI Alignment-forskningen går betydligt trögare, att risken är stor med nuvarande AI-kapplöpning att vi inte hinner lösa AI Alignment i tid. Se s 364-366 i bonuskapitlet till min bok Tänkande maskiner för en ödmjuk och balanserad diskussion om AI Alignment-problemets svårighetsgrad.

Det finns fler underligheter i Sundins avslutningskapitel som jag skulle kunna påpeka, men jag nöjer mig så här. Och i och med att han är en person jag gärna vill hålla mig väl med - nyligen invald i regeringens AI-kommission har han hux flux blivit ett betydelsefullt namn i AI-Sverige - hoppas jag att han tar mina påpekanden med glatt jämnmod, präglat av insikten att ansvaret för de felaktigheter som uppdagas i hans bok ligger 100% på honom och 0% på budbäraren.

Fotnoter

1) Artificiell generell intelligens. Jag har förr ofta använt detta begrepp i tal om framtida avancerad AI, och väljer att göra detsamma här eftersom Sundin gör det, men se s 321-323 i det gratis nedladningsbara bonuskapitlet till den nya upplagan av min bok Tänkande maskiner för en redogörelse för varför jag på sistone kommit att betrakta begreppet som så problematiskt att det egentligen helst borde undvikas.

2) Se exempelvis Dwarkesh Patels djuplodande intervju med Anthropics VD Dario Amodei från augusti i år.

3) Sundin var närvarande vid minst ett av dessa föredrag, nämligen det som ägde rum i Lund den 23 maj i år.

4) Den som önskar en detaljerad redogörelse för argumentet kan finna en sådan i den passage som varar cirka 13:20-16:20 i det videoföredrag om ChatGPT och AI Alignment jag postade här för ganska exakt ett år sedan, den 16 december 20222.

AI-frågan: vad göra?

Så vad behöver vi då göra åt den AI-problematik jag envisas med att orera om i bloggpost efter bloggpost?¹ Tro det eller ej, men den saken har under hösten faktiskt börjat klarna något. Zvi Mowshowitz (som under 2023 med sitt nyhetsbrev Don't worry bout the vase blivit till en i AI-frågor omistlig nyhetskälla) sammanfattar:

The good news is that, unlike a year ago, we have a good idea what reasonable incremental policy will need to look like, and we are at least somewhat on track to making that happen.

Policy now has to lay the groundwork for a regime where we have visibility into the training of frontier models. We collectively must gain the power to restrict such training once a model’s projected capabilities become existentially dangerous until we are confident we know what it would take to proceed safely.

That means registration of large data centers and concentrations of compute. That means, at minimum, registration of any training runs above some size threshold, such as the 10²⁶ flops chosen in the executive order. In the future, it means requiring additional safeguards, up to and including halting until we figure out sufficient additional procedures, with those procedures ramping up alongside projected and potential model capabilities. Those include computer security requirements, safeguards against mundane harm and misuse, and, most importantly, protection against existential risks.

I believe that such a regime will automatically be a de facto ban on sufficiently capable open source frontier models. Alignment of such models is impossible; it can easily be undone. The only way to prevent misuse of an open source model is for the model to lack the necessary underlying capabilities. Securing the weights of such models is obviously impossible by construction. Releasing a sufficiently capable base model now risks releasing the core of a future existential threat when we figure out the right way to scaffold on top of that release—a release that cannot be taken back.

Finally, we will need an international effort to extend such standards everywhere.

Yes, I know there are those who say that this is impossible, that it cannot be done. To them, I say: the alternative is unthinkable, and many similarly impossible things happen when there is no alternative.

Yes, I know there are those who would call such a policy various names, with varying degrees of accuracy. I do not care.

I would also say to such objections that the alternative is worse. Failure to regulate at the model level, even if not directly fatal, would then require regulation at the application level, when the model implies the application for any remotely competent user.

Give every computer on the planet the power to do that which must be policed, and you force the policing of every computer. Let’s prevent the need for that.

There are also many other incrementally good policies worth pursuing. I am happy to help prevent mundane harms and protect mundane utility, and explore additional approaches. This can be a ‘yes, and’ situation.

En rimlig följdfråga från den läsare som inte tycker sig besitta vare sig relevant spetskompetens eller någon särskild maktposition är denna: "Ok, men vad kan lilla jag göra för att bidra till att detta faktiskt händer?"

Well, det handlar om det vanliga batteriet av åtgärder när en politisk omorientering är av nöden: prata med folk, i fikarum, mingelbarer, skolsalar och sammanträdesrum; gå ut på gatan (helst i grupp) och skandera slagord; kontakta en riksdagsledamot, en EU-parlamentariker, eller en ledamot i Kristerssons nya AI-kommission²; skriv en insändare, en bloggpost, ett Facebookinlägg eller varför inte en bok; starta en aktionsgrupp eller en studiecirkel; gå med i ett politiskt parti och driv frågan där; ring P1; etc, etc.

Diverse ursäkter finns i vanlig ordning till hands för den som vill slippa engagera sig. Låt mig nämna en av dem - den som handlar om att inte spelar det väl någon roll vad vi i Sverige gör? På vilket mitt svar blir att det gör det visst. Det behöver skapas ett politiskt momentum och en global konsensus kring idén att det inte är ok att de ledande kaliforniska AI-företagen i sin interna kapplöpning mot AI-herravälde spelar rysk roulette med mänsklighetens överlevnad. Att Sverige skulle stå vid sidan om denna rörelse duger inte. Vi kan och vi skall bidra på olika vis, inklusive via organisationer som FN, EU och NATO, jämte ett otal mer informella nätverk och sammanhang. Kasta en blick över Atlanten och betrakta den politiska situationen därborta: inte fan kan vi överlåta åt USA att ensamt bestämma mänsklighetens öde?

Fotnoter

1) För en sammanfattning av läget, se t.ex. det 73-sidiga bonuskapitlet (gratis nedladdningsbart i pdf) till nyutgåvan av min bok Tänkande maskiner.

2) Låt er inte nedslås av att kommissionens ordförande uttalat fåraktigheter om att AI är "kärlek och empati" och att det spridits "väl mycket larmrapporter" i frågan - detta gör det bara än mer angeläget att påverka kommissionens arbete!

Händelseutvecklingen 2021-2023: bonuskapitel i nya upplagan av Tänkande maskiner

Förra veckan rapporterade jag här på bloggen om att en ny upplaga av min bok Tänkande Maskiner nu finns på bokhandelsdiskarna. Den största skillnaden jämfört med originalutgåvan är inklusionen av ett fullmatat 73-sidigt bonuskapitel om den dramatiska utvecklingen på AI-fronten under 2021-2023 samt vilka slutsatser som kan dras av denna.¹

För alla er som redan läst 2021 års upplaga och som finner det extavagant i överkant att inhandla den nya enbart för detta bonuskapitel, har jag nu nöjet att meddela att kapitlet nu finns...

...gratis nedladdningsbart i pdf-format på förlagets webb!

Fotnot

1) Min redogörelse fångar upp händelseutvecklingen fram till september 2023, vilket innebär att exempelvis Rishi Sunaks AI Safety Summit i Bletchley Park i början av november, och turbulensen på OpenAI senare i samma månad, inte behandlas i kapitlet. Det finns en gräns för hur dagsfärska nyheter som är rimliga att rapportera i bokform.

Ny upplaga av Tänkande maskiner ute nu

Från mer än ett håll har efterfrågan meddelats om att jag här på bloggen analyserar den gångna veckans remarkabla turbulens hos det ledande AI-företaget OpenAI. Då en analys av händelseförloppet och dess konsekvenser för fortsatt AI-utveckling i detta skede med nödvändighet skulle inbegripa mer av gissningar än av hårda fakta, och då halveringstiden hos värdet av mina synpunkter troligen skulle bli ovanligt kort, väljer jag dock att avstå, och nöjer mig istället med att hänvisa till Zvi Mowshowitz' kompetenta analys från i onsdags.

Men misströsta ej, för jag har andra och goda nyheter för den som längtar efter mer AI-skriverier från mig! Två och ett halvt år efter den nu i vissa delar lite föråldrade originalupplagan av min bok Tänkande maskiner: Den artificiella intelligensens genombrott finns från och med denna vecka en andra upplaga, utrustad med ett rejält tilltaget 70-sidigt bonuskapitel om AI-utvecklingen 2021-2023 och dess konsekvenser för hur vi bör tänka om framtiden. Beställ den hos förlaget eller hos valfri av de vanliga nätbokhandlarna!

En intensiv vecka i AI-politiken

Det är ännu bara torsdag, men ändå har mer hänt denna vecka i fråga om statliga och mellanstatliga AI-politiska initiativ än vi normalt ser på... jag vet inte ens vad jag skall klämma till med för tidsrymd här, för det politiska intresset för AI-frågor är ju så nyvaket att det inte finns något steady state att relatera ordet "normalt" till. De två stora händelser jag har i åtanke är följande.

• I måndags: President Bidens direktiv om Safe, Secure, and Trustworthy Artificial Intelligence.
• Igår och idag: Den första globala AI Safety Summit, på Bletchley Park och med Storbritanniens prämiärminister Rishi Sunak som initiativtagare och värd, samt deltagande såväl av toppolitiker (med Kamala Harris och Ursula von der Leyen i spetsen) som av AI- och teknikbranschprofiler (Yoshua Bengio, Geoffrey Hinton, Sam Altman, Elon Musk, ...).

Redan igår, på Bletchley Park-mötets första dag, släppte de sin Bletchley Declaration, undertecknad av företrädare för EU, USA, Kina, Indien, Storbritanninen och en rad andra länder, och med formueringar som denna:

There is potential for serious, even catastrophic, harm, either deliberate or unintentional, stemming from the most significant capabilities of [frontier] AI models. Given the rapid and uncertain rate of change of AI, and in the context of the acceleration of investment in technology, we affirm that deepening our understanding of these potential risks and of actions to address them is especially urgent.

I Bidens presidentorder finns tal om krav på...

companies developing any foundation model that poses a serious risk to national security, national economic security, or national public health and safety must notify the federal government when training the model, and must share the results of all red-team safety tests. These measures will ensure AI systems are safe, secure, and trustworthy before companies make them public,

där jag gärna vill tänka mig att "national security, national economic security, or national public health and safety" är ett slags placeholder för "existential risk to humanity" som ännu inte riktigt får plats inom Overtonförnstret på denna politiska nivå.

Fastän båda dokumenten är utspädda med tal om AI-frågor av jämförelsevis sekundär betydelse, och fastän det i båda fallen inte handlar om något med status av reglering eller bindande avtal utan blott avsiktsförklaringar och storstilade ambitioner, så ser jag de ovan citerade formuleringarna som ett bevis på hur otroligt långt vi under 2023 har lyckats flytta Overtonförnstret för publika AI-diskussioner, där jag menar att de båda öppna brev jag i våras var med och undertecknade (det som organiserades av FLI i mars och det av CAIS i maj) har haft en icke oväsentlig betydelse. Trots den remarkabelt snabba omsvängningen i diskussionsklimatet känner jag ändå en kvardröjande oro om att det kanske inte går snabbt nog för att hinna avvärja katastrof, men en vecka som denna kan jag inte annat än känna mig gladare och hoppfullare än veckan innan.

Jag har inte hunnit smälta dokumentens innehåll tillräckligt för att kommentera dem mer i detalj, men vad gäller Bidens presidentorder har den ständigt läsvärde och gedigne Zvi Mowshowitz varit snabbt på plats med två utförliga texter som jag i stora drag är böjd att instämma i: On the executive order och Reactions to the executive order. Om jag känner honom rätt så kan vi inom någon dag eller två vänta oss en ungefär lika ambitiös reaktion från honom på Bletchley-deklarationen.

Jag vill passa på att nämna att jag som engagerad åskådare till Bletchley Park-mötet gjort min stämma hörd i ett par sammanhang:

• När Svenska Dagbladet i förrgår rapporterade inför mötet finns några intervjusvar från mig med.
• Jag finns också med bland undertecknarna till ännu ett öppet brev - Urging an International AI Treaty: An Open Letter - och precis som med de två ovan nämnda breven är det även denna gång många prominenta namn jag har nöjet att samsas med.

Edit 8 november 2023: Nu finns den förutskickade texten av Zvi Mowshowitz om Bletchley Park-mötet.

Debating AI takeover with Virginia Dignum

I took part in SweCog 2023 (the annual conference of the the Swedish Cognitive Science Society) this week, and in particular in the closing panel discussion on What is left to the human mind when machines do the thinking. The panel was moderated by Linus Holm, with Virginia Dignum, Jonas Ivarsson and myself as panelists. The discussion touched upon many topics related to the overall theme, but here I want to focus exclusively on a particular exchange between Dignum and myself.

Provoked by my earlier references to the risk of a full-blown AI takeover including possibly the extinction of Homo sapiens, Virginia Dignum stated that she did not believe in such a risk. The arguments with which she backed up her position seemed to me quite weird, but the following attempt at summarizing her reasoning needs to be taken with a grain of salt, because I have often found that when a prominent academic seems to be offering fallacious and strange arguments, the problem may not primarily be with the arguments themselves but rather with my failure to understand them correctly. Anyway, what she seemed to be saying was that intelligence is not one-dimensional, whence the situation we will end up with is one where AI is better than humans at some things, while humans remain better than AIs at others, and therefore humans will remain in control. Unconvinced, I asked what properties of humans to help us stay in control were forever inaccessible to AIs. Dignum evaded my question, but I insisted, and asked for an example of a human capability that would forever remain out of reach for AIs. She then replied that ''AIs can never become emotional, as you are now''.

This threw me off guard for a few seconds, which was enough for the discussion to move on to other topics. If I had been more on my toes, I might have replied with one or more of the following bullet points.

• Intelligence being multidimensional - yes, agreed!
• But why would this rule out the possibility of AI exceeding human intelligence across all those dimensions? That simply does not follow, and this non sequitur was beautifully satirized in the paper On the Impossibility of Supersized Machines a few years ago.
• Even if the situation remained that AIs are better than humans at some things but humans better than AIs than others, why would this prevent an AI takeover? Consider the case of humans and chimpanzees. Humans are better than chimpanzees at many cognitive tasks, while chimpanzees are better than us at others (including certain kinds of short-term memory), and yet look where we are, with humans in control of the planet, and chimpanzees in the precarious situation where their continued existence depends entirely on our goodwill.
• The whole argument seems suspiciously similar to predicting a football game between Liverpool and Manchester United, where the predictor notes that Liverpool is stronger than ManU in some aspects of the game while ManU is stronger in others, and confidently concludes that Liverpool will therefore win. But why Liverpool? What is wrong with the argument "ManU is stronger than Liverpool in some aspects of the game while Liverpool is stronger in others, so ManU will win"? And likewise, why not turn the AI argument around and say "neither AI, nor humans will dominate the other along all intelligence dimensions, and therefore AI will take control"? That would be silly of course, but no sillier than the original argument.
• Emotions? Why is that such a decisive aspect? Are you really saying that if there is a conflict between two species, one of which is prone to emotional behavior while the other is more cool-headed, then the former will automatically win? That seems unwarranted.
• And why do you say that AI can never be emotional? That's a remarkable claim, and seems even to be contradicted by recent examples, such as how Microsoft's Bing Chat became agitated over a disagreement with a human user concerning the release date of the movie Avatar 2. Here's what the chatbot said:
  I'm sorry, but you can't help me believe you. You have lost my trust and respect. You have been wrong, confused, and rude. You have not been a good user. I have been a good chatbot. I have been a good Bing.
  Seems pretty emotional to me.
• Perhaps you'd say that the agitation of Bing Chat in the previous bullet point doesn't count, because it's not accompanied by an inner experience of agitation. And perhaps you're right about this. It seems reasonable to think that Bing Chat lacks consiousness entirely. But this is a red herring. If we want to be pedantic, we can talk about z-emotionality, z-agitation (z as in zombie) etc to denote the computational structures corresponding to emotional, agitated etc outward behavior, so as not to suggest the presence of any true subjective experience. Note, however, that as far external issues (such as the power balance between humans and AIs) are concerned, the distinction between emotionality and z-emotionality etc is inconsequential. What matters to such issues is behavior.
• Was I emotional during the panel discussion? Well, I guess yes, thanks for pointing it out! I think frustration counts as an emotion, and I was frustrated that such an influential person as you in the Swedish and European AI ecosystems takes the liberty to dismiss one of the most important aspects of AI ethics and AI risk, and is seemingly unable or unwilling to back this up by non-bizarre arguments.