Förvirrat om entropi och information

Forskning och Framsteg är en utmärkt tidskrift som jag levt med i cirka tre decennier. Ett och annat lågvattenmärke förekommer dock i dess spalter, som den text med rubriken Finns slumpen? av Allan Gut, professor emeritus i matematisk statistik, som återfinns i senaste numret 1/2013.^1,2 Det rör sig om en allmänt pladdrig text, vars absoluta nadir nås då Gut tar på sig att förklara hur informationsteorins centrala storheter hänger samman:

Inom informationsteorin används entropi som ett mått på informationsinnehållet, där ett högt informationsinnehåll svarar mot låg entropi och tvärtom.

Ojdå, hur tänkte han nu? Det var min första reaktion. Min andra reaktion var att det nog ändå måste röra sig om ett förargligt skrivfel, där han råkat knappa in ordet "låg" istället för "hög".³ Det visade sig emellertid snabbt att min första reaktion var den mer relevanta, ty Gut förklarar hur han tänkt:

Matematisk analys av entropin visar att det symmetriska fallet ger störst entropi, och då är också slumpen som störst. Medan entropi för ett mynt med en klave och en krona på vardera sidan är lika med noll.

För att tolka detta kan vi tänka så här. Slumpen kan vi som bekant inte veta något om i förväg. Inte ens om vi singlar ett symmetriskt mynt många gånger får vi någon ledtråd om vilket utslaget blir nästa gång. Alla gissningar är lika bra, eller dåliga. Om vi däremot singlar ett asymmetriskt mynt, där sannolikheten för klave är 90 procent och sannolikheten för krona bara 10 procent, så är det rimligare att gissa på klave än på krona – det blir oftare rätt. Extremfallet är förstås ett mynt med krona på bägge sidor. Då vet vi allt. Det symmetriska myntet som har störst entropi ger oss således minst information.

Här började jag fundera över lämpliga sokratiska metoder att försöka förklara informationsteorins informationsbegrepp för Gut. "Om du hade behov av att hämta så mycket information som möjligt från en digital kanal, skulle du då föredra en som på ett oförutsägbart sätt blandar nollor och ettor, eller skulle du välja en som inte förmår annat än att leverera en monoton och aldrig sinande ström av ettor?" Inför en sådan fråga borde han väl begripa att han fått informationsbegreppet om bakfoten? Fast nej, kanske ändå inte, ty en liten bit fram i texten ger Gut själv ett liknande exempel, där han menar att om han behöver söka information bland sina medmänniskor så har han mest att hämta hos dem vilkas yttranden han redan på förhand kan förutsäga:

Ta till exempel entropi och människotyp. En pålitlig, ordningsam, förutsägbar, inflexibel människa överraskar föga; man vet precis vad hon ska svara, säga, göra och därför kan hon beskrivas med en entropi nära noll, medan en nyckfull, impulsiv, spontan och kaotisk person ger mycket lite information, och på så vis inte är förutsägbar. En sådan person kan identifieras med hög entropi.

Ack så tokigt!

Fotnoter

1) Det här är inte första gången jag råkar på dumheter i en text av Allan Gut. I sin bok Sant eller sannolikt (Norstedts, 2002) bjuder han på s 137-138 på ett exempel på den vanligt förekommande statitiska metod som kallas stickprovsdragning, men exemplet är så till den grad illa valt att det ger en gravt vilseledande bild av vad finessen med att dra ett stickprov egentligen är. Det hela kändes såpass pinsamt, för att komma från en professor i matematisk statistik, att jag i min recension av boken i (den sedemera nedlagda) tidskriften Dagens Forskning avstod från att orda om saken, annat än med det mer allmänna påpekandet om att

författaren borde ha anslagit något mera tid åt sitt bokprojekt, då ett antal av exemplen framstår som ogenomtänkt utvalda och/eller slarvigt genomförda.

Dock hörde jag av mig till Gut med ett påpekande om hans fadäs. Något tack eller erkännande från hans sida fick jag inte, men man får glädjas åt det lilla: i den påföljande pocketupplagan av boken är de felande sidorna (i tysthet) strukna.

2) I det outtröttliga korståg mot dumheter som jag driver här på bloggen och annorstädes, är det påtagligt ofta just professorer som kommer i skottlinjen. Jag när ännu en lite romantisk föreställning om att vi professorer har ett särskilt ansvar för sanning, vetenskaplighet och intellektuell hederlighet, och tenderar därför att reagera starkare när det är just en professor som häver ur sig något vilseledande eller dumt. Bland de svenska professorer som jag gått hårt fram mot återfinns bl.a. Bosse Holmqvist, Claes Johnson, Ingemar Nordin, Peter Stilbs och Moira von Wright. Gemensamt för dessa är att de driver en given agenda (oftast om än inte uteslutande klimatförnekeri) så hårt att det får dem att tappa omdömet och glömma de vetenskapliga och retoriska redlighetskrav de naturligtvis egentligen känner till. Allan Gut faller lite utanför denna ram - jag kan inte identifiera någon agenda från hans sida. Snarare verkar det som om han känner ett behov av att göra sig hörd i största allmänhet, men inte riktigt har det tålamod som krävs för att se till att det han skriver är vederhäftigt.

3) Förklaringar som bättre ansluter sig till den gängse informationsteoretiska definitionen av information finner vi t.ex. i Wikipedia...

In information theory, entropy is a measure of the uncertainty in a random variable. In this context, the term usually refers to the Shannon entropy, which quantifies the expected value of the information contained in a message. Entropy is typically measured in bits, nats, or bans. [...] Shannon entropy is the average unpredictability in a random variable, which is equivalent to its information content.

...eller i Nationalencyklopedin:

Inom informationsteorin används entropin som ett mått på informationsinnehållet i ett meddelande. Om det finns n=2^m tänkbara meddelanden som alla är lika sannolika, definieras entropin som S=log₂n=m och kan tolkas som antalet binära siffror som behövs för att definiera meddelandet. Om meddelandena däremot är olika sannolika kan medelantalet använda siffror i bästa fall reduceras till
S=-p₁log₂p₁ -...- p_nlog₂p_n,
där p_k är sannolikheten för meddelande nr k.