När utilitarism kan vara omoraliskt

År 2007 skrev Eliezer Yudkowsky ett inlägg,Torture vs. Dust Specks, där han beskrev ett moraliskt tanke-exempel som belyser en viktig konsekvens av moralfilosofin utilitarism. Nämligen vad som händer när man tänker sig att alla känslor kan mätas, adderas och värderas efter en och samma skala. I det här inlägget tänkte jag gå igenom Yudkowskys experiment och ge min förklaring till varför det visar att utilitarism hypotetiskt inte alltid är moraliskt.

En sammanfattning av "Torture vs. Dust Specks":

Föreställ dig det minst dåliga som kan hända dig eller någon annan, men som ändå orsakar en viss nivå av obehag. Yudkowsky tänker sig att det skulle kunna vara att få ett dammkorn i ögat, men man skulle också kunna tänka sig att bli nypt, få huvudvärk i en millisekund, bli biten av mygga eller något liknande.

Föreställ dig sedan det absolut värsta som någon kan utsättas för. Yudkowsky tar upp tortyr som en lämplig kandidat. Tänk på Winston Smith i rum 101 eller dylikt.

Ta sedan ett löjligt stort tal; Yudkowsky tar "3^^^3 = (3^(3^(3^(... 7625597484987 times ...))))". När jag presenterar exemplet så tar jag "så många atomer som det finns i universum", möjligtvis upphöjt till sig själv.

Om du måste välja, vilket föredrar du - att en person blir torterad i 50 år, eller att 3^^^3 personer får ett dammkorn i ögat? (I inget fall blir du drabbad, utan det handlar om andra individer.)

Yudkowskys kommentar till det här exemplet är rätt slående för den utilitaristiska världsbilden: "I think the answer is obvious. How about you?"

Innan jag går in på varför Yudkowsky finner det väldigt lätt att svara på den här frågan tänkte jag avgränsa experimentet ytterligare. Man kan tänka sig att om man får ett dammkorn i ögat så behöver inte den totala upplevelsen vara negativ; först irriterar det lite, men man blir lite glad när det slutar också. Det här är ett problem med att hitta en handling som totalt sett ger lidande, men det borde vara klart att sådana handlingar finns. Allt annat lika är det mer obehagligt än behagligt att bli slagen med en hammare, för de flesta. Om inte ett dammkorn i ögat ser ut att vara något som totalt ger olust, kom på ett eget exempel.

Ett annat problem med experimentet som man kan tänka sig är att i det samhälle där en person blir torterad så mår alla andra dåligt av att veta detta. Och för de 3^^^3 personerna som får ett dammkorn i ögat så är nog de flesta väldigt glada över att ingen av dem blev skickad till en tortyrkammare, och kan totalt sett bli väldigt glada. Dessa problem kan lösas om vi ändrar lite i experimentet:

En experimenterande moralfilosof kan söva ned 3^^^3 personer och få dem att uppleva en händelse i sin upplevelsemaskin. I ena fallet får en av dessa individer uppleva 50 år av tortyr och i andra fallet får allihopa uppleva en sekund av en neutral händelse, plus att de under denna tid får ett dammkorn i ögat. Efteråt minns ingen vad de upplevt, eller att de ens blivit inkopplade till en upplevelsemaskin.

I det här fallet blir valet mellan tortyr och dammkorn verkligen allt annat lika, alltså att man enbart väljer mellan att otroligt många upplever en liten negativ känsla och att en person upplever en jättestor negativ känsla.

Varför tycker då Yudkowsky att det är väldigt lätt att välja i det här fallet? Och vad väljer han?

Som jag förstår Yudkowsky ser han att man skall välja såhär:

1. Sätt ett värde på hur hemskt det är att bli utsatt för dammkorn å ena sidan och tortyr å andra.
2. Det negativa värdet av att få ett dammkorn i ögat är då µ och tortyr är Ω.
3. µ och Ω står på motsatta sidor på en och samma skala, d.v.s. skalan av olycka.
4. Om man tänker sig att man kan få uppleva olika saker på denna olycksskala (som kan gå mellan 1-10) så spelar det ingen roll om man upplever tre 1:or eller en 3:a; båda är lika dåliga. 
5. Skalan skulle också kunna vara logaritmisk, så att hundra 1:or är lika dåligt som en 3:a, eller viktad på något annat sätt. Det viktiga är att alla värden går att jämföra med varandra och att man kan byta ut ett värde mot X gånger av ett annat värde, ifall dessa ger samma siffra.
6. Om man måste välja mellan två upplevelser av ett paket av upplevelser (som mellan en 5:a eller två 2,6:or) så skall man välja det paket som ger minst olycka. (Man borde ta en 5:a, givet att skalan är linjär.)
7. Om 3^^^3 * µ är större än 50  * Ω, välj tortyr. Om 3^^^3*µ < 50*Ω, välj dammkorn. Om värdena är lika stora, singla slant om saken.

Såhär ser den utilitaristiska kalkyleringen ut, givet att man kan vara helt säker på informationen som ges (vilket är brukligt att anta för diskussionens skull); om informationen inte är säker så är det nog bäst att inte spela med i detta filosofiska spel. Yudkowskys beräkning av  3^^^3*µ och 50*Ω ger att den senare är mindre, så därför skulle han föredra (av dessa två handlingar som man helst vill undvika helt) att en person torteras. Även den vanligtvis insiktsfulle Robin Hanson anser att tortyr är det korrekta valet. Hans kommentar är också intressant:

Wow. The obvious answer is TORTURE, all else equal, and I'm pretty sure this is obvious to Eliezer too. But even though there are 26 comments here, and many of them probably know in their hearts torture is the right choice, no one but me has said so yet. What does that say about our abilities in moral reasoning?

Kritik av utilitarismen

Först måste jag påpeka att Yudkowsky nog inte borde vara så tvärsäker på sitt svar här (och jag är lite osäker på om han verkligen är det), då han inte sätter något värde på µ eller Ω; han bara antar att det ger minst olycka med att tortera en person. Vilket är väldigt roligt med tanke på hans slagord "Shut up and multiply" (jag gissar att Yudkowsky överdriver för effekt, eller så skämtar han).

Men, det är egentligen inte så viktigt ifall det är 3^^^3 st dammkorn som är värre än 50 års tortyr, för kritiken av (hedonistisk) utilitarism (som jag nu siktar in mig på). Det viktiga ur det här perspektivet är att om tillräckligt många personer får ett dammkorn i ögat så kan summan av den olyckan bli större än av att en person blir satt i en tortyrkammare, och att man därför borde välja att sätta en person i tortyrkammaren. (Säg att det är 3^^^^3, kanske.) Den slutsatsen är, för min del, inte uppenbart korrekt utan med allra största sannolikhet fel. Varför?

Först, låt oss börja på en fundamental nivå: vad är moral, och vad skall man ha den till? Om vi utgår från att moral är läran om vad som är objektivt bra och dåligt lär man få ett svar som skiljer sig än om man tänker sig att moral är allmängiltiga regler man kan tänka sig att leva under eller de regler man köpslår sig fram med andra är okej att leva under (som ett sätt att lösa konflikter). Jag tänker mig att om man utgår från generella principer, som stämmer med alla dessa ansatser, så lär man komma fram till ett vettigt svar i frågan. Hur bör man då gå tillväga?

Först borde man ta det väldigt försiktigt om man skall bestämma över vad flera googoler individer måste uppleva. Den första reaktionen av att ställas inför ett sådant här experiment borde vara att inte ta ställning i frågan. Men, om man nu måste (den experimenterande filosofen hotar med att sätta en själv i tortyrkammaren i 50 år), så verkar det rimligt att fråga de 3^^^3 personerna om vad de vill ha, och att försöka sätta sig in i deras situation och välja som om man själv vore någon av de individerna. Vad gäller det senare föreslog en okänd skribent på lesswrong ett rätt bra sätt att göra det på:

• Observer splitting: if you split into 3^^^3 people tomorrow, would you prefer all of you to get dust specks, or one of you to be tortured for 50 years?

• Observer splitting with a twist: instead of you, one of your loved ones will be split into 3^^^3 people tomorrow. Torture a single branch for 50 years, or give every branch a dust speck?

Nå, vad man väljer här blir såklart beroende av vilka det är som utgör de 3^^^3 personerna. Om alla vore benthamiter verkar de ju vilja att någon av dem skall utsättas för tortyr. Det är åtminstone vad vissa av dem säger. Jag måste erkänna att jag har svårt att förstå den inställningen. Men, att bevisa att utilitarismen är fel kräver inte att jag visar att dessa har fel i sin önskning. Jag behöver bara visa att det är rimligt att välja något annat.

Säg att populationen bestod av personer som inte vill att någon av dem skall utsättas för tortyr. Det torde gälla för nästan alla som stöter på det här exemplet (förutom om du frågar de som skriver på lesswrong). Om du kan föreställa dig att två personer håller med varandra om att det är bättre att få ett dammkorn i ögat än att en riskeras (med löjligt låg sannolikhet) bli torterad, går det att föreställa sig att alla 3^^^3 personer gör det. Finns det något problem med det här? Ett är att det inte är det ego som sätter sig in i situationen på förhand som borde få bestämma om denne är nöjd med att få dammkorn i ögat mot att någon annan skall utsättas för tortyr. Det kanske är det ego som upplever plågan av dammkornet och den som upplever tortyren som skall få välja.

Vad torde då dessa personer välja? Det borde inte vara någon skillnad. Om jag hade magknip (vilket borde göra att jag känner mer smärta än om jag får ett dammkorn i ögat) skulle jag också välja att få ett dammkorn mot att någon inte torteras.

Så, om då de mest moraliskt relevanta individerna - de som utsätts för experimentet - kan välja µ framför Ω, då finns det ett prima facie argument för att deras vilja är den mest relevanta; nämligen att varje individ borde få se till sitt eget bästa, och inte behöva offra sina intressen för någon annans skull, och speciellt inte för någon universell (icke-existerande) lyckomätare. I det här fallet finns det inte ens någon annan som förlorar på handlingen; alla går med på det, så det kan endast vara några benthamiter som står vid sidan som blir smått besvikna på resultatet.

Men, även benthamiterna borde inte vara så säkra på att ta vad som räknas som den utilitaristiska vägen. För, en rationell individ kan aldrig vara 100% säker på sin sak, åtminstone enligt Yudkowsky. En rationell utilitarist borde därför erkänna möjligheten att dennes beräkning är felaktig, att olycka är av sådant slag att 3^^^3 st dammkornsirritationer är ingenting jämfört med 50 års tortyr. Men också att många andra tal kanske också är för löjligt låga - återigen, vad är det egentligen för beräkningsmaskin de har som gör Yudkowsky och Hanson så säkra att 50 års tortyr är mindre dåligt än 3^^^3 irritationer? Hur vet de det? Hur har de testat detta? De frågorna gäller inte bara för just den summan, utan även om man höjer den med sig själv lika många gånger.

Givetvis, någonstans (kanske runt 3^^^^^^^^^^^^^^^^^^^3, om någon kan förstå det talet) kanske man kan vara tillräckligt säker på att det är värre än 50 års tortyr. Men, återigen, hur kan man veta det? Än så länge finns det ingen formel för olycka, i vilken man kan lägga in värdena för µ och Ω, så bara på förhand verkar det orimligt att man som utilitarist skall göra något alls i den här situationen. I nuläget, åtminstone, borde man gå på den beräkning av nytta som andra gör för sig själva.

Men, det finns en till osäkerhet! Och det är osäkerheten om att utilitarism verkligen är det mest moraliska sättet man kan agera på. Givet den osäkerheten borde man verkligen ta det väldigt försiktigt med att riskera att sätta någon i tortyr pga en doktrin, vars metod för att lösa ett sådant här problem inte är känd eller förstådd.

Min gode vän db har dock fört fram som ett argument att man som individ kanske hanterar liknande situationer i vardagen, och att man i de fallen väljer "tortyr"-valet. Som, man väljer att bo i en stad där det finns trafik och man riskerar att bli dödad eller allvarligt skadad (tortyr, fast en kortare tid då), istället för att bo någonstans där det är mindre trafik och inga olyckor sker, men man förlorar en massa nöjen eller behöver ta sig fram på ett jobbigt sätt (dammkornen). Eller, jag kan välja mellan att gå över vägen och titta mig för halvtaskigt och riskera bli påkörd eller se mig för väldigt noggrant så att risken är nästan obefintlig.

Problemet, som jag ser det, med den här invändningen är att liknelsen inte stämmer; valet mellan [säker tortyr; säkra dammkorn] är annorlunda än [låg sannolikhet att bli "torterad" och lite arbete ; ännu lägre sannolikhet att bli "torterad" och minimalt mer arbete]. Och sannolikheterna*skadan är nog inte ekvivalenta i någotdera fall. Här kan man invända att de är snarlika, och att det är tillräckligt. Men, den invändningen är något tom, då det är just (för egen del, och säkert för många andra libertarianer som uppskattar de poänger som ekonomer gör om konsekvensanalyser) den här speciella trade-offen av risk*skada som icke-utilitaristerna inte håller med om. Att då invända med att i andra fall, där kanske man är mer benägen att tänka utilitaristiskt, fungerar inte. Det blir som att hänvisa tillbaka till utilitaristisk logik, när det är just den som ifrågasätts.

Men, det som är mest problematiskt är nog att metoden för att ta reda på om något är moraliskt eller inte, är just att höra med någon om hur denne agerar i en viss situation. Alltså, ungefär den metod som jag föreslår att man bör använda i tortyr vs. dammkorn-fallet. db menar också att det inte visar att [tortyr] blir det mest moraliska för att man väljer [låg sannolikhet att bli "torterad" och lite arbete], utan kanske bara att det visar på en möjlighet där man kan agera mer i linje med ens verkliga preferenser. Yudkowsky kör med en liknande liknelse, som är ännu mindre applicerbar då den lägger till att lösa ett (det svåraste, verkar det som!) allmänningens dilemma ovanpå alltihopa.

Praktisk vs. hypotetisk moral

Jag tror inte att jag visat att praktisk utilitarism, i den världen vi lever i, är negativt. Jag tror att jag visat att det finns väldigt goda skäl för alla att tvivla på utilitarismen som en absolut moral. Men, måste inte det senare påverka det förra - måste inte man bli mindre säker på att utföra en moral i praktiken om man inte håller med om alla dess hypotetiska möjligheter? För egen del så har jag inte stött på en enda moralisk teori som jag håller med om fullt ut, under alla hypotetiska omständigheter (förutom pareto-effektivitet och en fundamental likhetsprincip, några prima facie-argument och kanske någon form av ömsesidigt vänlig egoism). Om det inte finns någon teori som man i alla hypotetiska omständigheter håller med om, då finns det bara praktiska moralteorier att ta hänsyn till. Ingen moralteori diskvalificerar sig därmed genom att inte uppskattas i fall man inte kommer att uppleva. (Såvida man inte hittar någon teori som man faktiskt uppskattar i alla lägen; då borde man nog följa den moralen.)

---

Slutligen, en kommentar från Yudkowsky ifrån diskussionen som pekar på att han ser något skämtsamt i diskussionen:

[Neel_Krishnaswami:] Eliezer, are you suggesting that declining to make up one's mind in the face of a question that (1) we have excellent reason to mistrust our judgement about and (2) we have no actual need to have an answer to is somehow disreputable?

Yes, I am.

Regarding (1), we pretty much always have excellent reason to mistrust our judgments, and then we have to choose anyway; inaction is also a choice. The null plan is a plan. As Russell and Norvig put it, refusing to act is like refusing to allow time to pass.

Regarding (2), whenever a tester finds a user input that crashes your program, it is always bad - it reveals a flaw in the code - even if it's not a user input that would plausibly occur; you're still supposed to fix it. "Would you kill Santa Claus or the Easter Bunny?" is an important question if and only if you have trouble deciding. I'd definitely kill the Easter Bunny, by the way, so I don't think it's an important question.

Antingen det, eller så läste han inte tillräckligt mycket Joakim von Anka när han var liten. Tid är ju pengar; att slösa bort den på att lösa alla möjliga sorters moraliska tanke-experiment folk kommer med är ju inte så lönsamt!