Varför är indoktrinering dåligt?

Finns det någon makt eller politiskt system man bör svära trohet, känna förpliktelse till och börja tro är en god kraft, när man är sju år?

Kommer en mäktig AI att vilja döda alla människor?

An AI will want to acquire as many resources as possible, so that these resources can be transformed and put to work for the satisfaction of the AI’s final and in- strumental goals. ... [T]he default outcome from advanced AI is human extinction. ... Unless an AI is specifically programmed to preserve what humans value, it may destroy those valued structures (including humans) incidentally. As Yudkowsky (2008) puts it, “the AI does not love you, nor does it hate you, but you are made of atoms it can use for something else.”

- Luke Muehlhauser och Anna Salamon, Intelligence Explosion: Evidence and Import

Argumentet här är att en AI, om den bara vill göra saker, kommer att ha ett incitament att försöka ta över hela världen och ta över all materia för att kunna uppnå alla mål den har. Detta gäller enbart en AI utan några specifika mål som vi människor har (vilket för många inkluderar att inte vilja styra över andra och att låta ens vänner ha en del av världen att bestämma över). Det man tänker sig är att det här är ett instrumentellt rationellt mål för en intelligent varelse, som att man försöker komma fram till vad homo economicus vill göra om man inte vet om vilken sorts varelse denne är - Vulcan, Dementor, Drow eller haj - bara denne tänker rationellt på vad dennes mål är. Då får man fram en sorts mall för vad en bara intelligent varelse vill kunna göra, för att kunna uppnå mål, och det är denne varelse som Yudkowsky, Omohundro, Muehlhauser och Salamon tror vill ta över alla människor.

Jag argumenterade emot det här perspektivet i ett tidigare inlägg och har nu kommit på ett till argument mot detta som jag tänkte ta upp. (Jag får säga att jag har en estetisk förkärlek till den fullt rationella, men specifikt mållöse varelsen, så jag har en liten bias här, men hoppas att om den ger sig i uttryck så kan det upptäckas.) Argumentet är det följande:

• Två varelser som båda försöker kontrollera all materia i universum kommer att hamna i en konflikt med varandra.
• Det borde finnas ett stort antal varelser i världen med den här totala dominanspreferensen (td).
• Det är inte säkert att varje enskild td-varelser kan döda alla andra td-varelser.
• Dessutom så är i princip varje td-varelse ett hot mot alla andra varelser i universum
• För att undvika att bli utplånad är det bäst för en td-varelse att hitta på en strategi för fredlig samvaro.

Alltså, att ha en preferens som är att ta över allt i universum är att sätta en skylt på sig själv om att man är ett hot mot universum. Därför har den som har den preferensen ett incitament till att forma om sina preferenser till att inte vilja ha detta, utan istället satsa på att bara vara säker, vilket kan uppnås genom att hitta andra varelser som har samma strategi.

Dessutom kommer denne att vilja kunna njuta av saker som inte kräver att man har fullständig dominans över allting som existerar. Som att gilla att sköta en trädgård istället för att spränga galaxer eller något liknande.

Det skulle dock kunna gå att säga att en AI som förstår allt detta ändå kommer vilja döda alla människor, för att människor inte är tillräckligt mäktiga att bry sig om. På samma sätt skulle den kunna säga det om den första svagare utomjordingen den stöter på. Och nästa. Tills den stöter på någon som är mäktigare. Skulle den då kunna säga "Nej då, jag var inte ute efter hela universum, lita på att vi kan samexistera och att jag inte försöker komma på ett sätt att slå ut ditt försvar och ta kol på dig"? Rimligtvis inte.

Men, skulle inte AI:n kunna skydda sig mot detta genom att ersätta de dödade civilisationerna med kopior han skapat? Kopior som egentligen är statister eller har en kod inuti så att AI:n närsomhelst kan ta över dem? Det vore förstås möjligt, men det skapar möjlighet för den synligt utomjordingen att upptäcka den koden, vilket då gör det helt meningslöst.

Alltså, om man inte är helt säker på att man kan stå emot vilken kraft som helst så är det riskabelt att börja gå mot situationen där man krossar allt för att styra över hela världen. Och även om man är helt säker är det inte så smart, för det går alltid att ha fel. Och, slutligen, det är alltid möjligt att man är i en matrix-värld, som jag tog upp i mitt förra inlägg. Därmed inte sagt att man inte skall vara försiktig med AI, men jag är mest rädd för galna AIs.