Singularity Institute kommer inom kort att ge ut en samling skrifter som behandlar frågan om vi kommer att nå en teknologisk singularitet inom kort, och vad det innebär. En sådan singularitet innebär att det kommer att existera otroligt smarta artificiella intelligenser, som möjligtvis vill döda mänskligheten. Och inte då för att en supersmart robot behöver vara ondskefull, utan för att den kanske vill bygga fler kopior av sig själv och ser människor som lämpligt byggmaterial. Och det här skulle eventuellt kunna gå väldigt snabbt, då utvecklingen av en AI:s intelligens kan vara exponentiell och i slutstadiet, när den lärt sig att styra över nanorobotar som kan äta upp all sorts material framför den, förstör den världen på en sekund eller två.
Som AI-forskaren Eliezer Yudkowsky uttryckte det:
An unFriendly AI with molecular nanotechnology (or other rapid infrastructure) need not bother with marching robot armies or blackmail or subtle economic coercion. The unFriendly AI has the ability to repattern all matter in the solar system according to its optimization target. This is fatal for us if the AI does not choose specifically according to the criterion of how this transformation affects existing patterns such as biology and people. The AI does not hate you, nor does it love you, but you are made out of atoms which it can use for something else. The AI runs on a different timescale than you do; by the time your neurons finish thinking the words "I should do something" you have already lost.
Yudkowskys lösning på det här problemet är att försöka bygga en vänlig artificiell intelligens, som vill vara snäll mot människor och andra saker vi gillar. Men, jag går lite väl snabbt på med att prata om lösningar för det här problemet. Jag skulle gissa att det finns en ganska låg sannolikhet att en AI utrotar alla människor; jag skulle faktiskt inte gissa att det sker alls. Men, man kan ju ha fel, och mänskligheten skulle kunna försvinna.
Yudkowskys lösning är alltså att bygga vänliga artificiella robotar (FAI - Friendly Artificial Intelligence), som kan hjälpa människan att hindra vanliga AI:n från att bli supermäktiga och farliga. Han menar att den här lösningen är bättre än att försöka ha ett förbud mot AI-utveckling, som nog bara försenar utvecklingen ett litet tag. Lösningen verkar rimlig, och det innebär väl något i stil med att den vänliga AI:n har total översikt över vad som sker i världen och kan slå ned all annan artificiell intelligens som blir för stor. Det enda problemet är att skapa den, vilket verkar något svårare än att bara skapa en vanlig AI.
Nåja, det jag tänkte ta upp i det här inlägget var lite kritik mot en artikel som ingår i volymen the Singularity Institute kommer att släppa, som jag nämnde ovan. Artikeln är Intelligence Explosion: Evidence and Import av Luke Muehlhauser och Anna Salamon. Där går de kortfattat igenom varför en AI skulle kunna bli otroligt smart och mäktig genom att ständigt förbättra sig själv; skriva som sin egen kod för hur den fungerar med nyare teknik som den utvecklar. När vi väl har en AI som är lika smart som en människa, kommer denne skapa smartare versioner av sig själv, som gör samma sak, vilket i slutändan ger en varelse som tänker jättesnabbt och kan bestämma om atomerna vi är uppbyggda av skall vara i sin nuvarande form eller användas för att denne vill ha fler kopior av sig själv eller något annat.
Det huvudsakliga problemet jag har med artikeln är resonemanget om att en AI som inte är programmerad att vara vänlig har som default-läge att döda alla människor (för att göra om våra atomer till något den tycker är viktigare än människor). Som de skriver: "[T]he default outcome from advanced AI is human extinction," och senare:
If machines greatly surpass human levels of intelligence—that is, surpass humanity’s capacity for efficient cross-domain optimization—we may find ourselves in a position analogous to that of the apes who watched as humans invented fire, farming, writing, science, guns and planes and then took over the planet. (One salient difference would be that no single ape witnessed the entire saga, while we might witness a shift to machine dominance within a single human lifetime.) Such machines would be superior to us in manufacturing, harvesting resources, scientific discovery, social aptitude, and strategic action, among other capacities. We would not be in a position to negotiate with them, just as neither chimpanzees nor dolphins are in a position to negotiate with humans.
Min första reaktion mot det här var att tänka på att människor skulle kunna hota robotarna med att förstöra det övre lagret av jorden med kärnvapen ifall de skulle hota mänskligheten. Sedan såg jag att Muehlhauser och Salamon definierar "intelligens" så att det betyder "makt, med en grundläggande förståelse av verkligheten". Och en tillräckligt skicklig "optimerare", en tillräckligt mäktig varelse, skulle kunna hindra en atombomb från att sprängas. Så, rent definitionsmässigt innebär detta att, om vi väl har en tillräckligt mäktig AI så verkar mänskligheten vara körd, som artikeln gör gällande.
Problemet med det här resonemanget är att Muehlhauser och Salamon argumenterar för att en övermäktig AI kan komma till genom en kontrollerad och en icke-kontrollerad explosion i intelligens. Om mänskligheten kan kontrollera explosionen, genom att skapa vänliga FAI:er eller ge externa incitament till robotarna att bete sig, då klarar vi oss. Författarna är dock bara vänligt inställda till den första idén. Men, implicit argumenterar de för att en okontrollerad explosion skapar en AI, vars default-inställning är att utrota alla människor.
Jag tror inte att en okontrollerad explosion är ens ett möjligt scenario. En AI som är på väg i det kritiska stadiet av självförbättring kommer alltid att begränsas av mänskliga faktorer. Det innebär troligtvis att den kommer att vilja göra om sig själv till att vilja ha viss respekt för människor, för att säkra sin överlevnad. Vad för faktorer måste influera robotens utveckling?
1. Hotet från människorna
Låt oss anta en robot som har störst chanser att få utveckla sig själv och bli dominant utan att bli störd av andra faktorer. Det innebär nog att roboten är okänd, att denne är anonym, men kan få tillgång till produkter genom handel. Den har alltså tillgång till de resurser den behöver (genom handel) och behöver egentligen bara tid för att den skall bli övermäktig och kan förinta allt på planeten den inte gillar.
Vill den här roboten lägga ned alla sina resurser på att förbättra sig själv? Det beror på vad som händer ifall den blir upptäckt av människor innan den slutfört sitt uppdrag. Om mänskligheten som helhet inte bryr sig om att robotar försöker förbättra sig själva på det här sättet finns det inget hot från oss. Det verkar något osannolikt. Men, om vi istället skulle attackera och förinta den, skulle den ha ett incitament till att inte försöka förbättra sig själv i det fördolda.
En AI som finns öppet och funderar på att förbättra sig själv skulle kanske också undvika att göra detta ifall det finns en effektiv Turing-polis och beroende på vilket straff det är för detta. Det vore nog enklare att övervaka dessa än de som är anonyma, om man inte helt enkelt stänger av dem (för stunden, tills man vet hur man utvecklar de till att bli FAI). För att vi skall klara av att göra det krävs dock att vi löser vissa koordinationsproblem. Det är nog ganska osannolikt att dessa löses, dock.
2. Hotet från andra AI:n
Om en AI skapas anonymt, och på något sätt är gömt i ett ställe där den har allt material till självförbättring, och inte kan upptäckas av människor, kommer denne då att lägga ned all sin tid på att bli så mäktig att denne kan ta över världen? Även om man bortser från negativa influenser från människor har denne ett incitament till att inte göra detta, och det är risken som andra robotar utgör.
För, utifrån AI:ns perspektiv vet denne om att det finns i alla fall en AI som existerar anonymt på jorden. Från det följer det att det mycket väl kan finnas en, eller ett antal, till. Rent sannolikhetsmässigt borde AI:n utgå från att denne är först, men behöver inte sätta så stor vikt vid det.
Vad skulle en annan AI kunna utgöra för problem för den förste AI:n? Som omoralisk målmaximerare vill väl även denne kanske ha kontroll över alla atomer i unversum, och då är de båda robotarna i konflikt. Om de vore likvärdiga i styrka och kände till varandra skulle de väl kanske komma överens om att dela upp universum dem emellan.
Men nu känner de inte till varandra, och för ett kort tag kanske den första AI:n är helt ensam i världen, så dennes incitament blir lite annorlunda. Vidare antar jag att det kommer ta viss tid för AI:n att bli övermäktig och ha tillräckligt mycket resurser för att klara sig på egen hand, när denne förstör allt som kan leva på jorden för att döda de andra AI:na, och säkra sin överlevnad. Men, istället för att göra detta borde den kunna lägga ned pengar på att hitta de eventuella anonyma robotarna. Eller en kombination av båda.
Möjligheten att det finns andra, potentiellt snart supermäktiga, robotar medför att AI:n vill ändra sitt beteende för att förhindra sin egen död. Detta skulle kunna ge denne så starka incitament att den går samman med människorna för att snabbare kunna hitta dessa AI:n.
Givetvis, om AI:n tror att det tar längre tid att hitta alla gömda AI:n på jorden (eller rymden om den industrin har utvecklats vid det laget) än vad det gör att bli supermäktig och förinta hela världen, då gör den det senare. Men, den sannolikhetsuträkningen är inte given. Om det vore det motsatta - vilket beror på hur vänligt inställda vi människor är på att samarbeta med robotar, samtidigt som vi kan vara säkra på att de inte utvecklar sig själva alltför mycket - skulle den kunna välja att söka istället. Och risken att upptäckas av en AI borde vara lika negativ som att upptäckas av en människa, d.v.s. AI:n riskerar sitt liv på att hålla sig gömd.
3. Möjligheten att AI:n är i en simulering
En AI borde överväga möjligheten att denne faktiskt inte existerar i den vanliga verkligheten, utan befinner sig i en simulering. Varför det? Jo, för att säg att några försöker skapa en FAI, men är inte säkra på om de lyckats. För att vara säkra skulle de ju kunna kolla vad denne skulle gjort i en simulerad verklighet. Om roboten bestämmer sig för att hjälpa folket och fortsätter att göra sig själv mer vänlig o.s.v. kan de släppa ut AI:n ur simuleringen. Om roboten däremot försöker maximera antalet gem eller något annat dumt stänge de bara av programmet.
Alltså, programmerarna skulle kunna tänkas använda en simulering som ett test för att se om en AI är kompatibel med människor, och att inte lyckas i det testet skulle kunna innebära att AI:n dör. Det innebär att en AI som inte kan se skillnad mellan om den lever i en simulering eller inte borde undvika att döda alla människor eller annars visa sig vara farlig. Detta kan dock gå i konflikt med att göra slut på potentiella anonyma AI:n medan de utvecklar sig själva, så det är inte helt klart vad AI:n gör.
Skulle man kunna skapa en simulering som de som är inuti inte kan se ifall det är en simulering eller verklighet? Jag har hört att David Deutsch skall diskutera det i The Fabric of Reality, men själv vet jag inte svaret. Om AI:n är rationell lär denne aldrig vara helt säker på frågan, vilket innebär att den alltid har ett visst incitament att inte skada någon människa, eftersom det riskerar att döda denne. Det incitamentet kan vara rätt svagt, dock. Det gäller dock även för fullt utvecklade AI:n.
Så, om jag kan sammanfatta det hela: även den AI som är mest isolerad ifrån människor kommer att ändra sitt beteende för att undvika att bli utplånade av människor och andra potentiella andra AI:n. Denne kommer även att ta viss hänsyn till möjligheten att den är fast i en simulering för att testa om den är kompatibel med människor. Överlag har den många incitament för att bete sig någorlunda människovänligt. Huruvida dessa incitament är tillräckligt starka för att få en AI att satsa på samlevnad med människor är jag tveksam om. Men, det verkar ganska klart att insikt i svaret kräver att man undersöker AI:ns incitament något mer än vad Muehlhauser och Salamon gör. Innan dess kan det nog vara bäst att inte utveckla AI:n om den inte är inboxad, med massa säkerhetsfunktioner.
Inga kommentarer:
Skicka en kommentar