Kritisk utredningsmetodik

Statliga byråkrater fattar ibland beslut om vilken förälder, som ligger i tvist med varandra, skall ha vårdnaden för ett barn, om staten skall ta över vårdnaden för ett barn som befaras fara illa hos sina föräldrar, om en person kan sättas i tvångsvård eller inte och i liknande frågor. Detta görs inom socialtjänsten, barnpsykiatri och i polisen. Vid alla dessa tillfällen görs en utredning av något slag som är tänkt att säkerställa hur läget ligger till för att beslutet skall bli så bra som möjligt. Hur bra är då dessa undersökningar och de analyser som följer?

Bo Edvardsson ger en liten insikt om detta i boken Kritisk utredningsmetodik. I den går han igenom de vetenskapliga principerna som en vettigt genomförd  utredning måste byggas på, för att kunna sägas vara saklig. En stor del av boken ägnas åt att gå igenom hur statliga utredare ibland inte följer de här principerna - vilket då visar hur en undersökning borde genomföras.

Målet för Edvardsson var inte att visa hur ofta dessa fel begås, vilket han är noga med att poängtera i början av boken. Däremot försöker han att ange ungefär hur ofta dessa fel uppstår, antingen utifrån hans egen erfarenhet eller utifrån andras rapporter. Generellt begår utredare dessa misstag allt från sällan till ofta. Informationen i boken ger därför en hänvisning till hur tillförlitliga utredningar med social och psykologisk inriktning är.

Vilka vetenskapliga principer är det då som man bör följa när man gör en utredning? Edvardsson listar några krav:

...öppen redovisning, tydlighet, angivande av syfte och/eller frågeställning, angivande av teoretiska antaganden och definitioner, redovisning av metod, relevanta upgifter, tillförlitlighet, precisering, noggrannhet, kontroll, bestyrkanden, systematisk replikering [att folk får svara på påståenden som gjorts mot dem], källredovisning, källkritik, allsidighet, systematik, respekt för osäkerhet och markering av osäkerhet, förankring i konkreta data, logiskt sammanhang, övervägande av olika tolkningar eller förklaringar, hypotesarbete (d.v.s. arbete med påståenden på försök), prövning för respektive emot alternativa hypoteser med lika ansträngning, öppen redovisning av underlag och av tankeleden fram till slutsatser och bedömningar, pågående kritisk diskussion om metoder-resultat-slutsatser, undvikande av känsloladdat språk samt etiska överväganden till skydd för enskilda individer. (s. 8)

Andra praktiska aspekter är att kunna påvisa problem som finns inom myndigheten som kan påverka utredningen, att kunna redogöra för uppkomsten av allt material, hänvisa till relevant modern forskning i psykologi och sociologi, att ha ett helhetssyn i arbetet samt att behärska logiskt och sannolikhetsmässigt tänkande. Hela boken går ut på att djupare illustrera vad dessa begrepp innebär.

Vad är det då för fel som utredare begår och hur ofta gör de det? Edvardsson sammanfattar sin kritik under rubriken "Utredningsmetodisk naivism":

Utredningstexter i t.ex. sociala utredningar, barnpsykutredningar, psykologutredningar utmärks i hög grad av en mängd metodiska felaktigheter och brister. Kritisk medvetenhet om egna metoder och tankescheman förekommer knappast. Tänkandet om det egna utredningstänkanet är outvecklat och man verkar sakna begrepp och träning. Styrande frågeställningar saknas. Uppgifter tas okritiskt för vad de ser ut att vara. Utredares egna känslor och tyckanden blandas in i texterna. Åtskillnad görs inte mellan observationsdata/grunddata och tolkningar. Tolkningar görs godtyckligt och inte sällan långsökt för att passa den slutsats man vill nå och alternativa tolkningar övervägs inte. De är ofta schablonartade och frekvent återkommande, t.ex. modetolkningen »ångest«. Sakliga grunder anges inte. Sådant som de flesta människor anser vara trivialt tillskrivs betydelse.

Psykologiska test används i situationer och för ändamål för vilka de saknar belagd och redovisad reliabilitet (mätteknisk tillförlitlighet) och validitet (giltighet, relevans för det saken gäller). Testen har exempelvis inte utprövats på barn som med tvång skiljts från och befinner sig separerade från sina föräldrar på en barnpsykklinik eller på ett utredningshem. Genomgående gäller att utredningstexterna saknar uttalad medvetenhet om att faktorer i närmiljön, myndigheternas eget agerande, utredarens egen inställning till föräldrarna, påtvingad separation, isolering, krav på nyanpassning etc. skulle påverka ett barns beteenden och uttalanden. Fenomen hos ett barn tillskrivs ofta oreflekterat förhållanden hos hemmiljön trots att närmare tillhands liggande faktorer finns i undersökningssituationen, i daghemssmiljön, i familjehemmet eller på utredningshemmet.

Videoförhör med barn fyllda med förutsättande och ledande frågor presenteras och kommenteras i utredningstexter av socialsekreterare och barnpsykologer utan att någon säger sig ha observerat någon påverkan på barnet i förhöret.

Saklig grund i form av rimligt säkerställda uppgifter och hållbara resonemang saknas ofta för slutsatser. Vi kan ta den inte ovanliga psykologen som träffade ett litet tvångsseparerat barn några gånger. I utredningstexten hävdar psykologen efter att ha redovisat några egna »kännanden« och tillfälliga beteenden kring barnet att det bör familjehemsplaceras. Föräldrar, syskon och hemmiljö eller referenter från naturlig miljö hade psykologen aldrig haft någon kontakt med. Psykologen påstod sig i domstolen ha gjort 300-500 utlåtanden.

Många utredningar inom de områden som berörs här framstår ur metodsynpunkt som okritiska klippkollage. Utredningarna saknar i de flesta fall styrande frågeställning/ar/ och uppgifter av skiftande kvalitet insamlas, emellanåt ganska planlöst - och klipps ihop till en logiskt osammanhängande text. Uppgifterna bör ur källkritisk synpunkt ofta bedömas som skräp, och då blir beskrivningar och bedömningar skräp - den grundläggande skräp in-skräp ut-principen. Ingen välformulerad retorik i utredningens text kan hävda den principen för saklig kvalitet.

Koalitionsbildning med ena parten är ibland uppenbar i texten. Säkerheten i påståendena kan genomgå fabulerade stegringar utan att något tillförs i sak. En slutbedömning utan tillräcklig grund i det som redovisats hakas ofta på. Denna kan ibland gälla något annat än det som utretts. Den som något utrett relationen mellan far och dotter, men inget om relationen mor-dotter kan plötsligt avge en bestämd bedömning om vilka umgängesförhållanden som bör råda mellan mor och dotter. Detta förekommer bland utredare med psykolog- eller läkarutbildning.

Det är uppenbart att många s.k. utredningar i hög grad tappat verklighetskontakten genom undanhållande av information, grava vanföreställningar och tokig logik. Ett grundläggande fenmen utgör tokerikedjelagen, d.v.s. ett tokeri drar ofta med sig flera andra tokerier i utredningen.

Ett tokeri kan t.ex. vara ett godtyckligt antagande eller en felaktig undersökningsmetod. Det finns god anledning att tala om organisationspsykoser i analogi med psykoser hos individer. Det väll säga, organisationen relaterar bristfälligt till verkligheten och saknar insikt om detta. En utredningspulläggning och innehåll kan ibland ses som uttryck för en organisationspsykos, ett förändrat medvetandetillstånd, där det kritiska tänkandet är frånkopplat. Inte sällan utvecklas paranodia föreställningar beträffande klienter och även gentemot dem som gör kritisika påpekanden om utredningarna samt sakligt ogrundade idéer om att man »vet« vad som är fallet.

Även extrema, verklighetsfrämmande kontrollbeteenden kan ibland iakttas från myndigheternas sida. Det är inte heller ovanligt att myndigheternas agerande utifrån goda intentioner - emellanåt genom de maktmedel som disponeras (och inte kritiskt kontrolleras) - urartar till exempelvis förföljelser, förtalskampanjer och psykisk barnmisshandel. Då drabbas barnen värst.

Det är inte alls underligt att många lekmän och journalister med gott omdöme som kommer i kontakt med utredningar reagerar på den undermåliga kvaliteten och på den verklighetsfrämmande föreställningsvärlden i och runt en del av dem. De arbetssätt jag här antytt står i klar strid med grundlagens stipulering om »att iaktta saklighet och opartiskhet«. Motsättningar skapas ibland mellan aniva myndighetsutredare och mer insiktsfulla medborgare.

Enligt min mening kan organisationspsykoser botas (i den mån de går att bota utan att lägga ner organisationen) genom öppen konfrontation och kvalitetssäkring.

Undermåliga utredningar borde återremitteras från chefer, nämnder och domstolar. Effektiva system för kvalitetskontroll och påföljder mot oseriösa utredare behövs. Detta kan ske genom kritisk granskning av stickprov ur produktionen av utredningar. Utredningar som inges till domstol borde obligatoriskt kvalitetssäkras i ett tidigt skede. Alla de sakligt ohållbara utredningar som idag inges till svenska domstolar bör snarast utmönstras. (s. 20-22)

Här är några ytterligare exempel på osakligheter som utredare gör samt några källor för det Edvardsson säger ovan:

• Det borde vara vanligt att för något symptom så finns det flera bakomliggande förklaringar till det. Men utredare fastnar vanligtvis istället för att det bara finns en orsak. Utredare är också vana vid att bortse från att flera fenomen kan vara sammankopplade på ett komplext sätt, att flera händelser kan leda till flera symptom. De använder sig istället av en enkel modell där en händelse orsakat ett fenomen. Även domstolar kan ibland begå liknande felslut; när det finns flera möjliga förklaringar för en händelse har domstolar tagit bevis, som talat för flera hypoteser, använt dem som bevis för enbart en förklaring och ignorerat de andra. (Domstolar har för övrigt sett någon som mer trovärdig enbart för att denne gråtit.)
  
• När myndigheter fattar beslut överväger de i många fall bara ett alternativ, eller så framställer de valet som mellan att inte göra något alls och ett redan etablerat alternativ.
  
• "Gunnarsson, Johansson & Karlsson (1993) fann vid granskning att frågeställning saknades i 11 av 12 LVU-utredningar. Detta stämmer med min bild av sociala utredningar och en hel del barnpsykiatriska/barnpsykologiska yttranden. Explicita frågeställningar utgör en nödvändig styrlogik i utredningsarbete, annars uppstår lätt logiskt angripliga klippkollage av uppgifter." (s. 135)
  
•  Utredare tar ofta folk på orden och ignorerar att de kan ljuga eller överdriva. A ogillar B starkt och anmäller denne för att ha våldtagit sina systrar. Utredaren skrev då i sina papper att "A har våldtagit sina systrar". (s. 143)
  
•  "Ensidigt bekräftelsesökande ["confirmation bias"] är vanligt i utredningssammanhang." (s. 144)
  
•  Utredare lurar ibland sig själva om hur läget är ställt för att få fram "bevis" för sin övertygelse. "Blåmärken kan upplevas som större än de är, yttranden uppfattas på annat sätt än sändaren avsett, klienter uppfattas som hotfulla när de ifrågasätter o.s.v." (s. 145)
  
• "Ett annat tankefel utgör uppblåsning av triviala omständigheter till stöd för någon hypotes. Exempelvis kan ett barn vid ett tillfälle ha råkat stå utan nyckel på hemmets trappa, vilket noteras och senare kan i utredningstext generaliseras och fabulerande stegras till att barnet inte får tillräcklig omsorg av sina föräldrar. Vid uppblåsning ignoreras ofta basfrekvens för fenomenet i aktuell jämförelsegrupp." (s. 145)
  
• "Ibland kan utredare tona ner eller helt ignorera allvarliga omständigheter." (s. 145) Som att, i en vårdnadstvist, ignorera att fadern misshandlat modern, när de förordar att fadern skall ha vårdnadsrätten. Eller bara ta ställning för en part och strunta i argumenten för den andra sidan.
  
• Utredare generaliserar ofta med för litet underlag för att kunna göra en sådan generalisering. "Felaktiga generaliseringar kan uppkomma genom t.ex. litet antal iakttagelser, selektiv erinring, glömska, minnesfel eller inblandning av förhandsuppfattningar." (s. 146)
  
• Utredare kan utgå ifrån att en individ som sägs tillhöra en viss grupp har just de egenskaperna de tror att en representativ person från gruppen har.
  
• Utredare kan ha svartvitt tänkande. "I en umgängesutredning kan modern framställas som vit och fadern som svart. Myndigheten kan framställas som god och felfri och föräldern som ond." (s. 147)
  
• Utredare och myndigheter ogillar att erkänna misstag, så att drabbade individer inte får någon upprättelse så lätt. Vid svåra fall är det väldigt svårt för individen att få någon upprättelse. "[D]et finns intressen och makt att skapa, undanhålla och påverka uppgifter och bedömningar. Exempelvis förnekar i regel socialtjänsten uppenbara fel som begåtts i handläggningen. I de svenska till domstol ingivna utredningarna vid tvångsomhändertaganden av barn betonas föräldrarnas fel medan deras repliker, uppfattningar och resurser undanhålls i strid med lagens bokstav och anda. Organisationerna vill vinna i domstol och tillåter sig att vanemässigt och olagligt producera övertalningsdokument i stället för sakliga utredningar." (s. 193)
  
• Det är synnerligen vanligt att utredare begår det fundamentala attributionsfelet, att tillskriva någon ett fundamentalt karaktärsdrag för att förklara en händelse när det istället kan bero på situationen som sådan. "I en kränkande situation motagerar Kalle genom en kritisk kommentar... Detta kan leda till att Kalle tillskrivs egenskapen »aggresiv«, när det är situationen som skapar motagerande från Kalle." (s. 150) Detta hjälps av att utredare kan undvika att skriva med kontexten för ett uttalande (som är en vanlig metod i propagandasyften), men också för att de "inte sällan" helt enkelt undlåter att ge något bevis alls för deras slutsats.
  
• Utredare gör ibland implicita antaganden om andra som inte har någon grund i fakta. "Exempelvis kan man anta att om en far är kritisk mot myndigheter, så är han mindre lämpad som förälder. Det kan naturligtvis lika gärna förhålla sig tvärtom - att en kritisk förälder skyddar barnet och företräder dess intressen bättre än en mot myndigheter passiv förälder." (s. 152)
  
• Utredare har en ganska snäv och likformig bild på människan, trots de biologiska, psykologiska och sociologiska bevis som visar på variationen bland människor. Därigenom kan avvikelser från ett ideal ge tyngd i utredarens ögon.
  
• Utredare är ganska dåliga på att hantera sannolikheter; det är ett område som är så vanskligt att det helst bör undvikas helt och hållet.
  
•  "Det är vanligt att sociala utredningar samt observationsrapporter från daghem, utredningshem, BUP etc. innehåller iakttagelser av olika slag. Dessa är i regel undermåliga ur källkritisk synpunkt, då det i stor omfattning saknas t.ex. preciseringar, källor, tidpunkter, platser, sammanhang, bestyrkanden och repliker kring iakttagelserna." (s. 166)
   
• Utredare och socialtjänsten har inte sällan en överdriven syn på att människor behöver kontrolleras av dem. De förväxlar också ex. barns behov med deras eget "behov" av att kontrollera andra.
  
• Det har även hänt att utredare kan hamna i två roller, exempelvis som utredare och behandlare!
  
• Utredarna kan också bli överbelastade med arbete och då sjunker deras kvalitet ytterligare. Såhär beskriver en utredare det:
  
  "Systemet är inte anpassat för klienterna. De blir förtingligade, objektifierade. 'Ok, eftersom du ändå är här, så kom in.' Klienten blir ett nödvändigt ont. Vi är inte serviceinriktade. Förtingligandet ökar kraftigt vid ökande arbetsbelastning. Jag får kämpa emot. Jag bryts ner själv, när jag märker mitt förtingligande. Jag upptäcker att jag gör det även om jag är medveten själv. Det är en makt- och förtryckssituation som skärps av arbetsbelastningen. Man måste vara medveten för att inte förtrycka. Motgiftet är att ge korrekt, saklig information om människors rättigheter och överklagningsmöjligheter samt visa hur man räknar. Härför krävs tid. Bristande tid leder till bristande information, vilket leder till förtryck." (s. 224-225)
  
• Myndigheter tabulägger vissa saker i sina analyser. Som att de själva kan påverka ett beteende. "Beträffande symtom hos barn på daghem, utredningshem eller BUP-klinik kan jag hittills inte påminna mig ha sett att man någonsin relaterat symtomen till myndigheternas eget agerande elelr till den aktuella vårdmiljön. Mängder av symtombeteenden hos barn måste ha samband med sådana faktorer." (s. 226) Också kritik mot den egna eller andra myndigheters agerande är tabubelagt, se Kumpula, Rantamäki & Vesterbacka (1994).
  
• "Colnerud (2002) pekar i skolans värld på den kollegiala paradoxen. Den innebär att medan det, i de outtalade gruppnormer som utvecklats, är otillåtet att kritisera en kollega som uppträder kränkande mot eleverna så är det tillåtet att kritisera en kollega som är tillmötesgående mot eleverna. Situationen torde ibland vara analog inom socialtjänsten." (s. 216)
  
•  Utredare sitter på en maktposition och deras beslut kan orsaka mycket lidande för andra. De använder ett antal metoder som de själva nog ser som i samhällets bästa men som kan beskrivas som förföljande och nedtryckande av individen:
  
  "Jansson & Rönnbäck (1995) pekar på 8 huvuddrag i ett fall med 42 konstaterade strategier. Huvuddragen betecknas som '...myndigheten vet bäst, svartmåla föräldrarna, få barnen och föräldrarna att framstå som vårdbehövande, driva igenom och kvarhålla fattade beslut, ignorera lagar och förordningar, förstöra för familjen viktiga relationer, påverka läsaren språkligt, ignorera elementära saklighetsaspekter'.
  
  Konkret kan dessa innebära att man undanhåller klientperspektiv, inte gör resursanalys, gör en förälder till syndabock, söker redovisa så många fel som möjligt, provocerar, internsivkontrollerar, patologiserar genom etiketter, använder ologiska resonemang, inte medger yttrandefrihet för klienten, förfalskar uppgifter, blåser upp triviala fenomen, gör förföljande tolkningar o.s.v." (s. 232)
  
• Detta märks också i att dessa myndigheter använder ett speciellt, svårförståeligt fackspråk som inte kan förstås av utomstående. "Wastesson & Åsell (1994) fann vid en läsbarhetsmätning av socialtjänstens texter till medborgarna att de var svårförståeliga för dem som de vänder sig till. De tolkar detta som att man vill skapa en distans gentemot dem man är till för." (s. 237)
  
• Utredare och myndigheter missbrukar ordet "samarbeta". De får det till att innebära "följa våra planer" istället för "gemensamt gå mot de mål som båda håller med om är positiva".
  
• Organisationerna är bristfälliga. Exempelvis har det hänt att chefer strukit text i en socialsekreterares arbete, när texten visat vilka sociala resurser (hjälp från vänner och bekanta) som en klient har.
  
• "Etikbegreppet har använts ofta i debatter och utbildningssammanhang. Detta kan tänkas bero på att det är oförargerligt, vagt och positivt laddat. Med dess hjälp går det utmärkt att lägga avledande frasridåer, tillskriva individer ansvar för dåligt arbete och slippa mer laddade begrepp som intressemotsättning, maktmissbruk och förtryckande organisatorisk praxis. Etikbegreppet har blivit en spelbricka i makt-intresse fältet.
  
  Etikregler uppställdes för några år sedan av socialarbetarnas fackliga organisationer och det hävdades att de tillvaratar servicetagarnas intressen. En noggrann läsning av dessa regler avslöjar underliggande antaganden som innebär en nedvärderande syn på servicetagarna. Reglerna föreskriver inget specifikt om hur utredningar bör göras.
  
  En facklig företrädare skrev i mars 1989 till mig om etikreglerna: »De har legitimerat allt det djävligaste som vi har inom socialt arbete.«" (s. 214)

Så, det verkar som om socialtjänsten och andra offentliga organ inte kan utföra vetenskapliga utredningar särskilt väl. Jag har bara tagit upp några av de problem som Edvardsson nämnt - han tar upp 50 specifika problem bara när det gäller tolkningsfrågor av texter. Det finns också problem med insamling av data, som att utredare inte alltid tydliggör vem det är som säger vad (är det den de intervjuar eller är det ifrån någon som referenten hänvisar till?).

Med så många problem, vad säger då socialsekreterarna om att deras arbete är osakligt (och kan därmed leda till att många utsätts för onödigt lidande)? Edvardsson menar att när han tar upp dessa frågor så säger personalen att de inte behöver använda sig av vetenskapliga principer utan de kan använda sig av andra, länge använda, metoder:

Ibland hörs vid mitt påtalande av saklighetsbrister i utredningsmaterial från t.ex. psykologer och socialarbetare tankegångar av typen att det bör vara i sin ordning med lösliga metoder, ignoerande av felkällor och att förlita sig på extremt subjektiva och ofta inte redovisade förfaranden. Ibland hänvisas till lång klinisk erfarenhet och att man skulle ha särskilda metoder (redovisas inte) inom det aktuella området. (s. 161)

Alltså, när socialtjänstens kår får höra att de inte är vetenskapliga, då hävdar de att det inte behövs, att de har andra metoder för att få reda på sanningen. Det här argumentet skulle kunna stämma ifall det vore så att utredarnas intuition vore tillförlitlig eller ifall de interna sederna i myndigheter uppmuntrar en sorts utredning som inte lätt kan redovisas men som ändå följer vissa vetenskapliga principer. (Om någon nu gjort det här argumentet, jag bara tänker mig hur jag skulle försöka försvara det.) Edvardsson besvarar det första argument med att påpeka hur bristfälligt den mänskliga intuitionen med att hantera den här sortens frågor:

Det kan i dessa uttalanden, liksom i utredningsmaterialen, verka som om professionella inte förstått de mest elementära principerna för saklighet. Det finns inget stöd i internationell forskning för förespråkandet av extremt subjektiva metoder och ignorerandet av felkällor. Exempelvis finns ett flertal studier (bl.a. av Ceci m.fl.) som visar att professionella grupper i stor utsträckning gör felaktiga bedömningar när de skall avgöra om det barn berättar på videoband har hänt eller inte. Annan forskning har gett resultatet att kliniska bedömare inte gör bättre bedömningar än lekmän. Tesen att saklighet inte behövs står i strid med kritisk-vetenskapliga grundprinciper och med grundlagens föreskrift om »saklighet och opartiskhet«. (s. 161)

Det är dessutom enligt experiment enbart få bedömare förunnat att något bättre än slumpen kunna skilja på sanna berättelser och medvetet lögnaktiga (Ekman, 1991). Även dessa skickliga bedömare begår ofta fel, eftersom det är mycket svårt att skilja lögn och fabulering från sanning (för forskningsöversikter se DePaulo m.fl., 2003; Vrij, 2000). (s. 188)

För att det andra argumentet skulle stämma måste det kunna visas (teoretiskt) att dessa myndigheter haft tillräckliga incitament för att skapa en egen metod som kan ta reda på sanningen, men också varför de inte skapat en kultur som använt sig av den öppna vetenskapliga metoden istället, som det nu har funnits beskrivningar för hur den används långt innan välfärdsstatens uppkomst.

En mer rimlig förklaring är då att myndigheterna, som utför de undermåliga sociala utredningarna, helt enkelt inte strävar efter att uppnå något allmänintresse. Istället söker byråkraterna där att uppnå sina egna intressen - som alla andra byråkrater i varenda myndighet försöker göra, se Benson (1995) - och de uppnår ett allmänintresse enbart när deras egna intressen ligger i linje med det.