Artikel

Socialrådgivere i dag har travlt. Flere og flere bekymrede borgere indgiver underretninger om børn og unge, og antallet af underretninger, som lander i kommunernes socialforvaltninger, er steget med 21 procent de sidste fire år. Overgrebspakken fra 2013 pålagde ikke bare fagpersoner en skærpet underretningspligt. Kommunerne blev også pålagt et krav om, at der skal reageres på en underretning i løbet af 24 timer.

En socialrådgiver har derfor ikke lang tid til at beslutte, om en potentielt krænkende og stigmatiserende undersøgelse skal åbnes eller ej. Og siden statsminister Mette Frederiksen i sin nytårstale i år understregede, at flere udsatte børn skal have et nyt hjem hurtigst muligt, er der ikke udsigt til, at man vil få mindre travlt fremover.

Ifølge en rapport fra 2018 var hver anden socialrådgiver indenfor børne-familieområdet allerede dengang stressede hele tiden eller ofte. Og ifølge tal fra Ankestyrelsen blev tidsfristen for undersøgelser af familier under mistanke i to af tre underretningssager ikke overholdt i 2019, skriver Politiken.

Men hvad nu hvis en algoritme kan hjælpe socialrådgiverne med at træffe afgørelser væsentligt hurtigere og på et mere informeret grundlag, end de er i stand til nu?

Det spørgsmål har motiveret forskningsprojektet Underretninger i Fokus, som gennemføres i samarbejde mellem VIA University College og Trygfondens Børneforskningscenter. Projektet har udviklet redskabet Beslutningsstøtten, en prognostisk model, som landets kommuner i januar i år blev inviteret til at prøvekøre.

Beslutningsstøtten skal supplere den socialfaglige vurdering af en underretning ved lynhurtigt at udregne en risikoscore, som indikerer sandsynligheden for at barnet i fremtiden vil blive anbragt.

Udviklingen af algoritmen er sket med maskinlæring på data fra ca. 367.000 underretningssager fra perioden 2014-2017. Men hvordan kommer algoritmen frem til hvilke oplysninger, der kan fortælle noget om et barns risiko for mistrivsel?

Ingen objektive mål for mistrivsel

Underretninger i Fokus understreger i sit materiale, at det er svært at måle ‘mistrivsel’. Mistrivsel kan komme til udtryk på mange måder og betyde noget forskelligt fra den ene til den anden.

En statistisk model er imidlertid nødt til at have noget konkret at arbejde med. Derfor må en såkaldt “proxy”, eller stedfortræder, vælges og fungere som algoritmens indikator for mistrivsel. For Beslutningsstøtten blev den indikator ‘anbringelse’. Algoritmen dykker så ned i den tilgængelige data for at finde statistiske sammenfald mellem udfaldet ‘anbringelse’ og andre oplysninger, en proces også kendt som datamining.

Et af de første prognostiske redskaber, som også har ‘anbringelse’ som indikator, blev i 2016 taget i brug af The Allegheny County Department of Human Services (DHS) i Pennsylvania, USA. Efter at have gennemgået millioner af mønstre i distriktets centrale “data warehouse” for at finde frem til hvilke informationer, der korrelerer med ‘anbringelse’, endte man i Allegheny County med 126 variable. Oplysningerne dækker blandt andet forældrenes uddannelsesniveau, civilstatus og om de er fattige.

Professor ved Aarhus Universitet Michael Rosholm har ledet udviklingen af Beslutningsstøtten. Han skriver på mail til Respons, at algoritmen stadig er under udvikling, og det derfor ikke ligger endeligt fast, hvilke variable redskabet vil arbejde med fremadrettet. I pilotprojektet indeholdt algoritmen informationer om barnets alder, typen af den aktuelle underretning, antal og type af tidligere underretninger om samme barn, samt information om tidligere iværksatte forebyggende foranstaltninger og anbringelser af barnet.

Men på den måde udpeger algoritmen først og fremmest de sager, som der allerede har været opmærksomhed omkring. Algoritmen risikerer dermed at fastholde et fokus på familier, som der i forvejen holdes mere øje med end andre. “Det er i øvrigt en af de ting, vi arbejder på at forbedre, da netop de ’nye’ sager ofte er dem, hvor sagsbehandleren har mest brug for beslutningsstøtte”, skriver Rosholm.

Fordi det er indikatoren, som lærer algoritmen, hvilke informationer den skal lægge vægt på, er indikatorens validitet afgørende for algoritmens evne til at lave gyldige forudsigelser. Kritikere peger på, at algoritmen med en indikator som ‘anbringelse’ blot forudsiger sandsynligheden for, at en familie vil blive behandlet på en bestemt måde af myndighederne.

Da to forskere fra Stanford skulle evaluere The Allegheny Family Screening Tool (AFST), så de på, hvad der skete, efter en risikoscore var udregnet. Hvis en sag placeret i den høje ende af risikoskalaen resulterede i en anbringelse, havde algoritmen været nøjagtig. Hvis en sag blev frasorteret grundet en lav risikoscore, men der inden for kort tid blev indgivet en ny underretning om samme barn, havde algoritmen været unøjagtig.

Som rapporten også påpeger, er det uvist, hvordan tallene står i forhold til faktisk mistrivsel. For der kan være mange grunde til, at nogen vælger at indgive en underretning om et barn. Personlige erfaringer eller endda personlige nag kan være udslagsgivende. Det kan fordomme og strukturel diskrimination også.

På den ene side mener fortalere, at en algoritme i modsætning til et menneske ikke vil lade personlige erfaringer og fordomme påvirke vurderingen af en sag. På den anden side peger kritikere på, at en algoritme ikke vil være objektiv og fordomsfri. Tværtimod vil den sætte fordomme om hvem, som ikke er i stand til at passe sine børn, på formel.

Fare for gentagelse af bias

Projektgruppen bag Beslutningsstøtten har løbende forholdt sig til, hvordan det kan forhindres, at bias gentages i algoritmen. Hvis en algoritme baserer sine beslutninger på informationer, som er prægede af menneskelige bias, risikerer algoritmen nemlig at kodificere og reproducere disse bias.

I et notat om projektets Etiske Overvejelser fra 2018 forklares det f.eks., at man ved ikke at bruge etnicitet som variabel for Beslutningsstøtten vil undgå, at børn af anden etnisk oprindelse end dansk opfattes som værende mere udsatte, end de egentlig er. Desuden henvises der til, at internationale studier har vist, at statistiske redskaber kan være med til at reducere bias overfor etniske minoriteter i arbejdet med udsatte børn.

I Allegheny County er diskrimination af sorte familier et udbredt problem, og det afspejles i deres data. Der er disproportionalt mange underretninger om sorte børn i forhold til deres andel af befolkningen, og sandsynligheden for at disse underretninger fører til anbringelser er ligeledes uforholdsmæssig høj.

Men siden implementeringen af AFST har man, ifølge rapporten fra Stanford, set en nedgang i misforholdet mellem, hvor mange sager åbnes mod sorte familier i forhold til hvide. Ifølge myndighederne i Allegheny County tyder det på, at redskabet kan afhjælpe diskrimination. Udligningen skyldes dog primært en stigning i sager åbnet mod hvide familier. Og selvom en algoritme ikke ser hudfarve, betyder det ikke, at den behandler alle befolkningsgrupper lige.

Studier har peget på, at overrepræsentationen af sorte familier i USA primært skyldes en højere grad af fattigdom end hos hvide familier. Og hvis medlemmer af en familie i Allegheny County har modtaget offentlig hjælp, vil det resultere i, at AFST tildeler dem en højere risikoscore.

Virginia Eubanks har i sin bog Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor fra 2018 på den baggrund kritiseret AFST for at gå særligt efter fattige familier. Fordi modellen forveksler “parenting while poor” med “poor parenting”, anser den forældre som tager imod hjælp fra offentlige programmer som værende til fare for sine børn.

Hvis tidligere kontakt med myndighederne resulterer i en højere risikoscore, kan det føre til en ond cirkel af stigmatiserende undersøgelser af bestemte grupper i samfundet. I og med beslutningen om at fjerne et barn fra hjemmet altid følger og er et produkt af en beslutning om at åbne en undersøgelse, vil algoritmen på sin vis ende med at skabe det resultat, den forsøger at forudsige.

For at undgå gentagelse af bias, er det altså nødvendigt at forholde sig kritisk til hvilke data, en algoritme baserer sine vurderinger på. Men Beslutningsstøtten skal også tage hensyn til en anden etisk (og juridisk) fordring, nemlig beskyttelse af personlige oplysninger. Og her er projektets lovlighed blevet betvivlet.

Er projektet lovligt?

Hvis det alene sker med henblik på at udføre statistiske eller videnskabelige undersøgelser, er det tilladt uden samtykke at genanvende persondata til andre formål end det, de er indsamlet til. Beslutningsstøtten er udviklet på statistiske data. Men i en pilotafprøvning i slut 2018 og start 2019 blev redskabet prøvekørt på data, som socialrådgivere i Silkeborg og Hjørring kommune havde adgang til.

Og når udvikling af et offentligt redskab indebærer, at det anvendes ude i virkeligheden, kan det ifølge Hanne Marie Motzfeldt, jurist og lektor ved Center for Informations- og Innovationsret ved Københavns Universitet, ikke længere betragtes som statistik og forskning. Hun forklarer over for Respons

”Det er en del af projekt-designet, at det køres som forsøg på eksisterende sager, på ægte persondata, i og med projektet rulles ud i forsøgskommuner. Og så bruges rigtige og udsatte børns sager som forsøg. Projektet har lidt af en misforståelse af, at de bare skulle kigge på reglerne for, når redskabet skulle tages i brug. Men de samme regler gælder for udviklingen af redskabet. Og her kan jeg ikke se, at lovligheden overhovedet er overvejet. Og man bør altså tjekke reglerne, før man begynder at udvikle og teste på rigtige menneskers sager. Reglerne er der faktisk for at sikre en vis forsvarlighed, ikke for at hindre digitalisering.”

Desuden påpeger Motzfeldt, at der ikke foreligger en konsekvensanalyse for projektet, hvilket er et krav, når der ved behandling af personoplysninger gøres brug af ny teknologi, som medfører en høj risiko for krænkelse af personers rettigheder. Fordi beslutningsstøttende algoritmer på basis af automatisk behandling af data vurderer personlige forhold, som kan have virkelige konsekvenser for den enkelte, er det nødvendigt på forhånd at sikre, at GDPR vil blive overholdt.

Projektleder Anne Marie Villumsen har på mail til Respons oplyst, at de har taget den juridiske kritik til sig, og at de netop nu får udarbejdet eksterne vurderinger på de juridiske spørgsmål. Projektet fortsætter ikke, før spørgsmålene er afklarede.

Kattelem for deling af data

Under forberedelsen til pilotafprøvningen af Beslutningsstøtten, var der udsigt til, at redskabet potentielt kunne få meget mere data til rådighed, når det engang skulle tages i brug i kommunerne. Under databeskyttelsesloven er det ikke tilladt at samkøre data på tværs af forskellige registre i Danmark. Data er ikke som i Allegheny County samlet i et kæmpe “data warehouse”, og Beslutningsstøtten kan kun bruge data, som socialrådgiverne allerede har og som er i forvaltningens sagsbehandlingssystem.

Men i 2018 pågik der et politisk arbejde, som ville give grønt lys til samkøring af personoplysninger. Som et led i regeringens ghettoplan ønskede daværende børne- og socialminister Mai Mercado (K) at give Gladsaxe kommune lov til at samkøre data om børnefamilier netop med henblik på at udvikle et redskab, som kunne opspore udsatte børn.

Gladsaxemodellen ville gøre det muligt at profilere børnefamilier og starte undersøgelser, uden at nogen overhovedet havde indgivet en underretning. Baseret på persondata samkørt fra en lang række registre skulle landets børnefamilier tildeles point ud fra “risikofaktorer” såsom ledighed og missede tandlægetider. Efter megen kritik samt en række uheldige sager med læk af fortrolige persondata blev projektet i slutningen af 2018 skrinlagt.

Selvom Beslutningsstøtten ifølge Michael Rosholm har vist sig at være effektiv med den begrænsede data, som socialrådgiverne har adgang til, undersøges det stadig, om andre typer data ville kunne forbedre risikovurderingerne. Rosholm skriver til Respons:

“Men vi vil gerne slå fast, at vi selvfølgelig kun vil inddrage data, som vi lovligt kan inddrage. Skulle ministeren vælge med en bekendtgørelse at gøre det muligt at inddrage endnu flere typer af data, vil vi selvfølgelig inddrage disse i det omfang, at det forbedrer modellerne.”

Hvis en bekendtgørelse fra en minister skulle give grønt lys til samkøring af persondata, vil myndighederne i den forbindelse være undtaget oplysningspligten. De pågældende familier vil ikke have krav på at få at noget at vide, om hvad der foregår.

Vil algoritmen tage over?

Tanken om at lade en algoritme profilere folk for at forudsige noget så personligt som et barns mistrivsel kan virke meget indgribende og grænseoverskridende. Beslutningsstøtten skal dog altid anvendes i samspil med socialrådgiverens faglige skøn, og derfor konkluderer projektets juridiske notat, at der ikke vil være tale om profilering som en automatisk behandling af personoplysninger.

Men det er svært at garantere, at algoritmens vurdering ikke i praksis vil ende med at blive determinerende. I Allegheny County oplevede Virginia Eubanks en tendens til, at de ansatte snarere satte spørgsmålstegn ved egne vurderinger end algoritmens. Og selvom socialrådgiverne i de to pilotkommuner generelt havde en positiv opfattelse af Beslutningsstøtten, var der også gennemgående en bekymring for, at den med tiden vil forårsage en afkobling af den selvstændige faglige stillingtagen, som det fremgår af en undersøgelse foretaget af ph.d.-studerende ved Aarhus Universitet Clara Siboni Lund.

Algoritmer kritiseres ofte for at være “sorte bokse”, hvis udregninger det er umuligt at gennemskue. Sammen med risikoscoren vil Beslutningsstøtten dog også oplyse, hvilke oplysninger den har anvendt til at beregne scoren, så det er muligt for socialrådgiveren at forholde sig kritisk til vurderingen.

Men vil der overhovedet være tid til at være kritisk? I lyset af det stigende tidspres, socialrådgiverne arbejder under, er der en fare for, at de simpelthen vil have for travlt til at foretage selvstændige, socialfaglige vurderinger. Holdet bag Beslutningsstøtten er meget opmærksomme på denne risiko. Anne Marie Villumsen understreger over for Respons:

“Det er en reel bekymring, som vi også har stor fokus på i forskningsgruppen. Det er MEGET vigtigt at understrege, at modellen aldrig har været ment eller tænkt som noget, der kan stå alene. Det er udelukkende et supplement til det, Socialrådgiveren allerede har af hjælp til sin beslutning som f.eks. lovgivningsmæssige rammer, teoretisk og forskningsbaseret viden. Dette gør vi meget ud af at drøfte med socialrådgiverne såvel som med deres ledere (og deres ledere), da det er vigtigt, at socialrådgiverne bringer deres faglighed i spil sammen med redskabet. Kun sådan håber vi på at kunne bidrage til at kvalificere praksis.”

I Allegheny County er det nu blevet sværere for ansatte at gå imod algoritmen. En opdatering af AFST i 2018 har gjort, at en underretning, som placeres enten i den højeste eller laveste ende af risikoskalaen, nu automatisk sendes videre i systemet, medmindre en ansat skriftligt begrunder, hvorfor de er uenige i algoritmens vurdering.

De ansvarlige ledere i Allegheny har i den forbindelse udtalt, at det er en svær proces at ændre de ansattes indstilling til arbejdet. De ansatte skal ganske enkelt vænnes af med at fokusere på, hvad de personligt ved om et barns aktuelle situation. I stedet skal de nu lære at stole på, at en algoritme er i stand til at forudsige, om et barn i fremtiden vil mistrives markant.