Inez Veronika Nordseth-Antonsen er spesialkonsulent i habiliteringsseksjonen ved Velferdsetaten i Oslo kommune. I et samarbeidsprosjekt med OsloMet og Høgskolen i Østfold har hun og kolleger jobbet med sosial validitet.

Nordseth-Antonsen forteller at prosjektet ble inspirert av en artikkel forfattet av Christoffer Eilifsen og Monica Vandbakk. De to jobber ved OsloMet og har blant annet skrevet om sosial validitet og anvendt atferdsanalyse. Prosjektet har også basert seg på åtte spørsmål som er hentet fra artikler av Strømgren, Orm & Løkke.

En subjektiv vurdering
Sosial validitet er en måte å evaluere et tiltak på. Det skjer ved å innhente opplysninger om hva personen selv og folk i omgivelsene synes om tiltaket. Ifølge Nordseth-Antonsen blir dette ansett for å være nyttig for brukerne. Det er også en måte å ivareta brukermedvirkning og brukeres syn på et tiltak.

Før hun og kollegaene tok i bruk sosial validitet i Velferdsetaten, så hun at det i tjenestene ofte ikke ble gjennomført evaluering av tiltak sammen med brukere om hvordan de syntes det det hadde gått.

Det var utgangspunktet da hun, Lise Snevoll Sørensen og Tommaso Querini satte i gang med sosial validitet våren 2023. Blant de første tiltakene som ble gjort, var å be alle miljøterapeutene om å lese artikkelen til Eilifsen og Vandbakk og tenke på hvordan de kan ivareta brukernes stemme i evaluering av tiltak.

– Noen ganger går jo grafen riktig vei, men sosial validitet handler om den subjektive vurderingen, hvordan opplevde jeg dette tiltaket på min kropp, sier Nordseth-Antonsen.

– Dette går rett inn på dette med brukermedvirkning og selvbestemmelse, noe som vi allerede har snakket om i flere år. Sosial validitet er egentlig bare den andre siden av det, ikke bare å ta vare på medbestemmelse, men også få med tilbakemeldingene: Hvordan opplevde du det egentlig?

Tre sentrale spørsmål
I den innledende fasen gjennomførte Nordseth-Antonsen og kollegane en spørsmålsrunde knyttet direkte til artikkelen til Eilifsen og Vandbakk og også en artikkel av Montrose M. Wolf fra 1978. I den artikkelen sier Wolf at sosial validitet handler om å sjekke om det var behov for atferdsendring, hvordan gjennomføringen ble opplevd og hvilken effekt den hadde.

– De tre spørsmålene er helt sentrale. Et viktig poeng er at vi snakker om vurdering av sosial validitet på atferdsanalytiske tiltak, sier Nordseth-Antonsen.

Vurdering av sosial validitet kan gjennomføres på de fleste tiltak i den daglige driften, for eksempel tegnøkonomi, atferdsavtaler, dagsplaner, motivasjonssystemer, struktureringsprogrammer og kommunikasjonstrening. Alt dette kan regnes som forebyggende tiltak ifølge Nordseth-Antonsen.

– Våren 2023 gjennomførte vi en runde med spørsmål til de ansatte som jobber med et tiltak, der de hadde meldt behov for noen endringer. Spørsmålene ble utformet på FORMS, og ansatte kunne skanne en QR-kode for å besvare. Vi spurte blant annet om de var enige i at det var behov for en endring. Det var alle mer eller mindre enig i.

De ansatte ble videre spurt om hva de syntes om gjennomføringen av selve tiltaket. Tilbakemelding der var blandet. Mange synes at det var komplisert og veldig vanskelig. De ansatte ble også spurt om hva som kunne gjøres annerledes og til slutt også om effekten av tiltaket. Også der var tilbakemeldingene ikke bare positive.

- Vi forstod da at forståelsen av tiltaket, og hvilke effektmål som kunne forventes ikke var godt nok formidlet, forteller Nordseth-Antonsen.

Hun legger til at verdien av å gjøre en vurdering av sosial validitet vil bidra til at personen det gjelder har mulighet til å komme med tilbakemeldinger, men vurderingen vil også kunne bidra til å redusere misoppfatninger om effekten av tiltaket, eller fange opp behovet for å gjøre enkle justeringer slik at gjennomføringen ikke oppleves så komplisert.

Standardisert måleskjema
– Vi gjorde noen endringer på tiltaket. Det så vi hadde positiv effekt. Og så fikk vi formidlet at vi ikke forventer null-forekomst, så forventningene ble også justert, forteller Nordseth-Antonsen.

– Gjennom endringene fikk vi en reduksjon av det som ble oppfattet som utfordringene. Vi fikk også mer lojalitet til tiltaket, og vi fikk bedre tiltaksintegritet.

Hun understreker at evalueringen må pågå fortløpende. Der er således blitt gjort justeringen på dette konkrete tiltaket etter den første runde med spørsmål. Nordseth-Antonsen opplever at ansatte holder på integriteten til tiltaket frem til en blir enig om noe annet. Det fremmer lik praksis.

Dette tiltaket ble evaluert våren 2023. Sommeren samme år tok Nordseth-Antonsen og kolleger kontakt med Monica Vandbakk for å få i gang et felles prosjekt. De ønsket å se på den praktiske anvendelsen av sosial validitet. Målet for prosjektet var blant annet å få satt sammen et standardisert måleskjema på sosial validitet. Jon Arne Løkken, dosent ved Høgskolen i Østfold og Høgskolen på Vestlandet, har jobbet med et slik måleskjema og ble invitert med i prosjektet i Oslo.

– Vi har møtes omtrent én gang i måneden siden sommeren, der vi har jobbet ut noen problemstillinger og prøvd å få satt sammen en prosjektskisse. Planen er å kunne rulle dette ut til studenter på nyåret, sier Nordseth-Antonsen.

– I tillegg har vi jobbet enda mer med det i personalgruppene. Miljøterapeutene har fått artiklene på nytt, men nå har de også fått testet ut måleskjemaet til Løkke og co. Da har de kunnet kjenne på kroppen hva det betyr å benytte skalaen til å skåre enighet i tiltak, og vurdert hvorvidt det er mulig å benytte de samme spørsmålene til ansatte og pårørende.

Det er miljøterapeuter fra fire tjenestesteder som er med i dette prosjektet.

Brukermedvirkning
Nordseth-Antonsen peker på at denne gruppen av tjenestemottakere som det her er snakk om, har store og omfattende behov for tjenester. Deres funksjonsnivå er ikke slik at en kan forvente at de uten videre vil kunne fortelle hvordan de opplever tiltakene.

– Vi har utfordret studenter som er i praksis hos oss om de kan stille noen gode spørsmål til de brukerne de har vært hos. En av studentene spurte for eksempel en bruker om språktrening, hva han syns om spørsmålene, stedet han trente på, om det var greit at andre observerte treningen.

Nordseth-Andersen føler at Velferdsetaten er kommet godt i gang i arbeidet med sosial validitet. Hun forteller at når ansatte sier at de kunne tenke seg å endre på et tiltak, og spør hva hun synes de skal gjøre, spør hun tilbake om de har spurt dem det gjelder. Hva ville de ha valgt?

– Dette har dryppet ned hele veien. Det er fordi vi har jobbet mye med brukermedvirkning, men nå får vi det enda mer frem, på en litt mer systematisk måte, sier Nordseth-Antonsen.

Ut i hele kommunen
Sammen med Snevoll Sørensen og Vandbakk har prosjektgruppen utarbeidet et enklere spørreskjema til brukerne. De har prøvd å finne gode spørsmål som ikke er så vanskelige å svare på. Og de er også opptatt av å stille spørsmålene på rett måte. Om for eksempel en person setter stor pris på et tiltak, for eksempel kommunikasjonstrening, og at det beriker dagen hans, er det da riktig å spørre om han ikke liker det?

– Det vil ikke være et alternativ for ham å si nei fordi han liker dette tiltaket så godt, og kanskje vil han bli mer usikker av å få et slikt spørsmål. Det betyr ikke at det ikke finnes muligheter for forbedring. Det handler om å bryte spørsmålene ned, for å få svar på det vi egentlig er ute etter.

Utfordringen, slik Nordseth-Antonsen ser det, er få spredt bruken av sosial validitet utover i organisasjonen, for selv om hun og de som deltar i prosjektet, jobber med det, driver ikke hele Oslo med det. Det å sitte på hver sin tue og finne de gode spørsmålene, er en dårlig løsning og tar ikke minst for lang tid. Det er derfor det jobbes med å få på plass et standardisert skjema for å måle sosial validitet hos brukerne.

– Vi ønsker at dette skal tas bredt i bruk for alle som har mulighet til å bruke stemmen sin. De som har vært med, opplever at de har mulighet til å påvirke i hvilken retning det skal gå.