Leereffect is belangrijk

Hoe komt het we nog steeds op zoek zijn naar het effect van welzijnsinterventies?

Welzijn werkt aan gedragsverandering in een complexe omgeving. Het is geen laboratoriumwerk waar de buitenwereld kan worden uitgefilterd. Er zijn veel onbeheersbare factoren die het lastig maken om een causaal verband tussen een interventie en een bepaald effect aan te tonen. Als het gaat om bewijzen van effect dan levert een gerandomiseerd onderzoek met controlegroep de hoogst mogelijke bewijskracht. Een dergelijk onderzoek vergt, juist vanwege die complexiteit, een grote inspanning. Hoe complexer, hoe meer onbeheersbare factoren, hoe groter de onderzoeksgroep dient te zijn. Dergelijk onderzoek is in ieder geval voor de gemiddelde welzijnsorganisatie niet haalbaar.
Onderzoek toont aan dat het effect van een sociale interventie slechts voor 20% kan worden toegeschreven aan de gebruikte methodiek. 40% brengt de sociale professional mee onder andere in de vorm van competenties, de relatie met cliënt en persoonlijkheid. 40% van het effect kan worden toegeschreven aan de profijt groep zelf onder andere in de vorm van motivatie, relatie met de professional, (persoonlijke) omstandigheden en persoonlijkheid. Een interventie is dus meer dan een methodiek alleen en gaat voor een groot deel over de interactie tussen de professional en de profijt groep.

Wat kan de welzijnssector anders doen?
Minstens zo belangrijk als verantwoording aan externen is het leereffect dat uitgaat van een kritische en beschouwende houding van de sociaal werker naar zijn eigen werk. Een organisatie die transparant en kritisch zijn eigen werk beschouwt is aan de ene kant kwetsbaar maar aan de andere kant erg krachtig. Een dergelijke organisatie weet heel goed wat het wel kan en weet dit ook overtuigend, met argumenten, onder het voetlicht te brengen.
Het begint met het goed analyseren van de beginsituatie en het helder formuleren van de gewenste verandering. Bedenk dan hoe je deze gewenste verandering denkt te bereiken. Wat is je verandertheorie? Waarom kies je voor aanpak A en niet voor aanpak B? Benoem doelstellingen die daadwerkelijk iets zeggen over de gewenste verandering en liefst ook over de verandertheorie met andere woorden treedt de verandering op en in welke mate is deze toe te schrijven aan de aanpak. De geformuleerde doelstellingen dienen daarom aantoonbaar en voorzien van indicatoren te zijn. De evaluatie is het sluitstuk van dit proces en kan hier niet los van worden gezien. Zonder zorgvuldig proces levert een evaluatie weinig inzicht op.

Hoe staat effectmeting in relatie tot Welzijn Nieuwe Stijl?
Welzijn Nieuwe Stijl staat voor het nemen van meer verantwoordelijkheid door de burgers en daarmee voor het loslaten van verantwoordelijkheid door de overheid. De overheid is daar huiverig voor omdat loslaten aanvoelt als het verlies aan beheersbaarheid en controle. Het betekent onder meer dat niet de overheid concrete resultaten benoemt maar de burger zelf en dat burgers een actieve (producerende ) rol hebben in het behalen van die resultaten. De overheid gaat van sturing op inhoud naar sturing op proces met een ongewisse uitkomst. Het gaat dan niet alleen om horizontale verantwoording (burgers vertellen achteraf wat het heeft opgeleverd) maar om horizontale sturing (burgers worden vanaf het begin betrokken bij het proces).
Het eigen verhaal van de profijt groep is dan misschien wel de belangrijkste graadmeter die iets zegt over de kwaliteit van een interventie. Ik ben zelf gecharmeerd van het vertellen van verhalen. Dit type onderzoek heeft zijn regels en kwaliteitsnormen. Het vereist vakmanschap om dit goed te doen. Als de professional in staat is om het verhaal van de profijt groep objectief in kaart te brengen, levert dat een sterke kwalitatieve verantwoording naar zowel profijt groep als opdrachtgever op. Daarnaast is er sprake van een leereffect voor de professional. Helaas wordt het verhalen vertellen, met name door opdrachtgevers, nog ondergewaardeerd.

Wat kan de overheid doen?
De overheid heeft de afgelopen jaren erg ingezoomd op het in beeld krijgen van resultaten. De overheid zou, net als het welzijn, juist meer aandacht moeten schenken aan de voorkant van het proces: is de vraag helder, is de situatie helder, zijn de doelen helder en hebben we helder voor ogen hoe we die doelen denken te bereiken? Nog te vaak blijven ambtenaren hangen in abstracte doelen zoals het vergroten van de leefbaarheid of het bevorderen van de sociale cohesie die ze SMART vertalen in aantal gegeven cursussen, aantal deelnemers, uren besteed aan etc. Daarvan wordt echter niemand wijzer.
Een mogelijke invulling van dit proces is het toepassen van een SROI. De uitkomst van een SROI is mogelijk minder belangrijk dan het proces dat eraan vooraf gaat. Het invullen van een SROI dwingt de partners gestructureerd na te denken over de interventie. Het gevaar van een SROI kan zijn dat de opdrachtgever alleen naar de uitkomst kijkt zonder keuzes die tijdens het invullen proces zijn gemaakt te weten of te begrijpen. Alleen naar de uitkomst kijken, doet geen recht aan de complexiteit die hier achter schuilt.Om een dergelijk proces goed te doen is tijd nodig. De overheid doet er goed aan om ook investeringen in het proces te financieren.

Wat doet Movisie?
Movisie werkt aan een databank Effectieve Interventies, een project dat we samen met VWS en de MO-groep hebben opgezet. Het was de bedoeling deze databank te vullen met op wetenschappelijk bewezen methodieken op het gebied van sociale interventies. Er zijn echter praktisch geen methodieken waarvan de effecten onderzocht zijn volgens de wetenschappelijke methoden met de grootste bewijskracht. Dergelijk onderzoek lijkt ook praktisch onmogelijk.
Nu werken we met zachtere criteria om te toetsen of een interventie in de database thuis hoort. Zo kijken we of de methode is geëvalueerd, of er een draaiboek/methodiek beschrijving aanwezig is en of de werking aantal elementen wetenschappelijk zijn onderbouwd of onderzocht. Op dit moment staan er 21 interventies in de database. Daarnaast biedt Movisie verschillende trainingen en bijeenkomsten op dit thema.

Voor meer informatie: www.movisie.nl