Data science en advanced data analytics zijn disruptieve technologieën die impact hebben op de manier van werken van veel organisaties. Het inzetten van nieuwe databronnen en technieken als kunstmatige intelligentie biedt kansen om nieuwe inzichten op te doen en beter in te spelen op maatschappelijke ontwikkelen. Maak kennis met Anne Fleur van Veenstra, die bij de Nederlandse organisatie voor Toegepast-Natuurwetenschappelijk Onderzoek (TNO) de Policy Lab methodiek ontwikkelde. Met deze methodiek is het mogelijk om gecontroleerd te experimenteren met datagedreven beleidsontwikkeling. “Ik heb meer vragen dan antwoorden.”
Datagedreven werken wordt al op veel plekken toegepast in de overheid en de publieke sector. Denk aan toepassingen bij de politie voor opsporing, bij handhavingsinstanties voor risicogericht handhaven of de inzet van sensoren in de openbare omgeving. Voorbeelden van datagedreven beleidsontwikkeling zijn er nog nauwelijks. “Dat is ook logisch, vaak is de data er niet. Die zitten bij de grootschalige processen, bijvoorbeeld in het sociaal domein of waar veel sensoren zijn”. Ook is het een kwestie van bewustwording: “Beleidsmedewerkers zijn relatief onbekend met data en data analytics.”
Het gebruik van data bij beleidsontwikkeling is niets nieuws. Al jaren wordt er aan onderzoeksinstanties, zoals Wageningen University & Research (WUR) of het Planbureau voor de Leefomgeving (PBL), gevraagd om analyses en beleidsevaluaties uit te voeren. Zo ziet Anne Fleur het ook: “In feite is datagedreven beleidsontwikkeling een vorm van evidence-based policymaking.” Toch is de match met datagedreven werken niet eenvoudig te maken. “Als je naar de literatuur kijkt zijn er verschillende vormen van ‘evidence’: vanuit de data is maar één van die vormen. Nu is data een relatief ruw instrument voor het maken van beleid, de slag om die twee werelden bij elkaar te brengen moet nog gemaakt worden.” Dat doet TNO met de Policy Lab methodiek.
Twee werelden
Het onderzoek van TNO richt zich op de impact van dategdreven werken op het openbaar bestuur. “Onze hele methode is gericht op het in aanraking laten komen van de wereld van beleid en data.” TNO ontwikkelt methodieken waardoor die ‘aanraking’ mogelijk wordt. En dat is hard nodig: “Aan de ene kant zijn beleidsmakers nog nauwelijks data-minded. Statistiek snappen ze wel, ze weten wat een gemiddelde is en hoe ze dat kunnen interpreteren. Maar wat doe je als beleidsmaker met de mogelijkheden van een machine learning algoritme?” Om deze vertaalslag te maken, heeft TNO de uitkomsten van een besluit bijvoorbeeld nagerekend met traditionele statistiek.
Het zijn ook vooral de data experts die de beleidsmakers nodig hebben om hun eigen werk goed te doen. “Er wordt nu vooral gesproken over het audit-en van algoritmes, maar veel cruciale keuzes worden gemaakt in de bewerkingsslag tussen een databron en wanneer het verwerkt wordt. Dat is een totaal grijs gebied!” Deze cruciale keuzes die zich tijdens het opschonen van data voordoen, kan men het beste met beleidsmakers maken. “Een concreet voorbeeld: hoe ga je om met missing values? In de Rotterdam casus hadden wij gegevens van jongeren die in aanraking waren gekomen met bureau Halt. In die dataset zaten veel gaten. Onze data scientist wilde de gegevens niet meenemen. Toen zei de beleidsmedewerker dat van iedereen waar we geen informatie hadden, we ervan uit konden gaan dat ze niet in aanraking waren geweest met Halt.”
Policy Lab methodiek
TNO en hun internationale partners zetten de Policy Lab methodiek in. De klassieke beleidscyclus – eerst een beleidsverkennende fase, daarna monitoring en implementatie, als laatste evaluatie – wordt verrijkt met het gebruik van datatechnologie. “Afhankelijk van waar je zit in de beleidscyclus doe je wat anders met data.”
Een datagedreven beleidsverkenning gaat over het beleidsmodel verkennen. Alle factoren die te maken hebben met het beleidsdomein komen boven tafel. “Hoe we dit doen: met ouderwetse om-de-tafel gesprekken.” Vervolgens wordt er gekeken of de factoren terug te vinden zijn in de data. “Het gaat dan vooral over de fijnmazigheid van relaties. Als er bijvoorbeeld een correlatie is tussen twee factoren, dan wil je weten of daar iets anders achter zit. In deze fase is de grootste uitdaging de beschikbaarheid en kwaliteit van data.”
De tweede fase van de Policy Lab gaat verder: geavanceerde analyses worden ingezet om beleid te monitoren en te implementeren. Hierbij is het vooral belangrijk dat er een weloverwogen keuze wordt gemaakt voor de gebruikte methodes. “Sommige analysemethoden zijn minder geschikt dan anderen. Machine-learning was bijvoorbeeld in Rotterdam niet bruikbaar: de uitkomsten waren niet uitlegbaar en bovendien waren de voorspellingen helemaal niet goed.” Dat komt ook door de context waarin beleidsmakers werken. “Iets moet aan de Tweede Kamer of aan de gemeenteraad worden uitgelegd. Dat is iets anders dan een marketingafdeling die hun klantenbestand wil snappen.”
De inzet van datagedreven technologieën in de beleidscyclus leidt tot “een hybride beleidsmodel, waarin je op basis van expertise, statistiek en machine-learning een beeld krijgt van een beleidsdomein en de interventies die men kan plegen.” Bij het evalueren van beleid is er nog een ander verschil: “Technologie heeft altijd invloed op regulering, ICT heeft invloed op het wettelijk kader.” Zo ziet TNO dat de inzet van data in de evaluatie van beleid leidt tot een kortere beleidscyclus in zijn totaliteit. “Uiteindelijk wordt ook het beleidsproces agile.”
Geleerde lessen
- Inzet van datagedreven technologieën voor beleid is nog (relatief) onbekend terrein: wees daarvan bewust.
- Multidisciplinair: domein-expertise, statistische expertise en data-kennis zijn allemaal nodig in een datagedreven traject.
- Organiseer een sessie met iedereen over de uitlegbaarheid van de analyses, zodat er een gedeeld beeld ontstaat over de robuustheid van de uitkomsten.
