• Direct naar de pagina-inhoud
  • Direct naar de hoofdnavigatie
  • Direct naar de secundaire content met widgets
  • Direct naar de footer
  • Nieuwsbrief
  • Over ons
  • Contact

Digitale Overheid

Voor professionals die werken aan digitalisering van de overheid

Logo Rijksoverheid, naar de homepage

Digitale Overheid

  • Home
  • Werkagenda
  • Onderwerpen
  • Nieuws en achtergrond
  • Evenementen
  • Nieuwsbrief
  • Over ons
  • Contact
Home›Onderwerpen›Nieuwe technologieën, data en ethiek›Publieke waarden en mensenrechten›Toolbox Ethisch Verantwoorde Innovatie›Kwaliteit data, algoritmes en analyses

Zorg voor biasvrije data, algoritmes en analysemethoden

Algoritmes en analyses door computers worden vaak als objectief gezien. Maar wanneer je vragen stelt aan een systeem, kunnen die vragen (onbewust) leiden tot bevooroordeling. Ook de kwaliteit van data kan veel impact hebben op besluitvorming. Dat is voor een machine niet anders dan voor een mens. Kortom, in een besluitvormingsproces moeten gegevens, beslisregels en analysemethoden allemaal van voldoende kwaliteit zijn. Nu er steeds meer wordt geëxperimenteerd met (deels) zelflerende systemen, wordt dit alleen nog maar belangrijker.

  1. Zorg voor goede data.
  2. Stel de juiste vragen.
  3. Bepaal het gewenste type output.
  4. Kies de juiste methode van analyseren.

1. Zorg voor goede data

Data moeten juist, volledig, consistent en actueel zijn. Wanneer data niet aan die voorwaarden voldoen, zullen ze geen optimale resultaten opleveren. Sterker nog, de uitkomst van een geautomatiseerd besluit kan zelfs discriminerend zijn. Er worden bijvoorbeeld schoonheidswedstrijden georganiseerd op basis van algoritmes. Wanneer de ingevoerde data niet voldoende divers zijn, kan het gevolg zijn dat mensen met een donkere huidskleur structureel als minder mooi worden beoordeeld. Dit laat zien hoe belangrijk het is om met een representatieve dataset te werken.

Tools om datakwaliteit te bepalen

De kwaliteit van data kan op verschillende manieren worden gedefinieerd. De benodigde kwaliteit is bovendien afhankelijk van de toepassing van de data en van de context. Omdat kwaliteit zelf geen meetbare grootheid is, is het belangrijk om andere (wel meetbare) indicatoren voor kwaliteit vast te stellen.

Datakwaliteit

Big data: Waarborgen voor datakwaliteit (Pdf, 114 Kb) Compacte checklist met adviezen over datakwaliteit en de controle hiervan aan de hand van vier concrete vragen. Ministerie van JenV
Artikel ‘Hoe controleer je de betrouwbaarheid van data’ Visie van TNO op datakwaliteit en methoden om de betrouwbaarheid van data te verbeteren, inclusief twee voorbeeldcases. TNO
Code voor informatiekwaliteit 2016 Set richtlijnen die managers kunnen gebruiken om de kwaliteit van informatie te organiseren en in te regelen, bruikbaar als normenkader voor audits. Stichting DAMA NL

2. Stel de juiste vragen

Een van de moeilijkste onderdelen van het ontwerpen van een algoritme is het (laten) stellen van de juiste vragen. De kwaliteit van docenten kun je bijvoorbeeld meten aan de testresultaten van hun leerlingen. Maar daarin zit al de aanname dat testresultaten een goede graadmeter zijn voor de kwaliteit van een docent. Ook self-fulfilling prophecies liggen op de loer. Bijvoorbeeld wanneer je in bepaalde wijken naar bijstandsfraudeurs zoekt. Door daar steeds meer data over en inzicht in te krijgen, zullen in vergelijkbare wijken ook meer fraudeurs worden gevonden.

Methoden om de juiste vragen te stellen

Inhoudelijke domeinexperts kennen vaak al belangrijke oorzaken en gevolgen van een problematiek. Daarmee kunnen zij helpen de juiste vragen te formuleren.

De juiste vragen stellen

Visgraatdiagram Hulpmiddel om tijdens een brainstormsessie op een visuele manier de mogelijke oorzaken van een effect of probleem op te sporen. Sigma

3. Bepaal het gewenste type output

Analyses van data kunnen verschillende soorten output hebben. Welke vorm de output heeft, kan grote gevolgen hebben voor verdere interpretatie door mens of machine. De uitkomst van een analyse naar fraude kan bijvoorbeeld zijn ‘mogelijke fraudeur’, maar ook een numerieke waarde, zoals regressie. In dat tweede geval is de indeling minder ‘hard’. Je werkt dan nog steeds met grenswaarden, maar ziet ook nog in hoeverre deze persoon over de waarden heen zit. Een inspecteur die de output moet beoordelen, kan dan nog een eigen afweging maken.

Verschillende typen output

Er zijn verschillende categorieën output: naast een harde indeling in klassen of numerieke waarden, kan de output ook zijn dat items vergelijking vertonen. Dit kun je bijvoorbeeld gebruiken om gerelateerde producten of diensten aan te raden.

4. Kies de juiste methode van analyseren

De keuze voor een analysemethode is van fundamentele invloed op de impact die een algoritme heeft. Bij supervised learning probeer je een algoritme bijvoorbeeld een algemene regel te leren die input vertaalt naar gewenste output. Bij unsupervised learning moet het algoritme zelf structuren in de data herkennen. Beide methoden kunnen met eenzelfde dataset een heel ander beeld geven. Het is daarom belangrijk dat de analysestappen en het proces goed te auditeren zijn. Bovendien moet een algoritme zo nodig kunnen worden herijkt op basis van resultaten en voortschrijdend inzicht.

Analysemethoden

‘Het gebruik van datagedreven analysemethoden in de (beleids)praktijk’ Rapport over kansen, uitdagingen en handreikingen bij het toepassen van data-analysemethoden in de (beleids)praktijk. Wetenschappelijk Onderzoek- en Documentatiecentrum (WODC)

Toolbox Ethisch Verantwoorde Innovatie

  • Over de Toolbox voor Ethisch Verantwoorde Innovatie
  • Publieke waarden centraal
  • Belanghebbenden betrekken
  • Wet- en regelgeving respecteren
  • Veiligheid borgen
  • Kwaliteit data, algoritmes en analyses
  • Transparantie en verantwoording
  • Monitoren en evalueren

Toolbox Ethisch Verantwoorde Innovatie

  • Toolbox Ethisch Verantwoorde Innovatie
  • Over de Toolbox Ethisch Verantwoorde Innovatie
  • Publieke waarden centraal
  • Belanghebbenden betrekken
  • Wet- en regelgeving respecteren
  • Veiligheid borgen
  • Kwaliteit data, algoritmes en analyses
  • Transparantie en verantwoording
  • Monitoren en evalueren

1 document

  • Documenten

Berichten

  • Nieuws

Vraag, idee, reactie of suggestie?

Werk je aan de digitalisering van de overheid en heb je een vraag of een idee? Reageer via het contactformulier

  • Link DigiD helpdesk digid.nl/hulp
  • Link MijnOverheid / Berichtenbox mijn.overheid.nl/vragen
  • Link eHerkenning helpdesk eherkenning.nl/vraag-antwoord
  • Mailadres Berichtenbox voor Bedrijven ondernemersinformatie@rvo.nl

Digitale Overheid

Voor professionals die werken aan
digitalisering van de overheid

Volg ons via

  • Nieuwsbrief Digitale Overheid
  • Twitter
  • LinkedIn
  • RSS

Over deze site

  • Colofon
  • Archief
  • Copyright
  • Privacy
  • Toegankelijkheidsverklaring
  • Sitemap
  • Contact
  • This site in English