De bestuurlijke regie over experimentele data en algoritmen

Aanbevelingen voor een nationaal algoritmeregister en rapportagekader

In oktober 2019 publiceerde het ministerie van Binnenlandse Zaken en Koninkrijksrelaties de essaybundel ‘Behoorlijk datagebruik in de openbare ruimte’. Het Leer- en Expertisepunt Datagedreven werken (LED) denkt dat de essays uit deze bundel juist in deze tijd – waarin apps mogelijk worden ingezet als hulpmiddel in de strijd tegen het coronavirus – het lezen waard zijn. Daarom brengen we de essays nog eens onder de aandacht.

Hoe kan het ontwerp, de ontwikkeling en het gebruik van data en algoritmen in de samenleving zo ingericht en aangestuurd worden, dat de voordelen voor het publiek worden gemaximaliseerd en maatschappelijke waarden worden gerespecteerd? Met deze vraag ging Prof. dr. Gerd Kortuem (hoogleraar Internet of Things aan de TU Delft) aan de slag voor zijn essay.

Hieronder leest u het voorwoord, de samenvatting en de aanbevelingen van het essay ‘De bestuurlijke regie over experimentele data en algoritmen’ dat voortkwam uit bovenstaande vraag. De volledige versie van het essay treft u in de essaybundel ‘Behoorlijk datagebruik in de openbare ruimte’.

Ga direct naar:

• Voorwoord
• Samenvatting
• Conclusies en aanbevelingen

Onbehoorlijk datagebruik in de openbare ruimte

Voorwoord door Theo Veltman, lid begeleidingscommissie

Prof. dr. Gerd Kortuem en ik hebben elkaar enkele keren ontmoet in de context van de gemeente Amsterdam. Ik heb hem leren kennen als een aimabele, bescheiden deskundige en een gezaghebbende wetenschapper. Hij is één van de mensen die een breed veld van technologie overziet. Hij doet dat vanuit zijn grote kennis van en brede ervaring met de technologie en weet die kennis en ervaring te verbinden met vraagstukken rond ons menszijn en ons verblijf in een gedigitaliseerde wereld. Ook zijn essay illustreert dat.

Het onderzoek van Gerd richt zich op het Internet of Things (internet der dingen); het ontwerp en gebruik van data, algoritmen en slimme apparaten als belangrijke bouwstenen voor intelligente producten en diensten. Hij is lid van het AITech-initiatief voor betekenisvolle menselijke controle van autonome intelligente technologie. Gerd is verbonden aan de TU Delft als hoogleraar. Hij is daar tevens voorzitter ‘Internet of Things’ binnen de faculteit Industrieel Ontwerpen. Ook is hij verbonden aan het AMS (Amsterdam Institute for Advanced Metropolitan Solutions).

Het onderwerp ‘onbehoorlijk datagebruik in de openbare ruimte’ vind ik belangrijk omdat vrijheid een groot goed is. Het wordt in zekere zin bedreigd door de toenemende digitalisering. Zeker als het gaat om de vrijheid van bewegen, zonder gemonitord of geregistreerd te worden; te kunnen doen wat je wilt zonder (digitaal) toezicht. Ook de vrijheid van oordeelsvorming is belangrijk, dat je niet ongewild en onmerkbaar wordt beïnvloed in jouw mening, jouw keuzes. Die vrijheden staan onder druk. Digitalisering biedt voordelen. Al is het alleen maar dat elke persoon, ongeacht zijn of haar locatie, toegang kan hebben tot alle beschikbare informatie en kennis om zichzelf te ontwikkelen. Dat voordeel moet er zijn, voor iedereen. ‘Onbehoorlijk datagebruik’ is een ongewenst neveneffect. Het moet verminderd worden, dus worden tegengegaan.

In de begeleidingscommissie Behoorlijk datagebruik in de openbare ruimte heb ik weer geleerd hoeveel we van elkaar kunnen leren. De deelname aan deze groep van gedreven, deskundige mensen gaf mij veel energie en bracht mij meerdere nieuwe inzichten.

Doeltreffend de bestuurlijke regie houden over data en algoritmen

Samenvatting essay door Prof. Dr. Gerd Kortuem

Data en algoritmen hebben in de loop der tijd een bepalende rol in de samenleving gekregen. Ze beïnvloeden welk nieuws we online lezen, hoe verkeer door de stad wordt geleid en hoe we contact met elkaar hebben. Steeds vaker gebruiken bedrijven en overheden machinelearning-technieken om beslissingen met significante implicaties voor mens en maatschappij te automatiseren, bijvoorbeeld in de ordehandhaving, bij het opleggen van straffen en in de sociale dienstverlening.

Algoritmische besluitvorming wordt echter ook bekritiseerd omdat de mogelijkheid bestaat dat vooroordelen en discriminatie erdoor worden versterkt. Bovendien ontbreken transparantie en verantwoording (accountability). Een van de belangrijkste vraagstukken voor overheden is dus hoe ze het ontwerp, de ontwikkeling en het gebruik van data en algoritmen in de samenleving zo kunnen inrichten en beheersen dat de voordelen voor het publiek worden gemaximaliseerd en maatschappelijke waarden worden gerespecteerd.

Het is om verschillende redenen moeilijk om op een doeltreffende manier de bestuurlijke regie (governance) te houden over data en algoritmen. Ten eerste ontwikkelen algoritmen zich razendsnel tot een niveau van complexiteit en geavanceerdheid waar zelfs computerspecialisten nog maar amper begrijpen hoe algoritmen werken en beslissingen nemen. Ten tweede leidt de gestaag vorderende toepassing van geautomatiseerde machinelearning-tools en zelflerende algoritmen tot algoritmische systemen die snel en op onverwachte en vaak onvoorspelbare manieren evolueren. Ten derde zijn de effecten van datagedreven algoritmen op de samenleving dermate groot en vergaand, dat ze onmogelijk op voorhand kunnen worden voorspeld voordat dergelijke systemen daadwerkelijk worden ingezet in de samenleving. Om deze redenen spelen living labs (Schuurman, 2015) een sleutelrol in de experimentele ontwikkeling van data en algoritmen.

In dit artikel onderzoek ik de morele vraagstukken die zijn verbonden aan het experimenteren met data en algoritmen en ontwikkel ik aanbevelingen voor een nationaal bestuurskader voor data en algoritmen, dat uit vijf onderdelen bestaat:

1. een Algoritme Rapportage Initiatief, dat tot doel heeft de maatschappelijke waarde en risico’s van algoritmeprojecten in Nederland te documenteren en te volgen;
2. een Nationaal Algoritme Register dat een effectieve vergelijking en beoordeling van initiatieven op het gebied van data en algoritmen binnen Nederland mogelijk moet maken;
3. een Openbaar Algoritme Forum waarop publieke belanghebbenden de werking, het gebruik en de uitkomsten van initiatieven op het gebied van data en algoritmen kunnen bespreken, bekritiseren en betwisten;
4. een Data en Algoritme Instituut ter bevordering van de ontwikkeling van kennis, benaderingen, tools, infrastructuren en normen voor ethisch en verantwoord gebruik van algoritmen, en;
5. een Nationale Skills Agenda voor Data en Algoritmen om ervoor te zorgen dat alle belanghebbenden (van burgers tot organisaties) over de juiste vaardigheden beschikken om deel te nemen aan de nieuwe data- en algoritme-economie.

Deze aanbevelingen zijn gestoeld op een aantal belangrijke bronnen, waaronder Experimental Ethics van Van de Poel (van de Poel, 2016), de FAT/ML ‘Principles for Accountable Algorithms and Social Impact Statement for Algorithms’ (Diakopoulos et al., 2018), geïntegreerde rapportage (Banerjee, 2019; Eccles & Krzus, 2015), een veelgebruikt model voor het volgen van en rapporteren over financiële en niet-financiële waardecreatie binnen publieke en private organisaties, en ten slotte het werk van NESTA over AI-gerelateerde ethiek en bestuur (Mulgan, 2016).

Ontwikkel langetermijnvisie voor de vaardigheden op de nodige gebieden

Conclusies en aanbevelingen uit het essay door Prof. Dr. Gerd Kortuem.

Ten aanzien van data en algoritmen luidt de voornaamste vraag als volgt:

“Hoe kunnen we het ontwerp, de ontwikkeling en het gebruik van data en algoritmen in de samenleving zo inrichten en aansturen dat de voordelen voor het publiek worden gemaximaliseerd en maatschappelijke waarden worden gerespecteerd?”

De discussie die in dit essay wordt gepresenteerd, belicht de brede ethische vraagstukken rond het gebruik van data en algoritmen en leidt tot de volgende belangrijke inzichten:

1. Datagedreven algoritmen spelen een steeds grotere rol in besluitvormingsprocessen met verreikende maatschappelijke implicaties. Met andere woorden, algoritmen activeren data. Bestuur en beleid moeten data en algoritmen dus als eenheid behandelen.
2. Algoritmen worden nu snel zo complex en geavanceerd dat zelfs computerspecialisten maar moeilijk kunnen begrijpen hoe algoritmen werken en beslissingen nemen.
3. Data en algoritmen zijn bijzonder kneedbaar en onderhavig aan continue verandering en evolutie. De snelheid waarmee ze veranderen zal alleen nog maar toenemen wanneer organisaties agile data science engineering-praktijken (DevOps) ontwikkelen en toepassen en machinelearning-processen steeds verder automatiseren.
4. Algoritmen moeten worden gezien als experimentele technologie. Het is onmogelijk de maatschappelijke implicaties van algoritmen te voorspellen. Daardoor ontstaat de behoefte aan ethische aansturing van het experimentele proces omtrent data en algoritmen.
5. Living labs zijn een doeltreffende methode om verschillende belanghebbenden bij elkaar te brengen in een innovatief leerproces om te bepalen hoe data en algoritmen maatschappelijke en commerciële waarde kunnen opleveren.
6. We missen richtlijnen en regelgeving die ons vertellen hoe dit experimentele proces moet worden bestuurd. Ethische richtlijnen voor AI bieden waardevolle aanknopingspunten voor waar aandacht aan moet worden besteed maar zijn nog niet concreet genoeg.

Principes

Antwoorden op de bovenstaande kernvraag vereisen een brede insteek waarbij ethiek, beleid en regelgeving worden betrokken. Vertrouwen op regelgeving alleen is niet genoeg omdat er ook schadelijke en onethische gevolgen kunnen optreden als men zich streng aan de regelgeving houdt. Ik stel voor dat toekomstige beleidsinspanningen moeten worden gebaseerd op vijf principes:

• Concentreren op data en algoritmen, niet alleen data. Met andere woorden, toekomstige beleidsinspanningen moeten invloed uitoefenen op hoe data wordt gebruikt in (geautomatiseerde) besluitvormingsprocessen en hoe besluitvorming (in de publieke en private sector) wordt versleuteld in steeds complexere en meer geavanceerde algoritmen.
• Aanmoedigen van een veilig en ethisch experimenteel leerproces rond data en algoritmen. Het experimentele leerproces dat bijvoorbeeld door living labs wordt geïmplementeerd, is fundamenteel voor economische en maatschappelijke ontwikkeling. Beleid moet experimenteren dus zien als een kans, niet als bedreiging.
• Nadruk op publieke betwistbaarheid. Publieke betwistbaarheid richt zich op de vraag hoe het maatschappelijk middenveld kritiek kan uitoefenen op algoritmen en bezwaar kan maken tegen de beslissingen die eruit voortvloeien. Dit gaat verder dan transparantie en richt zich op mechanismen en instellingen om feedback en kritiek vanuit de samenleving te verzamelen, te analyseren en ernaar te handelen. Ook moeten belanghebbenden in staat worden gesteld lopende ontwikkelingen aan te vechten.
• Concentreren op het stimuleren van een openbaar debat over de manier waarop data en algoritmen in de openbare ruimte worden gebruikt; een debat door en voor het publiek.
• Ondersteunen van doorlopende inspanningen door Nederlandse gemeenten en daarbij dubbele inspanningen vermijden. Nederlandse steden hebben een internationaal vooraanstaande positie in de ontwikkeling van ethische praktijken en beleidsmaatregelen op het gebied van data en algoritmen. Bij toekomstig beleid moeten er lessen worden getrokken uit deze ervaringen en moet men zich eerst richten op het verzamelen van bewijs en het identificeren van best practices voordat uiteindelijk regels en normen worden vastgesteld.

Naar aanleiding van de analyse die in dit hoofdstuk is gepresenteerd, stel ik beleidsaanbevelingen voor op drie gebieden: bestuur, instellingen en vaardigheden.

Bestuur

De potentiële impact van data en algoritmen is verreikend en onvoorspelbaar. Overheden en gemeenten moeten hun beslissingen over het gebruik van data en algoritmen baseren op democratisch overleg, waarbij het publiek inspraak heeft in hoe deze ontwikkelingen worden vormgegeven. Door heel Nederland werken publieke en private partijen in living labs samen aan de ontwikkeling van data- en algoritmesystemen. Vaak zijn ook burgers en gemeenschappen daar nauw bij betrokken. De praktijken en normen van deze inspanningen variëren echter enorm en er is een gebrek aan transparantie ten aanzien van welke praktijken en normen waar in Nederland worden toegepast. De nationale overheid kan een sleutelrol spelen in het samenbrengen van deze versnipperde lokale inspanningen om een gemeenschappelijk inzicht te verkrijgen in alle best practices en beleidsmaatregelen. Zo kan uiteindelijk een aantal gezamenlijke principes voor heel Nederland worden ontwikkeld.

Het doel van de overheid moet drievoudig zijn:

1. Transparantie creëren ten aanzien van wie met welk doel welke algoritmen ontwikkelt;
2. Continue evaluatie van algoritmen en de impact ervan mogelijk maken;
3. Partijen uit het maatschappelijk middenveld in staat stellen de ontwikkeling en het gebruik van algoritmen ter discussie te stellen via openbare debatten.

Aanbeveling 1: Richt een Algoritme Rapportage Initiatief op, dat tot doel heeft de maatschappelijke waarde en risico’s van algoritmeprojecten in Nederland te documenteren en te volgen.

Op dit moment is er weinig inzicht in welke soorten datagedreven algoritmen er worden ontwikkeld en gebruikt in Nederland en wat de voordelen en risico’s zijn. Het voornaamste probleem is dat er niet voldoende openbare informatie voorhanden is over zulke projecten en dat er geen standaard manier is om algoritmen te documenteren. In de vorige paragraaf besprak ik voorstellen om via rapportages verantwoording af te leggen over algoritmen en de maatschappelijke impact ervan, maar deze voorstellen zijn nog niet in de praktijk getest (Diakopoulos, 2014, 2015, 2019; Diakopoulos & Friedler, 2016). Ik heb ook besproken hoe geïntegreerde rapportage is voortgekomen uit een proces op gemeenschapsniveau (Banerjee, 2019), en deze praktijken zijn inmiddels door publieke en private organisaties wereldwijd in gebruik zijn genomen (Niemann & Hoppe, 2018; Oprisor, Tiron-Tudor, & Nistor, 2016; Sulkowski, 2017; Tirado-Valencia, Rodero-Cosano, Ruiz-Lozano, & Rios-Berjillos, 2016).

Daarom bestaat mijn eerste aanbeveling eruit een groep betrokken partijen (onderzoekers, ontwikkelaars, beleidsmakers, burgers enz.) bij elkaar te brengen met het doel een Algoritme Rapportage Kader te ontwikkelen. Dit is hoogstwaarschijnlijk een meerjarig initiatief waarbij bestaande algoritme-initiatieven in kaart worden gebracht, er 360 graden inzicht wordt verkregen in dergelijke initiatieven en er rapportagepraktijken worden ontwikkeld en getest.

Met het oog op de hoge innovatiesnelheid van algoritmen en de experimentele aard van het merendeel van de ontwikkelingswerkzaamheden, zouden we voorzichtig moeten opereren en moeten we niet te snel proberen normen vast te stellen of aannemen dat we de impact van algoritmen al volledig kunnen doorgronden. Het is dan ook belangrijk dat we algoritmerapportage niet beschouwen als een soort audit of certificering. Voor audits en certificering zijn duidelijk gedefinieerde criteria en methoden nodig, die slechts beschikbaar zijn voor een klein deel van de met algoritmen geassocieerde vraagstukken. Er is nog onvoldoende inzicht in de meest diepgaande effecten van algoritmen. Net als bij het Kader voor geïntegreerde rapportage is de voornaamste waarde van algoritmerapportage dat personen en organisaties anders over deze zaken gaan denken; het gaat om het denkwerk dat aan het gepubliceerde rapport voorafgaat en niet om het rapport zelf. In navolging van de aanbevelingen van Mittelstadt om ‘bottom-up AI-ethiek te steunen’ (Mittelstadt, 2019), wil ik hier benadrukken dat het noodzakelijk is om verder te bouwen op bestaande initiatieven die momenteel plaatsvinden in living labs en gemeenten door heel Nederland en geleidelijk aan een Algoritme Rapportage Kader te ontwikkelen via een participatieve bottom-up benadering.

Het is zeker niet te vroeg om te speculeren wat een Algoritme Rapportage Kader allemaal zou kunnen omvatten. Ik heb ideeën uit verslaglegging van maatschappelijke impact, geïntegreerde rapportage en de experimental ethics van Van de Poel gecombineerd en kom daarmee tot de conclusie dat een algoritmerapportage in grote lijnen zou kunnen bestaan uit vier informatiecategorieën, namelijk: Waarde, Mechanismen, Experimentatie en Publiek:

Waarde

• Waardecreatie en voordelen. Welke waarde creëren de algoritmen? Wie profiteert van het gebruik van dit algoritme en hoe? Zijn deze voordelen publiek (voor de hele samenleving) of particulier (dragen ze bij aan commerciële belangen)?
• Waardevernietiging en schade. Welke waarde wordt vernietigd, met name met betrekking tot aspecten van eerlijkheid, zoals mogelijke vooroordelen, discriminatie en exclusie. Welke potentiële impact en schade kunnen er voor personen en specifieke groepen voortvloeien uit het gebruik van algoritmen?
• Menselijke verantwoordelijkheid en betrokkenheid. Wie is er betrokken, wie heeft directe controle over het algoritme, wie houdt toezicht en legt verantwoording af? Deze informatie moet betrekking hebben op zowel individuele personen als bedrijven en organisaties die zijn betrokken bij de creatie, toepassing en het gebruik van het algoritme en de doelen, doelstelling en intenties ervan verwoorden.

Mechanisme

• Data. Door welke data wordt het algoritme aangedreven? Wat is er bekend over de kwaliteit van de data, zoals de nauwkeurigheid, volledigheid en onzekerheid
  evenals de tijdigheid? Hoe is de data verzameld, getransformeerd, gecontroleerd en bewerkt? Hoe wordt de data beheerd en opgeslagen en onder wiens controle?
• Model. Welke kenmerken of variabelen worden gebruikt in het algoritme? Welke trainingsdata is gebruikt en hoe kan dit worden geclassificeerd als het gaat om correctheid, volledigheid enz.? Hoe ziet het algemene proces voor de bouw van het model eruit?
• Inferenties. Welke inferenties maakt het algoritme, bijvoorbeeld classificaties of voorspellingen? Wat zijn de standaardmetingen, zoals nauwkeurigheid enz.?
  Welke stappen worden er genomen om bekende fouten te herstellen?

Deze eerste twee categorieën zijn in de eerste plaats gebaseerd op de waardefocus van het Kader voor geïntegreerde rapportage (International Integrated Reporting Council, 2013) en de FAT/ML Principles for Accountable Algorithms (Diakopoulos et al., 2018). Overeenkomstig (van de Poel, 2016) stel ik daarnaast voor dat de rapportage informatie moet bevatten over de experimentele constructie waarin algoritmen worden ontwikkeld:

Experimentatie

• Participatie. Hoe worden personen van wie de data wordt gebruikt of voor wie de algoritmen gevolgen hebben, geïnformeerd en betrokken bij de inrichting van het experiment? Hoe geven personen hun toestemming en hoe kunnen ze zich terugtrekken uit het experiment (inclusief hun data)? Hoe kunnen personen die deelnemen invloed uitoefenen op het inrichten, uitvoeren, toezicht houden op, evalueren, aanpassen en stopzetten van het experiment?
• Bescherming. Hoe worden kwetsbare personen die deelnemen beschermd? Welke stappen worden ondernomen om deze risico’s te identificeren en te verhelpen? Hoe kan potentiële schade worden teruggedraaid?
• Toezicht. Wie geef goedkeuring voor en stuurt de experimentele ontwikkeling en het gebruik van algoritmen aan? Zijn dit democratisch goedgekeurde organen, particuliere partijen of anderszins? Hoe worden de effecten van het algoritme geëvalueerd en publiekelijk beschikbaar gesteld?

Ten slotte wil ik een categorie voorstellen die gerelateerd is aan de noodzaak om een effectief publiek debat en kritiek mogelijk te maken, deels gebaseerd op de FAT/ML Principles for Accountable Algorithms:

Publiek

• Controleerbaarheid(auditability)& betwistbaarheid. Hoe kunnen maatschappelijke betrokkenen het gedrag van het algoritme onderzoeken, begrijpen en controleren en hierop feedback geven, potentiële negatieve gevolgen aangeven en verbeteringen voorstellen? Wie ontvangt en evalueert deze input? Welke feedback en suggesties zijn ontvangen en hoe zijn ze verwerkt? Welke veranderingen zijn hieruit voortgekomen?

Samen leggen deze rapportcategorieën mogelijk een zware last op de partijen die verantwoordelijk zijn voor de ontwikkeling en het gebruik van algoritmen. Het is dan ook van groot belang dat er best practices worden gedefinieerd en flexibele normen worden gecreëerd, die in een praktisch rapportagekader worden verankerd dat ook werkelijk doet wat het moet doen: het vertrouwen in algoritmen vergroten en waarborgen dat algoritmen overeenkomen met maatschappelijke waarden.

Het doel van publieke rapportage is om het bestuur en de verantwoording van en het vertrouwen in organisaties (de eenheid, het team of de groep die verantwoordelijk is voor algoritmen) te vergroten. Dit kan alleen worden gerealiseerd als rapportage de organisatie toegevoegde waarde biedt en niet alleen externe belanghebbenden. Het Kader voor geïntegreerde rapportage benadrukt het belang van het creëren van een interne cultuur waarin het rapportagekader wordt gebruikt om discussies te stimuleren over hoe een organisatie waarde creëert (of vernietigt). Datzelfde moet gelden voor een algoritmisch rapportagekader.

Daarnaast moet rapportage een iteratief, periodiek proces zijn. De waarde van publieke rapportage ligt niet in de eerste plaats in het gepubliceerde rapport maar in het volgen van de voortgang door de tijd en de bijbehorende lessen in het verbeteren van controle, betwistbaarheid enz.

Aanbeveling 2: Ontwikkel een Nationaal Algoritme Register dat een effectieve vergelijking en beoordeling van initiatieven op het gebied van data en algoritmen in Nederland mogelijk moet maken.

De tweede aanbeveling betref het inrichten van een centraal register van algoritmen, dat informatie over algoritmen beschikbaar maakt aan zoveel mogelijk geïnteresseerden. Waar Aanbeveling 1 zich richt op hoe algoritmen moeten worden gedocumenteerd, concentreert Aanbeveling 2 zich op het verzamelen van informatie over alle relevante algoritme-initiatieven door heel Nederland.

In eerste instantie kan dit register worden samengesteld uit informatie afkomstig van overheidsinstellingen, gemeenten en vrijwillige bijdragen van anderen.

Mettertijd, wanneer er een rapportagekader is ontwikkeld, kan de overheid bepalen dat elk algoritme-initiatief moet worden opgenomen in dit register. De informatie in het Algoritme Register moet openbaar zijn, wat betekent dat het voornamelijk is gericht op publieke algoritmen en algoritmen gericht op het algemeen belang.

Het Nationaal Algoritme Register kan een belangrijke informatiebron worden voor onderzoekers, bedrijven en beleidsmakers. Onderzoekers kunnen informatie opvragen om meer inzicht te krijgen in de risico’s van algoritmen. Bedrijven kunnen inzicht krijgen in hoe ze de effecten van hun algoritmen kunnen evalueren. Beleidsmakers kunnen meer doeltreffende manieren ontwikkelen om algoritmen aan te sturen en te controleren en de impact op het beleid in de loop der tijd te volgen.

Hiertoe moet het Nationaal Algoritme Register een voor iedereen toegankelijke website hebben en regelmatig worden bijgewerkt om te waarborgen dat de informatie actueel, relevant en bruikbaar is.

Aanbeveling 3: Ontwikkel een Publiek Algoritme Forum om publieke partijen in staat te stellen de werking, het gebruik en de uitkomsten van initiatieven op het gebied van data en algoritmen te bespreken, te bekritiseren en te betwisten.

Kritieke technologieën zoals algoritmen die een vergaande impact kunnen hebben op de samenleving, moeten zo breed mogelijk worden besproken. Momenteel is dit niet mogelijk omdat het publiek niet weet welke algoritmen er worden gebruikt in de samenleving, hoe ze hun mening kunnen uiten en aan wie ze hun zorgen kunnen richten. Daarom raad ik aan een Publiek Algoritme Forum op te richten, waar publieke partijen de werking, het gebruik en de uitkomsten van initiatieven op het gebied van data en algoritmen kunnen bespreken, bekritiseren en betwisten.

Het Algoritme Forum moet een openbare website hebben en daarnaast een brede spectrum van methoden aanwenden om in gesprek te gaan met het publiek, waaronder openbare debatten, educatieve workshops en participatieve ontwerpsessies. De feedback van het publiek die tijdens deze evenementen wordt verzameld, moet worden opgenomen op de website van het Algoritme Forum.

Een Publieke Rapportage Hotline moet deel uitmaken van het Algoritmen Forum. Hier kan het publiek specifieke zorgen melden die ze hebben over door een algoritmisch systeem genomen beslissingen of negatieve ervaringen met zo’n systeem. Dit voorstel is geïnspireerd op publieke hotlines in de lucht- en zeevaartsector, zoals het FAA Hotline Reporting Form en het Britse UK Confidential Reporting Programme for Aviation and Maritime die vertrouwelijke rapporten registreren, de hieruit voortvloeiende data analyseren en belangrijke informatie doorspelen naar relevante gemeenschappen en overheidsinstanties.

Instelling

Aanbeveling 4: Richt een Data en Algoritme Instituut op ter bevordering van de ontwikkeling van kennis, benaderingen, tools, infrastructuren en normen voor ethisch en  verantwoord gebruik van algoritmen.

De missie van het Data en Algoritme Instituut zou als volgt moeten luiden: de maatschappelijke en economische voordelen van data en algoritmen voor de Nederlandse samenleving maximaliseren en de overheid, start-ups, gemeenten, maatschappelijke organisaties enz. bijstaan in het ontwikkelen van ethische data en algoritmepraktijken waarover verantwoording wordt afgelegd. Meer specifiek moet zo’n organisatie zich richten op:

• Het stimuleren van open innovatie in technologie, ethiek, bestuur en ontwerp;
• Het aanbieden van training en onderwijs;
• Contact met het publiek;
• Onderzoek

Een belangrijke rol van dit instituut is het Algoritme Rapportage Kader aan te jagen, het Nationaal Algoritme Register en Algoritme Forum te ontwikkelen en te onderhouden en in het algemeen op te treden als clearinghouse voor informatie over publieke algoritmen en data en algoritmen en data gericht op het algemeen
belang. Dit omvat:

1. Het publiceren van informatie over lopende initiatieven op het gebied van data en algoritmen van de overheid, gemeenten en andere partijen.
2. Het ontwerpen van doeltreffende mechanismen om burgers en organisaties in staat te stellen lopende initiatieven op het gebied van data en algoritmen te bekritiseren en te betwisten (bijvoorbeeld door middel van crowdsourcinginitiatieven),
3. Het ontwerpen van doeltreffende mechanismen om zulke feedback te analyseren er actie op te ondernemen en
4. Periodiek openbaar te rapporteren over hoe de feedback en kritiek zijn verwerkt.

Om innovatie te stimuleren moet het voorgestelde Data en Algoritme Instituut sterke juridische, sociaalwetenschappelijke en ontwerpvaardigheden in huis hebben, evenals technische kennis op het gebied van data, informatiearchitecturen en businessmodellen. Het moet beschikken over de mogelijkheid het end-to-endproces van data- en algoritmesystemen te analyseren, evenals de ethische en juridische implicaties van dergelijke systemen.

Het Data en Algoritme Instituut moet samenwerken met en ondersteuning bieden aan Nederlandse gemeenten, zodat lopende activiteiten effectiever worden verzameld en geanalyseerd om het opkomende ecosysteem van data en algoritmen te versterken. Een dergelijke organisatie kan gemodelleerd worden naar het voorstel voor een Machine Intelligence Commission van Geof Mulgan (Mulgan, 2016) om de ontwikkeling van nieuwe benaderingen ter bescherming van het algemeen belang te ondersteunen.

De huidige inspanningen van het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties om een Transparency Lab (Braak, 2019) op te richten, zijn een stap in de juiste richting. Zo’n lab dient echter te worden ingericht als onafhankelijke instelling buiten overheidshiërarchieën en met een sterke betrokkenheid van bredere maatschappelijke sectoren. Naar het voorbeeld van het Open Data Institute, NESTA en de Open Knowledge Foundation moet zo’n instelling een duidelijke publieke missie hebben, worden geleid door een raad van bestuur wier diversiteit de maatschappelijke belangen in algoritmen weerspiegelt en worden voorzien van de middelen om aanzienlijke expertise in huis te ontwikkelen. Het belangrijkst is echter dat het Data en Algoritme Instituut zich niet moet richten op het auditen van algoritmen, wat voornamelijk een methode
voor risicobeoordeling en -beperking is, maar op benaderingen op het gebied van rapportage en betwistbaarheid zoals hierboven beschreven en op het stimuleren van innovatie in technologie, ethiek en bestuur.

Ik vermeld hierbij graag dat het in Nederland, in vergelijking tot het Verenigd Koninkrijk, ontbreekt aan sterke organisaties in de publieke sector zoals het Open Data Institute, NESTA en de Open Knowledge Foundation, die daar innovatie en publieke betrokkenheid ten aanzien van data en algoritmen stimuleren. Het Rathenau Instituut verricht uitstekend werk met onderzoek naar en publieke betrokkenheid bij maatschappelijk relevante aspecten van wetenschap en technologie.

De Waag in Amsterdam is van essentieel belang in het opschalen van grassrootsinitiatieven en brengt maatschappelijke zorgen en vraagstukken voor het voetlicht. Er is echter behoefte aan instellingen met een bredere opdracht op het gebied van innovatie, technologie, design en beleid, en die beter in staat zijn technische en beleidsontwikkelingen vorm te geven en te onderbouwen. Er zijn vooral nieuwe vaardigheden en capaciteiten nodig ten aanzien van de interactie van de technologische, creatieve en beleidssectoren en voor de toepassing van design thinking en innovatieve methoden voor beleidsontwikkeling.

Vaardigheden

Aanbeveling 5: Ontwikkel een Nationale Skills Agenda voor Data en Algoritmen om ervoor te zorgen dat alle belanghebbenden (van burgers tot organisaties) over de juiste vaardigheden beschikken om deel te nemen aan de nieuwe data- en algoritme-economie.

Wetgevers en beleidsmakers hebben nieuwe vaardigheden nodig om verdergaand inzicht te verkrijgen in nieuwe technologieën en businessmodellen. Computerexperts  hebben nieuwe vaardigheden nodig om inzicht te krijgen in de ethische en beleidsaspecten van data en algoritmen. Ontwerpers van producten en diensten hebben nieuwe vaardigheden nodig om effectief verantwoorde datagedreven producten en diensten te kunnen ontwerpen. Overheidsmedewerkers hebben nieuwe vaardigheden nodig om de juiste beslissingen te kunnen nemen over hoe en waar data en algoritmen worden gebruikt in publieke dienstverlening en geautomatiseerde besluitvormingsprocessen. En burgers moeten nieuwe vaardigheden krijgen om op betekenisvolle wijze input te kunnen leveren voor het gebruik van data en algoritmen in het publieke domein en dit gebruik ook te kunnen betwisten. Om deze vaardigheden de komende 25 jaar te kunnen ontwikkelen, is een strategische aanpak over de hele educatieve breedte vereist, van de basisschool tot het beroepsonderwijs en wetenschappelijke vorming.

Daarom raad ik aan naar een overkoepelende Nationale Skills Agenda voor Data en Algoritmen toe te werken, met drie doelstellingen in gedachten:

1. Vaststellen welke behoefte er is aan vaardigheden op het gebied van data en algoritmen door alle lagen van de samenleving, om het toekomstige economische en maatschappelijke welzijn van de Nederlandse samenleving te kunnen waarborgen.
2. Vaststellen welke vaardigheden op het gebied van data en algoritmen moeten worden onderwezen in verschillende onderwijs- en opleidingspaden, van de basisschool tot professionele en wetenschappelijke vorming.
3. Nieuwe educatieve initiatieven initiëren die gericht zijn op cruciale behoeftegebieden.

Deze aanbeveling is gebaseerd op het besef dat de huidige inspanningen op het gebied van onderwijs in data en algoritmen onvoldoende tegemoetkomen aan het tekort aan vaardigheden op dit gebied in de hele samenleving. De Nederlandse overheid investeert meer in wetenschappelijk onderwijs aan Nederlandse universiteiten, deels gericht op het versterken van het wetenschappelijk onderwijs in data, algoritmen en AI. Daarnaast wordt een aantal professionele masteropleidingen ontwikkeld, waar specialisten op verschillende vakgebieden datavaardigheden kunnen opdoen. Ook zijn er MOOC’s (Massive Open Online Courses) opgezet, die het publiek meer inzicht moeten geven in data, algoritmen en AI. Een voorbeeld is de Nationale AI-Cursus. Er moet echter nog veel meer worden gedaan. In het Verenigd Koninkrijk biedt het Open Data Institute al enkele jaren een educatief programma om datageletterdheid te vergroten, waarin online, gemengde en persoonlijke cursussen worden gecombineerd.

Tot dusver hebben meer dan 25.000 professionals en andere geïnteresseerden op deze manier vaardigheden op het gebied van data kunnen ontwikkelen. Het programma is gebaseerd op een Data Skills Framework (ODI, 2018) dat een breed gedragen datageletterdheidprogramma beschrijft en op behoeften gebaseerde opleidingsroutes biedt. Het gaat daarbij niet alleen om technische datavaardigheden maar ook om ethiek en bestuur op het gebied van data.

De Nederlandse samenleving kan zich niet veroorloven dat slechts een selecte groep mensen inzicht heeft in data en algoritmen. Dit betekent dat de strategische aanpak zich niet alleen moet richten op beroeps- en wetenschappelijk onderwijs maar juist ook op de basisscholen. In de afgelopen jaren is het besef gegroeid dat computeronderwijs op scholen verder moet gaan dan IT-basisvaardigheden en zich moet richten op een breder aanbod van onderwijs op het gebied van datageletterdheid. In Engeland heeft een aantal recente initiatieven aangetoond hoe een modern onderwijsaanbod op dit gebied er op scholen uit kan zien, zoals het BBC micro:bit-programma (Schmidt, 2016; Sentence, Waite, Hodges, Macleod, & Yeomans, 2017), het Internet of Schools-programma (Moreira, Magalhães, Ramos, & Vairinhos, 2018; Moreira, Vairinhos, & Ramos, 2018) (met de bedoeling leerlingen Internet of Things vaardigheden bij te brengen) en de Urban Data School (Wolf, Kortuem, & Cavero, 2015) (een initiatief waaraan ik heb meegewerkt en dat kinderen van 8 tot 12 datageletterdheid moet bijbrengen). De Urban Data School in het bijzonder toonde aan dat datageletterdheid op betekenisvolle wijze kan worden geïntegreerd in het bètaonderwijs op scholen en dat het haalbaar is om zelfs jonge leerlingen de basis van datageletterdheid bij te brengen. Daarbij kunnen schijnbaar gecompliceerde onderwerpen als acquisitie, voorbereiding, analyse, communicatie en ethiek van data aan bod komen (Wolf, Gooch, Montaner, Rashid, & Kortuem, 2016).

Het voornaamste doel van de voorgestelde Nationale Skills Agenda voor Data en Algoritmen is het ontwikkelen van een langetermijnvisie voor de vaardigheden op het gebied van data en algoritmen die nodig zijn in de samenleving en om tot innovatieve benaderingen te komen voor de ontwikkeling ervan.