ACM EUTPC Comments on NTA 8047-2026

April 2026

De Association for Computing Machinery (ACM) is de langst bestaande professionele beroepsvereniging ter wereld voor personen die betrokken zijn bij alle aspecten van de informatica. Zij reikt jaarlijks de ACM A.M. Turing Award uit, in de volksmond vaak aangeduid als de "Nobelprijs van de informatica". Het Europees Comité voor Technologiebeleid van ACM ("Europe TPC") heeft tot taak, en is eraan toegewijd, om beleidsmakers en het grote publiek te voorzien van deugdelijke technische informatie ter ondersteuning van gedegen overheidsbeleid. Europe TPC heeft eerder gereageerd op consultaties van belanghebbenden van de Europese Unie in het kader van onder meer de AI-verordening, de Dataverordening, de Digitaledienstenverordening, de Digitale Burgerprincipes en de Cyberweerbaarheidsverordening, naast andere. ACM en Europe TPC zijn organisaties zonder winstoogmerk, niet-politiek en voeren geen lobbyactiviteiten uit.

Wij zijn verheugd om commentaar te leveren op de voorgestelde Nederlandse Technische Afspraak inzake profileringsalgoritmen. Deze consultatie, georganiseerd door het Koninklijk Nederlands Normalisatie-instituut, biedt tijdige en impactvolle aanbevelingen op zowel nationaal als internationaal niveau. Het conceptdocument en de achtergrondinformatie zijn hier beschikbaar.

Sectie 3.2

Commentaar: Sectie 3.2 maakt geen onderscheid tussen verschillende niveaus van data-abstractie in profileringsalgoritmen. Echter, de wetenschappelijke literatuur identificeert vier hoofdcategorieën: verstrekte, geobserveerde, afgeleide en geïnfereerde data (Abrams, 2014). Dit onderscheid is cruciaal, omdat afgeleide en met name geïnfereerde data verdere fouten kunnen introduceren, naast de kwaliteit van de invoerdata. Geïnfereerde data is gebaseerd op statistische correlaties die onnauwkeurig, discriminerend of contextueel ongepast kunnen zijn voor individuele gevallen. Zonder erkenning van deze abstractieniveaus schiet de norm tekort bij scenario's waarin foutieve inferenties niet effectief betwist kunnen worden vanwege gebrek aan transparantie in de afleidingsprocessen.

Referentie: Abrams, M. (2014). The origins of personal data and its implications for governance. Available at SSRN 2510927.

Wijziging: Voeg toe na de huidige inhoud van Sectie 3.2: "Profileringsalgoritmen kunnen werken op verschillende data-abstractieniveaus: verstrekt (direct aangeleverd), geobserveerd (vastgelegd vanuit gedrag), afgeleid (deterministisch berekend) en geïnfereerd (statistisch voorspeld) [Abrams, 2014]. Afgeleide en geïnfereerde data kunnen verdere fouten introduceren. Organisaties moeten: (a) documenteren welke datacategorieën worden gebruikt bij profilering, (b) de nauwkeurigheid van afgeleide en geïnfereerde attributen afzonderlijk beoordelen, en (c) individuen in staat stellen geïnfereerde attributen op betekenisvolle wijze te betwisten."

Sectie 5.1

Commentaar: De framing van "objectieve rechtvaardiging" voor ongelijke behandeling in secties 5.1.2-5.1.4 is omstreden. Het minderheidsstandpunt van Amnesty International, Bits of Freedom en Control Alt Delete in Bijlage A laat een fundamenteel meningsverschil zien over de vraag of objectieve rechtvaardiging voldoende beschermt tegen discriminerende uitkomsten in algoritmische systemen. In dit minderheidsstandpunt worden zorgen geuit dat de huidige framing discriminatie kan legitimeren onder het mom van technische rationaliteit, terwijl structurele ongelijkheden en machtsonevenwichtigheden niet worden erkend. De norm zou dit voortdurende debat moeten erkennen en zou richting moeten bieden die geen consensus veronderstelt over wat acceptabele ongelijke behandeling vormt.

Wijziging: Voeg toe aan Sectie 5.1.2: "OPMERKING: Het concept van 'objectieve rechtvaardiging' voor ongelijke behandeling is onderwerp van voortdurend debat, zoals weerspiegeld in het minderheidsstandpunt in Bijlage A. Organisaties moeten zich bewust zijn dat technische of statistische rechtvaardigingen mogelijk onvoldoende zijn om zorgen over structurele discriminatie of maatschappelijke rechtvaardigheid te adresseren."

Sectie 5.2.4

Commentaar: Sectie 5.2.4 definieert effectiviteit als de evaluatie van het besluitvormingsproces, inclusief het profileringsalgoritme, maar behandelt geen multi-stakeholdercontexten waarin verschillende partijen conflicterende waarden en doelstellingen kunnen hebben. In platform-ecosystemen kunnen kopers, verkopers en platformbeheerders fundamenteel verschillende criteria hebben voor wat "effectieve" profilering vormt (Burke et al., 2016). De huidige framing veronderstelt een enkele maatstaf voor effectiviteit, wat kan verhullen wiens belangen worden geprioriteerd. Daarnaast is transparantie met betrekking tot algoritmische uitkomsten en hun rol in besluitvormingsprocessen essentieel voor betekenisvolle effectiviteitsevaluatie (Mittelstadt, 2016; Sonboli et al., 2021), maar dit is niet expliciet vereist in deze sectie.

Referenties:

• Burke, R. D., Abdollahpouri, H., Mobasher, B., & Gupta, T. (2016). Towards multi-stakeholder utility evaluation of recommender systems. UMAP (Extended Proceedings), 750.
• Mittelstadt, B. (2016). Auditing for transparency in content personalization systems. International Journal of Communication.
• Sonboli, N., Smith, J. J., Cabral Berenfus, F., Burke, R., & Fiesler, C. (2021). Fairness and transparency in recommendation: The users' perspective. Proceedings of the 29th ACM Conference on User Modeling, Adaptation and Personalization, 274-279.

Wijziging: Herzie Sectie 5.2.4 door toe te voegen: "Effectiviteitsevaluatie moet erkennen dat verschillende belanghebbenden (bijv. dienstverleners, serviceproviders, platformbeheerders) verschillende en mogelijk conflicterende waarden kunnen hebben met betrekking tot effectieve profilering [Burke et al., 2016]. Organisaties moeten: (a) relevante belanghebbende groepen identificeren, (b) documenteren wiens belangen worden geprioriteerd in effectiviteitsmaatstaven, en (c) transparantie waarborgen met betrekking tot algoritmische uitkomsten en hun rol in besluitvormingsprocessen [Mittelstadt, 2016; Sonboli et al., 2021]."

Sectie 7.3

Commentaar: De stelling "Een datagebaseerd algoritme bestaat uit een gekozen model getraind op data" erkent niet expliciet dat datagebaseerde modellen, met name AI/ML-modellen, gedeeltelijk als black boxes functioneren, terwijl ze onjuiste uitkomsten kunnen produceren. Dit is een kritieke omissie, omdat dit van invloed is op risicobeoordeling en uitlegbaarheidseisen. Daarnaast is de behandeling in Sectie 7.3 van de relatie tussen modelcomplexiteit en uitlegbaarheid te simplistisch. De norm lijkt een eenvoudige afweging te suggereren, maar deze relatie is technisch subtiel: sommige complexe modellen kunnen in specifieke contexten beter interpreteerbaar zijn dan eenvoudigere, post-hoc verklaringen geven mogelijk geen getrouwe weergave van modelgedrag, en uitlegbaarheidseisen verschillen per toepassing en belanghebbende. De huidige framing riskeert misleidende richtlijnen te bieden, die eenvoudige modellen gelijkstelt met adequate uitlegbaarheid of veronderstelt dat alle complexe modellen even ondoorzichtig zijn.

Wijziging: Herzie de openingszin van Sectie 7.3: "Een datagebaseerd algoritme bestaat uit een gekozen model dat is getraind op data. Dergelijke modellen, met name AI/ML-modellen, functioneren gedeeltelijk als black boxes en kunnen onjuiste uitkomsten produceren, zelfs wanneer ze correct getraind zijn. Organisaties moeten de ondoorzichtigheid van modellen en het risico op fouten beoordelen bij het bepalen van de uitlegbaarheidseisen."

Voeg een verduidelijkende opmerking toe: "OPMERKING: De relatie tussen modelcomplexiteit en uitlegbaarheid is contextafhankelijk. Bij de modelkeuze moet een evenwicht worden gevonden tussen prestatievereisten, de behoefte aan uitlegbaarheid voor verschillende belanghebbenden, en de specifieke risico's die verbonden zijn aan het toepassingsdomein. Post-hoc verklaringen van complexe modellen zijn niet noodzakelijkerwijs getrouwe weergaven van het gedrag van modellen."

Secties 7.4.2 en 8.3.2

Commentaar: Secties 7.4.2 en 8.3.2 bespreken het scheiden van trainings- en testdatasets, maar kruisvalidatietechnieken worden niet vermeld, terwijl die vaak superieur zijn aan eenvoudige training-test-opsplitsingen, met name voor kleinere datasets. K-fold kruisvalidatie biedt doorgaans robuustere prestatie-inschattingen door alle beschikbare data te gebruiken voor zowel de training als het testen; dit gebeurt in meerdere iteraties, waardoor variantie in prestatiemetrieken wordt verminderd en overfitting beter wordt gedetecteerd. Voor kleinere datasets of wanneer maximalisatie van datagebruik cruciaal is, is kruisvalidatie standaardpraktijk in machine learning. De huidige tekst kan ertoe leiden dat organisaties suboptimale validatiestrategieën toepassen.

Referentie: Cross-validation (statistics). https://en.wikipedia.org/wiki/Cross-validation_(statistics)

Wijziging:

Sectie 7.4.2 - Voeg toe: "Organisaties moeten overwegen (k-fold) kruisvalidatietechnieken te gebruiken bij het evalueren van datasets, met name bij kleinere datasets. Kruisvalidatie biedt robuustere schattingen van modelprestaties dan eenvoudige training-test-opsplitsingen door iteratief verschillende data-subsets te gebruiken voor zowel training als validatie."

Sectie 8.3.2 - Voeg toe: "Voor robuuste modelevaluatie moeten organisaties (k-fold) kruisvalidatie overwegen als alternatief voor, of aanvulling op, eenvoudige training-test-opsplitsingen. Kruisvalidatie gebruikt alle beschikbare data voor zowel training als validatie via meerdere iteraties, wat betrouwbaardere prestatieschattingen kan opleveren. Zie: https://en.wikipedia.org/wiki/Cross-validation_(statistics)"

Sectie 8.6

Commentaar: Sectie 8.6 behandelt onafhankelijke beoordeling en audit van algoritmische systemen, maar benoemt niet dat auditmethodologie voor algoritmische systemen wereldwijd nog onderontwikkeld is. Er bestaat momenteel geen consensus over gestandaardiseerde auditprocedures, passende expertisevereisten voor auditors, of effectieve mechanismen voor het verifiëren van algoritmisch gedrag in productieomgevingen. Belangrijke uitdagingen zijn onder andere toegang tot eigendomssystemen, reproduceerbaarheid van bevindingen, het auditen van dynamische modellen die in de tijd veranderen, en het beoordelen van gedrag in complexe systemen. De huidige tekst kan onterecht vertrouwen wekken dat gevestigde auditpraktijken bestaan, terwijl organisaties en auditors in werkelijkheid opereren in een methodologisch onrijp vakgebied. Dit kan leiden tot oppervlakkige compliance-oefeningen in plaats van betekenisvolle onafhankelijke beoordeling.

Wijziging: Voeg toe aan Sectie 8.6: "OPMERKING: Auditmethodologie voor algoritmische systemen is wereldwijd nog volop in ontwikkeling. Organisaties en auditors moeten zich er bewust van zijn dat gestandaardiseerde auditprocedures, kwalificatie-eisen voor auditors en verificatiemechanismen nog niet voldoende ontwikkeld zijn. Onafhankelijke beoordeling moet worden gezien als een evoluerende praktijk die voortdurende methodologische ontwikkeling vereist in plaats van toepassing van volledig volwassen auditkaders."

Sectie Bijlage A

Commentaar: Bijlage A presenteert het minderheidsstandpunt van Amnesty International, Bits of Freedom en Control Alt Delete, maar biedt geen expliciete uitwerking van de fundamentele spanning die dit blootlegt bij de toepassing van EU-antidiscriminatierecht op algoritmische besluitvorming. Het meningsverschil over "objectieve rechtvaardiging" voor ongelijke behandeling is niet louter een verschil van mening tussen belanghebbenden, maar weerspiegelt onopgeloste vragen over de vraag of kaders die zijn ontworpen voor menselijke besluitvorming adequaat zijn voor algoritmische systemen die op schaal opereren, met ondoorzichtigheid en met het potentieel om discriminatie te systematiseren. Het minderheidsstandpunt stelt ter discussie of technische of statistische argumenten legitieme objectieve rechtvaardiging vormen wanneer deze structurele ongelijkheden kunnen bestendigen of versterken. Zonder expliciete uitwerking van deze spanning riskeert de norm de indruk te wekken op basis van de meerderheid van stemmen dat op te lossen wat in werkelijkheid een voortdurend juridisch en ethisch debat is dat inhoudelijke analyse vereist.

Wijziging: Voeg een inleidende paragraaf toe aan Bijlage A: "Het hier gepresenteerde minderheidsstandpunt weerspiegelt een fundamentele en onopgeloste spanning in de toepassing van EU-antidiscriminatierecht op algoritmische besluitvorming. Het meningsverschil concentreert zich op de vraag of de kaders voor 'objectieve rechtvaardiging' die zijn ontwikkeld voor menselijke besluitvorming adequaat zijn voor algoritmische systemen, die op grote schaal opereren, met beperkte transparantie en met het potentieel om discriminatie te systematiseren. Deze norm lost deze spanning niet op, omdat dit voortdurende juridische, technische en ethische analyse vereist."

PDF available here.