Waarom wij geen percentages publiceren tot wij twintig zaken hebben

De marketing van auditdiensten houdt van percentages: “wij halen 92 % van de ingediende bedragen terug”, “wij vinden fouten in 7 van de 10 facturen”. Het getal ziet eruit als bewijs, maar zonder steekproef is het slechts een zelfverzekerd klinkende zin.

Drie op drie is geen honderd procent

Als de eerste drie zaken met succes eindigden, is het percentage 100. Een vierde, mislukte zaak maakt er 75 van. Een vijfde 80. Een cijfer dat bij elke nieuwe zaak met tientallen punten verspringt, meet niets: het toont hoeveel zaken er waren, niet hoe het gaat.

Juist daarom is een percentage uit een kleine steekproef gevaarlijker dan helemaal geen percentage. Het wekt een indruk van nauwkeurigheid waar die er nog niet is, en beslissingen komen op een toeval te rusten.

Waarom juist twintig

Twintig afgeronde zaken zijn geen statistische plechtigheid — het is het punt waarop één enkele zaak het cijfer niet meer met meerdere punten verschuift. Vijf zaken zijn te weinig om het getal tot rust te laten komen; op honderd wachten zou betekenen dat wij een jaar of langer niets zeggen.

De drempel geldt per module en per controle. Een steekproef uit terminalfacturen zegt niets over accijnsteruggaaf, en binnen één module kunnen verschillende controles anders presteren.

Dezelfde drempel geldt voor ons

Het zou makkelijk zijn om in het openbaar “de steekproef is te klein” te zeggen en intern bij de beslissing welke module wordt uitgebreid op diezelfde vijf zaken te steunen. De drempel staat in de code en wordt op het interne dashboard getoond: onder de twintig zaken toont het dashboard geen getal maar een uitleg waarom dat er niet is.

Waarop te letten zolang er geen percentages zijn

Vraag of bij elke bevinding een herhaalbare berekening hoort: invoerwaarden, formule en uitkomst die zonder ons zijn na te rekenen. Een getal zonder invoerwaarden is een mening, hoe stellig het ook wordt gebracht.

Vraag waarop het steunt. Een tarief, een contractbepaling of een wettelijke regel hoort te worden aangehaald met de datum vanaf wanneer die geldt. In ons rapport draagt elke bron een samenvatting van haar inhoud — veroudert een bron, dan valt de bevinding automatisch terug in beoordeling in plaats van te blijven staan in een bedrag dat u niet zou kunnen verdedigen.

En vraag of het systeem vertelt wat het NIET heeft gecontroleerd. Een rapport dat alleen bevindingen opsomt, wekt de indruk dat alles is gecontroleerd — en dat is gevaarlijker dan een gemiste fout.

Een voorbeeldpakket — het rapport met zijn berekeningen en het claimsjabloon — kunt u lezen zonder eigen documenten in te dienen.