Varför vi inte publicerar procent förrän vi har tjugo ärenden

Marknadsföringen av granskningstjänster gillar procent: ”vi återfår 92 % av framställda belopp”, ”vi hittar fel i 7 fakturor av 10”. Talet ser ut som ett bevis, men utan urval är det bara en självsäkert klingande mening.

Tre av tre är inte hundra procent

Om de tre första ärendena slutade med framgång är procenttalet 100. Ett fjärde, misslyckat ärende gör det till 75. Ett femte till 80. Ett mått som hoppar tiotals punkter för varje nytt ärende mäter ingenting: det visar hur många ärenden det fanns, inte hur det går.

Just därför är ett procenttal från ett litet urval farligare än inget alls. Det skapar ett intryck av precision där ingen precision ännu finns, och beslut fattas på en tillfällighet.

Varför just tjugo

Tjugo avgjorda ärenden är ingen statistisk högtid — det är den punkt där ett enskilt ärende slutar flytta måttet flera punkter. Fem ärenden är för få för att talet ska lugna sig; att vänta på hundra skulle betyda att inte säga någonting på ett år eller mer.

Tröskeln gäller per modul och per kontroll. Ett urval från terminalfakturor säger ingenting om punktskatteåterbetalningar, och inom en och samma modul kan olika kontroller fungera olika.

Samma tröskel gäller oss

Det vore lätt att offentligt säga ”urvalet är för litet” och internt luta sig mot samma fem ärenden när det avgörs vilken modul som ska byggas ut. Tröskeln står i koden och visas på den interna panelen: under tjugo ärenden visar panelen inte ett tal utan en förklaring till varför det inte finns något.

Vad man bör bedöma tills det finns procent

Fråga om varje fynd har en upprepbar beräkning: indata, formel och resultat som går att räkna om utan oss. Ett tal utan indata är en åsikt, hur bestämt det än framförs.

Fråga vad det vilar på. En tariff, en avtalspunkt eller en rättsakt ska anges med det datum från vilket den gäller. I vår rapport har varje källa också en sammanfattning av sitt innehåll — blir en källa inaktuell faller fyndet automatiskt till granskning i stället för att stanna kvar i ett belopp som ni inte skulle kunna försvara.

Och fråga om systemet talar om vad det INTE har kontrollerat. En rapport som bara räknar upp fynd ger intrycket att allt har granskats — och det är farligare än ett missat fel.

Ett exempelpaket — rapporten med sina beräkningar och kravmallen — kan ni läsa utan att lämna in några egna handlingar.