Miksi emme julkaise prosentteja ennen kuin meillä on kaksikymmentä tapausta

Auditointipalvelujen markkinointi pitää prosenteista: ”saamme takaisin 92 % esitetyistä summista”, ”löydämme virheitä 7 laskusta 10:stä”. Luku näyttää todisteelta, mutta ilman otosta se on vain vakuuttavalta kuulostava lause.

Kolme kolmesta ei ole sata prosenttia

Jos kolme ensimmäistä tapausta päättyi onnistuneesti, prosentti on 100. Neljäs, epäonnistunut tapaus muuttaa sen 75:ksi. Viides 80:ksi. Tunnusluku, joka hyppää kymmenillä pisteillä jokaisen uuden tapauksen jälkeen, ei mittaa mitään: se kertoo, montako tapausta oli, ei sitä, miten menee.

Juuri siksi pienen otoksen prosentti on vaarallisempi kuin sen puuttuminen. Se luo tarkkuuden vaikutelman siellä, missä tarkkuutta ei vielä ole, ja päätökset tehdään sattuman varassa.

Miksi juuri kaksikymmentä

Kaksikymmentä ratkaistua tapausta ei ole tilastojuhla — se on raja, jossa yksi tapaus lakkaa liikuttamasta tunnuslukua useilla pisteillä. Viisi tapausta on liian vähän, jotta luku lakkaisi hyppimästä; sadan odottaminen tarkoittaisi, ettei vuoteen tai pidempään sanota mitään.

Raja koskee kutakin moduulia erikseen ja kutakin tarkastusta erikseen. Terminaalilaskujen otos ei kerro mitään valmisteveron palautuksesta, ja yhden moduulin sisällä eri tarkastukset voivat toimia eri tavoin.

Sama raja koskee meitä

Olisi helppoa sanoa julkisesti ”otos on liian pieni” ja nojata sisäisesti samoihin viiteen tapaukseen päätettäessä, mitä moduulia laajennetaan. Raja on kirjoitettu koodiin ja näkyy sisäisessä näkymässä: kun tapauksia on alle kaksikymmentä, näkymä ei näytä lukua vaan selityksen siitä, miksi lukua ei ole.

Mitä arvioida, kun prosentteja ei ole

Kysykää, onko jokaisella havainnolla toistettava laskelma: lähtötiedot, kaava ja tulos, jotka voi laskea uudelleen ilman meitä. Luku ilman lähtötietoja on mielipide, kuulostipa se kuinka varmalta tahansa.

Kysykää, mihin se perustuu. Tariffi, sopimuskohta tai säädös on ilmoitettava päivämäärineen, josta alkaen se on voimassa. Raportissamme jokaisen lähteen yhteydessä on myös tiivistelmä sen sisällöstä — jos lähde vanhenee, havainto putoaa automaattisesti uudelleentarkasteluun eikä jää summaan, jota ette pystyisi puolustamaan.

Ja kysykää, kertooko järjestelmä, mitä se EI tarkastanut. Raportti, jossa on lueteltu vain havainnot, luo vaikutelman, että kaikki on tarkastettu — ja se on vaarallisempaa kuin huomaamatta jäänyt virhe.

Esimerkkipaketin — raportin laskelmineen ja vaatimuspohjan — voitte lukea toimittamatta yhtäkään omaa asiakirjaanne.