Dlaczego nie publikujemy procentów, dopóki nie mamy dwudziestu spraw

Marketing usług audytowych lubi procenty: „odzyskujemy 92 % zgłoszonych kwot”, „błędy znajdujemy w 7 fakturach na 10”. Liczba wygląda jak dowód, ale bez próby jest tylko pewnie brzmiącym zdaniem.

Trzy na trzy to nie sto procent

Jeśli pierwsze trzy sprawy zakończyły się powodzeniem, procent wynosi 100. Czwarta, nieudana sprawa zmienia go na 75. Piąta — na 80. Wskaźnik, który po każdej nowej sprawie skacze o dziesiątki punktów, nie mierzy niczego: pokazuje, ile było spraw, a nie jak idzie.

Właśnie dlatego procent z małej próby jest groźniejszy niż jego brak. Tworzy wrażenie precyzji tam, gdzie precyzji jeszcze nie ma, a decyzje zapadają na podstawie zbiegu okoliczności.

Dlaczego akurat dwadzieścia

Dwadzieścia rozstrzygniętych spraw to nie święto statystyki — to granica, przy której jedna sprawa przestaje ruszać wskaźnikiem o kilka punktów. Pięć spraw to za mało, żeby liczba przestała skakać; czekanie na sto oznaczałoby nie powiedzieć nic przez rok albo dłużej.

Próg stosujemy do każdego modułu osobno i do każdej kontroli osobno. Próba z faktur terminalowych nie mówi nic o zwrocie akcyzy, a wewnątrz jednego modułu różne kontrole mogą działać nierówno.

Ten sam próg obowiązuje też nas

Łatwo byłoby publicznie mówić „za mała próba”, a wewnętrznie opierać się na tych samych pięciu sprawach przy decyzji, który moduł rozwijać. Próg jest zapisany w kodzie i pokazywany na wewnętrznym panelu: dopóki spraw jest mniej niż dwadzieścia, panel pokazuje nie liczbę, lecz wyjaśnienie, dlaczego jej nie ma.

Co oceniać, dopóki nie ma procentów

Pytaj, czy każde ustalenie ma powtarzalne wyliczenie: dane wejściowe, wzór i wynik, które można przeliczyć bez nas. Liczba bez danych wejściowych jest opinią, choćby brzmiała najpewniej.

Pytaj, na czym się opiera. Taryfa, postanowienie umowy albo akt prawny powinny być wskazane z datą, od której obowiązują. W naszym raporcie przy każdym źródle jest też streszczenie jego treści — jeśli źródło się zdezaktualizuje, ustalenie automatycznie trafia do przeglądu, a nie zostaje w kwocie, której nie zdołasz obronić.

I pytaj, czy system mówi, czego NIE sprawdził. Raport, w którym wypisano tylko ustalenia, tworzy wrażenie, że sprawdzono wszystko — a to groźniejsze niż przeoczony błąd.

Przykładowy pakiet — raport z wyliczeniami i wzór reklamacji — możesz przeczytać bez składania jakichkolwiek własnych dokumentów.