Warum wir keine Prozente veröffentlichen, solange wir keine zwanzig Fälle haben

Das Marketing von Prüfdienstleistungen mag Prozente: „wir holen 92 % der geltend gemachten Beträge zurück“, „wir finden Fehler in 7 von 10 Rechnungen“. Die Zahl sieht aus wie ein Beleg, ohne Stichprobe ist sie aber nur ein selbstsicher klingender Satz.

Drei von drei sind keine hundert Prozent

Wenn die ersten drei Fälle erfolgreich endeten, beträgt der Prozentsatz 100. Ein vierter, erfolgloser Fall macht daraus 75. Ein fünfter 80. Eine Kennzahl, die mit jedem neuen Fall um Zehnerpunkte springt, misst nichts: sie zeigt, wie viele Fälle es gab, nicht wie es läuft.

Genau deshalb ist ein Prozentsatz aus kleiner Stichprobe gefährlicher als gar keiner. Er erzeugt den Eindruck von Genauigkeit dort, wo es noch keine gibt, und Entscheidungen fallen auf einem Zufall.

Warum gerade zwanzig

Zwanzig abgeschlossene Fälle sind keine statistische Feierstunde — es ist der Punkt, an dem ein einzelner Fall die Kennzahl nicht mehr um mehrere Punkte verschiebt. Fünf Fälle sind zu wenig, damit sich die Zahl beruhigt; auf hundert zu warten hieße, ein Jahr oder länger nichts zu sagen.

Die Schwelle gilt je Modul und je Prüfung. Eine Stichprobe aus Terminalrechnungen sagt nichts über Verbrauchsteuererstattungen, und innerhalb eines Moduls können verschiedene Prüfungen unterschiedlich abschneiden.

Dieselbe Schwelle gilt für uns

Es wäre leicht, öffentlich „die Stichprobe ist zu klein“ zu sagen und sich intern bei der Entscheidung, welches Modul ausgebaut wird, auf dieselben fünf Fälle zu stützen. Die Schwelle steht im Code und wird auf dem internen Dashboard angezeigt: unterhalb von zwanzig Fällen zeigt das Dashboard keine Zahl, sondern eine Erklärung, warum es keine gibt.

Woran man messen sollte, solange es keine Prozente gibt

Fragen Sie, ob zu jeder Feststellung eine nachvollziehbare Berechnung gehört: Eingangswerte, Formel und Ergebnis, die sich ohne uns nachrechnen lassen. Eine Zahl ohne Eingangswerte ist eine Meinung, so fest sie auch vorgetragen wird.

Fragen Sie, worauf sie beruht. Ein Tarif, eine Vertragsklausel oder ein Rechtsakt sollte mit dem Datum genannt werden, ab dem er gilt. In unserem Bericht trägt jede Quelle eine Zusammenfassung ihres Inhalts — veraltet eine Quelle, fällt die Feststellung automatisch in die Nachprüfung, statt in einem Betrag zu bleiben, den Sie nicht verteidigen könnten.

Und fragen Sie, ob das System sagt, was es NICHT geprüft hat. Ein Bericht, der nur Feststellungen auflistet, erweckt den Eindruck, es sei alles geprüft worden — und das ist gefährlicher als ein übersehener Fehler.

Ein Beispielpaket — den Bericht mit seinen Berechnungen und die Forderungsvorlage — können Sie lesen, ohne eigene Dokumente einzureichen.