Der Spruch stamme nicht von Churchill, wie oft kolportiert, sondern mit grosser Wahrscheinlichkeit von Joseph Goebbels und seinem Propagandaministerium. Darauf weist Professor Gerd Gigerenzer hin. Er war lange Direktor am Max-Planck-Institut für Bildungsforschung sowie am Harding-Zentrum für Risikokompetenz an der Universität Potsdam: «Der Spruch ist wenig hilfreich, um die moderne Informationsexplosion zu bewältigen.»

In seinem Buch «Warum dick nicht doof macht und Genmais nicht tötet – Über Risiken und Nebenwirkungen der Unstatistik» zählt er als Co-Autor zehn goldene Fragen auf, dank denen man auf statistische Manipulationen nicht so schnell hereinfällt und seriöse von unseriösen Statistiken besser unterscheiden kann.

Infosperber hat einige Punkte ergänzt: Was skeptisch und was sehr skeptisch machen muss.

1. Es muss gesagt oder geschrieben werden, wer die Statistik erstellt und wer sie bezahlt hat.
Selber überlegen, zu welchem Zweck die Statistik erstellt wurde. Soll sie einzig über einen Sachverhalt aufklären oder eine bestimmte Meinung oder ein Produkt verkaufen? Oder soll sie eine Abstimmung beeinflussen?

2. Legt eine Statistik einen Zusammenhang zwischen zwei Faktoren nahe, unterscheidet aber nicht klar zwischen einer Kausalität und einer – womöglich rein zufälligen – Korrelation, ist sie wenig seriös. Denn wenn zwei Variable in die gleiche Richtung gehen, kann dies drei Gründe haben:
a) Die erste Variable verursacht die zweite,
b) die zweite verursacht die erste,
c) keine von beiden verursacht die andere. Die Parallelität kann Zufall sein oder beide Variable hängen von einer dritten Variablen ab.

3. Eine Statistik soll kein Null-Risiko vorgaukeln. Die Fragestellung sollte nicht sein «Gibt es ein Risiko?» Der Satz «Ein Risiko ist nicht auszuschliessen» ist beispielsweise ein nichtssagender Allgemeinplatz. Eine Statistik soll die Frage beantworten: «Wie gross ist das Risiko?».

4. Keine Statistik sollte ausschliesslich ein relatives Risiko oder einen relativen Nutzen angeben (Beispiel Brustkrebsscreening). Denn eine 80-prozentige Zu- oder Abnahme von fast nichts ist immer noch fast nichts. Eine seriöse Statistik gibt stets (auch) das absolute Risiko an.

Beispiel: Aus 1,9 Prozentpunkten werden 30 Prozent

5. Bei Angaben in Prozenten muss der Ausgangspunkt präzis angegeben sein: Soundsoviele Prozent von was genau? Was wären 100 Prozent? Worauf beziehen sich diese? Zum Beispiel nur auf Erwachsene oder auf die ganze Bevölkerung?

6. Die Angabe «bis zu» ist immer unseriös. Denn «bis zu 50 Prozent mit Schadstoffen belastet» kann heissen, dass ein einziges Produkt mit 50 Prozent belastet war und alle anderen durchschnittlich mit nur 10 Prozent oder überhaupt nicht.

7. Nicht hereinfallen auf Adjektive wie «wissenschaftlich» oder «signifikant». Oft sind Statistiken alles andere als wissenschaftlich zustandegekommen und ihre Ergebnisse sind überhaupt nicht signifikant. «Signifikant» bedeutet übrigens in der Medizin und anderen Sozialwissenschaften sowie Tests und Laborversuchen, dass eines von zwanzig «signifikanten» Resultaten falsch sein darf.

8. Bei Statistiken, die auf Stichproben beruhen, stets prüfen oder fragen, wer die Stichprobe bestimmt hat und wie repräsentativ sie für das Resultat ist.

9. Bei Wachstumszahlen dürfen Statistiken nie das arithmetische Mittel verwenden. Denn wenn beispielsweise die Börsenkurse um 60 Prozent (von 100 auf 160) steigen und dann um 50 Prozent fallen (auf 80), sind sie durchschnittlich nicht etwa um 55 Prozent gestiegen (ø von 60 und 50), sondern um 20 Prozent gefallen (von 100 auf 80). 

10. Eine Statistik muss Gleiches mit Gleichem vergleichen.
Werden etwa ganze Länder miteinander verglichen, statt pro Kopf der Bevölkerung? Denn es ist weder überraschend noch aussagekräftig, dass China mehr CO2 ausstösst als Deutschland oder Liechtenstein.
Oder meistens ist es verzerrend, Gesunde mit Kranken oder Alte mit Jungen zu vergleichen.
Auch die Grunddaten von beispielsweise länderübergreifenden Vergleichen sollte man prüfen: Sind Begriffe wie
«Arbeitslose», «Arbeitsunfälle», «rentenberechtigt» oder «Vermögen» und «Einkommen» überall gleich definiert?

Ein reales Beispiel: Bei der Parship-Werbung stimmte der Vergleichsparameter nicht: «Alle 11 Minuten verliebt sich ein Single über Parship.»
Es stimmt zwar, dass sich in einem Jahr laut Umfrage 47’000 Parship-Teilnehmenden verliebt hatten, also einer alle 11 Minuten. Was für Nutzer aber relevant ist: Wie viele aller Teilnehmenden verlieben sich? Parship hatte in jenem Jahr 4,5 Millionen Nutzer. Im Klartext: Nur 47’000 von ihnen oder 1,04 Prozent haben sich verliebt. Oder noch verständlicher ausgedrückt: Von rund 100 Nutzerinnen und Nutzern hat sich in einem Jahr nur eine oder einer verliebt. 

11. Sind alle Grundlagendaten der Statistik veröffentlicht, so dass die Statistik reproduziert werden könnte (eine Voraussetzung für Wissenschaftlichkeit)? Würde eine Wiederholung der Statistik zum gleichen Resultat führen? Vor allem im Wirtschafts-, Gesellschafts- und Alltagsleben spielt der Zufall oft eine grössere Rolle als gedacht.

Verzerrende Darstellungen und Auswertungen

Entwicklung des monatlichen Umsatzes

Selbst wenn die Zahlen einer Statistik seriös sind, kann immer noch die grafische Darstellung irreführend sein: verzerrende Achsen von Diagrammen, dramatische Visualisierungen usw.

Die Statistik links benutzt den gleichen Massstab wie die Statistik unten. Die kleinen Abstände zwischen den Monaten ergeben eine stark steigende Kurve. Es wird der Eindruck erweckt, dass das Wachstum stark zunimmt.

Die Statistik unten benutzt den gleichen Massstab und die gleichen Zahlen wie die andere Grafik. Aber die Abstände zwischen den Monaten sind viel grösser und ergeben eine weniger steile Kurve. Es wird der Eindruck erweckt, dass das Wachstum nur mässig zunimmt.

Zunahme der Darmtumore in drei Jahrzehnten

Bei den folgenden beiden Grafiken sind die Abstände zwischen den Jahrzehnten (Säulen) identisch. Aber es wurden andere Massstäbe gewählt. Links von Null bis 60, was den Eindruck einer schwachen Zunahme der Darmkrebs-Fälle erweckt. Rechts beginnt der Massstab bei 50, was den Eindruck einer enormen Zunahme der Darmkrebs-Fälle erweckt.

Irrelevante Durchschnittswerte

Auch dürfen bei der Auswertung keine Durchschnittswerte hervorgehoben werden, wenn sie irrelevant sind. Beispielsweise ist kaum relevant, wie viele Zigaretten pro Tag oder wieviel Alkohol pro Tag alle Schweizerinnen und Schweizer durchschnittlich rauchen oder trinken. Oder wieviele Stunden pro Woche die Primarschülerinnen und -schüler durchschnittlich auf ein Handy oder einen Bildschirm schauen. 

Oft sollen Durchschnittswerte davon ablenken, wie viel eine Minderheit von Erwachsenen oder Schülern raucht, trinkt oder exzessiv Bildschirme bedient.