Die gefälschten oder falschen Statistiken und das Vertrauen

Warum man falschen Statistiken nicht trauen kann, selbst dann wenn man sie selber gefälscht hat? Ganz einfach, weil sie falsch sind. Sie spiegeln ein falsches Bild der Realität wider. Eines, das andere unter Umständen nehmen und es weiter verbreiten. Und je mehr Menschen das lesen, glauben und teilen, ohne es zu reflektieren, desto schneller entsteht Fehl- oder Falschinformation. Dann verbreitet sich diese Fehl- oder Falschinformation wie ein Virus. A propos Virus – das ist doch genau das, was wir derzeit erleben. Gewiss sind da auch richtige und sachliche Informationen dabei. Aber eben auch Fehl- und Falschinformationen. Einmal davon abgesehen, ist es ethisch nicht vertretbar, Fehl- oder Falschinformationen zu verbreiten.

Nun, worum geht es im konkreten Fall, den ich aufzeigen möchte? Das Consumer Choice Center hat den European Railway Station Index 2021 veröffentlicht. Statista hat daraus eine Infographik gemacht.

Wo ist der Hauptbahnhof Zürich?

Als ich mir die Infografik angeschaut habe, habe ich mich gefragt, warum da kein einziger Schweizer Bahnhof unter den Top-10 ist. Wir Schweizer sind doch die öV-Nation schlechthin. Und ich habe mich auch gefragt, warum da drei deutsche Bahnhöfe zu finden sind. Deutschland ist doch eher die Autofahrer- und weniger die Zugfahrer-Nation? Ich habe mich dann auf der Webseite des Consumer Choice Center (CCC) detaillierter mit dem Bericht und den Daten befasst. Leider kann ich dem Consumer Choice Center kein gutes Zeugnis ausstellen. Der von mir so gar nicht geliebte Satz «Traue keiner Statistik, welche Du nicht selber gefälscht hast» bewahrheitet sich hier leider. Immerhin stellen sie die Daten und den Report zur Verfügung, kostenlos. „Was nichts kostet ist nichts wert“? Ein Schelm wer böses denkt, selbst wenn er, wie ich, 50% schwäbische Wurzeln hat.

Als nächstes habe ich mir die Daten für den HB Zürich intensiver angesehen. Das gute an den Daten des CCC ist, dass fast überall Verweise dran sind, woher diese Daten kommen. Hier gehe ich auf die Schwachstellen ein, welche mir aufgefallen sind.

Die groben Fehler in den Daten – zusammengefasst

Fangen wir beim Passagiervolumen pro Jahr an. CCC weist dieses mit 154,6 Mio. Passagieren aus. Ich habe mich dem öffentlichen Statistikportal der SBB zugewandt. Daraus ergibt sich ein Passagiervolumen von  144,3 Mio. Also knapp 10 Millionen weniger. Die Anzahl Gleise weist CCC mit 13 aus. Die Quelle? Wikipedia… Tatsächlich, wiederum aus dem Statistikportal der SBB ersichtlich, hat der HB Zürich 26 Gleise, also das Doppelte. Und somit halbiert sich die Anzahl Passagiere pro Gleis. Ein Indikator, für den Punkte verteilt werden. Also erhält der HB Zürich diesbezüglich 10, statt nur 5 Punkte. Bei der Anzahl internationaler Verbindungen weist CCC 12 aus. Die Quelle? Einmal mehr Wikipedia. Konsultiert man Railtour als Quelle, so kommt man auf 36 internationale Städte, welche ab HB Zürich mit dem Zug erreichbar sind. Auch hier erhält der HB Zürich so 15 Punkte, statt nur 5. Das CCC sagt, dass es am HB Zürich keine rollstuhltaugliche Toilette gibt. Die Quelle: Der Bahnhof der Sihltal-Zürich-Uetliberg Bahn. Das ist aber nicht der HB Zürich. Gibt also obendrauf nochmals 5 Punkte dazu. Ausserdem steht in den Daten drin, dass der HB Zürich keinen Anschluss ans lokale Verkehrsnetz bietet (S-Bahnen, Trams und Busse). Die Quelle: Showmethejourney.com. Was natürlich nicht stimmt, und auch das gibt nochmals 5 Punkte zusätzlich dazu. Ergibt in Summe 25 Punkte dazu, was den Zähler von 78 Punkten auf 103 Punkte erhöht.

Und damit klettert der HB Zürich vom 23. Platz auf den 4. Platz im Ranking. Unter der Annahme, dass die anderen Bahnhöfe richtig erfasst wurden, was ich nun mal bezweifle. Das Ganze ist, und ich kann es leider nicht anders sagen, peinlich für das CCC. Wenn man so etwas dann noch kommuniziert, dann wird es auch nicht besser.

Was lernen wir daraus

Desk Research ist nicht so einfach, wie es aussieht. Man kann da nicht einfach mal jemanden an den Computer setzen und Daten nach Lust und Laune analysieren lassen und diese dann zu einem kunterbunten Gesamtbild zusammenbasteln. Es braucht im Vorfeld Anweisungen und klare Instruktionen, wie hier vorzugehen ist.

Wikipedia eignet sich nur äusserst begrenzt für Desk Research. In Wikipedia kann jede/r reinschreiben und seine/ihre Sicht der Dinge dazutun. Gewiss, andere können diese Informationen dann als echt und wahr authentifizieren. Aber kann man sich darauf verlassen? Ich wiederhole mich ungern: äusserst begrenzt.

Wenn immer möglich, seriöse Ursprungs-Datenquellen nehmen. Manchmal kosten diese Daten etwas. Dann lohnt es sich, den Verkäufer zu kontaktieren und zu fragen, wie die Daten erhoben wurden und mittels welcher Verfahren. Und ja, manchmal kommt man mit „gratis“ nicht zum Ziel, dann muss man etwas in die Tasche greifen. Dafür sind diese Daten dann auch belastbarer und die Qualität steigt.

Manchmal lohnt sich eine Daten-Triangulation. Dann zum Beispiel, wenn Ursprungs-Datenquellen nicht angegeben sind oder wenn die Daten auch nicht gekauft werden können. Es empfiehlt sich dann, die vorhandenen Datenquellen miteinander zu vergleichen bezüglich der Ergebnisse. Gegegbenfalls gibt man dann in einem Report „Von-Bis“-Grössenordnungen an und verweist auf diese Quellen. Durch die Triangulation bekommt man ein besseres Gespür, ob die Daten so stimmen können. Ist man sich danach dennoch unsicher, ist es unter Umständen besser, die Daten wegzulassen.

Und? Was haben Sie für Erfahrungen mit Sekundärdaten gemacht? Wie prüfen Sie die Verlässlichkeit und Vertrauenswürdigkeit?