28.470

Stanford-Studie: Warum Ioannidis falsch liegt & COVID tödlicher ist als behauptet

von | Okt 25, 2020 | Aktuelles, Corona

Warum John Ioannidis trotz seines Rufs falsch liegt und COVID tödlicher ist, als er behauptet.

Würden wir eine Studie haben, die uns belastbar sagt, dass COVID19 gar nicht so schlimm ist, wäre das eine der besten Nachrichten des Jahres. Eine solche Studie will John Ioannidis aus Stanford vorgelegt haben. Vor 2020 war er einer meiner persönlichen Helden. Als junger Psychologe habe ich seine bis heute legendären Veröffentlichungen gerne gelesen. Ioannidis wies nach, dass wir in vielen Disziplinen mit Statistik zu lasch umgehen und zu wenig Geld für qualitativ hochwertige Untersuchungen ausgeben und deswegen viele Resultate aus Studien nicht wiederholt werden können.

Er zeigte, dass wir in einem sog. Kochbuch Review fast jedes Nahrungsmittel mit Krebs in Verbindung bringen können und dass es gleichzeitig Krebs vorbeugen wie auch zu verursachen scheint. Und er zeigte mir, dass viele Meta-Analysen ihr Papier nicht wert sind. John Ioannidis war eine Stimme der Vernunft. Das heißt nicht, dass es keine Kritiker an seiner Arbeit gab. So manchmal schien er über das Ziel hinaus zu schießen. Doch seine Message kam an: Wir brauchen mehr hochqualitative Studien und weniger Schrott.

Das kam an, das imponierte mir, gerade in einem Feld, das mit schlechter Wissenschaft so durchsetzt ist. 2020 ist das Jahr, in dem mein Held fiel. Denn anstatt hochqualitativer Wissenschaft,  produziert Ioannidis nun mehrfach genau die Art Studien, gegen die er eigentlich mal einstand: Schlechte Wissenschaft.

Probleme der Stanford Santa Clara Studie

Bereits die Stanford Santa Clara Studie war ein qualitativ fragwürdiges Projekt. Statistische Fehler, Biases (Vorurteile) und weitere Probleme plagten diese Studie, mal ganz abgesehen von ungeklärten Geldmitteln. Später kam eine Meta-Analyse von John Ioannidis als Pre-Print zum Vorschein. Genau dieser Pre-Print wurde nun, was ich kaum für möglich hielt, publiziert. Und sie zeigt uns eine IFR von 0.27%. IFR steht für Infection Mortality Rate. Sie ist die Schätzung der Gesamtmortalität inklusive der Dunkelziffer.

Nutzt man nur gemeldete Fälle, würde man im Moment in Deutschland auf eine Sterblichkeit durch COVID19 von 3.2% kommen (312.118 abgeschlossene Fälle, davon 10.018 Tote). Diese Ziffer berücksichtigt aber nur bekannte Fälle. Die Dunkelziffer fließt nicht ein. Deswegen ist diese Zahl zu hoch und ungenau. Die IFR wird bei COVID19 durch Antikörpertests geschätzt. Indem wir auch herausfinden, wie viele Menschen in der Bevölkerung schon COVID19 hatten, fließt die Dunkelziffer mit ein. Und hier geht das Dilemma los. Ich wünschte, diese Studie wäre belastbar. Aber das ist sie nicht. Fangen wir ganz vorne an und gehen die vielen Gründe durch, warum das nicht so ist.

Die vielen Gründe, warum die Ioannidis-Studie nicht belastbar ist

Ioannidis hat für diese Studie 61 Studien zur Analyse herangezogen, die eine sog. Seroprävalenz getestet haben. Also ob Antikörper gefunden wurden oder nicht. Anhand der Menge an Personen mit Antikörper wird die Anzahl Personen geschätzt, die COVID19 bereits hatten. Aus bisherigen Studien wissen wir, dass in manchen Gebieten gerade mal 20% der Fälle durch Tests im Frühjahr gefunden wurden. Die Dunkelziffer war hoch.

John Ioannidis gehört zu den Unterzeichnern und Erfindern der sog. PRISMA Richtlinien. Das steht für Preferred Reporting Items for Systematic Reviews and Meta-Analyses. Genau genommen ist dies eine Grundlagenrichtlinie, wie man die Qualität von Studien in einem Review bewertet, wie mögliche Biases bewertet werden und wie die Evidenz das Endergebnis beeinflusst. In Ioannidis neuer Studie ist von diesen oder anderen Richtlinien nichts zu sehen.

Stattdessen gibt es nur ein paar Sätze über eine nicht klare Suchstrategie und ein paar Sätze darüber, welche Studien ausgeschlossen wurden. Beweise für die Gründe, die angegeben werden, gibt es nicht. Beispielsweise schreibt Ioannidis, dass er Studien an Blutspendern in die Studie mit einfließen ließ. Er argumentiert, dass dies dazu führen würde, dass die IFR überschätzt würde. Studien an Menschen in Gesundheitsberufen wurden jedoch ausgeschlossen, weil diese zu oft krank werden. Diese Argumentation macht wenig Sinn, besonders weil Blutspender aufgrund des Healthy Volunteer Effects bisher die niedrigsten Zahlen, nicht überschätzte Zahlen zeigen. Genau solche Probleme sollte ein Vorgehen nach den PRISMA Richtlinien eigentlich verhindern. Die Suchbegriffe, die im Paper genannt werden, sind zudem nicht ausreichend. Gibt man sie ein, bekommt man hunderttausende Ergebnisse. Das ist nach den Richtlinien anzugeben und nicht ausreichend. Da diese nicht angewendet wurden, wird dieser Kritikpunkt nicht erwähnt.

Falsch übernommene Zahlen

Das alles wäre wohl zu verschmerzen, wenn die Zahlen der Studien zumindest richtig übernommen worden wären. Eine andere Meta-Analyse von Gideon Meyerowitz-Katz und Lea Merone zitiert er, gibt dabei einen Wert von 0.9%, der auf 1% erhöht worden sei. Die Studie selbst gibt aber einen Wert von 0.68% als Mittelwert an. Der Autor dieser Analyse wiederum findet auch noch eine Menge weiterer Fehler, bei denen falsche Seroprävalenzwerte in die Meta-Analyse eingegangen wurden. In einer Studie wurden beispielsweise 0.6 % Prävalenz ermittelt, im Review Papier stehen aber aus irgendeinem Grund 3.9%. Erhöht man die Prävalenz auf diese Weise, sinkt die IFR natürlich massiv, da sich ihre Bezugsgröße ändert.

Woher Ioannidis die Idee nimmt, dass sich aus einigen der inkludierten Studien auf die Gesamtbevölkerung schließen lässt, ist aus meiner Sicht (Und auch der vieler Wissenschaftler), völlig unklar. In einer der Studien wurden beispielsweise die Mitarbeiter von Infraserv Höchst in Frankfurt am Main gebeten, teilzunehmen. Diese arbeiteten alle an einem Ort, einer einzelnen Firma und lebten auch dementsprechend in ähnlichen Gegenden. Die Studie wurde bei 1000 Teilnehmern geschlossen, was bedeutet, dass hier auch schlicht einfach ein Bias für Freiwilligkeit bestand.

Wenn jemand bereits mal Symptome hatte, dann wird derjenige gerne wissen wollen, „War es Corona?“ und sich daher freiwillig melden. Das gleiche Problem hatte auch Ioannidis Santa Clara Studie, die ebenso in der Meta-Analyse berücksichtigt wurde. Eine weitere Studie wurde anhand von Dialyse Patienten berechnet. Warum eine solche Studie einen Schluss auf die Gesamtbevölkerung zulassen soll, ist völlig unklar. Weder Menschen in Gesundheitsberufen, Blutspender, Dialysepatienten oder Mitarbeiter einer einzelnen zentralen Firma mit Freiwilligkeit sind dafür geeignet. Diese Studien hätten ausgeschlossen werden müssen, spätestens nach Ioannidis eigener Logik.

Unzuverlässigkeiten bei den Todeszahlen: Es werden nicht alle erfasst

Die WHO und auch nationale Gesundheitsorganisationen haben hingegen Richtlinien herausgegeben, nach denen Samples durch Zufallsanfragen in verschiedenen Vierteln und mit einem Zufallsgenerator auf Basis von beispielsweise den Daten eines Bürgeramtes ausgewählt werden. Diese Personen werden dann angeschrieben und auf breiter Basis getestet. Auf diese Weise erhält man ein zufälliges Sample, mit dem man die breite Bevölkerung auch ausreichend abdeckt. Ein Positivbeispiel ist beispielsweise dafür die Heinsberg Studie, die das gut umgesetzt hat. Hier war zwar die Unsicherheit aufgrund der Qualität der Tests noch nicht perfekt, ihre Umsetzung aber war sauber.

Warum die Heinsberg-Studie keinen Grund für Entwarnungen gibt

Ein weiteres Problem ergibt sich aus der Anzahl Toter. Während die deutschen Behörden trotz der Kritik eine sehr belastbare Kennziffer für die Toten aus Corona Infektionen führen, ist dies für andere Länder nicht unbedingt gegeben. In Indien beispielsweise erwarten viele Epidemiologen aufgrund der dortigen Zählweise und Überforderung der Behörden eine deutlich zu kleine Zahl der gezählten Toten. Auch hierzulande wird am Ende des Jahres eine Übersterblichkeitsspitze noch zu finden sein. Die New York Times beispielsweise berichtete im April 2020 noch von mehr als 364.000 Toten, die nicht getrackt wurden.

In vielen Ländern, die Times nennt hier Peru, Bolivien, Mexico, Indien, Chile und noch eine Menge weiterer Länder, konnten die Behörden schlicht nicht alle Toten zählen. In Mexico ist eine Übersterblichkeit von März bis August von 96.5000 Toten zu verzeichnen, die nicht als Covid19 Opfer identifiziert werden konnten, aber durchaus solche sein könnten. Und in den USA sprechen wir von inzwischen 87.500 Toten, die zur Übersterblichkeit gezählt werden, deren Todesursache aber unklar ist. Studien aus diesen Ländern neigen somit dazu, die Sterblichkeit schlicht wegen schwieriger Umstände deutlich zu unterschätzen. Sie sollten dementsprechend gekennzeichnet werden. Ioannidis tut dies jedoch nicht.

Minderqualitative Studien werden überbewertet

Doch da hört der Spuk noch nicht auf. Ioannidis nimmt einige Berechnungen vor, mit denen er die Werte der Studien verändert. Das ist nicht unüblich, beispielsweise aufgrund einer Sensitivitätsanalyse. Dann nimmt man beispielsweise die Studien aus der Berechnung, die nicht repräsentativ sind und nutzt nur die, die man für hochqualitativ erachtet. Dann vergleicht man die Werte, die dabei herauskommen. Nutzt man nur die hochqualitativen Studien und nimmt Ioannidis umgeformte Werte, verdoppelt sich die Schätzung aber.

Die minderqualitativen Studien haben somit einen hohen Einfluss auf das Endergebnis. Genau das hat Ioannidis in seiner Karriere immer und immer wieder kritisiert. Nehmen wir beispielsweise die Blutspenderstudien aus der Berechnung heraus, dann lernen wir schnell, dass jede dieser Studien, von denen Ioannidis sagt, sie würden die IFR viel zu hoch ansetzen, stattdessen die Prävalenz vollkommen überschätzt, wenn man sie mit Studien vergleicht, die am gleichen Ort an der Bevölkerung mit zufälligen Stichproben durchgeführt wurden. Und das um ca. 30-50%, was einen riesigen Einfluss auf das Endergebnis hat. Und das, ohne die Fehlerquoten der Tests noch einzubeziehen.

Unverzeihlicher Fehler: Ausklammern von Regierungsstudien

Ein weiterer aus meiner Sicht absolut unverzeihlicher Fehler ist das Ausklammern von Regierungsstudien. In vielen Regionen haben Gesundheitsämter die Federführung über Antikörper Tests übernommen. In Spanien und Portugal gab es gigantische Anstrengungen, solche Tests durchzuführen, mit bis zu 150.000 Teilnehmern. Diese Studien wurden jedoch nicht berücksichtigt, weil sie keinen Peer Review durchlaufen haben und von Gesundheitsbehörden veröffentlicht wurden.

Das kann ein Argument sein, in diesem Fall sind es jedoch genau die Studien, die die besten, größten Stichproben mit den belastbarsten Daten haben. Gideon Meyerowitz-Katz wies auch darauf hin, dass mit der Qualität einer Studie in seiner Meta-Analyse die IFR stieg. Je besser die Studie an einem Goldstandard lag, desto höher war die Sterblichkeit in der Bevölkerung. Eine Studie aus Italien, die eine 7% Sterblichkeit in einem Katastrophengebiet zeigte, dass eine sehr alte Bevölkerung hat, wurde ebenso ausgeklammert.

Zahlen-Updates wurden nicht übernommen

In der endgültigen Publikation wurden ebenso einige veränderte Daten nicht mit einbezogen. Beispielsweise haben sich dank der Ansätze der chinesischen Regierung Zahlen in Wuhan deutlich verändert, nachdem höher qualitative Studien durchgeführt wurden und das Zahlenchaos aus China zumindest teilweise ausgeräumt wurde. Selbst mit den Zahlen, die heute publiziert wurden und einer Durchseuchung, wie sie jetzt angenommen wird, ist die Todesrate in Wuhan bei 1.2 %.

Es gibt jedoch Ansätze, dass diese Zahlen nicht korrekt sind. Ein Leak von Daten einer Universität gibt insgesamt 640.000 Fälle an. Die offiziellen Zahlen sprechen von ca. 90.000 Fällen. Ein Bild, dass durch das Internet ging, sprach von 24.589 Toten, wurde aber von Experten angezweifelt und als möglicher Fake beschrieben. Ob diese Zahlen nun wahr sind oder nicht, ist deswegen vor allem dann wichtig, wenn diese von unserer Erfahrung und den Erhebungen unserer Wissenschaftler stark abweichen.

Kommen wir zu Ioannidis Umformungen und weiteren Fehlern

Ioannidis hat die IFR um ca. 10-20 % gesenkt, immer dann, wenn bestimmte Antikörpertests vorgenommen wurden. Er zitiert dafür eine Studie, die die Umformung in dieser Form schlicht nicht stützt. Eine solche Korrektur ist somit unzulässig, senkt aber bereits das Ergebnis um 10-20%, was besonders hohe IFR Schätzungen stark reduziert. Viele der Studien wurden zu frühen Zeitpunkten begonnen und nicht weiter korrigiert. Ein Problem, dass man „Right-Censoring“ nennt, kann dann auftreten.

Als Beispiel, sagen wir, wir testen ein Medikament. Wegen der Nebenwirkungen werden von 1000 Patienten ganze 100 die Studie verlassen. Von den 900 übrigen Patienten würden 5 Personen sterben, 895 geheilt. Das hört sich erstmal gut an, bis man die übrigen 100 Personen untersucht und bemerkt, dass die Hälfte nach der Studie verstorben ist. Während die Sterblichkeit mit 0.5% ohne Berücksichtigung der Drop-Outs gering wäre, wäre sie mit allen Teilnehmern bei 5.5%. Solche Probleme können bei vielen der Studien leider nicht ausgeschlossen werden, daher wäre es mindestens nötig, Sensibilitätstests durchzuführen. Ioannidis tut das nicht.

Keine Mittelwerte, nur untere Grenzwerte gewählt

Ein letztes Problem ergibt sich noch aus den Daten, welches ich einfach nicht verstehe. Wenn Mittelwerte erstellt werden, ergibt es Sinn, dass ein sog. 95% Konfidenzintervall angegeben wird. Dieses Intervall gibt die Reichweite an, auf der sich bei unendlicher Wiederholung der Messungen in 95% der Fälle der wahre Wert befindet. Dabei geht es um Präzision, damit man einschätzen kann, wie belastbar ein Mittelwert beispielsweise ist.

Das Problem, was sich ergibt ist Folgendes: Ioannidis hat, anstatt Mittelwerte zu benutzen, jeweils die untere Grenze der Intervalle für seine Berechnungen genutzt. Das ist mir nur aufgefallen, weil ich die Werte der Gangelt/Heinsberg Studie bereits im Detail kannte und der Mittelwert dort bei 0.36% lag, nicht bei 0.28%. Indem Ioannidis anscheinend die unteren Grenzwerte der Intervalle ausgewählt hat, sind die Werte nochmals gesunken.

Diese Studie kann nicht ernst genommen werden

Zusammenfassend ist zu dieser Studie nur eines zu sagen: Sie kann so nicht ernst genommen werden. Sie enthält einige wichtige Aussagen. Beispielsweise den Faktor, dass die IFR dynamisch ist, stark abhängig von lokaler Altersstruktur, Vorerkrankungen in der Bevölkerung und dem lokalen Gesundheitssystem. Ebenso sagt Ioannidis richtigerweise, dass der Median eine bessere Schätzung als ein Mittelwert sein könnte, weil dieser weniger anfällig ist. Nutzt man aber qualitativ deutlich bessere Studien, wie in der Meta-Analyse von Meyerowitz-Katz und Merone, und nutzt den Median, dann kommt man auch nicht auf solch niedrige Werte wie von Ioannidis.

Stattdessen steigen sie nochmals an, auf 0.79%. Wir wünschen uns ein schnelles Ende der Pandemie und nicht jede Maßnahme, die Regierungen auf Basis der Daten treffen, erscheint sinnvoll. Gerade mir erscheint der Flickenteppich und die momentane Handlungsweise eher als hilfloser Versuch eines Kompromisses mit einer Naturgewalt, bei dem einfach mal alles auf die Pandemie geworfen wird, was die juristische Kreativität hergibt.

Solche Umstände hat Ioannidis zurecht kritisiert. Doch diese Meta-Analyse ist qualitativ so fragwürdig, dass sie keinesfalls als Basis besserer Entscheidungen dienen kann. Der Mann, der einst für bessere Wissenschaft und genaues Vorgehen stand, hat seinen Glanz verloren. Denn jeden Fehler, den er selbst ankreidete, macht er nun selbst. Und mehr. Und das ist eine Schande.

Quellen:

Ioannidis Studie

Gideon Meyerowitz-Katz & Lea Merones Meta-Analyse

Tencent Leak Story 

Lewin et al. Über die Auswirkungen von Alter auf IFR bei Covid19

Right Censoring:

Erklärung von zensierten Daten

Lecture über Right Censoring der Universität Oxford

Infection fatality rate of COVID-19 inferred from seroprevalence data – WHO

Zum Thema:

Stanford-Studie: Warum Corona definitiv tödlicher ist als die Influenza

Artikelbild: creativeneko


Unsere Autor:innen nutzen die Corona-Warn App des RKI: