Unstatistik des Monats: „Mega“-Studie zum Maskentragen hat viele Mängel

Am 31. Juli 2022 setzte Bundesgesundheitsminister Karl Lauterbach folgenden Twitter-Beitrag ab: „Für alle, die noch immer im Unklaren sind, ob Masken gegen COVID schützen: hier eine neue amerikanische Mega-Studie, die über 1.700 Studien auswertet. Der Nutzen der Masken ist sehr groß, unumstritten und gilt für viele Bereiche.“ Der Tweet verweist auf einen Preprint (eine noch nicht im Peer-Review begutachtete Studie) von sechs amerikanischen Wissenschaftlern mit dem Titel „The Efficacy of Facemasks in the Prevention of COVID-19: A Systematic Review“.

Für alle, die noch immer im Unklaren sind, ob Masken gegen COVID schützen: hier eine neue amerikanische Mega-Studie, die über 1.700 Studien auswertet. Der Nutzen der Masken ist sehr groß, unumstritten und gilt für viele Bereiche. https://t.co/98jiJbLAs7

— Prof. Karl Lauterbach (@Karl_Lauterbach) July 31, 2022

Die Twitter-Meldung wurde insbesondere in den Sozialen Medien intensiv diskutiert. Dass es sich hier um eine „Meta“- und nicht um eine „Mega“-Studie handelt, macht diese Meldung noch nicht zu einer Unstatistik – dieser Fehler ist wahrscheinlich das Ergebnis einer Autokorrektur. Ein gröberer Fehler ist jedoch die Aussage, dass die Studie über 1.700 Studien ausgewertet hätte. Denn bereits in der Zusammenfassung zu Beginn des Artikels weisen die Autoren darauf hin, dass in ihre Analyse lediglich 13 Studien eingehen. Aber auch das ist noch keine Unstatistik wert. Die Unstatistik liegt vielmehr in der Meta-Studie selbst.

Was macht eine solche Meta-Studie? Ausgangspunkt ist eine konkrete wissenschaftliche Fragestellung, hier: Schützen Gesichtsmasken vor einer Ansteckung mit COVID-19? Dann sucht man mit Hilfe von Stichworten (in der Studie bspw. „masks“, „facemask“, „face covering“ sowie „COVID-19“ und „“Coronovirus infections“) in verschiedenen wissenschaftlichen Datenbanken (z.B. Pubmed, The Cochrane Library) nach einschlägigen empirischen Studien. Mit dieser Vorgehensweise fanden die Autoren insgesamt 2.730 Treffer. Nach Bereinigung von Duplikaten blieben die vom Gesundheitsminister zitierten 1.732 Studien übrig. Diese Studien wurden dann von den Autoren nach bestimmten Kriterien gesichtet. Es verblieben 61 Studien, von denen nur 13 Studien in die Meta-Analyse eingingen. Und hier liegt das erste Problem dieser Meta-Studie: die Autoren verlieren kein Wort über die von Ihnen angelegten Kriterien für die Auswahl der Studien, die für die Reduktion von über 1.700 auf 61 Studien verantwortlich waren. Und warum nur 13 von 61 Studien, die die Kriterien erfüllen, in die Analyse eingehen, bleibt ebenfalls ein Rätsel. Die Auswahl der in einer solchen Analyse berücksichtigten wissenschaftlichen Studien ist aber der entscheidende Schritt, über den vollkommene Transparenz herrschen sollte, da dieser Schritt die Ergebnisse bereits festlegt.

Die Zahlen beruhen auf kaum vergleichbaren Studien

Doch damit nicht genug. Die Studie erfüllt auch nicht die meisten anderen der sog. AMSTAR-Kriterien für Meta-Analysen, wie etwa die Bewertung der wissenschaftlichen Qualität der Studien und deren Berücksichtigung bei den Schlussfolgerungen. Die Autoren haben einfach 243 Covid-19 Fälle unter allen 1539 Teilnehmern der 13 Studien gezählt (alle aus dem Jahre 2020), wovon 97 der Infizierten Masken und 146 keine Masken trugen. Dann haben sie die Zahl 97 durch 1238 (die Gesamtzahl der Personen mit Masken) geteilt, was 7,8 Prozent ergibt. Bei Personen ohne Masken war der Anteil an Infizierten dagegen 52 Prozent. (Wir haben diese Zahlen leicht korrigiert, da sie in der Meta-Analyse widersprüchlich waren.)

Das Problem mit diesen Zahlen ist, dass diese auf kaum vergleichbare Studien beruhen. Die 13 Studien bestehen aus randomisierten Experimenten, aber auch Befragungen und Fallstudien, wobei die jeweiligen Studienteilnehmer häufig alles andere als repräsentativ für die jeweilige Bevölkerung sind. In der Analyse erhalten alle diese Studien dasselbe Gewicht. Aber sollte nicht beispielsweise eine Studie mit einer repräsentativen Stichprobe und kontrolliertem Maskentragen ein höheres Gewicht erhalten als eine Studie, in der nur Pflegekräfte in Krankenhäusern berücksichtigt werden und lediglich gefragt wurde, ob Masken getragen wurden? 

Wirksamkeit des Maskentragens lässt sich nicht pauschal messen

Man kann die Wirksamkeit von Maskentragen auch nicht pauschal messen. Die Autoren der Meta-Studie berichten selbst, dass das Tragen von Masken in Kliniken die Gefahr sich zu infizieren von 33 auf 8 Prozent reduziert, außerhalb von Kliniken jedoch von 83 auf 6 Prozent. Dabei wird nicht gesagt, auf welchen Zeitraum sich die Reduktion bezieht und auf welche Bedingungen die Ausgangsrisiken gemessen wurden.

Es gibt bessere Meta-Analysen, zum Beispiel von Kim und Kollegen, welche die unterschiedliche Wirksamkeit verschiedener Masken in Gesundheitseinrichtungen aufzeigen und auch die Notwendigkeit weiterer randomisierter Studien mit Menschen aus der Allgemeinbevölkerung unterstreichen.  Eine solche randomisierte Studie mit 342.000 Teilnehmern in Bangladesh berichtete etwa, dass ein Anstieg des Maskentragens von 13 auf 42 Prozent mit einer Reduktion von Covid-Erkrankungen innerhalb von neun Wochen von 8,6 auf 7,6 Prozent einher ging. Wie bei Impfungen, beträgt die Wirksamkeit nicht 100 Prozent, sondern sie hängt von vielen Faktoren ab.  Die aktuellsten Meta-Studien finden sich in dem seit 2020 immer wieder auf den neuesten Stand gebrachten „Living Rapid Review“. Er zeigt derzeit, dass das korrekte Tragen von Masken die Wahrscheinlichkeit, sich im Alltag mit Corona zu infizieren, etwas reduziert und insbesondere andere schützt.

Es ist verständlich, dass ein Gesundheitsminister nicht die Zeit hat, die Vielzahl der Studien gründlich zu lesen. Aber er sollte eigentlich Hilfe erhalten. Sich auf einen schlecht gemachten Preprint zu berufen, kann seinem Anliegen mehr schaden als es nutzt.

Mit der „Unstatistik des Monats“ hinterfragen der Berliner Psychologe Gerd Gigerenzer, der Dortmunder Statistiker Walter Krämer, die STAT-UP-Gründerin Katharina Schüller und RWI-Vizepräsident Thomas K. Bauer jeden Monat sowohl jüngst publizierte Zahlen als auch deren Interpretationen. Alle „Unstatistiken“ finden Sie im Internet unter www.unstatistik.de und unter dem Twitter-Account @unstatistik. Unstatistik-Autorin Katharina Schüller ist zudem Mit-Initiatorin der „Data Literacy Charta“, die sich für eine umfassende Vermittlung von Datenkompetenzen einsetzt. Die Charta ist unter www.data-literacy-charta.de abrufbar.