Ufos gibt es ein bisschen – Das Metastudienproblem – Confirmation Bias plus False Balance
Der Trend zu Metastudien führt dazu, dass die Realität verzerrt wahrgenommen wird. Als exemplarisches Beispiel dazu, möchte ich die Studie: „Does the Brain Drain Effect Really Exist? A Meta-Analysis“ von Zierer et. al. heranziehen. Die Studie nimmt Zierer zum Anlass grundsätzliche Smartphoneverbote in Schule für Schüler*innen und Lehrer*innen zu forden. Das ist aus mehreren Gründen erstaunlich:
- Das Abstract der Studie endet folgendermaßen:
Our findings also indicate that the distracting effect of smartphones varies on the area studies and further research is necessary. In view of the present research results, it seems important that people in general, and especially children and adolescents in schools and classrooms, learn how to deal with the distracting potential of smartphones.
Zu Deutsch (danke deepl):
Unsere Ergebnisse deuten auch darauf hin, dass die ablenkende Wirkung von Smartphones je nach Untersuchungsgebiet variiert und weitere Forschung notwendig ist. Angesichts der vorliegenden Forschungsergebnisse scheint es wichtig, dass Menschen im Allgemeinen und insbesondere Kinder und Jugendliche in Schulen und Klassenzimmern lernen, wie sie mit dem Ablenkungspotenzial von Smartphones umgehen können.
Im Abstract wird also etwas gefordert, dass der öffentlichen Forderung von Zierer diametral entgegen steht. Denn den Umgang mit diesem Ablenkungspotenzial lernt man sicherlich nicht, ohne sich ihm auszusetzen.
2. Die Methode, die gewählt wird, beginnt bei der Auswahl der einbezogenen Studien mit folgendem Prompt in den Datenbanken von PSYNDEX, Web of Science und ResearchGate:
“(phone OR smartphone OR cellphone OR nomophobia) AND (attention OR
awareness OR distraction OR vigilance OR concentration OR memor* OR concentrat* OR perform* OR “cognitive capacity” OR “Brain Drain” OR mere)”
Um das Problem zu beleuchten möchte ich einmal die Syntax dieses Prompts vereinfacht darstellen:
(A oder B oder C) AND (X oder Y oder Z)
Es sind also nur Studien in die Auswahl aufgenommen worden, die eine Kombination aus einem Begriff der linken und einem Begriff der rechten Klammer enthielten. In der Folge heißt das, das Studien, die diese Begriffskombinationen nicht aufweisen, nicht in die Auswahl der zugrundeliegenden Studien aufgenommen werden, das bspw. die Studie: Learning Critically and Confidently: A Correlation Study of the New Media Literacy and English Learning Self-efficacy of Junior High School Students nicht in die untersuchte Auswahl aufgenommen wurde. Sie kommt übrigens zu folgendem Ergebnis:
Thus, our results suggest that junior high school students need to focus more on their abilities to critically create media content and interactively participate in the new media environment. The findings illuminate the way to enhance students‘ language competence in the digital context and assist educators in developing tailored strategies to equip students with the necessary competencies for success in today’s interconnected world.
Übersetzt mit Deepl:
Unsere Ergebnisse deuten also darauf hin, dass Schüler der Sekundarstufe II sich mehr auf ihre Fähigkeiten zur kritischen Erstellung von Medieninhalten und zur interaktiven Teilnahme an der neuen Medienumgebung konzentrieren müssen. Die Ergebnisse geben Aufschluss darüber, wie die Sprachkompetenz von Schülern im digitalen Kontext verbessert werden kann, und helfen Pädagogen bei der Entwicklung maßgeschneiderter Strategien, um Schüler mit den notwendigen Kompetenzen für den Erfolg in der heutigen vernetzten Welt auszustatten.
Ich habe diese Studie bei Research Gate mit dem Prompt : „Media school success“ gefunden. Die Metastudie verzerrt durch die Auswahl der zu Grunde liegenden Studien, durch Weglassen den Blick auf die Gesamtheit. Dadurch dass das Ergebnis von „Learning Critically and Confidently“ nicht einbezogen wurde, verschiebt sich das Ergebnis der Metastudie zu Ungunsten des Untersuchungsergebnisses von „Learning Critivally and Confidently“. Und das gilt für alle Studien, die das zu untersuchende Thema behandeln, aber dem Search Prompt von Zierer et al. nicht entsprechen.
Das ist in etwa so, als würde man untersuchen, ob es Aliens gibt und man promptet: (Aliens OR UFOs OR Extraterrestrials) AND (Sightings OR facts OR „Abductions“) Was für Ergebnisse wird man da wohl bekommen? Eher welche, die dem eigenen Confirmation Bias entsprechen.
3. Mit dem oben kritisierten Prompt ergaben sich auf den drei Plattformen 1350 Studien, von denen 1229 nach dem Lesen der Abstracts eliminiert wurden. Als Grund wird angeführt:
Only studies that employed quantitative-empirical approaches, investigating the impact of smartphones on cognitive performance and thereby establishing a direct connection to the Brain Drain effect, were included.
Deutsch:
Es wurden nur Studien mit quantitativ-empirischen Ansätzen berücksichtigt, die die Auswirkungen von Smartphones auf die kognitive Leistungsfähigkeit untersuchen und damit einen direkten Zusammenhang mit dem Brain Drain-Effekt herstellen.
Es wird also weiter ausgedünnt und unter der Straßenlampe nach dem Schlüssel gesucht. Aber selbst wenn man das hinnimmt, dann wird es spätestens beim nächsten Ausschluss schwierig:
Studies that had a qualitative-empirical design, lacked a connection to the Brain Drain study, or focused on other digital devices such as tablets and smartwatches were excluded. Finally, a full text analysis led to the exclusion of a further 109 studies due to a lack of fit between the research question and the research design. Finally, 22 studies met all search criteria
Deutsch:
Studien, die ein qualitativ-empirisches Design hatten, keinen Bezug zur Brain Drain-Studie aufwiesen oder sich auf andere digitale Geräte wie Tablets und Smartwatches konzentrierten, wurden ausgeschlossen. Schließlich führte eine Volltextanalyse zum Ausschluss von weiteren 109 Studien aufgrund mangelnder Übereinstimmung zwischen der Forschungsfrage und dem Forschungsdesign. Schließlich erfüllten 22 Studien alle Suchkriterien
Metastudien haben prinzipiell das Problem, dass sie ihrer Struktur wegen qualitativ-empirische Design ausschließen müssen, weil diese sich der mathematischen Verwertbarkeit entziehen. So werden sie auch hier ausgeschlossen und Fehlen nachher bei der erzeugten Wirklichkeit. Das Bild, das Metastudien dadurch von der Wirklichkeit erzeugen, ist also notwendigerweise schief. An dieser Stelle wird nicht nach einem wissenschaftlichen Kriterium (Relevanz, Reliabiltität, Validität, Überprüfbarkeit… etc.) ausgeschlossen, sondern nach dem Kriterium der Verwertbarkeit. Warum das problematisch ist, zeigt auch der Ausschluss nach dem Bezug zur Brain Drain Studie. Damit werden tendenziell alle Studien ausgeschlossen, die den jungen Begriff nicht nutzen. Wünschenswert wäre es an der Stelle gewesen, wenn Studien, die ähnliche/denselben Effekt(e) untersuchten, bevor der Begriff benutzt wurde, ebenso einbezogen worden wären.
Der Wert von Studien mit qualitativ-empirschem Design, zeigt sich auch beim Ausschluss von anderen digitalen Geräten. Die „neue“ mediale Umgebung, mit der wir lernen müssen zurechtzukommen, besteht nämlich aus mehr, als nur Smartphones. Der Untersuchuchsgegenstand hätte das Ablenkungspotential der informatorisch aufgeladenen Umgebung sein müssen. Gerade an Tabletts lässt sich das gut zeigen. Die Ablenkungpotentiale eines Tabletts oder eines Smartphones unterscheidet sich grundsätztlich nicht voneinander. Es macht keinen Unterschied, ob die erwartete ablenkende Benachrichtigung per WLan oder per mobilem Netz auf dem Gerät ausgelöst wird.
4. Wenn man sich die Liste der letztlich einbezogenen Studien und deren Ergebnisse ansieht, so findet man unter den 22 untersuchten Studien auch 8 mit Ergebnissen, die dem Ergebnis des Metastudie eigentlich widersprechen:
|
Autor*innen |
Ergebnis | Deutsch |
| Boila, V. C., Kwong, T. E., and Hintz, J. E. (2017) | The group with a cell phone present outperformed the group without a cell phone in all subtests (sentence comprehension, spelling, and math subtest). | Die Gruppe mit Mobiltelefon schnitt in allen Untertests (Satzverständnis, Rechtschreibung und Mathe) besser ab als die Gruppe ohne Mobiltelefon. |
| Nakagawa, N. et al. (2022) | The presence of the smartphone did not affect electroencephalography results or working memory. | Die Anwesenheit des Smartphones hatte keinen Einfluss auf die Ergebnisse der Elektroenzephalografie oder das Arbeitsgedächtnis. |
| Hartmann, M., Martarelli, C. S., Reber, T. P., and Rothen, N. (2020) | No overall effect of smartphone presence on short-term and perspective memory performance. Better performance in participants with low smartphone dependence when smartphone was not present. | Keine allgemeine Auswirkung der Anwesenheit des Smartphones auf die Leistung des Kurzzeit- und Perspektivgedächtnisses. Bessere Leistung bei Teilnehmern mit geringer Smartphone-Abhängigkeit, wenn das Smartphone nicht vorhanden war. |
| Hartanto, A. and Yang, H. (2016) | Smartphone absence leads to reduction in working memory capacity. Impairment of mental shifting independent of the extent of smartphone addiction. | Die Abwesenheit von Smartphones führt zu einer Verringerung der Kapazität des Arbeitsgedächtnisses. Beeinträchtigung der geistigen Verschiebung unabhängig vom Ausmaß der Smartphone-Sucht. |
| Ruiz Pardo, A., and Minda, J. | The mere presence of the smartphone is not enough to affect cognitive performance. | Die bloße Anwesenheit des Smartphones reicht nicht aus, um die kognitive Leistung zu beeinträchtigen. |
| Koessmeier, C. and Büttner, O. (2022) | Presence of the smartphone without influence on task performance. | Die Anwesenheit des Smartphones hat keinen Einfluss auf die Aufgabenleistung. |
| Lyngs, U. (2017) | Presence of smartphone without influence on task performance. | Die Anwesenheit eines Smartphones hat keinen Einfluss auf die Aufgabenleistung. |
| Stavrum, M. (2020) | No statistically significant effect of smartphone availability on performance. | Keine statistisch signifikante Auswirkung der Verfügbarkeit von Smartphones auf die Leistung. |
Mal ganz abgesehen davon, dass eine Metastudie, die, mit gleichem Recht, ausschließlich diese acht Studien untersucht hätte, zu einem entgegen gesetzten Ergebnis gekommen wäre, kommt zumindest Zierers Auslegung des Metastudienergebnisses hier an den Rand der Unredlichkeit. Wenn ich qualitativ negative Befunde mit qualitativ positiven verrechne, dann befinde ich mich im Bereich dessen was in der Journalismuskritik „false balance“ genannt wird. Das funktioniert so:
Frage: Gibt es Aliens
Antwort 1:Manche sagen ja
Antwort 2: Manche sagen nein
Ergebnis durch Verrechnung: Es gibt halbe Aliens
Wie wir das vom Journalismus erwarten, können wir von Wissenschaft auch erwarten nachzusehen, wenn die einen behaupten, das es regnet und die anderen behaupten, das die Sonne scheint.
Auf Grund dieser vier Merkwürdigkeiten kann die Metastudie nur zu dem Ergebnis kommen: Den „Brain-Drain Effekt“ gibt es ein bisschen, wir müssen mehr forschen und S*S und L*L helfen mit der sich verändernden Welt zurecht zu kommen.
Aber aus dieser verzerrten Perspektive kann man die Forderung von Zierer nach einem umfassenden Smartphoneverbot nicht ableiten. Das Ergebnis, das er zur Untermauerung seiner Forderung heranzieht, liesse eigentlich nur den Schluss zu:
„Es ist kompliziert, wir müssen uns da einfinden, empirisch quantitative Studien können zu diesem transformativen Thema (Wie können Schulen den Umgang mit Digitalität fasilitieren) (noch) wenig beitragen.“
Es gibt aber noch eine weitere Dimension. Ich halte Metastudien auf Grund ihrer strukturellen Eigenschaften grundsätzlich für ungeeignet um Antworten auf transformative Fragestellungen zu finden. Da sie, wie oben skizziert, immer ausschließlich quantitativ empirische Forschung akkumulieren, beschäftigen sie sich immer mit Gegenständen, die in der Vergangenheit unter den Bedingungen der Vergangenheit entstanden sind und auf ihre spezifische Weise funktioniert haben. Dementsprechend können sie keine Antworten auf aktuelle oder zukünftige Fragestellungen unter deren Bedingungen liefern. Konkreter gefasst:
Die Antwort auf die Frage, ob die Aufmerksamkeit von S*S von Smartphones abgelenkt war, in einer Welt, in der S*S keinen Umgang mit dem Lernen in der Digitalität (in der informatisch aufgeladenen Umgebung) erlernen konnten, liefert keine Antworten auf die Frage, wie ein solches Lernen zu gestalten sein könnte.
Wenn man keine halben Aliens haben will, dann muss man also festhalten:
Metastudien verzerren durch die Auswahl der zu Grunde liegenden Studien und den quantitativen Fokus den Blick auf die Realität. Sie sind nicht geeignet, um zu transformativen Themen etwas beizutragen.