Kern-Curriculum "Empirische Praktika"
Kern-Curriculum “Empirisches Praktikum” am Department Psychologie der Ludwig-Maximilians-Universität München
Das Ziel eines empirischen Praktikums (“Empra”) ist es, den kompletten Prozess guten wissenschaftlichen empirischen Arbeitens abzubilden und praktisch einzuüben. Dazu gehören gewisse Kernkriterien, die in jedem Empra durchgeführt werden sollen. Die folgenden Kernkriterien wurden vom Open-Science-Komitee des Departments ausgearbeitet und am 5.12.2016 ohne Gegenstimmen vom Leitungskollegium verabschiedet. Das Leitungskollegium hat beschlossen, dass folgende vier Kernpunkte im Studiengang BA Psychologie im Empra des 2. Semesters, sowie im Studiengang Schulpsychologie im 5. Semester verpflichtend verankert werden:
- Stichprobenplanung (im Regelfall: eine Poweranalyse; alternativ z.B. Bayesianischer Ansatz über eine Designanalyse mit Bayes-Faktoren)
- Präregistrierung der Hypothesen, Operationalisierungen, Stichprobenplanung und der statistischen Analysemethode [siehe unten: “Was ist eine Präregistrierung?”. Entweder intern bei Dozent/in präregistrieren, oder öffentlich, z.B. auf OSF oder asPredicted.org]
- Open Data (mit Codebuch). Offene Daten werden von immer mehr Zeitschriften verlangt, und werden ganz generell zum Standard für vertrauenswürdiges Forschen (siehe z.B. DGPs-Empfehlungen. Dazu gehört eine Sensibilisierung im Umgang mit personenbezogenen oder pseudonymisierten Daten. [intern bei Dozent/in, oder öffentlich auf OSF, Open Data LMU oder anderem Repositorium]
- Reproduzierbare Analyseskripte (z.B. R-Skripte, SPSS-Syntax, oder eine reproduzierbare JASP-Datei) [intern bei Dozent/in, oder öffentlich auf OSF oder anderem Repositorium zusammen mit den Rohdaten]
Diese Elemente mögen für manche Leser spezifisch für eine konfirmatorische Herangehensweisen geeignet erscheinen. Tatsächlich sind diese Kriterien jedoch sowohl bei konfirmatorischen als auch explorativen, und sogar bei qualitativ-empirischen Arbeiten essentiell, wie folgende Tabelle zeigt:
|
Quantitativ konfirmatorisch |
Quantitativ explorativ |
Qualitativ empirisch |
|
|
Stichproben- |
Wir wollen sicherstellen, dass wir einen Effekt (wenn es ihn gibt) auch entdecken können. → Mindestgröße der benötigten Stichprobe berechnen: A-priori Poweranalyse (Power mind. 80%) |
Wenn die Stichprobe zu klein ist, geht das Konfidenzintervall selbst bei echten Effekten von z.B. einem negativen bis hin zu einem sehr großen positiven Effekt. D.h., es können keine Aussagen getroffen werden, ob ein (explorativ gefundener) Effekt vorliegt, und wie groß er ist. → Für die Schätzung der Größe eines unbekannten Effektes kann man die Stichprobengröße so planen, dass das Konfidenzintervall präzise genug ist (“planning for precision”, Maxwell, Kelley, & Rausch, 2008). Z.B. welches n brauche ich, um Effektstärken mit einer Präzision von ±0.1 zu schätzen?, oder: sinnvolle Stichprobengröße für eine explorative Faktorenanalyse |
Wer wird befragt? Welche Meinungen sollen repräsentiert sein? Wie viele Probanden braucht man voraussichtlich, um das ganze Spektrum an Meinungen abzudecken? |
|
Open Data mit Codebuch |
✓ |
✓ |
✓ (z.B. Interviewtranskripte oder Paraphrasierungen von Interviews, detaillierte Beschreibung der Codes und des Vorgehens bei der Erhebung und Auswertung) |
|
Reproduzierbare Analyseskripte |
✓ (konfirmatorische & explorative Analysen) |
✓ (explorative Analysen) |
✓ (z.B. Detaillierte Beschreibung der Codes und des Kodierungsprozesses, Skripte um Häufigkeitstabellen zu erstellen) |
|
Präregistrierung |
Hypothesen, Messinstrumente, Stichprobenplanung + Ausschlusskriterien, statistische Analysen |
|
Definition der Zielgruppe, Stichprobenplanung + Ausschlusskriterien, theoretisches Rahmenmodell, methodischer Ansatz. Siehe template: https://osf.io/j7ghv/ |
Daher beschränkt sich der Anwendungsbereich dieser vier Kernkriterien nicht ausschließlich auf konfirmatorische Forschung, sondern ist bei jeder empirischen Forschung (konfirmatorisch und explorativ, quantitativ und qualitativ) essentiell.
Anmerkungen:
- Fokus eines Empras ist die Lehre - weniger der wissenschaftliche Wissensgewinn aus den durchgeführten Studien. D.h., es wird zwar eine Power-Analyse oder Bayesianische Stichprobenplanung durchgeführt, sie muss aber in der Datenerhebung nicht erfüllt werden. Es muss dann aber auch deutlich gemacht werden, dass wenn die Poweranalyse ein n=900 verlangt und man im Empra dann nur bspw. n=20 erhebt, das ganze mehr eine Fingerübung als echte Forschung (zum Wissensgewinn) ist.
- Die hier definierten Kernpunkte sind nicht erschöpfend gedacht - natürlich gibt es viele andere Fertigkeiten, die neben diesen in einem Empra gelehrt werden sollten. Jeder ist willkommen, ein erweitertes Curriculum für Empras vorzuschlagen; dazu wurde eine Arbeitsgruppe bestehend aus Vanessa Büchner (vanessa.buechner@psy.lmu.de), Stefanie Lichtenfeld und Caroline Zygar eingerichtet. Die hier vom OSC entwickelten Empfehlungen betreffen zunächst nur die Qualitätssicherung und Forschungstransparenz.
- Was ist eine Präregistrierung? Kurz gesagt: man legt vor der Datenerhebung öffentlich fest, welche Hypothesen man hat, mit welchen Messinstrumenten man ein Konstrukt operationalisiert, welche Stichprobe man erhebt und mit welcher statistischen Analyse man die Hypothese überprüfen wird (für einen guten Überblick, siehe van 't Veer & Giner-Sorolla, 2016, und https://cos.io/rr/#resources). Das reduziert die “researcher degrees of freedom” und verhindert so die meisten Varianten von p-hacking. Eine "echte" Präregistrierung sollte auf einer öffentlichen Plattform stattfinden, so dass eine nachträgliche Änderung der Vorhersagen ausgeschlossen ist. Momentan bieten sich für diesen Zweck vor allem das Open Science Framework (OSF; http://osf.io/) and asPredicted.org an. Für den Zweck des Empras ist es auch ausreichend, wenn die Studierenden ihr Präregistrierungsdokument vor der Datenerhebung intern bei dem/der Dozent/in hinterlegen.
- Auch wenn man keinerlei konfirmatorische Hypothesen hat und ausschließlich explorativ an einen Datensatz herangehen möchte, kann man genau dieses präregistrieren: “Wir haben keine Hypothesen, und analysieren den Datensatz rein explorativ” (siehe z.B. auch den Kommentar vom Psychological Science Editor Steve Lindsay: http://www.psychologicalscience.org/observer/why-preregistration-makes-me-nervous#comment-7860082). Durch diese Präregistrierung stellt man sicher, dass man nicht im Nachhinein den Theorieteil so schreibt, als hätte man alles schon vorher gewusst (“HARKing” - hypothesizing after the results are known; Kerr, 1998).
- Eine Präregistrierung bedeutet nicht, dass man nicht mehr explorieren darf. Sie zieht lediglich die Grenzlinie zwischen konfirmatorisch (“das haben wir vorher schon vermutet”) und explorativ (“für diese Variable hatten wir keine klare Hypothese”). Typischerweise hat eine konfirmatorisch präregistrierte Studie zwei Abschnitte im Ergebnisteil: “Konfirmatorische Analysen” und “Explorative Analysen”. Wenn rein explorativ vorgegangen wird und die Präregistrierung aus der Feststellung besteht “Wir haben keine konfirmatorischen Hypothesen, wir gehen explorativ vor”, dann gibt es eben nur den “explorativen Ergebnisteil”.
Unterstützung
Das Open-Science-Komitee bietet regelmäßig Workshops zum Thema Präregistrierungen, Open Data, etc. an, bei denen die Dozierenden der Empras detaillierte Informationen zur konkreten Umsetzung der Kernkriterien erhalten können. Darüber hinaus ist bereits eine Arbeitsgruppe geplant, bestehend aus Vanessa Büchner, Stefanie Lichtenfeld und Caroline Zygar, die Lehrmaterial zu den entsprechenden Punkten entwickelt, welches dann in den Empras verwendet werden kann.
Beschlussfassung im Leitungskollegium am 5.12.2016:
Gültigkeitsbereich: Die hier definierten vier Kernpunkte gelten zunächst für das erste Empra im Studiengang BA Psychologie (2. Semester) und das Empra im Studiengang Schulpsychologie (5. Semester). Abschlussarbeiten und andere vergleichbare Formate im Master werden zu einem späteren Zeitpunkt behandelt. Das zweite Empra im BA Psychologie kann (muss aber nicht) von diesem “Standardprotokoll” abweichen und sich z.B. mehr auf den hypothesengenerierenden Aspekt von Forschung konzentrieren.
Literatur
van 't Veer, A. E., & Giner-Sorolla, R. (2016). Pre-registration in social psychology—A discussion and suggested template. Journal of Experimental Social Psychology, 67, 2–12. http://doi.org/10.1016/j.jesp.2016.03.004
Kerr, N. L. (1998). HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review, 2, 196–217. doi:10.1207/s15327957pspr0203_4
Maxwell, S. E., Kelley, K., & Rausch, J. R. (2008). Sample size planning for statistical power and accuracy in parameter estimation. Annual Review of Psychology, 59, 537–563. doi:10.1146/annurev.psych.59.103006.093735
Schönbrodt, F. D. & Wagenmakers, E.-J. (in press). Bayes Factor Design Analysis: Planning for compelling evidence. Psychonomic Bulletin & Review. doi:10.3758/s13423-017-1230-y [PDF, 0.4MB].