ERROR ist ein umfassendes Programm zur systematischen Erkennung und Meldung von Fehlern in wissenschaftlichen Veröffentlichungen, modelliert nach Bug-Bounty-Programmen in der Technologiebranche. Ermittler werden für die Entdeckung von Fehlern in der wissenschaftlichen Literatur bezahlt: Je schwerwiegender der Fehler, desto höher die Auszahlung. In ERROR nutzen, untersuchen, dokumentieren und verbessern wir den Zugang zu Fehlererkennungstools. Unser Ziel ist es, eine Kultur zu fördern, die offen für die Möglichkeit von Fehlern in der Wissenschaft ist, um eine neue Diskursnorm der konstruktiven Kritik zu etablieren.
mehr auf https://error.reviews/
ZIELE: ERROR ist ein umfassendes Programm zur systematischen Erkennung, Meldung und Verhinderung von Fehlern in wissenschaftlichen Veröffentlichungen, modelliert nach Bug-Bounty-Programmen in der Technologiebranche, mit fünf Hauptzielen: (1) Untersuchung und Erprobung praktischer Herausforderungen bei der Umsetzung. (2) Schätzung eines Nutzen-Kosten-Verhältnisses der Finanzierung der Fehlererkennung. (3) Gewinnung robuster empirischer Schätzungen der Fehlerarten und ihrer Häufigkeit. (4) Untersuchung, Dokumentation und Verbesserung des Zugangs zu den digitalen Tools zur Fehlererkennung. (5) Förderung einer Kultur, die offen für die Möglichkeit von Fehlern in der Wissenschaft ist und eine neue Diskursnorm der konstruktiven Kritik annimmt.
METHODE: In ERROR untersuchen Ermittler, ähnlich wie bei Softwarecode in Bug-Bounty-Programmen, veröffentlichte Arbeiten in Zeitschriften der Psychologie und Preprint-Server (einschließlich Studienmaterialien, Daten und Code) auf Fehler und erhalten eine Vergütung in Form eines Grundtarifs und variabler Vergütung abhängig von der Schwere ihrer Feststellungen. Ebenso erhalten Autoren, die sich bereit erklären, ihre Arbeit auf diese Weise prüfen zu lassen und angemessene Maßnahmen zu ergreifen, wenn dies empfohlen wird, eine Vergütung, wenn ihre Arbeit sich als zuverlässig erweist. ERROR wählt die zur Überprüfung berechtigten Arbeiten basierend auf ihrer Bedeutung oder ihrem Replikationswert aus, identifiziert geeignete Ermittler zur Überprüfung der Arbeit, fungiert als Vermittler zwischen Gutachtern und Autoren, bewertet die Schwere der von den Ermittlern gemeldeten Feststellungen und sammelt Ermittlerberichte, um die Nützlichkeit der Fehlererkennungstechniken zu dokumentieren und metawissenschaftliche Forschung zu erleichtern.
COMMUNITY: Die Entwicklung und Einführung von ERROR wird von Umfragen in Forschungsgemeinschaften begleitet, die (1) praktische und logistische Aspekte (z. B. erwartete Bearbeitungszeit, Fairness der Vergütung), (2) Verfahrens- und Technologieakzeptanz (z. B. Ängste vor Reputationskosten, Machtunterschiede zwischen Autoren und Ermittlern) und (3) praktikable Alternativen zu den von ERROR vorgeschlagenen Mechanismen gegen die Fehlerverbreitung abdecken. Da die Einführung von ERROR in der Psychologie beginnt und später auf andere Sozialwissenschaften ausgeweitet wird, können solche Umfragen auch wichtige interdisziplinäre Ähnlichkeiten und Unterschiede aufzeigen, die berücksichtigt werden sollten.
NOTWENDIGKEIT: Die wissenschaftliche Tätigkeit, als menschlicher Beruf nicht immun gegen Fehler, hat mehrere Sicherheitsmechanismen entwickelt (z. B. Peer-Review), die auch eines ihrer Grundprinzipien widerspiegeln: Wissenschaft ist selbstkorrigierend. Diese Mechanismen sind jedoch nicht absichtlich darauf ausgelegt, Fehler zu erkennen, und tun dies oft erst, nachdem Fehler bereits in der Literatur verbreitet sind. Ebenso wie die meisten Fehler zufällig sind, verlässt sich die Wissenschaft derzeit auf ihre zufällige Entdeckung durch hochmotivierte Einzelpersonen, die wissen, wie man sie erkennt. Darüber hinaus ist die Fehlererkennung als wissenschaftliche Tätigkeit relativ unattraktiv, da es wenig zu gewinnen und viel zu verlieren gibt, sowohl für die Forscher, deren Arbeit überprüft wird (was die Zusammenarbeit unwahrscheinlich macht), als auch für diejenigen, die die Fehlererkennung durchführen.
NACHHALTIGKEIT: Eine Kosten-Nutzen-Analyse der Implementierung von ERROR in größerem Maßstab muss (1) laufende Kosten, (2) kontrafaktische Kosten (z. B. Veröffentlichungen in der Literatur, die nicht absichtlich auf Fehler überprüft wurden), (3) Folgekosten (z. B. weitere Zuschüsse, die auf fehlerhafter Forschung aufbauen) und (4) Opportunitätskosten (andere Ideen, die nicht verfolgt werden, anstatt fehlerhafter Forschung) berücksichtigen. Die Einbindung wichtiger Interessengruppen ist notwendig für eine nachhaltige Einführung von ERROR: (1) Geldgeber, die die Verantwortung teilen, Maßnahmen gegen verschwenderische Ausgaben zu ergreifen, (2) Verlage, die die Verantwortung teilen, Erkennungs- und Präventionsmaßnahmen zu implementieren, bevor sich Fehler verbreiten, und (3) akademische Gesellschaften und Verbände, die die Verantwortung teilen, Fehlererkennung und -vermeidung in den Aufbau der Gemeinschaft als Teil der normalen Wissenschaft zu integrieren. Die übergeordnete Nachhaltigkeitsstrategie, die jedem Implementierungsaufwand zugutekommen wird, ist die Automatisierung und Demokratisierung der Fehlererkennung.
Projektinformationen
Volumen: 250 T. CHF
Laufzeit: 02/2024 - 01/2028
Gefördert durch: Digitalisierungskommission der Universität Bern (DigiK)
