Reproduzier­barkeits­stufen

Die fünf Stufen

Heute kann eine Prüfung L0, L1 und L2 feststellen. L3 und L4 brauchen Nachweise aus der Ausführung des Codes und bleiben gesperrt, bis RepoReady sie liefern kann.

1. L4

   Robustheit im geprüften Umfang bestätigt

   Demnächst

   L3 plus ein definiertes, akzeptiertes Protokoll für Sensitivitätstests. Die Aussage gilt nur für tatsächlich geprüfte Varianten und Ziele.

2. L3

   Ergebnisse reproduziert

   Demnächst

   L2 plus unabhängige Ausführung und Übereinstimmung mit den angegebenen Ergebnissen. Ein erfolgreich beendetes Skript allein reicht nicht.

3. L2

   Arbeitsablauf dokumentiert

   Jetzt verfügbar

   L1 plus vollständige Anleitung, Versionen, Aufbereitung und Ergebniszuordnung. Bestätigte Manuskriptwidersprüche blockieren diese Stufe.

4. L1

   Materialien verfügbar

   Jetzt verfügbar

   Erforderlicher Code, Eingaben und Software sind im geprüften Umfang erfasst, mit Nachweisen zur Verfügbarkeit oder einem glaubwürdigen Zugangsweg.

5. L0

   Materialien unvollständig

   Bestätigte Materiallücke

   Ein wesentliches Material fehlt nachweislich, ist unvollständig oder im geprüften Umfang nicht zugänglich. Unzureichende Nachweise allein begründen L0 nicht.

Wenn keine Stufe feststeht

Wie eine Stufe vergeben wird

Materialien und Dokumentation werden unabhängig bewertet, und der Bericht zählt ihre Anforderungen: bestätigt, Lücken, ((en:Needs evidence)), nicht geprüft. Eine Stufe wird nur vergeben, wenn ihre eigenen Anforderungen und alle Stufen darunter bestätigt sind. Einen Gesamtscore gibt es nicht.

Ergänzende Ergebnisse, etwa Abbildungen im Supplement, zählen eine Stufe tiefer: Ein fehlendes Skript für eine Supplement-Abbildung blockiert L2, nicht L1, und Lücken in ihrer Dokumentation blockieren L2 nie.

Was ein Befund blockiert

Jeder Befund sagt, was er blockiert. Ein Befund mit Needs evidence ist noch nicht geklärt; er senkt nie eine Stufe.

• Blockiert L1Einem Kernergebnis fehlt sein Code, eine Eingabe oder die nötige Software.
• Blockiert L2Der Ablauf hinter einem Kernergebnis oder seine Übereinstimmung mit dem Paper reicht nicht.
• Blockiert AutomatisierungFür alle Schritte fehlt ein einziger Befehl mit fixierter Umgebung und Seeds.
• WarnungLohnt sich zu beheben, blockiert aber keine Stufe: ein Platzhalter-Link in der Dokumentation, auskommentierte Schritte, ungenutzte Skripte oder Dateien, ein externer Dienst, eine undefinierte Umgebung der Ergebnisse, parallele Worker ohne reproduzierbare Zufallsströme. Befunde zu Zeitschriftenrichtlinien und guter Praxis sind immer Warnungen.

Prüfumfang

Jede Prüfung hat einen Prüfumfang. Eine Materials-Prüfung vergibt höchstens L1 und markiert die Anforderungen für L2 als „Not assessed in this scope“. Eine Materials and workflow-Prüfung bewertet zusätzlich Dokumentation und Automatisierung und vergleicht Paper und Code: Methoden, Parameter, Statistik und berichtete Zahlen jedes Kernergebnisses. Sie kann L2 vergeben.

Stufen und Bereiche

Zwei Bereiche entscheiden über die Stufe: Materialien für L1 und Dokumentation für L2. Ein bestätigter Widerspruch zum Manuskript blockiert ebenfalls L2. Die übrigen Bereiche stehen neben der Stufe.

Was eine Prüfung umfasst

Eine Prüfung liest Code, Paper, Daten und Dokumentation; der Code wird nicht ausgeführt. Eine Analyse ab verarbeiteten Daten belegt nicht, wie die Rohdaten aufbereitet wurden. Eine CSV kann das wissenschaftliche Ergebnis enthalten: Fehlender rein gestalterischer Plot-Code ist allein keine Lücke, Statistik in einem Plot-Skript gehört aber zur Analyse.

Verwandte Rahmenwerke

ACM und NISO erkennen einzelne Eigenschaften von Artefakten und Ergebnissen an; ihre Badges bilden keine nummerierte Leiter. Die Hinweise erklären Gemeinsamkeiten, keine Gleichwertigkeit oder externe Anerkennung.

L4 ist unsere vorgeschlagene Robustheitserweiterung, gebunden an ein akzeptiertes Prüfprotokoll. Keines dieser Rahmenwerke bietet eine universelle Stufe „robuste Ergebnisse“, die sich einfach übernehmen ließe.