Zum Inhalt springen
RepoReady
Registrieren
Menü
Menü der Dokumentation

Integrität: Paper und Code stimmen überein

RepoReady vergleicht, was das Paper sagt, mit dem, was Code und gespeicherte Ausgaben tun. Ein bestätigter Widerspruch bei einem Kernergebnis begrenzt die Stufe auf L1: Ein erneuter Lauf reproduzierte den Code, nicht das Paper.

Zuletzt aktualisiert

Der Code filtert bei 300 Genen, das Paper nennt 200: ein Widerspruch, der die Stufe auf L1 begrenzt.
Bezug zur StufeBegrenzt auf L1

Paper und Code werden getrennt überarbeitet, und Details driften auseinander: Gutachtende wünschen einen einseitigen Test, der Text ändert sich, das Skript nicht. Eine Materials and workflow-Prüfung vergleicht beide für jedes Kernergebnis; ein Widerspruch bei einem ergänzenden Ergebnis ist eine Warnung und begrenzt die Stufe nie.

Outputs correspond to the reported results

Was zählt
Der Code hinter jedem Kernergebnis setzt Methode, Parameter und Statistik aus dem Paper um: Modell und Gleichungen, Schwellen, Test, Seitigkeit, Korrektur, Intervalle und n.
Häufige Lücken
Das Paper nennt Louvain, der Code nutzt Leiden; fünf Seeds genannt, drei gerechnet; ein einseitiger Test berichtet, ein zweiseitiger berechnet.
So beheben Sie es
Überarbeiten Sie Text und Code gemeinsam, sodass jede Änderung im Methodenteil mit dem Commit kommt, der sie umsetzt, und erzeugen Sie betroffene Ergebnisse neu.

Datenaufbereitung und Splits

Was zählt
Jeder Ausschluss, jeder ersetzte Wert, jede Transformation und Ausrichtung im Code steht im Methodenteil, und Train/Test-Split oder Stichprobenauswahl sind die genannten.
Häufige Lücken
Stillschweigend entfernte Proben, fehlende Werte als Nullen, verschobene Zeilen oder ein Testset, das sich mit den Trainingsdaten überschneidet.
So beheben Sie es
Beschreiben Sie jeden Aufbereitungsschritt im Methodenteil. Erzeugen Sie Splits einmal, speichern Sie die Kennungen des Testsets und lassen Sie jedes Modell dieselbe Datei lesen:
R
set.seed(2026)
folds <- rsample::vfold_cv(cohort, v = 5, strata = outcome)
saveRDS(folds, "data/processed/cv_folds.rds")

# every model script, your method and baselines alike:
folds <- readRDS("data/processed/cv_folds.rds")

Berichtete Werte

Was zählt
Jede berichtete Zahl folgt aus dem geteilten Code oder seinen gespeicherten Ausgaben, und jede Größe ist so berechnet, wie das Paper sie definiert.
Häufige Lücken
Gerundete Werte, von Hand aus einer Notebook-Ausgabe übernommen, die es nicht mehr gibt, oder eine Rate über ein anderes Zeitfenster als definiert.
So beheben Sie es
Speichern Sie jeden berichteten Wert mit dem Skript, das ihn berechnet, und ergänzen Sie einen Test, der ihn mit dem Paper vergleicht:
tests/test_paper_values.py
import json

def test_table2_auroc_matches_paper():
    with open("results/claims/table2_auroc.json") as fh:
        result = json.load(fh)
    assert 0.90 <= result["mean"] <= 0.92  # the paper reports 0.91

Paper, Daten und Dokumentation stimmig

Was zählt
Das Paper nennt jeden Wert einheitlich, jede Probe, jeder Datensatz und jede Version hat einen Namen, Verweise zeigen aufs richtige Ziel, und Dokumentation passt zu Code und Paper.
Häufige Lücken
Legende und Methodenteil mit verschiedenen Schwellen, ein Stamm mit zwei Namen, eine fehlerhafte Ontologie-ID oder ein README, das eine ältere Pipeline beschreibt.
So beheben Sie es
Diese Befunde sind Warnungen und ändern die Stufe nie. Korrigieren Sie die jeweils zitierte Stelle und verwenden Sie je Element einen Namen in Paper, Depots und Code.

Sehen Sie, wo Ihr Projekt steht

Starten Sie die Analyse für Ihr Paper oder Repository. Jeder Befund nennt seinen Bereich und verweist hierher.

Jetzt starten