Zum Inhalt springen

Leitfaden

Reproduzier­barkeits-Checkliste vor der Einreichung

18 Punkte, die Ihr Repository vor der Einreichung abdecken sollte, jeweils mit Richtlinien von Fachzeitschriften und einer RepoReady-Prüfung.

Repository prüfen

Zuletzt aktualisiert

Softwareumgebung

  1. Jede Abhängigkeit auf eine feste Version fixieren

    Committen Sie eine Lock-Datei oder exakte Versionen und nennen Sie die Sprachversion.

    Richtlinien
    PrüfungEnvironment & Dependencies
  2. Hardware, Betriebssystem und Rechenzeit dokumentieren

    Nennen Sie CPU oder GPU, Arbeitsspeicher, Betriebssystem und Rechenzeit jedes Experiments.

    Richtlinien
    PrüfungEnvironment & Dependencies

Daten

  1. Für jeden Datensatz den Bezugsweg angeben

    Quelle, Accession-Nummer oder URL, Version, Lizenz und Zugangsschritte, am besten als Download-Skript.

    PrüfungData Provenance
  2. Beschränkte Daten erklären und Ersatzdaten beilegen

    Begründen Sie die Beschränkung, beschreiben Sie den Zugang und legen Sie synthetische Beispieldaten bei.

    Richtlinien
    PrüfungData Provenance
  3. Vorverarbeitungscode beilegen, nicht nur Ergebnisdaten

    Jeder Schritt von den Rohdaten zu den Analysedaten liegt als Skript im Repository.

    Richtlinien
    PrüfungData Provenance

Code und Einstiegspunkte

  1. Code für jedes berichtete Ergebnis beilegen

    Zahlen, Abbildungen und Tabellen, einschließlich Simulationen und Vergleichsmethoden.

    PrüfungPaper–Code Alignment
  2. Nur relative Pfade verwenden

    Lesen Sie Speicherorte aus einer Konfigurationsdatei oder einem Kommandozeilenargument.

    Richtlinien
    PrüfungReproducibility & Entry Points
  3. Einen dokumentierten Einstiegspunkt bereitstellen

    Ein Makefile, Workflow oder Skript, das alle Schritte der Reihe nach ausführt, samt Startbefehl.

    Richtlinien
    PrüfungReproducibility & Entry Points

Zufall und Statistik

  1. Seeds setzen, festhalten und berichten

    Setzen Sie Seeds für jeden Zufallsgenerator, machen Sie sie konfigurierbar und nennen Sie sie im Manuskript.

    Richtlinien
    PrüfungDeterminism & Reproducible Randomness
  2. Anzahl der Durchläufe und Streuung berichten

    Durchläufe oder Seeds pro Ergebnis, mit Fehlerbalken oder Konfidenzintervallen und deren Berechnung.

    Richtlinien
    PrüfungStatistical Soundness

Ausgaben und Abbildungen

  1. Jede Abbildung und Tabelle ihrem Skript zuordnen

    Eine Tabelle im README mit Element im Manuskript, Skript, Eingabe und Ausgabe.

    Richtlinien
    PrüfungCross-Consistency (Paper ↔ Code)
  2. Ausgaben an feste, dokumentierte Orte schreiben

    Speichern Sie Abbildungen, Tabellen, Metriken und Logs mit Konfiguration und Seed.

    Richtlinien
    PrüfungResearch Traceability

Dokumentation

  1. Ein README vom Klonen bis zu den Ergebnissen schreiben

    Zweck, Installation, Ausführung, erwartete Ausgaben und eine Übersicht des Repositorys.

    Richtlinien
    PrüfungDocumentation Quality
  2. Im Code auf das Manuskript verweisen

    Kommentieren Sie Methodencode mit dem Abschnitt, der Gleichung, Abbildung oder Tabelle dazu.

    Richtlinien
    PrüfungResearch Traceability

Lizenz, Archiv, Zitation

  1. Eine Open-Source-Lizenz hinzufügen

    Eine LICENSE-Datei im Hauptverzeichnis zeigt anderen, wie sie den Code nachnutzen dürfen.

    PrüfungLicensing & Citation
  2. Die Version zum Manuskript mit DOI archivieren

    Release erstellen, mit DOI archivieren, zitieren und CITATION.cff ergänzen. Leitfaden

    PrüfungLicensing & Citation

Abgleich mit dem Manuskript

  1. Das Code Availability Statement schreiben

    Repository-URL, Archiv-DOI, Version, Lizenz und etwaige Zugangsbeschränkungen. Leitfaden

    PrüfungLicensing & Citation
  2. Prüfen, ob Manuskript und Code übereinstimmen

    Methoden, Datenaufteilung, Hyperparameter, Seeds und Zahlen passen zu Code und Ausgaben. Leitfaden

    Richtlinien
    PrüfungCross-Consistency (Paper ↔ Code)

Checkliste als Markdown kopieren

Fügen Sie sie in ein Issue oder Ihr README ein und haken Sie Punkte ab.

checklist.md
# Checkliste zur Reproduzierbarkeit vor der Einreichung

Quelle: https://repoready.ai/de/checklist

## Softwareumgebung

- [ ] Jede Abhängigkeit auf eine feste Version fixieren
  Committen Sie eine Lock-Datei oder exakte Versionen und nennen Sie die Sprachversion.
- [ ] Hardware, Betriebssystem und Rechenzeit dokumentieren
  Nennen Sie CPU oder GPU, Arbeitsspeicher, Betriebssystem und Rechenzeit jedes Experiments.

## Daten

- [ ] Für jeden Datensatz den Bezugsweg angeben
  Quelle, Accession-Nummer oder URL, Version, Lizenz und Zugangsschritte, am besten als Download-Skript.
- [ ] Beschränkte Daten erklären und Ersatzdaten beilegen
  Begründen Sie die Beschränkung, beschreiben Sie den Zugang und legen Sie synthetische Beispieldaten bei.
- [ ] Vorverarbeitungscode beilegen, nicht nur Ergebnisdaten
  Jeder Schritt von den Rohdaten zu den Analysedaten liegt als Skript im Repository.

## Code und Einstiegspunkte

- [ ] Code für jedes berichtete Ergebnis beilegen
  Zahlen, Abbildungen und Tabellen, einschließlich Simulationen und Vergleichsmethoden.
- [ ] Nur relative Pfade verwenden
  Lesen Sie Speicherorte aus einer Konfigurationsdatei oder einem Kommandozeilenargument.
- [ ] Einen dokumentierten Einstiegspunkt bereitstellen
  Ein Makefile, Workflow oder Skript, das alle Schritte der Reihe nach ausführt, samt Startbefehl.

## Zufall und Statistik

- [ ] Seeds setzen, festhalten und berichten
  Setzen Sie Seeds für jeden Zufallsgenerator, machen Sie sie konfigurierbar und nennen Sie sie im Manuskript.
- [ ] Anzahl der Durchläufe und Streuung berichten
  Durchläufe oder Seeds pro Ergebnis, mit Fehlerbalken oder Konfidenzintervallen und deren Berechnung.

## Ausgaben und Abbildungen

- [ ] Jede Abbildung und Tabelle ihrem Skript zuordnen
  Eine Tabelle im README mit Element im Manuskript, Skript, Eingabe und Ausgabe.
- [ ] Ausgaben an feste, dokumentierte Orte schreiben
  Speichern Sie Abbildungen, Tabellen, Metriken und Logs mit Konfiguration und Seed.

## Dokumentation

- [ ] Ein README vom Klonen bis zu den Ergebnissen schreiben
  Zweck, Installation, Ausführung, erwartete Ausgaben und eine Übersicht des Repositorys.
- [ ] Im Code auf das Manuskript verweisen
  Kommentieren Sie Methodencode mit dem Abschnitt, der Gleichung, Abbildung oder Tabelle dazu.

## Lizenz, Archiv, Zitation

- [ ] Eine Open-Source-Lizenz hinzufügen
  Eine LICENSE-Datei im Hauptverzeichnis zeigt anderen, wie sie den Code nachnutzen dürfen.
- [ ] Die Version zum Manuskript mit DOI archivieren
  Release erstellen, mit DOI archivieren, zitieren und CITATION.cff ergänzen.

## Abgleich mit dem Manuskript

- [ ] Das Code Availability Statement schreiben
  Repository-URL, Archiv-DOI, Version, Lizenz und etwaige Zugangsbeschränkungen.
- [ ] Prüfen, ob Manuskript und Code übereinstimmen
  Methoden, Datenaufteilung, Hyperparameter, Seeds und Zahlen passen zu Code und Ausgaben.

Prüfen Sie Ihr Repository auf diese Punkte

Erhalten Sie vor der Einreichung einen Score von 0–⁠100 und Befunde mit Korrekturvorschlägen.