Zum Inhalt springen
snowkitAI

Einen JSONL-Datensatz prüfen, Zeile für Zeile

Füge eine JSONL-Datei ein oder öffne sie und sieh jedes Problem, das einen Upload scheitern ließe, mit der Zeile, in der es steht.

Format

Aus einer CSV

Eingegebene Beispiele

Datensatz

0Beispiele
0gesch. Tokens
0Fehler
0Warnungen

                

    Deine Daten werden auf diesem Gerät gelesen und geschrieben. Nichts wird hochgeladen. Wandle eine Tabelle mit Fragen und Antworten in eine JSONL-Trainingsdatei um oder prüfe, ob eine vorhandene JSONL-Datei gültig ist, bevor du sie nutzt. Kostenlos und privat.

    So erstellst du einen Datensatz

    1. Öffne den Tab Datensatz erstellen und wähle das Format: Chat oder Completion.
    2. Klick auf CSV öffnen oder füge Text unter CSV-Text ein. Beispiel ausprobieren lädt Beispielzeilen.
    3. Setz einen Haken bei Erste Zeile ist Kopfzeile und wähle dann die Prompt-Spalte, die Antwort-Spalte und, falls vorhanden, die System-Spalte.
    4. Füge bei Bedarf mit Beispiel hinzufügen weitere Zeilen hinzu.
    5. Prüfe die Zahlen für Beispiele, geschätzte Tokens, Fehler und Warnungen.
    6. Klick auf Kopieren oder .jsonl herunterladen.

    So prüfst du eine JSONL-Datei

    1. Öffne den Tab „JSONL-Datei prüfen“.
    2. Klicke auf „.jsonl öffnen“ oder füge in „JSONL-Text“ ein.
    3. Lege das erwartete Format fest oder wähle „Aus der Datei ermitteln“.
    4. Lies ab, wie viele Datensätze es gibt und wie viele ohne Fehler sind.
    5. Klicke auf „Bericht als CSV herunterladen“ für die vollständige Liste der Probleme.

    Chat- und Completion-Formate

    Chat-Datensätze haben pro Zeile ein JSON-Objekt mit einer messages-Liste: eine optionale Systemnachricht, dann Nutzer- und Assistenten-Beiträge, die mit der Antwort enden, die das Modell lernen soll. Completion-Datensätze haben pro Zeile einen prompt und eine completion. Die meisten aktuellen Fine-Tuning-Dienste erwarten das Chat-Format; manche Evaluierungstools und ältere Dienste nutzen prompt und completion.

    Worauf die Prüfung achtet

    Zeilen, die kein gültiges JSON sind, Zeilen, die kein einzelnes Objekt sind, fehlende oder leere Nachrichten, unbekannte Rollen, leerer Inhalt, Beispiele ohne Assistentenantwort, Systemnachrichten mittendrin, dieselbe Rolle zweimal hintereinander, Tool-Nachrichten ohne tool_call_id, gemischte Formate, doppelte Zeilen und Leerzeilen. Fehler lassen einen Upload meist scheitern; Warnungen sind einen Blick wert, können aber in Ordnung sein.

    Tipps für einen guten Datensatz

    • Mach die Antworten genau in dem Stil, den das Modell nachahmen soll.
    • Halte die Beispiele einheitlich. Gemischte Stile lehren gemischtes Verhalten.
    • Entferne Duplikate und Fehler, bevor du die Datei erstellst.
    • Halte einen separaten Satz Beispiele zurück, um danach damit zu testen.
    • Nimm nie private Daten auf, die du nicht in einer Antwort sehen wollen würdest.

    Für wen

    Entwickler und kleine Teams, die Trainingsbeispiele vorbereiten, Analysten, die eine Tabelle in JSONL umwandeln, und Freiberufler, die Daten für einen Kunden liefern. Um die Kosten zu schätzen, probiere den KI-Kostenschätzer, und um Antworten zu testen, die Schemaprüfung für KI-Antworten.

    Fragen

    Wie sollte meine CSV aussehen?

    Ein Beispiel pro Zeile, mit einer Spalte für den Prompt und einer für die Antwort, optional mit einer Spalte für eine Systemnachricht. Spalten namens prompt, question oder input sowie completion, answer oder output werden automatisch erkannt; du kannst die Auswahl in den Listen ändern.

    Wie viele Beispiele brauche ich?

    Anbieter verlangen meist mindestens zehn, und die Ergebnisse werden mit fünfzig bis einigen hundert klaren, einheitlichen Beispielen oft besser. Qualität zählt mehr als Menge.

    Sind die Token-Zahlen exakt?

    Nein, es sind Schätzungen mit etwa vier Zeichen pro Token plus ein paar Tokens pro Nachricht. Das reicht, um die Kosten einzuschätzen und viel zu lange Beispiele zu erkennen.

    Kann es eine sehr große Datei prüfen?

    Ja. Dateien mit zehntausenden Zeilen sind im Nu geprüft. Der Bericht zeigt die ersten 1.000 Probleme auf dem Bildschirm und alle Probleme in der CSV.

    Wie geht’s weiter

    Mach mit deinem Ergebnis weiter, weiterhin auf deinem Gerät.

    Mehr von Snowkit