Prüfe einen Stapel KI-Antworten gegen dein Schema

Die Prüfung geschieht auf diesem Gerät. Dein Schema und deine Antworten werden nie hochgeladen. Füge ein JSON Schema und einen Stapel KI-Antworten ein, und Snowkit zeigt, welche Antworten bestehen, welche durchfallen und genau warum. Kostenlos und privat.

Warum Antworten im Stapel prüfen

Modelle, die strukturierte Ausgabe liefern sollen, treffen sie meist richtig, aber nicht immer: ein fehlendes Feld, eine als Text gesendete Zahl, ein Wert außerhalb der erlaubten Liste oder JSON, eingepackt in einen Satz. Wenn du einen Stapel echter Antworten durch dein Schema laufen lässt, siehst du, wie oft das passiert und welche Regeln das Modell stolpern lassen, bevor das Problem deine Nutzer erreicht.

Es hilft auch, wenn du einen Prompt änderst. Lass denselben Satz Antworten vorher und nachher laufen und vergleiche, wie viele bestehen.

So prüfst du einen Stapel Antworten

1. Füge dein JSON Schema ein oder lade mit „Schema öffnen“ eine .json-Datei. Noch kein Schema? Klicke nach Schritt 2 auf „Aus erster Antwort erstellen“.
2. Füge deine Antworten in das Antwortfeld ein oder lade mit „Dateien öffnen“ mehrere auf einmal.
3. Wähle mit „Antworten trennen“, wie die Antworten getrennt sind: Eine pro Zeile (JSONL), Durch ---Zeilen getrennt oder Eine JSON-Liste.
4. Klicke auf „Auswerten“. Die Zusammenfassung zeigt, wie viele Antworten bestanden haben, durchgefallen sind oder gar kein JSON waren.
5. Wechsle zwischen „Alle Antworten“ und „Nur Probleme“, um dich auf das zu konzentrieren, was korrigiert werden muss.
6. Lade den CSV-Bericht herunter oder die bestandenen Antworten einzeln.

Nicht sicher, wo du anfangen sollst? „Beispiel ausprobieren“ lädt ein kleines Schema und Beispielantworten, damit du siehst, wie der Bericht aussieht.

Antworten einfügen

Füge eine Antwort pro Zeile ein, eine JSON-Liste von Antworten, durch Zeilen aus drei Strichen getrennte Antworten oder ein Chatprotokoll mit JSON in Codeblöcken. Öffne mehrere .json-Dateien auf einmal, und jede Datei zählt als eine Antwort; eine .jsonl-Datei zählt als eine Antwort pro Zeile. Bei akzeptierten Codeblöcken und Text wird JSON aus Antworten wie „Klar, hier ist es: ...“ übernommen.

Dateien mit den Endungen .json, .jsonl, .txt und .md lassen sich öffnen.

Die Ergebnisse lesen

• Bestandene Antworten erfüllen jede Regel deines Schemas.
• Durchgefallene Antworten sind gültiges JSON, verletzen aber mindestens eine Regel. Jedes Problem zeigt den Pfad innerhalb der Antwort und was falsch ist, etwa ein fehlendes Pflichtfeld oder ein Wert, der nicht in der erlaubten Liste steht.
• Antworten ohne JSON ließen sich gar nicht als JSON lesen, etwa weil das Modell in reiner Prosa geantwortet hat oder die Klammern nie geschlossen wurden.

Tipps für gute Ergebnisse

• Beginne streng und lockere dann. Ein enges Schema mit Pflichtfeldern, erlaubten Werten und ohne zusätzliche Eigenschaften fängt die meisten Probleme ab.
• Nutze echte Antworten, keine geglätteten. Die seltsamen Fehler sind der ganze Sinn.
• Prüfe mindestens ein paar Dutzend Antworten. Eine oder zwei verraten dir nicht, wie oft eine Regel durchfällt.
• Behebe zuerst das häufigste Problem. Wenn derselbe Pfad in vielen Antworten durchfällt, braucht der Prompt wahrscheinlich eine klarere Anweisung für dieses Feld.

Für wen

Entwickler, die Prompts testen, Freiberufler, die Automatisierungen für Kunden bauen, und kleine Teams, die Antworten von einem Modell sammeln und in eine Tabelle oder App einspeisen. Wenn du nur eine einzelne JSON-Datei aufräumen oder untersuchen willst, passen die JSON-Tools besser, und der Funktionsschema-Ersteller hilft dir, das Schema überhaupt zu schreiben.

Fragen

Welche Schema-Funktionen werden unterstützt?

Typen, Pflicht- und optionale Eigenschaften, additionalProperties, enum und const, Stringlänge, pattern und gängige Formate, Zahlenbereiche, Array-Elemente, Länge und Eindeutigkeit, allOf, anyOf, oneOf, not, if und then sowie lokale $ref-Definitionen. Damit sind die Schemas für strukturierte Ausgaben und Tool-Aufrufe abgedeckt.

Kann ich ein Schema bekommen, ohne selbst eins zu schreiben?

Aus erster Antwort erstellen baut eins aus einer bekannt guten Antwort. Verschärfe es danach, zum Beispiel indem du erlaubte Werte ergänzt oder optionale Felder entfernst.

Was steht im Bericht?

Die CSV enthält eine Zeile pro Problem mit der Antwortnummer, ihrer Zeile, dem Pfad innerhalb der Antwort und dem Fehler, dazu eine Zeile für jede bestandene Antwort. Bestandene Antworten herunterladen speichert nur die gültigen als JSONL.

Werden meine Antworten oder mein Schema irgendwohin gesendet?

Nein. Alles wird in deinem Browser geprüft. Es entstehen nur die Dateien, die du selbst herunterlädst.

Warum gilt eine Antwort nicht als JSON, obwohl sie richtig aussieht?

Häufige Ursachen sind ein Komma am Ende, einfache statt doppelter Anführungszeichen, eine fehlende schließende Klammer oder Text, der mit dem JSON vermischt ist. Kam die Antwort in einer Chat-Nachricht, prüfe, ob die Antworten so aufgeteilt sind, wie du es unter Antworten aufteilen gewählt hast.