Je gegevens worden op dit apparaat gelezen en geschreven. Niets wordt geüpload. Zet een spreadsheet met vragen en antwoorden om in een JSONL-trainingsbestand, of controleer of een bestaand JSONL-bestand geldig is voordat je het gebruikt. Het is gratis en privé.
Hoe je een dataset bouwt
- Open het tabblad Een dataset bouwen en kies het formaat: Chat of Completion.
- Druk op CSV openen of plak in CSV-tekst. Probeer een voorbeeld laadt voorbeeldrijen.
- Vink De eerste rij is een koptekst aan en kies dan de Promptkolom, Antwoordkolom en, als je die hebt, Systeemkolom.
- Voeg meer rijen toe met Voorbeeld toevoegen als je wilt.
- Controleer de tellingen voor voorbeelden, geschatte tokens, fouten en waarschuwingen.
- Druk op Kopiëren of .jsonl downloaden.
Hoe je een JSONL-bestand controleert
- Open het tabblad Een JSONL-bestand controleren.
- Druk op .jsonl openen of plak in JSONL-tekst.
- Stel het Verwachte formaat in, of kies Uit het bestand afleiden.
- Lees hoeveel records er zijn en hoeveel zonder fouten.
- Druk op Rapport-CSV downloaden voor de volledige lijst met problemen.
Chat- en completionformaten
Chatdatasets hebben één JSON-object per regel met een lijst messages: een optioneel systeembericht, dan beurten van gebruiker en assistent, eindigend met het antwoord dat je het model wilt laten leren. Completiondatasets hebben op elke regel een prompt en een completion. De meeste huidige finetuningdiensten verwachten het chatformaat; sommige evaluatietools en oudere diensten gebruiken prompt en completion.
Waar de controle naar zoekt
Regels die geen geldige JSON zijn, regels die geen enkel object zijn, ontbrekende of lege berichten, onbekende rollen, lege inhoud, voorbeelden zonder antwoord van de assistent, systeemberichten in het midden, tweemaal dezelfde rol achter elkaar, toolberichten zonder tool_call_id, gemengde formaten, dubbele regels en lege regels. Fouten laten een upload meestal mislukken; waarschuwingen zijn het bekijken waard maar kunnen prima zijn.
Tips voor een goede dataset
- Maak de antwoorden precies in de stijl die het model moet kopiëren.
- Houd de voorbeelden consistent. Gemengde stijlen leren gemengd gedrag.
- Verwijder dubbelen en fouten voordat je het bestand bouwt.
- Houd een aparte set voorbeelden achter om daarna mee te testen.
- Neem nooit privégegevens op die je niet in een antwoord zou willen zien.
Wie gebruikt het
Ontwikkelaars en kleine teams die trainingsvoorbeelden voorbereiden, analisten die een spreadsheet in JSONL omzetten en freelancers die gegevens voor een klant leveren. Probeer de AI-kostenschatter om de kosten te schatten en de schemacontrole voor AI-antwoorden om antwoorden te testen.
Vragen
Hoe moet mijn CSV eruitzien?
Eén voorbeeld per rij, met een kolom voor de prompt en een voor het antwoord, en optioneel een kolom voor een systeembericht. Kolommen met de naam prompt, question of input en completion, answer of output worden automatisch herkend; je kunt de keuze in de lijsten wijzigen.
Hoeveel voorbeelden heb ik nodig?
Aanbieders vragen meestal om minstens tien, en resultaten worden doorgaans beter met vijftig tot enkele honderden duidelijke, consistente voorbeelden. Kwaliteit is belangrijker dan kwantiteit.
Zijn de tokenaantallen exact?
Nee, het zijn schattingen van ongeveer vier tekens per token plus een paar tokens per bericht, wat dicht genoeg ligt om de kosten te beoordelen en veel te lange voorbeelden op te sporen.
Kan het een heel groot bestand controleren?
Ja. Bestanden met tienduizenden regels worden in een oogwenk gecontroleerd. Het rapport toont de eerste 1.000 problemen op het scherm en alle problemen in de CSV.