I tuoi dati vengono letti e scritti su questo dispositivo. Niente viene caricato. Trasforma un foglio di calcolo di domande e risposte in un file di addestramento JSONL, oppure controlla che un file JSONL esistente sia valido prima di usarlo. È gratis e privato.
Come creare un dataset
- Apri la scheda Crea un dataset e scegli il formato: Chat o Completion.
- Premi Apri CSV oppure incolla in Testo CSV. Prova un esempio carica righe di esempio.
- Spunta La prima riga è un'intestazione, poi scegli la colonna Prompt, la colonna Risposta e, se ne hai una, la colonna System.
- Aggiungi altre righe con Aggiungi esempio se vuoi.
- Controlla i conteggi di esempi, token stimati, errori e avvisi.
- Premi Copia o Scarica .jsonl.
Come controllare un file JSONL
- Apri la scheda Controlla un file JSONL.
- Premi Apri .jsonl oppure incolla in Testo JSONL.
- Imposta il Formato previsto, oppure scegli Determinalo dal file.
- Leggi quanti record ci sono e quanti sono senza errori.
- Premi Scarica il report CSV per l'elenco completo dei problemi.
Formati chat e completion
I dataset di chat hanno un oggetto JSON per riga con un elenco messages: un messaggio di sistema facoltativo, poi turni di utente e assistente, che finiscono con la risposta che vuoi che il modello impari. I dataset completion hanno un prompt e un completion su ogni riga. La maggior parte dei servizi di fine-tuning attuali si aspetta il formato chat; alcuni strumenti di valutazione e servizi più vecchi usano prompt e completion.
Cosa cerca il controllo
Righe che non sono JSON valido, righe che non sono un solo oggetto, messaggi mancanti o vuoti, ruoli sconosciuti, contenuto vuoto, esempi senza risposta dell'assistente, messaggi di sistema nel mezzo, lo stesso ruolo due volte di fila, messaggi di strumento senza tool_call_id, formati misti, righe duplicate e righe vuote. Gli errori di solito fanno fallire un upload; gli avvisi vale la pena guardarli ma possono andare bene.
Consigli per un buon dataset
- Fai in modo che le risposte siano esattamente nello stile che vuoi far copiare al modello.
- Mantieni coerenti gli esempi. Stili misti insegnano comportamenti misti.
- Rimuovi duplicati ed errori prima di creare il file.
- Tieni da parte un insieme separato di esempi con cui provare in seguito.
- Non includere mai dati privati che non vorresti comparissero in una risposta.
Chi lo usa
Sviluppatori e piccoli team che preparano esempi di addestramento, analisti che convertono un foglio di calcolo in JSONL e freelance che consegnano dati per un cliente. Per stimare il costo, prova lo stimatore dei costi AI, e per provare le risposte usa la verifica dello schema delle risposte AI.
Domande
Come dovrebbe essere il mio CSV?
Un esempio per riga, con una colonna per il prompt e una per la risposta, e facoltativamente una colonna per un messaggio di sistema. Le colonne chiamate prompt, question o input e completion, answer o output vengono riconosciute automaticamente; puoi cambiare la scelta dagli elenchi.
Di quanti esempi ho bisogno?
I fornitori di solito ne chiedono almeno dieci, e i risultati tendono a migliorare con da cinquanta a qualche centinaio di esempi chiari e coerenti. La qualità conta più della quantità.
I conteggi dei token sono esatti?
No, sono stime a circa quattro caratteri per token più qualche token per ogni messaggio, abbastanza vicine per valutare il costo e individuare esempi troppo lunghi.
Può controllare un file molto grande?
Sì. I file con decine di migliaia di righe vengono controllati in un attimo. Il report elenca i primi 1.000 problemi sullo schermo e tutti i problemi nel CSV.