Data Anda dibaca dan ditulis di perangkat ini. Tidak ada yang diunggah. Ubah spreadsheet pertanyaan dan jawaban menjadi file pelatihan JSONL, atau periksa bahwa file JSONL yang ada valid sebelum Anda memakainya. Gratis dan privat.
Cara membangun dataset
- Buka tab Bangun dataset dan pilih format: Chat atau Completion.
- Tekan Buka CSV atau tempel ke teks CSV. Coba contoh memuat baris contoh.
- Centang Baris pertama adalah header, lalu pilih kolom Prompt, kolom Jawaban, dan, jika ada, kolom Sistem.
- Tambah baris lagi dengan Tambah contoh jika Anda mau.
- Periksa hitungan contoh, perkiraan token, kesalahan, dan peringatan.
- Tekan Salin atau Unduh .jsonl.
Cara memeriksa file JSONL
- Buka tab Periksa file JSONL.
- Tekan Buka .jsonl atau tempel ke teks JSONL.
- Atur Format yang diharapkan, atau pilih Tentukan dari file.
- Baca berapa banyak catatan dan berapa banyak yang tanpa kesalahan.
- Tekan Unduh CSV laporan untuk daftar lengkap masalah.
Format chat dan completion
Dataset chat memiliki satu objek JSON per baris dengan daftar messages: pesan sistem opsional, lalu giliran user dan assistant, berakhir dengan jawaban yang ingin dipelajari model. Dataset completion memiliki prompt dan completion di setiap baris. Sebagian besar layanan fine-tuning terkini mengharapkan format chat; beberapa alat evaluasi dan layanan lama memakai prompt dan completion.
Apa yang dicari pemeriksa
Baris yang bukan JSON valid, baris yang bukan satu objek, messages yang hilang atau kosong, peran tidak dikenal, isi kosong, contoh tanpa jawaban assistant, pesan sistem di tengah, peran yang sama dua kali berturut-turut, pesan tool tanpa tool_call_id, format campuran, baris duplikat, dan baris kosong. Kesalahan biasanya membuat unggahan gagal; peringatan layak dilihat tetapi mungkin tidak masalah.
Tips untuk dataset yang baik
- Buat jawaban persis sesuai gaya yang ingin ditiru model.
- Jaga contoh tetap konsisten. Gaya campuran mengajarkan perilaku campuran.
- Hapus duplikat dan kesalahan sebelum Anda membangun file.
- Simpan set contoh terpisah untuk diuji sesudahnya.
- Jangan pernah menyertakan data privat yang tidak ingin Anda lihat muncul di jawaban.
Siapa yang memakainya
Developer dan tim kecil yang menyiapkan contoh pelatihan, analis yang mengubah spreadsheet menjadi JSONL, dan freelancer yang menyerahkan data untuk klien. Untuk memperkirakan biaya, coba penaksir biaya AI, dan untuk menguji jawaban gunakan pemeriksa skema jawaban AI.
Pertanyaan
Seperti apa seharusnya CSV saya?
Satu contoh per baris, dengan satu kolom untuk prompt dan satu untuk jawaban, dan opsional satu kolom untuk pesan sistem. Kolom bernama prompt, question, atau input dan completion, answer, atau output dikenali otomatis; Anda bisa mengubah pilihan dari daftar.
Berapa banyak contoh yang saya butuhkan?
Penyedia biasanya meminta setidaknya sepuluh, dan hasil cenderung membaik dengan lima puluh hingga beberapa ratus contoh yang jelas dan konsisten. Kualitas lebih penting daripada jumlah.
Apakah jumlah tokennya tepat?
Tidak, itu perkiraan sekitar empat karakter per token ditambah beberapa token untuk setiap pesan, cukup dekat untuk menilai biaya dan menemukan contoh yang terlalu panjang.
Bisakah memeriksa file yang sangat besar?
Ya. File dengan puluhan ribu baris diperiksa dalam sekejap. Laporan mencantumkan 1.000 masalah pertama di layar dan semua masalah di CSV.