File dibaca dan dipecah di perangkat ini. Tidak ada yang diunggah. Tempel teks atau buka file, pilih ukuran potongan, dan dapatkan potongan rapi yang bisa disalin atau diunduh sebagai JSONL. Gratis dan privat.
Untuk apa pemotongan
Model bahasa hanya bisa membaca sekian banyak sekaligus, dan alat pencarian bekerja paling baik pada bagian kecil yang terfokus. Memecah dokumen panjang menjadi potongan memungkinkan Anda memasukkannya ke model per bagian, membangun basis pengetahuan yang bisa dicari, atau menyiapkan data untuk pengambilan. Melakukannya dengan baik berarti potongan yang berdiri sendiri dan tidak memotong gagasan menjadi dua.
Cara memecah dokumen
- Tempel teks Anda ke Teks yang dipecah, atau gunakan Buka file. Coba contoh memuat teks contoh.
- Pilih apakah mengukur dalam Token atau Karakter.
- Atur Ukuran potongan dan Tumpang tindih.
- Pilih Jeda alami atau Ukuran persis.
- Opsional, aktifkan Potongan baru di setiap judul Markdown.
- Periksa angkanya: potongan, ukuran rata-rata, terkecil, dan terbesar. Gunakan Tampilkan lebih banyak potongan untuk menggulir pratinjau.
- Tekan Salin JSONL atau Unduh JSONL.
Memilih ukuran potongan
Untuk pencarian dan pengambilan, potongan sekitar 200 sampai 800 token bekerja baik: cukup besar untuk memuat pikiran lengkap, cukup kecil agar kecocokan menunjuk tempat yang benar. Tumpang tindih 10 sampai 20 persen menjaga kalimat yang jatuh di batas tetap terbaca di kedua potongan. Untuk meringkas dokumen panjang dalam bagian, gunakan potongan yang mendekati apa yang bisa dibaca model sekaligus, dikurangi ruang untuk jawabannya.
Jeda alami atau ukuran persis
Jeda alami menjaga paragraf dan kalimat tetap utuh jika muat, jadi setiap potongan terbaca bersih. Ukuran persis mengisi setiap potongan sedekat mungkin dengan batas, yang memberi potongan lebih rata dengan konsekuensi memotong di tengah kalimat. Dengan judul Markdown aktif, setiap bagian memulai potongan baru dan mencatat path judulnya, seperti Panduan > Instal.
File yang didukung
Anda bisa membuka file teks, Markdown, HTML, JSON, CSV, dan log, serta PDF yang memiliki lapisan teks. Nomor halaman dicatat untuk PDF agar Anda bisa melacak potongan kembali ke halamannya.
Tips untuk hasil terbaik
- Gunakan ukuran terkecil yang masih menjaga satu gagasan utuh. Potongan lebih kecil memberi hasil pencarian lebih tajam.
- Pertahankan sedikit tumpang tindih untuk prosa, dan sedikit atau tanpa untuk tabel atau daftar.
- Gunakan opsi judul Markdown untuk manual, catatan, dan dokumentasi. Path judul ikut setiap potongan dan memberinya konteks.
- Lihat potongan terkecil dan terbesar di ringkasan. Potongan yang sangat kecil biasanya berarti judul liar atau baris pendek yang layak dirapikan dulu.
Siapa yang memakainya
Siswa yang memecah bacaan panjang untuk meringkasnya per bagian, freelancer yang menyiapkan dokumen klien untuk pencarian, dan tim kecil yang membangun basis pengetahuan help-desk. Untuk memeriksa berapa biaya memproses dokumen, coba penaksir biaya AI.
Pertanyaan
Apa isi file JSONL?
Satu baris per potongan dengan id, teks, nomornya, posisi awal dan akhir di teks asli, ukurannya dalam token atau karakter, jalur judul untuk Markdown, nomor halaman untuk PDF, dan nama file.
Jumlah token mana yang dipakai?
Dengan jumlah eksak aktif, token dihitung dengan tokenizer o200k. Model lain menghitung sedikit berbeda, jadi sisakan ruang jika Anda mendekati batas keras.
Bisakah membaca PDF hasil pindai?
Alat ini membaca lapisan teks PDF. PDF hasil pindai tidak punya lapisan teks; jalankan dulu melalui alat PDF yang bisa dicari, lalu buka hasilnya di sini.
Seberapa besar file yang bisa ditangani?
Buku dan laporan panjang tidak masalah. File yang sangat besar butuh beberapa detik, dan pratinjau menampilkan potongan pertama dengan tombol untuk menampilkan lebih banyak; unduhan selalu berisi setiap potongan.
Apa itu JSONL?
Ini format teks biasa dengan satu objek JSON per baris. Sebagian besar alat data dan skrip impor bisa membacanya, dan mudah dibuka di editor teks.