Dosyalar bu cihazda okunur ve bölünür. Hiçbir şey yüklenmez. Metin yapıştırın veya bir dosya açın, bir parça boyutu seçin ve kopyalayabileceğiniz veya JSONL olarak indirebileceğiniz düzgün parçalar alın. Ücretsizdir ve gizlidir.
Parçalamanın amacı
Dil modelleri bir seferde yalnızca belirli bir miktar okuyabilir ve arama araçları küçük, odaklı pasajlarda en iyi çalışır. Uzun bir belgeyi parçalara bölmek onu modele parça parça vermenizi, aranabilir bir bilgi tabanı kurmanızı veya getirme için veri hazırlamanızı sağlar. İyi yapmak, kendi başına duran ve bir fikri ortadan kesmeyen parçalar demektir.
Bir belge nasıl bölünür
- Metninizi Bölünecek metin alanına yapıştırın veya Bir dosya aç'ı kullanın. Bir örnek dene örnek metin yükler.
- Token mı Karakter mi cinsinden ölçüleceğini seçin.
- Parça boyutunu ve Örtüşmeyi ayarlayın.
- Doğal kesmeler veya Tam boyut seçin.
- İsteğe bağlı olarak Her Markdown başlığında yeni parça'yı açın.
- Sayıları kontrol edin: parçalar, ortalama boyut, en küçük ve en büyük. Önizlemeyi kaydırmak için Daha fazla parça göster'i kullanın.
- JSONL'yi kopyala'ya veya JSONL indir'e basın.
Parça boyutu seçme
Arama ve getirme için yaklaşık 200 ila 800 token'lık parçalar iyi çalışır: tam bir düşünceyi tutacak kadar büyük, bir eşleşmenin doğru yeri göstermesi için yeterince küçük. Yüzde 10 ila 20 örtüşme, bir sınıra denk gelen cümleyi her iki parçada da okunabilir tutar. Uzun bir belgeyi parçalar halinde özetlemek için modelin bir seferde okuyabildiğine yakın, cevabına yer bırakılmış parçalar kullanın.
Doğal kesmeler veya tam boyut
Doğal kesmeler, sığdıkları sürece paragrafları ve cümleleri bütün tutar, böylece her parça temiz okunur. Tam boyut her parçayı sınıra olabildiğince yakın doldurur; bu daha eşit parçalar verir ama cümlenin ortasında kesme pahasınadır. Markdown başlıkları açıkken her bölüm yeni bir parça başlatır ve Kılavuz > Kurulum gibi başlık yolunu kaydeder.
Desteklenen dosyalar
Metin, Markdown, HTML, JSON, CSV ve günlük dosyalarını ve metin katmanı olan PDF'leri açabilirsiniz. PDF'ler için sayfa numaraları kaydedilir, böylece bir parçayı sayfasına kadar izleyebilirsiniz.
İyi sonuç için ipuçları
- Hâlâ tam bir fikri bir arada tutan en küçük boyutu kullanın. Daha küçük parçalar daha keskin arama sonuçları verir.
- Düzyazı için biraz örtüşme tutun, tablolar veya listeler için çok az ya da hiç.
- Kılavuzlar, notlar ve belgeler için Markdown başlık seçeneğini kullanın. Başlık yolu her parçayla birlikte gider ve ona bağlam verir.
- Özetteki en küçük ve en büyük parçaya bakın. Çok küçük bir parça genellikle önce temizlemeye değer başıboş bir başlığı veya kısa bir satırı gösterir.
Kimler kullanır
Uzun bir okumayı parçalar halinde özetlemek için bölen öğrenciler, aramaya müşteri belgeleri hazırlayan serbest çalışanlar ve bir yardım masası bilgi tabanı kuran küçük ekipler. Bir belgenin işlenmesinin ne kadara mal olacağını kontrol etmek için yapay zeka maliyet tahmincisini deneyin.
Sorular
JSONL dosyasında ne var?
Parça başına bir satır: bir kimlik, metin, numarası, özgün metindeki başlangıç ve bitiş konumu, token veya karakter cinsinden boyutu, Markdown için başlık yolu, PDF için sayfa numaraları ve dosya adı.
Hangi token sayıları kullanılıyor?
Kesin sayımlar açıkken token'lar o200k tokenleştiriciyle sayılır. Diğer modeller biraz farklı sayar, bu yüzden katı bir sınıra yakınsanız biraz pay bırakın.
Taranmış PDF'leri okuyabilir mi?
Bir PDF'nin metin katmanını okur. Taranmış bir PDF'nin metin katmanı yoktur; önce aranabilir PDF aracından geçirin, sonra sonucu burada açın.
Ne kadar büyük bir dosyayı işleyebilir?
Uzun kitaplar ve raporlar sorun değildir. Çok büyük dosyalar birkaç saniye sürer ve önizleme ilk parçaları, daha fazlasını göstermek için bir düğmeyle gösterir; indirme her zaman her parçayı içerir.
JSONL nedir?
Satır başına bir JSON nesnesi olan düz metin biçimidir. Çoğu veri aracı ve içe aktarma betiği okuyabilir ve bir metin düzenleyicide açmak kolaydır.