Pliki są czytane i dzielone na tym urządzeniu. Nic nie jest przesyłane. Wklej tekst lub otwórz plik, wybierz rozmiar fragmentu i dostań schludne kawałki, które możesz skopiować lub pobrać jako JSONL. Jest darmowe i prywatne.
Do czego służy dzielenie na fragmenty
Modele językowe potrafią przeczytać naraz tylko tyle, a narzędzia wyszukiwania działają najlepiej na małych, skupionych fragmentach. Podzielenie długiego dokumentu na fragmenty pozwala podawać go modelowi po częściach, zbudować przeszukiwalną bazę wiedzy lub przygotować dane do wyszukiwania. Zrobienie tego dobrze oznacza fragmenty, które stoją same i nie przecinają myśli na pół.
Jak podzielić dokument
- Wklej tekst do Tekst do podziału albo użyj Otwórz plik. Wypróbuj przykład wczytuje przykładowy tekst.
- Wybierz, czy mierzyć w Tokenach, czy Znakach.
- Ustaw Rozmiar fragmentu i Nakładanie.
- Wybierz Naturalne podziały lub Dokładny rozmiar.
- Opcjonalnie włącz Nowy fragment przy każdym nagłówku Markdown.
- Sprawdź liczby: fragmenty, średni rozmiar, najmniejszy i największy. Użyj Pokaż więcej fragmentów, aby przewijać podgląd.
- Naciśnij Kopiuj JSONL lub Pobierz JSONL.
Wybór rozmiaru fragmentu
Do wyszukiwania fragmenty około 200 do 800 tokenów działają dobrze: dość duże, by zawierać pełną myśl, i dość małe, by dopasowanie wskazywało właściwe miejsce. Nakładanie 10 do 20 procent sprawia, że zdanie leżące na granicy jest czytelne w obu fragmentach. Do streszczania długiego dokumentu po częściach używaj fragmentów bliskich temu, co model może przeczytać naraz, minus miejsce na jego odpowiedź.
Naturalne podziały czy dokładny rozmiar
Naturalne podziały zachowują akapity i zdania w całości, kiedy tylko się mieszczą, więc każdy fragment czyta się czysto. Dokładny rozmiar wypełnia każdy fragment możliwie blisko limitu, co daje bardziej równe fragmenty kosztem cięcia w środku zdania. Przy włączonych nagłówkach Markdown każda sekcja zaczyna nowy fragment i zapisuje ścieżkę nagłówków, taką jak Guide > Install.
Obsługiwane pliki
Możesz otwierać pliki tekstowe, Markdown, HTML, JSON, CSV i logi oraz PDF-y zawierające warstwę tekstu. Numery stron są zapisywane dla PDF-ów, abyś mógł prześledzić fragment do jego strony.
Wskazówki dla dobrych wyników
- Użyj najmniejszego rozmiaru, który nadal trzyma całą myśl razem. Mniejsze fragmenty dają ostrzejsze wyniki wyszukiwania.
- Zachowaj trochę nakładania dla prozy, a niewiele lub wcale dla tabel i list.
- Użyj opcji nagłówków Markdown dla instrukcji, notatek i dokumentacji. Ścieżka nagłówków podróżuje z każdym fragmentem i daje mu kontekst.
- Spójrz na najmniejszy i największy fragment w podsumowaniu. Bardzo mały fragment zwykle oznacza zbłąkany nagłówek lub krótki wiersz, który warto najpierw posprzątać.
Kto z tego korzysta
Uczniowie dzielący długą lekturę, by streścić ją po częściach, freelancerzy przygotowujący dokumenty klientów do wyszukiwania i małe zespoły budujące bazę wiedzy dla helpdesku. Aby sprawdzić, ile będzie kosztować przetworzenie dokumentu, wypróbuj kalkulator kosztów AI.
Pytania
Co jest w pliku JSONL?
Jedna linia na fragment z identyfikatorem, tekstem, jego numerem, pozycją początku i końca w oryginalnym tekście, rozmiarem w tokenach lub znakach, ścieżką nagłówków dla Markdown, numerami stron dla PDF i nazwą pliku.
Jakie liczby tokenów są używane?
Przy włączonych dokładnych liczbach tokeny są liczone tokenizerem o200k. Inne modele liczą nieco inaczej, więc zostaw margines, jeśli jesteś blisko twardego limitu.
Czy może czytać zeskanowane pliki PDF?
Czyta warstwę tekstową PDF. Zeskanowany PDF nie ma warstwy tekstowej; przepuść go najpierw przez narzędzie przeszukiwalnego PDF, a potem otwórz wynik tutaj.
Jak duży plik może obsłużyć?
Długie książki i raporty nie stanowią problemu. Bardzo duże pliki trwają kilka sekund, a podgląd pokazuje pierwsze fragmenty z przyciskiem, by pokazać więcej; pobrany plik zawsze ma każdy fragment.
Czym jest JSONL?
To format zwykłego tekstu z jednym obiektem JSON w linii. Większość narzędzi do danych i skryptów importu potrafi go czytać, a łatwo go otworzyć w edytorze tekstu.