Dateien werden auf diesem Gerät gelesen und geteilt. Nichts wird hochgeladen. Füge Text ein oder öffne eine Datei, wähle eine Chunk-Größe und erhalte saubere Stücke, die du kopieren oder als JSONL herunterladen kannst. Kostenlos und privat.
Wofür Chunking gut ist
Sprachmodelle können nur begrenzt viel auf einmal lesen, und Suchtools arbeiten am besten mit kleinen, fokussierten Passagen. Ein langes Dokument in Chunks zu teilen lässt dich es einem Modell in Teilen zuführen, eine durchsuchbare Wissensdatenbank aufbauen oder Daten für Retrieval vorbereiten. Gut gemacht heißt das Chunks, die für sich stehen und keine Idee in der Mitte durchschneiden.
So teilst du ein Dokument
- Füge deinen Text in „Zu teilender Text“ ein oder nutze „Datei öffnen“. „Beispiel ausprobieren“ lädt einen Beispieltext.
- Wähle, ob in Tokens oder Zeichen gemessen wird.
- Lege Chunk-Größe und Überlappung fest.
- Wähle „Natürliche Umbrüche“ oder „Exakte Größe“.
- Schalte optional „Neuer Chunk bei jeder Markdown-Überschrift“ ein.
- Prüfe die Zahlen: Chunks, durchschnittliche Größe, kleinster und größter. Mit „Mehr Chunks anzeigen“ scrollst du durch die Vorschau.
- Klicke auf „JSONL kopieren“ oder „JSONL herunterladen“.
Eine Chunk-Größe wählen
Für Suche und Retrieval funktionieren Chunks von etwa 200 bis 800 Tokens gut: groß genug für einen vollständigen Gedanken, klein genug, dass ein Treffer auf die richtige Stelle zeigt. Eine Überlappung von 10 bis 20 Prozent hält einen Satz, der auf eine Grenze fällt, in beiden Chunks lesbar. Zum Zusammenfassen eines langen Dokuments in Teilen nutze Chunks nahe dem, was das Modell auf einmal lesen kann, abzüglich Platz für seine Antwort.
Natürliche Umbrüche oder exakte Größe
Natürliche Umbrüche halten Absätze und Sätze ganz, wann immer sie passen, sodass sich jeder Chunk sauber liest. „Exakte Größe“ füllt jeden Chunk so nah wie möglich ans Limit, was gleichmäßigere Chunks liefert, auf Kosten von Schnitten mitten im Satz. Bei eingeschalteten Markdown-Überschriften beginnt jeder Abschnitt einen neuen Chunk und notiert seinen Überschriftenpfad, etwa Anleitung > Installation.
Unterstützte Dateien
Du kannst Text-, Markdown-, HTML-, JSON-, CSV- und Logdateien öffnen sowie PDFs mit Textebene. Für PDFs werden Seitenzahlen erfasst, damit du einen Chunk zu seiner Seite zurückverfolgen kannst.
Tipps für gute Ergebnisse
- Nutze die kleinste Größe, die noch eine vollständige Idee zusammenhält. Kleinere Chunks liefern schärfere Suchergebnisse.
- Behalte etwas Überlappung bei Prosa und wenig oder keine bei Tabellen oder Listen.
- Nutze die Markdown-Überschriftenoption für Handbücher, Notizen und Dokumentation. Der Überschriftenpfad begleitet jeden Chunk und gibt ihm Kontext.
- Sieh dir in der Zusammenfassung den kleinsten und größten Chunk an. Ein sehr winziger Chunk bedeutet meist eine verirrte Überschrift oder eine kurze Zeile, die sich zuerst aufzuräumen lohnt.
Für wen
Studierende, die eine lange Lektüre teilen, um sie in Teilen zusammenzufassen, Freiberufler, die Kundendokumente für die Suche vorbereiten, und kleine Teams, die eine Helpdesk-Wissensdatenbank aufbauen. Um zu prüfen, was die Verarbeitung eines Dokuments kostet, probiere den KI-Kostenschätzer.
Fragen
Was steht in der JSONL-Datei?
Eine Zeile pro Chunk mit ID, Text, Nummer, Start- und Endposition im Originaltext, Größe in Tokens oder Zeichen, dem Überschriftenpfad bei Markdown, den Seitenzahlen bei einem PDF und dem Dateinamen.
Welche Token-Zählung wird verwendet?
Mit exakter Zählung werden Tokens mit dem o200k-Tokenizer gezählt. Andere Modelle zählen etwas anders, also lass etwas Puffer, wenn du nah an einem festen Limit bist.
Kann es gescannte PDFs lesen?
Es liest die Textebene eines PDFs. Ein gescanntes PDF hat keine Textebene; lass es zuerst durch das Tool für durchsuchbare PDFs laufen und öffne dann das Ergebnis hier.
Wie groß darf eine Datei sein?
Lange Bücher und Berichte sind kein Problem. Sehr große Dateien brauchen ein paar Sekunden, und die Vorschau zeigt die ersten Chunks mit einer Schaltfläche für mehr; der Download enthält immer alle Chunks.
Was ist JSONL?
Es ist ein reines Textformat mit einem JSON-Objekt pro Zeile. Die meisten Datentools und Importskripte können es lesen, und es lässt sich leicht in einem Texteditor öffnen.