Bestanden worden op dit apparaat gelezen en gesplitst. Er wordt niets geüpload. Plak tekst of open een bestand, kies een stukgrootte en krijg nette stukken die je kunt kopiëren of als JSONL downloaden. Het is gratis en privé.
Waar splitsen voor dient
Taalmodellen kunnen maar zoveel tegelijk lezen en zoektools werken het best op kleine, gerichte fragmenten. Een lang document in stukken splitsen laat je het in delen aan een model geven, een doorzoekbare kennisbank bouwen of gegevens voor ophalen voorbereiden. Goed doen betekent stukken die op zichzelf staan en een idee niet doormidden snijden.
Hoe je een document splitst
- Plak je tekst in Te splitsen tekst, of gebruik Een bestand openen. Probeer een voorbeeld laadt voorbeeldtekst.
- Kies of je in Tokens of Tekens meet.
- Stel de Chunkgrootte en de Overlap in.
- Kies Natuurlijke breuken of Exact formaat.
- Zet eventueel Nieuwe chunk bij elke Markdown-kop aan.
- Controleer de getallen: chunks, gemiddelde grootte, kleinste en grootste. Gebruik Meer chunks tonen om door het voorbeeld te scrollen.
- Druk op JSONL kopiëren of JSONL downloaden.
Een stukgrootte kiezen
Voor zoeken en ophalen werken stukken van ongeveer 200 tot 800 tokens goed: groot genoeg voor een volledige gedachte, klein genoeg dat een treffer naar de juiste plek wijst. Een overlap van 10 tot 20 procent houdt een zin op een grens leesbaar in beide stukken. Gebruik voor het in delen samenvatten van een lang document stukken die dicht bij wat het model in één keer kan lezen liggen, min ruimte voor zijn antwoord.
Natuurlijke breuken of exacte grootte
Natuurlijke breuken houden alinea's en zinnen heel waar ze passen, zodat elk stuk netjes leest. Exacte grootte vult elk stuk zo dicht mogelijk bij de limiet, wat gelijkmatigere stukken geeft ten koste van knippen midden in een zin. Met Markdown-koppen aan begint elke sectie een nieuw stuk en legt ze haar kop-pad vast, zoals Gids > Installeren.
Ondersteunde bestanden
Je kunt tekst-, Markdown-, HTML-, JSON-, CSV- en logbestanden openen, en pdf's met een tekstlaag. Voor pdf's worden paginanummers vastgelegd, zodat je een stuk naar zijn pagina kunt herleiden.
Tips voor goede resultaten
- Gebruik de kleinste grootte die nog een volledig idee bij elkaar houdt. Kleinere stukken geven scherpere zoekresultaten.
- Houd wat overlap voor lopende tekst en weinig of geen voor tabellen of lijsten.
- Gebruik de Markdown-kopoptie voor handleidingen, notities en documentatie. Het kop-pad reist met elk stuk mee en geeft het context.
- Kijk naar het kleinste en grootste stuk in de samenvatting. Een heel klein stuk betekent meestal een losse kop of een korte regel die het waard is eerst op te ruimen.
Wie gebruikt het
Studenten die een lange leestekst in delen willen samenvatten, freelancers die klantdocumenten voor zoeken voorbereiden en kleine teams die een kennisbank voor een helpdesk bouwen. Om te controleren wat het verwerken van een document kost, probeer je de AI-kostenschatter.
Vragen
Wat staat er in het JSONL-bestand?
Eén regel per chunk met een id, de tekst, het nummer, de begin- en eindpositie in de oorspronkelijke tekst, de grootte in tokens of tekens, het kopppad voor Markdown, de paginanummers voor een PDF en de bestandsnaam.
Welke tokentellingen worden gebruikt?
Met exacte tellingen aan worden tokens geteld met de o200k-tokenizer. Andere modellen tellen iets anders, dus laat wat ruimte over als je dicht bij een harde limiet zit.
Kan het gescande pdf's lezen?
Het leest de tekstlaag van een PDF. Een gescande PDF heeft geen tekstlaag; haal hem eerst door de tool voor doorzoekbare PDF's en open het resultaat dan hier.
Hoe groot mag een bestand zijn?
Lange boeken en rapporten zijn prima. Heel grote bestanden duren een paar seconden en het voorbeeld toont de eerste chunks met een knop om meer te tonen; de download bevat altijd elke chunk.
Wat is JSONL?
Het is een platte-tekstformaat met één JSON-object per regel. De meeste datatools en importscripts kunnen het lezen en het is makkelijk te openen in een teksteditor.