Les fichiers sont lus et découpés sur cet appareil. Rien n'est envoyé. Collez du texte ou ouvrez un fichier, choisissez une taille de morceau, et obtenez des morceaux nets à copier ou télécharger en JSONL. C'est gratuit et privé.
À quoi sert le découpage
Les modèles de langage ne peuvent lire qu'une quantité limitée à la fois, et les outils de recherche marchent mieux sur de petits passages ciblés. Découper un long document en morceaux permet de le donner à un modèle par parties, de construire une base de connaissances consultable, ou de préparer des données pour la récupération. Bien le faire, c'est avoir des morceaux autonomes qui ne coupent pas une idée en deux.
Comment découper un document
- Collez votre texte dans Texte à découper, ou utilisez Ouvrir un fichier. Essayer un exemple charge un texte d'exemple.
- Choisissez de mesurer en Tokens ou en Caractères.
- Réglez la Taille des segments et le Chevauchement.
- Choisissez Coupures naturelles ou Taille exacte.
- Activez éventuellement Nouveau segment à chaque titre Markdown.
- Vérifiez les nombres : segments, taille moyenne, plus petit et plus grand. Utilisez Afficher plus de segments pour faire défiler l'aperçu.
- Appuyez sur Copier le JSONL ou Télécharger le JSONL.
Choisir une taille de morceau
Pour la recherche et la récupération, des morceaux d'environ 200 à 800 tokens fonctionnent bien : assez grands pour contenir une idée complète, assez petits pour qu'une correspondance pointe au bon endroit. Un chevauchement de 10 à 20 pour cent garde lisible dans les deux morceaux une phrase tombant sur une frontière. Pour résumer un long document par parties, utilisez des morceaux proches de ce que le modèle peut lire d'un coup, moins la place de sa réponse.
Coupures naturelles ou taille exacte
Les coupures naturelles gardent paragraphes et phrases entiers chaque fois qu'ils tiennent, pour que chaque morceau se lise bien. La taille exacte remplit chaque morceau au plus près de la limite, ce qui donne des morceaux plus réguliers au prix de coupes en milieu de phrase. Avec les titres Markdown activés, chaque section commence un nouveau morceau et enregistre son chemin de titres, comme Guide > Installation.
Fichiers pris en charge
Vous pouvez ouvrir des fichiers texte, Markdown, HTML, JSON, CSV et journaux, et des PDF qui contiennent une couche de texte. Les numéros de page sont enregistrés pour les PDF afin de remonter d'un morceau à sa page.
Conseils pour de bons résultats
- Utilisez la plus petite taille qui garde une idée complète. De plus petits morceaux donnent des résultats de recherche plus précis.
- Gardez un peu de chevauchement pour la prose, et peu ou pas pour les tableaux ou listes.
- Utilisez l'option des titres Markdown pour les manuels, notes et documentations. Le chemin des titres accompagne chaque morceau et lui donne du contexte.
- Regardez le plus petit et le plus grand morceau dans le résumé. Un très petit morceau signifie généralement un titre isolé ou une ligne courte qu'il vaut mieux nettoyer d'abord.
Qui l'utilise
Étudiants qui découpent une longue lecture pour la résumer par parties, freelances qui préparent des documents clients pour la recherche, et petites équipes qui construisent une base de connaissances de support. Pour voir combien coûtera le traitement d'un document, essayez l'estimateur de coût IA.
Questions
Que contient le fichier JSONL ?
Une ligne par segment avec un identifiant, le texte, son numéro, la position de début et de fin dans le texte d'origine, sa taille en tokens ou en caractères, le chemin des titres pour le Markdown, les numéros de page pour un PDF, et le nom du fichier.
Quels comptes de tokens sont utilisés ?
Avec les comptes exacts activés, les tokens sont comptés avec le tokenizer o200k. Les autres modèles comptent un peu différemment : gardez donc de la marge si vous êtes proche d'une limite stricte.
Peut-il lire des PDF numérisés ?
Il lit la couche de texte d'un PDF. Un PDF numérisé n'a pas de couche de texte : passez-le d'abord dans l'outil de PDF consultable, puis ouvrez le résultat ici.
Quelle taille de fichier peut-il gérer ?
Les longs livres et rapports ne posent aucun problème. Les très gros fichiers prennent quelques secondes, et l'aperçu montre les premiers segments avec un bouton pour en afficher plus ; le téléchargement contient toujours tous les segments.
Qu'est-ce que le JSONL ?
C'est un format de texte brut avec un objet JSON par ligne. La plupart des outils de données et des scripts d'import peuvent le lire, et il s'ouvre facilement dans un éditeur de texte.