I file vengono letti e divisi su questo dispositivo. Non viene caricato niente. Incolla del testo o apri un file, scegli la dimensione dei blocchi e ottieni pezzi ordinati da copiare o scaricare come JSONL. È gratis e privato.
A cosa serve dividere in blocchi
I modelli linguistici possono leggere solo una certa quantità alla volta, e gli strumenti di ricerca funzionano meglio su passaggi piccoli e mirati. Dividere un documento lungo in blocchi ti permette di darlo a un modello a parti, costruire una base di conoscenza ricercabile o preparare dati per il recupero. Farlo bene significa blocchi che stanno in piedi da soli e non tagliano un'idea a metà.
Come dividere un documento
- Incolla il tuo testo in Testo da dividere, oppure usa Apri un file. Prova un esempio carica un testo di esempio.
- Scegli se misurare in Token o Caratteri.
- Imposta la Dimensione del blocco e la Sovrapposizione.
- Scegli Interruzioni naturali o Dimensione esatta.
- Se vuoi, attiva Nuovo blocco a ogni titolo Markdown.
- Controlla i numeri: blocchi, dimensione media, più piccolo e più grande. Usa Mostra altri blocchi per scorrere l'anteprima.
- Premi Copia JSONL o Scarica JSONL.
Scegliere la dimensione dei blocchi
Per ricerca e recupero funzionano bene blocchi di circa 200-800 token: abbastanza grandi da contenere un pensiero completo, abbastanza piccoli perché una corrispondenza indichi il punto giusto. Una sovrapposizione del 10-20 percento mantiene leggibile in entrambi i blocchi una frase che cade su un confine. Per riassumere un documento lungo a parti, usa blocchi vicini a ciò che il modello riesce a leggere in una volta, meno lo spazio per la sua risposta.
Interruzioni naturali o dimensione esatta
Le interruzioni naturali mantengono interi paragrafi e frasi ogni volta che ci stanno, così ogni blocco si legge bene. La dimensione esatta riempie ogni blocco il più vicino possibile al limite, il che dà blocchi più uniformi al prezzo di tagliare a metà frase. Con i titoli Markdown attivati, ogni sezione inizia un nuovo blocco e registra il percorso del suo titolo, come Guida > Installazione.
File supportati
Puoi aprire file di testo, Markdown, HTML, JSON, CSV e log, e PDF con un livello di testo. Per i PDF vengono registrati i numeri di pagina, così puoi risalire da un blocco alla sua pagina.
Consigli per ottenere buoni risultati
- Usa la dimensione più piccola che mantiene ancora intera un'idea. Blocchi più piccoli danno risultati di ricerca più precisi.
- Tieni un po' di sovrapposizione per la prosa, poca o nessuna per tabelle o elenchi.
- Usa l'opzione dei titoli Markdown per manuali, appunti e documentazione. Il percorso del titolo accompagna ogni blocco e gli dà contesto.
- Guarda il blocco più piccolo e il più grande nel riepilogo. Un blocco molto piccolo di solito indica un titolo isolato o una riga corta da ripulire prima.
Chi lo usa
Studenti che dividono una lettura lunga per riassumerla a parti, freelance che preparano documenti dei clienti per la ricerca e piccoli team che costruiscono una base di conoscenza per l'assistenza. Per verificare quanto costerà elaborare un documento, prova la stima dei costi AI.
Domande
Che cosa c'è nel file JSONL?
Una riga per blocco con un id, il testo, il suo numero, la posizione di inizio e fine nel testo originale, la dimensione in token o caratteri, il percorso dei titoli per il Markdown, i numeri di pagina per un PDF e il nome del file.
Quali conteggi di token vengono usati?
Con i conteggi esatti attivi, i token vengono contati con il tokenizer o200k. Gli altri modelli contano in modo leggermente diverso, quindi lascia un po' di margine se sei vicino a un limite rigido.
Può leggere PDF scansionati?
Legge il livello di testo di un PDF. Un PDF scansionato non ha un livello di testo; passalo prima nello strumento per PDF ricercabili, poi apri qui il risultato.
Quanto può essere grande un file?
Libri e report lunghi vanno bene. I file molto grandi richiedono alcuni secondi, e l'anteprima mostra i primi blocchi con un pulsante per mostrarne altri; il download contiene sempre tutti i blocchi.
Che cos'è JSONL?
È un formato di testo semplice con un oggetto JSON per riga. La maggior parte degli strumenti di dati e degli script di importazione può leggerlo, ed è facile da aprire in un editor di testo.