Os arquivos são lidos e divididos neste dispositivo. Nada é enviado. Cole texto ou abra um arquivo, escolha um tamanho de bloco e obtenha pedaços organizados que você pode copiar ou baixar como JSONL. É grátis e privado.
Para que serve dividir em blocos
Os modelos de linguagem só conseguem ler uma certa quantidade de uma vez e as ferramentas de busca funcionam melhor com passagens pequenas e focadas. Dividir um documento longo em blocos permite alimentar um modelo por partes, montar uma base de conhecimento pesquisável ou preparar dados para recuperação. Fazer bem significa blocos que se sustentam sozinhos e não cortam uma ideia ao meio.
Como dividir um documento
- Cole seu texto em Texto a dividir ou use Abrir um arquivo. Experimente um exemplo carrega um texto de amostra.
- Escolha se mede em Tokens ou Caracteres.
- Defina o Tamanho do trecho e a Sobreposição.
- Escolha Quebras naturais ou Tamanho exato.
- Se quiser, ative Novo trecho em cada título Markdown.
- Confira os números: trechos, tamanho médio, menor e maior. Use Mostrar mais trechos para rolar a prévia.
- Toque em Copiar JSONL ou Baixar JSONL.
Escolhendo um tamanho de bloco
Para busca e recuperação, blocos de cerca de 200 a 800 tokens funcionam bem: grandes o bastante para conter um pensamento completo e pequenos o bastante para uma correspondência apontar o lugar certo. Uma sobreposição de 10 a 20 por cento mantém legível nos dois blocos uma frase que cai em um limite. Para resumir um documento longo em partes, use blocos próximos do que o modelo consegue ler de uma vez, menos espaço para a resposta.
Quebras naturais ou tamanho exato
As quebras naturais mantêm parágrafos e frases inteiros sempre que couberem, então cada bloco se lê bem. O tamanho exato enche cada bloco o mais perto do limite que der, o que dá blocos mais uniformes ao custo de cortar no meio de uma frase. Com os títulos Markdown ativados, cada seção começa um bloco novo e registra o caminho do título, como Guia > Instalar.
Arquivos aceitos
Você pode abrir arquivos de texto, Markdown, HTML, JSON, CSV e de log e PDFs que têm camada de texto. Os números de página são registrados para PDFs para você rastrear um bloco até a página dele.
Dicas para bons resultados
- Use o menor tamanho que ainda mantém uma ideia completa. Blocos menores dão resultados de busca mais precisos.
- Mantenha alguma sobreposição para prosa e pouca ou nenhuma para tabelas ou listas.
- Use a opção de títulos Markdown para manuais, notas e documentação. O caminho do título acompanha cada bloco e dá contexto a ele.
- Olhe o menor e o maior bloco no resumo. Um bloco minúsculo costuma significar um título solto ou uma linha curta que vale a pena limpar antes.
Quem usa
Estudantes que dividem uma leitura longa para resumir em partes, freelancers que preparam documentos de clientes para busca e equipes pequenas que montam uma base de conhecimento de atendimento. Para ver quanto um documento vai custar para processar, experimente o estimador de custos de IA.
Perguntas
O que há no arquivo JSONL?
Uma linha por trecho, com um id, o texto, o número dele, a posição de início e fim no texto original, o tamanho em tokens ou caracteres, o caminho de títulos no caso de Markdown, os números de página no caso de PDF e o nome do arquivo.
Quais contagens de tokens são usadas?
Com as contagens exatas ativadas, os tokens são contados com o tokenizador o200k. Outros modelos contam de forma um pouco diferente, então deixe uma folga se você estiver perto de um limite rígido.
Ele consegue ler PDFs digitalizados?
Ele lê a camada de texto de um PDF. Um PDF digitalizado não tem camada de texto; passe-o primeiro pela ferramenta de PDF pesquisável e depois abra o resultado aqui.
Que tamanho de arquivo ele aguenta?
Livros e relatórios longos são sem problema. Arquivos muito grandes levam alguns segundos, e a pré-visualização mostra os primeiros trechos com um botão para mostrar mais; o download sempre tem todos os trechos.
O que é JSONL?
É um formato de texto simples com um objeto JSON por linha. A maioria das ferramentas de dados e scripts de importação consegue ler, e é fácil de abrir em um editor de texto.