Los archivos se leen y se dividen en este dispositivo. No se sube nada. Pega texto o abre un archivo, elige un tamaño de fragmento y obtén trozos ordenados que puedes copiar o descargar como JSONL. Es gratis y privado.
Para qué sirve dividir en fragmentos
Los modelos de lenguaje solo pueden leer una cantidad limitada a la vez, y las herramientas de búsqueda funcionan mejor con pasajes pequeños y concretos. Dividir un documento largo en fragmentos te permite dárselo a un modelo por partes, crear una base de conocimiento con búsqueda o preparar datos para la recuperación. Hacerlo bien significa fragmentos que se entiendan por sí solos y que no partan una idea por la mitad.
Cómo dividir un documento
- Pega tu texto en Texto a dividir, o usa Abrir un archivo. Probar un ejemplo carga un texto de muestra.
- Elige si medir en Tokens o en Caracteres.
- Define el Tamaño del fragmento y el Solapamiento.
- Elige Cortes naturales o Tamaño exacto.
- Si quieres, activa Nuevo fragmento en cada encabezado de Markdown.
- Revisa los números: fragmentos, tamaño medio, el más pequeño y el más grande. Usa Mostrar más fragmentos para desplazar la vista previa.
- Pulsa Copiar JSONL o Descargar JSONL.
Elegir un tamaño de fragmento
Para búsqueda y recuperación, los fragmentos de unos 200 a 800 tokens funcionan bien: lo bastante grandes para contener una idea completa y lo bastante pequeños para que una coincidencia apunte al lugar correcto. Un solapamiento del 10 al 20 por ciento mantiene legible en ambos fragmentos una frase que cae en un límite. Para resumir un documento largo por partes, usa fragmentos cercanos a lo que el modelo puede leer de una vez, menos el espacio para su respuesta.
Cortes naturales o tamaño exacto
Los cortes naturales mantienen enteros los párrafos y las frases siempre que caben, así que cada fragmento se lee limpiamente. El tamaño exacto llena cada fragmento tanto como puede hasta el límite, lo que da fragmentos más uniformes a costa de cortar a mitad de frase. Con los encabezados de Markdown activados, cada sección empieza un fragmento nuevo y registra la ruta de su encabezado, como Guía > Instalar.
Archivos admitidos
Puedes abrir archivos de texto, Markdown, HTML, JSON, CSV y de registro, y PDF que contengan una capa de texto. Para los PDF se registran los números de página para que puedas rastrear un fragmento hasta su página.
Consejos para obtener buenos resultados
- Usa el tamaño más pequeño que aún mantenga unida una idea completa. Los fragmentos más pequeños dan resultados de búsqueda más precisos.
- Conserva algo de solapamiento para la prosa, y poco o ninguno para tablas o listas.
- Usa la opción de encabezados de Markdown para manuales, apuntes y documentación. La ruta del encabezado acompaña a cada fragmento y le da contexto.
- Mira el fragmento más pequeño y el más grande del resumen. Un fragmento diminuto suele indicar un encabezado suelto o una línea corta que conviene limpiar antes.
Quién lo usa
Estudiantes que dividen una lectura larga para resumirla por partes, freelancers que preparan documentos de clientes para búsqueda y equipos pequeños que crean una base de conocimiento de atención al cliente. Para comprobar cuánto costará procesar un documento, prueba el estimador de costes de IA.
Preguntas
¿Qué hay en el archivo JSONL?
Una línea por fragmento con un id, el texto, su número, la posición de inicio y fin en el texto original, su tamaño en tokens o caracteres, la ruta de títulos para Markdown, los números de página para un PDF y el nombre del archivo.
¿Qué conteos de tokens se usan?
Con los conteos exactos activados, los tokens se cuentan con el tokenizador o200k. Otros modelos cuentan un poco distinto, así que deja margen si estás cerca de un límite estricto.
¿Puede leer PDF escaneados?
Lee la capa de texto de un PDF. Un PDF escaneado no tiene capa de texto; pásalo primero por la herramienta de PDF buscable y luego abre el resultado aquí.
¿Qué tamaño de archivo puede manejar?
Los libros y los informes largos no son problema. Los archivos muy grandes tardan unos segundos, y la vista previa muestra los primeros fragmentos con un botón para mostrar más; la descarga siempre incluye todos los fragmentos.
¿Qué es JSONL?
Es un formato de texto sin formato con un objeto JSON por línea. La mayoría de las herramientas de datos y scripts de importación pueden leerlo, y es fácil de abrir en un editor de texto.