Ir al contenido
snowkitAI

Crea y comprueba conjuntos de datos JSONL para el ajuste fino

Convierte una hoja de cálculo de prompts y respuestas, o ejemplos que escribes, en JSONL de chat o completion. Luego comprueba cualquier archivo JSONL línea por línea antes de subirlo.

Formato

Desde un CSV

Ejemplos escritos

Conjunto de datos

0ejemplos
0tokens est.
0errores
0advertencias

                

    Tus datos se leen y se escriben en este dispositivo. No se sube nada. Convierte una hoja de cálculo de preguntas y respuestas en un archivo de entrenamiento JSONL, o comprueba que un archivo JSONL existente es válido antes de usarlo. Es gratis y privado.

    Cómo crear un conjunto de datos

    1. Abre la pestaña Crear un conjunto de datos y elige el formato: Chat o Completado.
    2. Pulsa Abrir CSV o pega en Texto CSV. Probar un ejemplo carga filas de muestra.
    3. Marca La primera fila es un encabezado y luego elige la columna de Prompt, la columna de Respuesta y, si tienes una, la columna de Sistema.
    4. Añade más filas con Añadir ejemplo si quieres.
    5. Revisa los conteos de ejemplos, tokens estimados, errores y advertencias.
    6. Pulsa Copiar o Descargar .jsonl.

    Cómo comprobar un archivo JSONL

    1. Abre la pestaña Comprobar un archivo JSONL.
    2. Pulsa Abrir .jsonl o pega en Texto JSONL.
    3. Define el Formato esperado, o elige Deducirlo del archivo.
    4. Lee cuántos registros hay y cuántos están sin errores.
    5. Pulsa Descargar informe CSV para ver la lista completa de problemas.

    Formatos de chat y de completion

    Los conjuntos de datos de chat tienen un objeto JSON por línea con una lista de messages: un mensaje de sistema opcional y luego turnos de usuario y de asistente, que terminan con la respuesta que quieres que aprenda el modelo. Los conjuntos de datos de completion tienen un prompt y una completion en cada línea. La mayoría de los servicios de ajuste fino actuales esperan el formato de chat; algunas herramientas de evaluación y servicios antiguos usan prompt y completion.

    Qué busca el verificador

    Líneas que no son JSON válido, líneas que no son un solo objeto, mensajes que faltan o están vacíos, roles desconocidos, contenido vacío, ejemplos sin respuesta del asistente, mensajes de sistema en medio, el mismo rol dos veces seguidas, mensajes de herramienta sin tool_call_id, formatos mezclados, líneas duplicadas y líneas en blanco. Los errores suelen hacer que falle una subida; las advertencias merece la pena revisarlas pero pueden estar bien.

    Consejos para un buen conjunto de datos

    • Haz que las respuestas tengan exactamente el estilo que quieres que copie el modelo.
    • Mantén coherentes los ejemplos. Los estilos mezclados enseñan comportamientos mezclados.
    • Quita duplicados y errores antes de crear el archivo.
    • Guarda aparte un conjunto de ejemplos para probar después.
    • Nunca incluyas datos privados que no quisieras ver en una respuesta.

    Quién lo usa

    Desarrolladores y equipos pequeños que preparan ejemplos de entrenamiento, analistas que convierten una hoja de cálculo en JSONL y freelancers que entregan datos a un cliente. Para estimar el coste, prueba el estimador de costes de IA, y para probar respuestas usa la comprobación de esquema de respuestas de IA.

    Preguntas

    ¿Cómo debe ser mi CSV?

    Un ejemplo por fila, con una columna para el prompt y otra para la respuesta, y opcionalmente una columna para un mensaje de sistema. Las columnas llamadas prompt, question o input y completion, answer u output se detectan automáticamente; puedes cambiar la elección en las listas.

    ¿Cuántos ejemplos necesito?

    Los proveedores suelen pedir al menos diez, y los resultados tienden a mejorar con entre cincuenta y unos cientos de ejemplos claros y coherentes. La calidad importa más que la cantidad.

    ¿Son exactos los conteos de tokens?

    No, son estimaciones de unos cuatro caracteres por token más unos cuantos tokens por mensaje, lo bastante cercanas para juzgar el costo y detectar ejemplos demasiado largos.

    ¿Puede revisar un archivo muy grande?

    Sí. Los archivos con decenas de miles de líneas se revisan en un momento. El informe muestra en pantalla los primeros 1000 problemas y todos los problemas en el CSV.

    Qué hacer ahora

    Sigue con lo que acabas de crear, todavía en tu dispositivo.

    Más de Snowkit