A verificação acontece neste dispositivo. Seu schema e as respostas nunca são enviados. Cole um JSON Schema e um lote de respostas de IA e o Snowkit mostra quais respostas passam, quais falham e exatamente por quê. É grátis e privado.
Por que conferir respostas em massa
Modelos a que se pede saída estruturada costumam acertar, mas nem sempre: um campo ausente, um número enviado como texto, um valor fora da lista permitida ou JSON embrulhado em uma frase. Passar um lote de respostas reais pelo seu schema mostra com que frequência isso acontece e quais regras fazem o modelo tropeçar, antes de o problema chegar aos seus usuários.
Também ajuda quando você muda um prompt. Rode o mesmo conjunto de respostas antes e depois e compare quantas passam.
Como conferir um lote de respostas
- Cole seu JSON Schema ou use Abrir esquema para carregar um arquivo .json. Ainda sem esquema? Toque em Criar a partir da primeira resposta depois da etapa 2.
- Cole suas respostas na caixa de respostas ou use Abrir arquivos para carregar várias de uma vez.
- Escolha como as respostas são separadas em Dividir respostas: Uma por linha (JSONL), Separadas por linhas ---, ou Uma lista JSON.
- Toque em Calcular. O resumo mostra quantas respostas passaram, falharam ou nem eram JSON.
- Alterne entre Todas as respostas e Só os problemas para focar no que precisa ser corrigido.
- Baixe o relatório CSV ou baixe as respostas aprovadas sozinhas.
Sem saber por onde começar? Experimente um exemplo carrega um schema pequeno e respostas de amostra para você ver como fica o relatório.
Colando respostas
Cole uma resposta por linha, uma lista JSON de respostas, respostas separadas por linhas de três traços ou um log de chat com JSON em blocos de código. Abra vários arquivos .json de uma vez e cada arquivo conta como uma resposta; um arquivo .jsonl conta como uma resposta por linha. Com blocos de código e texto aceitos, o JSON é tirado de dentro de respostas como "Claro, aqui está: ...".
Arquivos com as extensões .json, .jsonl, .txt e .md podem ser abertos.
Lendo os resultados
- As respostas passaram correspondem a todas as regras do seu schema.
- As respostas falharam são JSON válido, mas quebram pelo menos uma regra. Cada problema mostra o caminho dentro da resposta e o que está errado, como um campo obrigatório ausente ou um valor que não está na lista permitida.
- As respostas não é JSON não puderam ser lidas como JSON, por exemplo porque o modelo respondeu em prosa simples ou as chaves nunca fecharam.
Dicas para bons resultados
- Comece rígido e depois afrouxe. Um schema justo com campos obrigatórios, valores permitidos e sem propriedades extras pega a maioria dos problemas.
- Use respostas reais, e não retocadas. As falhas ocasionais são o ponto principal.
- Confira pelo menos algumas dezenas de respostas. Uma ou duas não dizem com que frequência uma regra falha.
- Corrija primeiro o problema mais comum. Se o mesmo caminho falha em muitas respostas, o prompt provavelmente precisa de uma instrução mais clara para esse campo.
Quem usa
Desenvolvedores que testam prompts, freelancers que criam automações para clientes e equipes pequenas que coletam respostas de um modelo e as colocam em uma planilha ou app. Se você só precisa arrumar ou inspecionar um único arquivo JSON, as ferramentas de JSON servem melhor, e o criador de function schema ajuda a escrever o schema logo de início.
Perguntas
Quais recursos de esquema são aceitos?
Tipos, propriedades obrigatórias e opcionais, additionalProperties, enum e const, tamanho de string, pattern e formatos comuns, intervalos numéricos, itens, tamanho e unicidade de arrays, allOf, anyOf, oneOf, not, if e then, e definições locais de $ref. Isso cobre os esquemas usados para saídas estruturadas e chamadas de ferramentas.
Posso obter um esquema sem precisar escrever um?
Criar a partir da primeira resposta monta um a partir de uma resposta sabidamente correta. Ajuste-o depois, por exemplo adicionando valores permitidos ou removendo campos opcionais.
O que há no relatório?
O CSV tem uma linha por problema, com o número da resposta, a linha dela, o caminho dentro da resposta e o que está errado, além de uma linha para cada resposta aprovada. Baixar respostas aprovadas salva só as válidas como JSONL.
Minhas respostas ou meu esquema são enviados para algum lugar?
Não. Tudo é verificado no seu navegador. Os únicos arquivos criados são os que você escolhe baixar.
Por que uma resposta conta como não JSON quando parece correta?
Causas comuns são uma vírgula sobrando no fim, aspas simples em vez de duplas, um colchete de fechamento ausente ou texto misturado com o JSON. Se a resposta veio dentro de uma resposta de chat, confira se as respostas estão separadas do jeito que você escolheu em Dividir respostas.