本文へスキップ
snowkitAI

スキーマに照らして、AIの回答のバッチを確認

アプリが期待するJSON Schemaと、モデルが出した回答を貼り付けます。すべての回答が確認され、どれが合格し、どれが不合格で、正確にどこかがわかります。

スキーマチェック

レポート

0回答
0合格
0不合格
0JSONではない

    入力に合わせて確認されます。

    確認は、この端末上で行われます。スキーマと回答がアップロードされることはありません。JSON Schemaと、AIの回答のバッチを貼り付けると、Snowkitが、どの回答が合格し、どれが不合格で、その正確な理由を示します。無料で、プライバシーも守られます。

    回答をまとめて確認する理由

    構造化出力を求められたモデルは、通常は正しく返しますが、常にではありません:欠けたフィールド、テキストとして送られた数値、許可されたリスト外の値、文章に包まれたJSON。実際の回答のバッチをスキーマに通すと、それがどのくらい起こるか、どのルールでモデルがつまずくかが、問題がユーザーに届く前にわかります。

    プロンプトを変更したときにも役立ちます。変更の前後で、同じ回答のセットを実行して、合格する数を比べます。

    回答のバッチを確認する方法

    1. JSON Schemaを貼り付けるか、「スキーマを開く」で.jsonファイルを読み込みます。まだスキーマがない場合は、手順2のあとで、「最初の回答から作成」を押します。
    2. 回答を「回答」ボックスに貼り付けるか、「ファイルを開く」で複数を一度に読み込みます。
    3. 「回答の区切り」で、回答の区切り方を選びます:1行に1つ(JSONL)、---の行で区切る、1つのJSONリスト。
    4. 「計算する」を押します。要約に、合格、不合格、そもそもJSONではなかった回答の数が表示されます。
    5. 「すべての回答」と「問題のみ」を切り替えて、修正が必要なものに集中します。
    6. レポートのCSVをダウンロードするか、合格した回答だけをダウンロードします。

    どこから始めるかわかりませんか?「例を試す」で、小さなスキーマとサンプルの回答が読み込まれ、レポートの見た目がわかります。

    回答を貼り付ける

    1行に1つの回答、回答のJSONリスト、3つのダッシュの行で区切った回答、コードフェンス内にJSONがあるチャットログを貼り付けます。複数の.jsonファイルを一度に開くと、各ファイルが1つの回答として数えられ、.jsonlファイルは、1行につき1つの回答として数えられます。コードフェンスとテキストを受け付ける場合、「Sure, here it is: ...」のような回答の中から、JSONが取り出されます。

    拡張子が.json、.jsonl、.txt、.mdのファイルを開けます。

    結果の見方

    • 合格の回答は、スキーマのすべてのルールに一致します。
    • 不合格の回答は、有効なJSONですが、少なくとも1つのルールに反します。各問題には、回答内のパスと、必須フィールドの欠落や、許可されたリスト外の値など、何が間違っているかが表示されます。
    • JSONではない回答は、モデルがプレーンな文章で返した、波括弧が閉じられなかったなどの理由で、JSONとしてまったく読み取れませんでした。

    うまくいくためのヒント

    • 厳格に始めて、それから緩めます。必須フィールド、許可される値、余分なプロパティなしの厳格なスキーマが、最も多くの問題を見つけます。
    • 実際の回答を使い、整えたものは使わないでください。たまにある不合格こそが、肝心なところです。
    • 少なくとも数十個の回答を確認してください。1〜2個では、ルールがどのくらいの頻度で失敗するか、わかりません。
    • 最もよくある問題から修正してください。同じパスが多くの回答で失敗する場合は、おそらくプロンプトに、そのフィールドについての、より明確な指示が必要です。

    こんな方に

    プロンプトをテストする開発者、クライアント向けに自動化を作るフリーランサー、モデルから回答を集めて、スプレッドシートやアプリに渡す小さなチーム。1つのJSONファイルを整えたり調べたりするだけなら、JSONツールのほうが向いており、関数スキーマビルダーは、そもそものスキーマを書く助けになります。

    よくある質問

    どのスキーマ機能に対応していますか?

    型、必須と省略可能なプロパティ、additionalProperties、enumとconst、文字列の長さ、パターンと一般的な形式、数値の範囲、配列の項目、長さ、一意性、allOf、anyOf、oneOf、not、ifとthen、ローカルの$ref定義。構造化出力やツール呼び出しで使われるスキーマをカバーします。

    スキーマを書かずに作成できますか?

    「最初の回答から作成」は、確かな回答からスキーマを作ります。そのあとで、許可する値を追加したり、省略可能なフィールドを削除したりして絞り込んでください。

    レポートには何が入っていますか?

    CSVには、問題ごとに1行あり、回答番号、その行、回答内のパス、問題点が入り、合格した回答ごとにも1行あります。「合格した回答をダウンロード」では、有効なものだけをJSONLとして保存します。

    回答やスキーマはどこかに送信されますか?

    いいえ。すべてブラウザ上でチェックされます。作成されるファイルは、あなたがダウンロードを選んだものだけです。

    正しく見えるのにJSONではないと判定されるのはなぜですか?

    よくある原因は、末尾のカンマ、二重引用符の代わりの一重引用符、閉じ括弧の欠落、JSONに混じったテキストです。回答がチャットの返信の中にあった場合は、「回答を分割」で選んだ方法で回答が分けられているか確認してください。

    次はこちら

    作ったものを、そのまま端末上で続けましょう。

    Snowkitのその他