データは、この端末上で読み取られ、書き込まれます。何もアップロードされません。質問と回答のスプレッドシートを、JSONLの学習ファイルにしたり、既存のJSONLファイルが、使う前に有効かを確認したりします。無料で、プライバシーも守られます。
データセットを作成する方法
- 「データセットを作成」タブを開いて、形式を選びます：チャットまたはコンプリーション。
- 「CSVを開く」を押すか、「CSVテキスト」に貼り付けます。「例を試す」で、サンプルの行が読み込まれます。
- CSVやシンプルなフォームから、ファインチューニング用のチャットまたはコンプリーションのJSONLデータセットを作成し、アップロードする前に、すべての行のエラーを確認します。
- 必要なら、「例を追加」で、行を追加します。
- 例の数、推定トークン数、エラー、警告の数を確認します。
- 「コピー」または「.jsonlをダウンロード」を押します。
JSONLファイルを確認する方法
- 「JSONLファイルを確認」タブを開きます。
- 「.jsonlを開く」を押すか、「JSONLテキスト」に貼り付けます。
- 「期待する形式」を設定するか、「ファイルから判別」を選びます。
- レコードがいくつあり、いくつがエラーなしかを読みます。
- 問題の全一覧には、「レポートCSVをダウンロード」を押します。
チャットとコンプリーションの形式
チャットのデータセットは、1行に1つのJSONオブジェクトで、messagesのリストが入ります：任意のシステムメッセージ、そのあとユーザーとアシスタントのやり取りで、モデルに学習させたい回答で終わります。コンプリーションのデータセットは、各行にpromptとcompletionがあります。現在のほとんどのファインチューニングサービスは、チャット形式を期待し、一部の評価ツールや古いサービスは、promptとcompletionを使います。
チェッカーが探すもの
有効なJSONでない行、1つのオブジェクトでない行、messagesの欠落や空、不明なロール、空の内容、アシスタントの回答がない例、途中のシステムメッセージ、同じロールが2回続くもの、tool_call_idのないツールメッセージ、混在した形式、重複した行、空行。エラーは、通常、アップロードの失敗の原因になり、警告は、確認する価値はありますが、問題ない場合もあります。
よいデータセットのコツ
- モデルに真似させたいスタイルに、回答をぴったり合わせてください。
- 例を一貫させてください。スタイルが混在すると、混在した振る舞いを教えてしまいます。
- ファイルを作成する前に、重複とミスを削除してください。
- あとでテストに使えるよう、別のサンプルのセットを取っておいてください。
- 回答に現れてほしくない個人情報は、決して含めないでください。
こんな方に
学習用の例を準備する開発者や小さなチーム、スプレッドシートをJSONLに変換するアナリスト、クライアント向けにデータを納品するフリーランサー。コストを見積もるには、AIコスト見積もりを、回答をテストするには、AI回答スキーマチェックをお試しください。
よくある質問
CSVはどのような形式にすればよいですか？
1行に1つの例で、プロンプトの列と回答の列、必要に応じてシステムメッセージの列を用意します。prompt、question、inputという名前の列と、completion、answer、outputという名前の列は自動で認識され、リストから選び直すこともできます。
いくつの例が必要ですか？
提供元は通常10件以上を求め、50〜数百件の明確で一貫した例があると、結果が改善する傾向があります。数より質が大切です。
トークン数は正確ですか？
いいえ、1トークンあたり約4文字に、各メッセージごとに数トークンを加えた見積もりです。コストの判断や、長すぎる例の発見には十分な精度です。
非常に大きなファイルもチェックできますか？
はい。数万行のファイルも一瞬でチェックできます。レポートには、画面上に最初の1,000件の問題が、CSVにはすべての問題が一覧表示されます。