ファイルは、この端末上で読み取られ、分割されます。何もアップロードされません。テキストを貼り付けるか、ファイルを開き、チャンクのサイズを選ぶと、コピーやJSONLとしてダウンロードできる、整った断片が得られます。無料で、プライバシーも守られます。
チャンク分割の目的
言語モデルは、一度に読める量に限りがあり、検索ツールは、小さく絞られた箇所で最もよく機能します。長いドキュメントをチャンクに分割すると、モデルに部分ごとに渡したり、検索できるナレッジベースを作ったり、取得用のデータを準備したりできます。うまく行うには、それ自体で成り立ち、考えを途中で切らないチャンクにする必要があります。
ドキュメントを分割する方法
- 「分割するテキスト」にテキストを貼り付けるか、「ファイルを開く」を使います。「例を試す」で、サンプルのテキストが読み込まれます。
- 「トークン」または「文字」のどちらで測るかを選びます。
- 「チャンクのサイズ」と「重なり」を設定します。
- 「自然な区切り」または「正確なサイズ」を選びます。
- 必要に応じて、「Markdownの見出しごとに新しいチャンク」をオンにします。
- チャンク数、平均サイズ、最小と最大の数値を確認します。「さらにチャンクを表示」で、プレビューをスクロールします。
- 「JSONLをコピー」または「JSONLをダウンロード」を押します。
チャンクのサイズの選び方
検索と取得には、約200〜800トークンのチャンクがうまく機能します：完全な考えを保てるほど大きく、一致が正しい場所を指すほど小さいサイズです。10〜20パーセントの重なりは、境界にかかる文を、両方のチャンクで読めるようにします。長いドキュメントを部分ごとに要約するには、モデルが一度に読める量から、回答の余裕を引いた、近いサイズのチャンクを使ってください。
自然な区切りか、正確なサイズか
「自然な区切り」は、収まる限り、段落と文を丸ごと保つため、各チャンクがきれいに読めます。「正確なサイズ」は、すべてのチャンクを、できるだけ上限に近く埋めるため、文の途中で切れる代わりに、より均等なチャンクになります。Markdownの見出しをオンにすると、各セクションが新しいチャンクを始め、Guide > Installのような、その見出しのパスを記録します。
対応ファイル
テキスト、Markdown、HTML、JSON、CSV、ログファイルと、テキストレイヤーのあるPDFを開けます。PDFではページ番号が記録されるため、チャンクを元のページまでたどれます。
うまくいくためのヒント
- 完全な考えがまとまって保たれる、最小のサイズを使ってください。小さなチャンクは、より鋭い検索結果を与えます。
- 散文には、少し重なりを残し、表やリストには、ほとんど、またはまったく残さないでください。
- マニュアル、ノート、ドキュメントには、Markdownの見出しのオプションを使ってください。見出しのパスが、各チャンクに付き、文脈を与えます。
- 要約で、最小と最大のチャンクを見てください。非常に小さなチャンクは、通常、迷い込んだ見出しや短い行を意味し、先に整理する価値があります。
こんな方に
長い読み物を、部分ごとに要約するために分割する学生、検索のためにクライアントの書類を準備するフリーランサー、ヘルプデスクのナレッジベースを作る小さなチーム。ドキュメントの処理にいくらかかるかを確認するには、AIコスト見積もりをお試しください。
よくある質問
JSONLファイルには何が入っていますか？
チャンクごとに1行で、ID、テキスト、番号、元のテキストでの開始位置と終了位置、トークンまたは文字数でのサイズ、Markdownの見出しパス、PDFのページ番号、ファイル名が入ります。
どのトークン数が使われますか？
正確なカウントがオンのとき、トークンはo200kトークナイザーで数えられます。他のモデルでは数え方が少し異なるため、厳しい上限に近い場合は余裕を持たせてください。
スキャンしたPDFを読み取れますか？
PDFのテキストレイヤーを読み取ります。スキャンしたPDFにはテキストレイヤーがないため、先に検索可能PDFツールを通してから、結果をここで開いてください。
どのくらいの大きさのファイルを扱えますか？
長い本やレポートでも問題ありません。非常に大きなファイルは数秒かかり、プレビューには最初のチャンクと「さらに表示」ボタンが出ます。ダウンロードにはいつもすべてのチャンクが含まれます。
JSONLとは何ですか？
1行に1つのJSONオブジェクトを書く、プレーンテキスト形式です。ほとんどのデータツールやインポートスクリプトで読め、テキストエディタでも簡単に開けます。