CHUNK STRUCTURE
ドキュメントの分割方法。
戦略を、ドキュメントの種類に合わせる。
標準汎用
ロングコンテキスト親子
テーブルQ&A
Knowledge Pipeline
データソースから AI 知識ベースへ、信頼できる知識ライブラリフローを構築する
ナレッジパイプラインは、ファイル、ドライブ、オンラインドキュメント、Web コンテンツを、構造・メタデータ・引用を備えたナレッジベースに変換。AI アプリは、そこから検索できます。生データからコンテキストに至るパスを、ひとつのビジュアルキャンバスで設計・デバッグ・再利用できます。
一つのパイプライン、ソースから検索まで。
各ステージは、Workflowスタジオと同じキャンバス上にある、差し替え可能なノードです。アプリを接続する前に、フロー全体をテストできます。
ソース
ファイル
オンラインドキュメント
ドライブ
クローラー
抽出
テキスト
テーブル
画像
スキャン
処理
チャンク
エンリッチ
クリーン
コード
保管
ベクトル
全文
メタデータ
画像
検索
セマンティック
キーワード
ハイブリッド
リランク
データ層で検索をチューニングする。
ナレッジベースごとに、独自のチャンキング、インデキシング、検索、絞り込みを持たせられます。
INDEX METHOD
チャンクの保管方法。
埋め込みコストと、意味的な深さを比べて選ぶ。
埋め込み高品質
キーワード経済的
RETRIEVAL METHOD
クエリの照合方法。
意味、キーワード、あるいはその両方で検索。
セマンティックベクトル
キーワード全文
両方ハイブリッド
REFINEMENT
コンテキストの整形方法。
結果がアプリに届く前に、絞り込み・並べ替え・出典付けを行う。
スコープメタデータフィルター
並び順リランク
出典引用
画像マルチモーダル
可観測性と
再利用性を両立。
ナレッジパイプラインは、使い捨ての ETL スクリプトではありません。チームがデバッグし、共有し、あらゆる Dify アプリ種別に接続できる、ワークスペースの資産です。
Observable
各ステージの動きを、目で見る。
Test Run は任意のステージを実行。Variable Inspect は中間値を見える化。Retrieval Testing は、アプリを接続する前に実クエリをシミュレートします。
Reusable
ひとつのベースで、あらゆるアプリ種別に。
1 度公開すれば、Workflow、チャットフロー、agentの各アプリが、Knowledge Retrieval ノード経由で検索。引用は、アプリごとに有効化できます。
最初の
ナレッジパイプラインを構築する。
Dify クラウドで始める、またはプライベートデプロイについてご相談ください。