Knowledge Pipeline

从数据源到知识库的
可视化管道

知识流水线将文件、云盘、在线文档与网页内容转化为结构化知识库,供 AI 应用检索调用。从原始数据到可用上下文,整条路径可设计、可调试、可复用。

立即开始

一条 Pipeline,从数据源到检索

每个阶段都是可替换的节点,与 Workflow 共享同一画布。在任何应用接入前,就能测试整条流程。

数据源
文件
在线文档
云盘
爬虫
提取
文本
表格
图片
扫描件
处理
分块
增强
清洗
代码
存储
向量
全文
元数据
图片
检索
语义
关键词
混合
重排

数据层调优检索。

每个知识库都有独立的分块、索引、检索和精炼策略。

CHUNK STRUCTURE
文档怎么分块。

根据文档类型匹配分块策略。

通用常规
长上下文父子
表格Q&A
INDEX METHOD
分块怎么索引。

在向量化成本与语义深度之间取舍。

向量化高质量
关键词经济型
RETRIEVAL METHOD
查询怎么匹配。

按语义、关键词或混合方式搜索。

语义向量
关键词全文
混合混合检索
REFINEMENT
上下文怎么精炼。

在结果送达应用前完成筛选、重排和来源标注。

范围元数据过滤
排序重排
标注引用
图片多模态

可观测、
可复用

知识流水线不是一次性 ETL 脚本。它是团队共享的工作区资产,可调试、可复用,可接入任何 Dify 应用。

可观测的流水线追踪界面

Observable

每个阶段都看得清

Test Run 可执行任意阶段,变量检查可查看中间值,检索测试可在应用接入前模拟真实查询。

可复用的知识库接入多种应用类型

Reusable

一个知识库,覆盖所有应用类型。

发布一次,Workflow、Chatflow 与 Agent 应用均可通过知识检索节点进行检索,并支持按应用开启引用。

构建第一条知识流水线。

从 Dify 云服务开始,共同探讨私有部署方案。