CHUNK STRUCTURE
문서청킹방식.
문서 유형에 맞춰 청킹 전략 선택.
표준일반
롱 컨텍스트부모-자식
표Q&A
Knowledge Pipeline
데이터 소스에서 지식 베이스까지
가시적 파이프라인.
Knowledge Pipeline은 파일, 드라이브, 온라인 문서, 웹 콘텐츠를 구조 AI 앱이 검색, 인용 가능한 지식 베이스로 전환하고 소스에서 컨텍스트까지 경로 전체를 하나의 캔버스에서 설계, 디버그, 재사용 지원합니다.
데이터 소스에서 검색까지 하나의 파이프라인으로 실현.
각 단계는 캔버스에서 교체 가능한 노드라서 어떤 앱이 연결되기 전에 전체 플로우 테스트 가능.
소스
파일
온라인 문서
드라이브
크롤러
추출
텍스트
표
이미지
스캔본
처리
청킹
보강
정제
코드
저장
벡터
전문
메타데이터
이미지
검색
시맨틱
키워드
하이브리드
재정렬
데이터 레이어 튜닝.
각 지식 베이스는 독립적 청킹, 인덱싱, 검색, 클렌징 전략을 가짐.
INDEX METHOD
청크저장방식.
임베딩 비용과 의미론적 깊이 사이에서 절충.
임베딩고품질
키워드경제형
RETRIEVAL METHOD
쿼리매칭방식.
의미, 키워드, 또는 혼용 방식으로 검색.
시맨틱벡터
키워드전문
둘 다하이브리드
REFINEMENT
컨텍스트를다듬는방식.
결과가 앱에 나오기 전에 필터, 재정렬, 출처 표기 완성.
범위메타데이터 필터
순서재정렬
출처 표기인용
이미지멀티모달
관측 가능,
재사용 가능.
지식 파이프라인은 일회성 ETL 스크립트가 아니라 팀이 디버그하고, 공유하고, 모든 Dify 앱에 접속할 수 있는 워크스페이스임.
Observable
각 단계에 하는 일 실시간 확인.
Test Run은 어떤 단계든 실행 가능. 변수 검사에 중간 값을 확인하고, 검색 테스트에 어떤 앱이 접속되기 전에 실제 쿼리 시뮬레이션.
Reusable
모든 앱 유형 하나의 지식 베이스로 커버.
한 번 퍼블리시. Workflow, 채팅플로우 및 agent 앱이 지식 검색 노드를 통해 검색, 앱별로 인용을 활성화 가능.
첫
지식 파이프라인 구축하기.
Dify 클라우드로 시작하거나, 프라이빗 배포에 대해 문의하세요.