📝
FormaX Team2026년 5월 18일6 분
RAG 텍스트 청킹: 오버랩, JSONL보내기, 튜닝
벡터 검색·RAG용 고정 윈도우·오버랩 청킹 후 JSONL보내기. 브라우저 로컬 처리.
RAGAI데이터 처리
RAG에서 청킹이 필수인 이유
긴 문서를 검색 가능한 조각으로 나누고, 질의 시 관련 청크만 가져옵니다. 청크 품질이 답변 근거를 결정합니다.
FormaX RAG 텍스트 청커는 문자 단위 고정 윈도우·오버랩(브라우저 로컬). 프로덕션에서는 토큰 기반으로 전환하는 경우가 많습니다.
JSONL
줄마다 JSON, chunk_index와 위치 메타데이터 포함.