긴 문서를 AI 검색에 넣을 때 어디서 나눠야 할까

긴 문서를 통째로 검색하면 필요한 부분을 놓칠 수 있다

긴 보고서나 사용 설명서에는 배경 설명, 표, 사례, 결론, 참고 문헌이 함께 들어 있다. 사용자는 그중 한두 문단에만 있는 답을 찾고 싶을 수 있다. 문서 전체를 하나의 검색 단위로 만들면 질문과 직접 관련 없는 내용까지 한 덩어리에 섞인다.

RAG나 문서 검색형 AI에서는 그래서 문서를 청크라는 작은 조각으로 나눈다. 질문이 들어오면 전체 파일을 매번 읽는 대신 질문과 관련성이 높은 청크를 먼저 찾고, 그 내용을 언어모델에 근거로 제공한다.

예를 들어 80쪽짜리 노트북 설명서에서 “배터리 보존 모드를 켜는 법”을 묻는다면 제품 소개부터 보증 약관까지 모두 가져올 필요는 없다. 배터리 설정을 설명하는 절과 그 앞뒤의 주의사항을 찾는 편이 효율적이다.

너무 짧으면 문맥이 끊긴다

청크를 문장 하나씩 잘라 놓으면 검색어와 정확히 맞는 문장은 쉽게 찾을 수 있다. 하지만 대명사가 무엇을 가리키는지, 수치의 단위가 무엇인지, 어떤 조건에서만 적용되는 설명인지 놓칠 수 있다.

다음 두 문장을 따로 떼어 놓는 경우를 생각해보자.

이 기능은 배터리가 20% 이상일 때만 작동한다.
설정 화면에서 스위치를 켠다.

두 번째 문장만 검색되면 어떤 기능을 말하는지 알 수 없다. 표의 제목과 행을 분리하거나 계약 조항과 예외 조건을 갈라놓아도 같은 문제가 생긴다.

너무 길면 핵심이 묻힌다

반대로 여러 장을 하나의 청크로 묶으면 질문과 무관한 내용이 함께 들어간다. 검색용 벡터 하나에 여러 주제가 섞여 필요한 부분을 정확히 찾기 어려워질 수 있고, 모델에 제공하는 입력도 불필요하게 길어진다.

따라서 청킹은 “500자마다 자르기” 같은 고정 규칙만으로 해결되지 않는다. 다음과 같은 문서 구조를 함께 봐야 한다.

• 제목과 소제목
• 문단과 목록의 경계
• 표, 표 제목, 단위와 각주
• 질문에 답하려면 함께 읽어야 하는 앞뒤 문장
• 페이지가 바뀌어도 이어지는 절이나 항목

경계에서 문맥이 끊기는 문제를 줄이기 위해 인접한 청크의 일부 내용을 겹쳐 넣기도 한다. 다만 중복을 지나치게 늘리면 같은 근거가 검색 결과에 반복되는 문제가 생긴다.

청킹은 모든 요약의 필수 조건이 아니다

청크는 특히 RAG와 문서 검색에서 중요하다. 그러나 긴 문서를 요약할 때 언제나 잘게 나눠야 하는 것은 아니다. 입력 한도가 충분한 긴 문맥 모델에 문서 전체를 제공할 수도 있고, 장별 요약을 만든 뒤 다시 합치는 계층적 요약 방식을 쓸 수도 있다.

무엇을 선택할지는 목적에 따라 달라진다. 문서에서 특정 근거를 찾아 질문에 답하려면 검색하기 좋은 청크가 필요하다. 글 전체의 논리와 흐름을 요약하려면 지나치게 잘게 나눈 조각보다 전체 구조를 보존하는 방식이 나을 수 있다.

한 줄로 정리하면, 좋은 청크는 단순히 짧은 조각이 아니라 질문에 답할 만큼 충분한 문맥을 가진 검색 단위다. 검색 결과가 이상할 때는 모델을 바꾸기 전에 제목과 표, 예외 조건이 청크 경계에서 잘리지 않았는지 확인해야 한다.

다음 글에서는 메타데이터와 스니펫이 검색 결과를 어떻게 더 정확하고 읽기 쉽게 만드는지 살펴본다.