문서는 왜 잘게 나눠야 할까: 청크(chunk)가 검색 품질과 요약 품질을 바꾸는 이유

문서 전체를 통째로 던지면 왜 잘 안 될까

긴 보고서 한 편에는 배경 설명, 통계 표, 결론, 정책 제안, 참고 문헌이 모두 섞여 있다. 사람은 필요한 부분만 골라 읽을 수 있지만, AI에게 긴 문서를 통째로 던지면 항상 잘되는 것은 아니다. 그래서 등장하는 것이 청크다.

청크는 AI가 읽기 좋은 크기로 나눈 문서 조각이다. 문서를 적절한 청크로 나누면 질문과 가까운 부분만 골라서 가져올 수 있다. “정책 시사점”이 있는 절, “예산 변화”가 있는 단락, “현장 사례”가 있는 문장을 더 정밀하게 다룰 수 있게 되는 것이다.

너무 작아도, 너무 커도 문제다

너무 작게 나누면 문맥이 끊긴다. 한 문장만 떨어져 있으면 그 말이 왜 나왔는지 모를 수 있다. 반대로 너무 크게 나누면 관련 없는 정보가 한 덩어리 안에 섞여 검색 정확도가 떨어지고, 요약 결과도 흐릿해진다.

그래서 청크 설계는 단순히 “몇 글자씩 자를까”의 문제가 아니다. 실제로는 제목, 소제목, 문단 경계, 표와 설명의 연결을 함께 봐야 한다. 청크는 기술 설정 같지만, 사실은 읽기 단위를 설계하는 편집 작업에 가깝다.

검색 품질과 요약 품질이 함께 걸려 있다

AI가 답변을 만들 때는 보통 검색된 청크들을 참고한다. 그런데 청크 경계가 이상하면 핵심 근거가 잘린 채 들어오거나 서로 다른 맥락의 문장이 섞인다. 그 결과 “검색은 됐는데 답변이 이상하다”는 일이 생긴다.

많은 경우 문제는 모델 자체보다 앞단의 청크 설계에 있다. 좋은 청크는 AI가 공부하기 좋은 단위다. 질문이 들어왔을 때 관련 부분을 빠르게 찾고, 답변을 만들 때 근거를 자연스럽게 붙일 수 있게 해준다.

한 줄로 정리하면

청크는 긴 문서를 AI가 이해하고 검색하기 좋은 단위로 나눈 조각이며, 이 조각을 어떻게 자르느냐가 검색과 요약 품질을 크게 좌우한다.