자료 수집부터 AI 브리핑까지 이어지는 과정

문서 검색형 AI는 한 가지 기술로 완성되지 않는다

이 연재에서는 컴퓨터의 저장과 계산, 글의 숫자 표현, 임베딩 기반 의미검색, 청크, 메타데이터와 스니펫을 차례로 살펴봤다. 마지막으로 이 요소들이 연결되는 전체 흐름을 보자. 이 흐름을 문서 파이프라인이라고 부른다.

문서를 많이 모았다고 검색 서비스가 저절로 완성되는 것은 아니다. 좋은 언어모델 하나를 연결한다고 모든 자료를 정확히 읽어주는 것도 아니다. 수집한 자료를 보존하고, 검색할 수 있는 형태로 정리하고, 질문과 관련된 근거를 골라 답으로 만드는 여러 단계가 필요하다.

자료가 브리핑이 되기까지

문서 검색형 AI의 파이프라인은 대체로 다음과 같이 이어진다.

1. 수집
   뉴스, 제품 설명서, 영상 자막, 업무 문서처럼 필요한 자료를 가져온다.

2. 원문 저장
   가공하기 전 원본을 보존한다. 나중에 OCR 오류를 고치거나 더 나은 분석 도구로 다시 처리할 때 필요하다.

3. 추출과 정규화
   PDF, 웹페이지, 자막처럼 형식이 다른 자료에서 텍스트를 추출한다. 깨진 문자와 불필요한 메뉴를 정리하고 날짜나 단위 표현도 일관된 형태로 맞춘다.

4. 구조화와 메타데이터 작성
   제목, 날짜, 출처, 작성자, 문서 유형, 버전 같은 정보를 붙인다. 파일 하나가 검색과 필터링이 가능한 문서 객체로 바뀌는 단계다.

5. 청크 분할
   제목과 문단, 표의 관계를 고려해 문서를 검색하기 좋은 단위로 나눈다.

6. 임베딩과 색인
   각 청크를 검색용 벡터로 만들고 벡터 검색이나 키워드 검색에서 빠르게 찾을 수 있도록 색인한다.

7. 검색과 재랭킹
   질문과 관련된 후보를 찾은 뒤, 더 정교한 모델이나 규칙으로 순서를 다시 매긴다. 날짜, 출처, 접근 권한 같은 조건도 이 단계에서 적용할 수 있다.

8. 답변과 브리핑 생성
   선택된 근거를 언어모델에 제공해 요약이나 답변을 만든다. 사용자가 내용을 확인할 수 있도록 출처와 스니펫을 함께 제시한다.

모든 시스템이 이 단계를 똑같이 사용하는 것은 아니다. 자료의 양과 목적에 따라 키워드 검색만 쓰거나, 긴 문서를 통째로 모델에 넣거나, 재랭킹을 생략할 수도 있다. 중요한 것은 각 단계가 무엇을 해결하는지 알고 필요한 조합을 고르는 일이다.

한 단계의 문제가 뒤로 이어진다

원문을 남기지 않으면 추출 오류가 발견돼도 처음부터 다시 처리하기 어렵다. OCR이 숫자를 잘못 읽으면 이후 요약에도 틀린 수치가 들어간다. 청크 경계가 나쁘면 예외 조건이 잘린 채 검색된다. 날짜와 버전 정보가 없으면 오래된 설명서가 최신 자료보다 먼저 나올 수 있다.

검색이 제대로 됐는데도 답변이 이상한 경우도 있다. 재랭킹이 관련 근거의 순서를 잘못 매겼을 수 있고, 모델에 너무 많은 청크를 제공해 핵심이 묻혔을 수도 있다. 출처 표시가 없다면 사용자는 답변을 원문과 대조하기 어렵다.

따라서 품질 문제를 고칠 때는 “모델이 부족하다”는 결론부터 내리지 않는 편이 좋다. 다음 순서로 확인하면 원인을 더 빨리 찾을 수 있다.

• 원문이 빠짐없이 수집됐는가?
• 텍스트와 표가 정확히 추출됐는가?
• 최신 날짜와 버전이 표시됐는가?
• 질문에 필요한 문장이 한 청크 안에 들어 있는가?
• 검색된 근거가 실제 질문과 관련 있는가?
• 최종 답변에서 근거의 뜻과 수치가 바뀌지 않았는가?

시리즈를 마치며

AI가 글을 읽는 것처럼 보이는 순간 뒤에는 데이터의 저장과 변환, 검색과 계산이 이어져 있다. 이 과정을 알면 답변이 틀렸을 때 어느 지점을 점검해야 하는지 구체적으로 말할 수 있다. “AI가 못 읽었다”에서 멈추지 않고 원문, OCR, 메타데이터, 청크, 검색 결과, 최종 문장을 차례로 확인하는 것이다.

AI를 덜 신비롭게 보는 일은 AI의 능력을 낮춰 보는 것과 다르다. 각 단계가 잘하는 일과 놓치는 일을 구분해야 결과를 더 정확히 검토할 수 있다.

시리즈 이어보기

이 연재를 처음부터 다시 읽으면 컴퓨터의 저장과 계산에서 출발해 토큰과 임베딩, 의미검색, 청크, 메타데이터, 문서 파이프라인이 연결되는 과정을 한 흐름으로 살펴볼 수 있다.