AI 검색은 문장의 연관성을 어떻게 계산할까

의미검색은 비슷함을 숫자로 비교한다

사람은 두 문장을 읽고 “비슷한 이야기네”라고 직관적으로 판단한다. 임베딩 기반 의미검색은 다른 방식을 쓴다. 질문과 검색 대상 문서를 각각 숫자 벡터로 만든 뒤, 두 벡터가 얼마나 비슷한지 계산한다.

이 설명은 모든 AI 시스템에 적용되는 하나의 원리가 아니다. 언어모델의 어텐션, 분류기, 두 문장을 함께 읽는 교차 인코더 등은 단일 벡터 두 개 사이의 거리만으로 연관성을 판단하지 않는다. 여기서는 문서와 질문을 각각 임베딩한 뒤 비교하는 의미검색에 초점을 맞춘다.

지도 위 좌표와 비슷하지만 완전히 같지는 않다

운동장에 학생들이 모여 있다고 상상해보자. 축구에 관심 있는 학생은 한쪽에, 음악을 좋아하는 학생은 다른 쪽에 모일 수 있다. 모두 정확히 줄을 맞추지는 않아도 공통 관심사에 따라 무리가 생긴다.

임베딩 공간도 이와 비슷한 그림으로 설명할 수 있다. 학습 과정에서 비슷한 맥락에 쓰인 표현들이 어느 정도 비슷한 벡터를 갖도록 조정된다. “신입 취업 준비”와 “첫 직장 구하기”처럼 글자는 달라도 주제가 비슷한 문장이 검색 결과에서 함께 나타날 수 있는 이유다.

다만 실제 벡터에는 사람이 그릴 수 있는 평면보다 훨씬 많은 차원이 있다. 또 어떤 표현들이 가깝게 놓이는지는 임베딩 모델의 학습 자료와 방법에 따라 달라진다. 주제가 다르다고 반드시 멀어지는 것도 아니며, 특정 분야의 용어나 최신 표현을 모델이 제대로 구분하지 못할 수도 있다.

가까움을 계산하는 방법도 여러 가지다

검색 시스템은 흔히 다음과 같은 방법으로 벡터를 비교한다.

• 코사인 유사도는 두 벡터가 가리키는 방향이 얼마나 비슷한지 본다.
• 내적은 두 벡터의 각 숫자를 곱해 더한 값으로 관련성을 계산한다.
• 거리를 쓰는 시스템은 두 점 사이가 얼마나 떨어져 있는지 비교한다.

어떤 방식을 선택할지는 사용한 임베딩 모델과 검색 시스템의 설계에 따라 달라진다. 계산 결과가 좋은 문서를 우선 후보로 고른 뒤, 키워드 검색 결과와 합치거나 별도의 재랭킹 모델로 순서를 다시 정하기도 한다.

가까움은 정답 판정이 아니다

“오늘 문을 여는 병원”과 “주말 진료 병원 목록”은 검색 목적상 가까울 수 있다. 그러나 벡터가 가깝다고 해서 목록 속 병원이 실제로 오늘 영업 중이라는 뜻은 아니다. 운영 시간은 날짜와 지점별 최신 정보를 따로 확인해야 한다.

비슷한 주제를 다룬 두 문장이 서로 반대되는 주장일 수도 있다. “이 제품은 안전하다”와 “이 제품은 안전하지 않다”는 많은 단어와 주제를 공유하기 때문에 가깝게 나타날 가능성이 있다. 의미검색 결과는 읽어볼 후보이지 사실 여부를 확인한 정답이 아니다.

한 줄로 정리하면, 임베딩 기반 의미검색은 질문과 자료를 벡터로 표현하고 코사인 유사도나 내적, 거리 등을 이용해 검색 후보를 찾는다. 좋은 결과를 얻으려면 키워드, 날짜, 출처 같은 조건과 재랭킹 또는 사실 확인을 함께 사용해야 한다.

다음 글에서는 이런 벡터 검색을 많은 문서에 적용할 때 벡터 데이터베이스가 어떤 역할을 하는지 살펴본다.