이 시리즈는 아주 개인적인 좌절에서 시작했다. AI 구독을 셋이나 쓰는데 주중이면 일이 멈춘다는 것. 여러 편을 거치며 나는 그 원인이 자원 부족이 아니라 라우팅 부재였음을 알았고, 성능 저하를 사고가 아니라 설계로 바꾸는 "소진 사다리"를 만들었다. 마지막 편에서는 이 모든 조각을 하나의 그림으로 묶는다. 나는 이 그림을 멀티모델 플릿 옵스, 한 사람이 지휘하는 AI 함대라고 부른다.
핵심 구조: 판단은 하나, 실행은 여럿
함대의 원리는 단순하다. 판단은 최상급 모델 하나가 도맡는다(지휘함). 계획, 아키텍처 결정, 애매함 해소, 최종 검증 — 틀리면 조용히 넘어가 나중에 크게 터지는 일들이다. 반면 실행·검증·기계 작업은 유형별로 나뉜 레인이 담당한다. 코드 구현, 사실 검증, 파일 스윕, 문서 변환 같은, 틀리면 금방 눈에 띄는 일들이다.
이렇게 나누는 데는 세 가지 뚜렷한 목적이 있다.
- 고가치 토큰 절약. 가장 비싸고 귀한 판단용 모델의 한도를 판단에만 쓴다. 기계적인 일은 저가 레인으로 흘려보내 지휘함의 여력을 지킨다.
- 교차 편향 탐지. 한 모델이 만든 결과의 오류는 그 모델 스스로 잘 못 잡는다. 서로 다른 모델 가족이 상대의 산출물을 검토하게 하면, 혼자서는 놓쳤을 오류가 드러난다.
- 병렬 시간 단축. 넓게 훑는 조사 같은 일은 여러 레인에 동시에 던져서 벽시계 시간을 줄인다. 우리 파일럿 2건에서는 순차로 6~7분 걸릴 일이 100초 안쪽으로 끝났다(약 4배 — 아직 소규모 관측이라 일반화는 아니다).
과제 유형별 라우팅 표
함대를 실제로 굴리는 규칙은 결국 "이 일을 누구에게 보낼까"의 표로 정리된다.
| 과제 유형 | 패턴 |
|---|---|
| 넓은 조사·수집 | 여러 모델에 동시에 던지고(fan-out) → 기계적 검증 게이트 → 지휘함이 종합 |
| 결합도 높은 구현 | 단일 실행 레인 + 옆에서 다른 가족이 비차단 크리틱 + 합류점만 지휘함 판정 |
| 작업물 크리틱(코드·기획) | 교차 가족 필수 — Codex가 만든 건 Claude가, Claude가 만든 건 Codex가 검토 |
| 사실 검증(정답이 존재) | 원문·테스트로 대조 가능하면 저가 레인 OK |
| 고부담 판정 | 서로 다른 모델 소형 패널의 다수결 |
| 기계 작업 | 결정론 스크립트 우선(토큰 0) → 저가 모델 → 게이트 |
| 대용량 읽기 | 저가 모델이 요약 → 지휘함은 요약본으로 판단 + 표본 재확인 |
핵심 규칙 하나만 기억하면 된다. 저가 레인의 결과가 아무도 안 보는 곳(silent)으로 흘러가는 자리마다, 뒤에 판단용 모델의 검증을 세운다. 저가 레인은 위임을 풍족하게 하려고 있고, 값비싼 판단은 결과를 바꾸는 곳에만 넣는다.
이게 근거 있는 이야기인가
이건 내 개인적 취향이 아니라 문헌으로도 뒷받침된다. 몇 개만 추린다.
- Anthropic의 멀티에이전트 리서치 시스템 보고: 리드 모델 하나가 여러 워커를 지휘하는 구조가 단일 모델보다 크게 나았지만, 토큰은 훨씬 많이 들고 "넓게 훑는" 과제에 한정됐다. 결합도 높은 일엔 부적합하다는 단서가 함께 있다.
- MAST(멀티에이전트 실패 연구): 1,600건 넘는 실패 기록을 모아 분류했더니, 가장 큰 범주는 모델의 능력이 아니라 시스템 사양·설계 문제(41.8%)였다. 지시서와 역할·검증 구조의 설계가 그만큼 큰 레버리지라는 뜻이다.
- PoLL(심판을 배심원단으로): LLM 출력 평가 실험에서, 서로 다른 모델 가족의 작은 심판 여럿이 하나의 강한 심판보다 인간 판정과 더 잘 맞고 7배 이상 쌌다. "교차 가족 검증"을 고려할 실험적 근거다.
- capability saturation(Nature MI 2026): 해당 연구의 벤치마크들에서는 단일 모델 기준 성능이 약 45%를 넘는 구간부터 협업의 이득이 0이거나 오히려 마이너스였다. 협업이 항상 이기는 게 아니다 — 넓게 훑는 일에만 fan-out을 쓰는 이유다.
이 연구들이 주는 공통된 시사점은 하나다. 여럿을 무작정 붙인다고 나아지지 않는다. 언제 나누고 언제 나누지 않을지를 아는 설계가 전부다.
오늘 시작하는 법 — 체크리스트 다섯 줄
- 일을 두 칸으로 분류한다: 틀리면 조용히 터지는 일 / 틀리면 금방 보이는 일 (1편)
- 내 구독 기준으로 라우팅 표 한 장을 만든다 — "이 일은 누구에게" (위 표를 베껴서 시작하면 된다)
- 소진 사다리를 최소 3단이라도 정해둔다 — 복귀 첫 작업은 폴백 산출물 재검토 (2편)
- 중요한 산출물의 검토는 다른 회사 AI에게 맡긴다 (3편)
- 자기 전 5분, 내일 아침 받을 작업 3개를 저가 모델에 던져둔다 (4편)
이 다섯 줄이면 함대의 뼈대는 선다. 나머지는 각자의 일에 맞춰 표를 고쳐 쓰는 일이다.
시리즈를 마치며
혼자 일하는 사람에게 AI 여러 개는 부담이 아니라 함대다. 다만 함대는 지휘 없이는 서로 부딪힐 뿐이다. 판단은 하나로 모으고, 실행은 성격에 맞게 나누고, 성능 저하는 사고가 아니라 설계로 만든다 — 이 세 가지가 내가 주중에도 일이 멈추지 않게 된 방법의 전부다.
이 시리즈에서 다룬 구조와 라우팅 규칙, 소진 사다리 설계는 정리해서 공개 저장소에 올려두었다: github.com/nori00000/multimodel-fleet-ops. 직접 함대를 꾸려보고 싶은 분께 출발점이 되길 바란다.
아직 댓글이 없습니다. 첫 댓글을 작성해보세요!