소진 사다리: AI에게 단계적 성능 저하를 설계하다

지난 편에서 나는 "일을 미리 나누면 최상급 모델이 오래 버틴다"는 걸 배웠다. 그런데 아무리 아껴 써도 한도는 언젠가 바닥난다. 문제는 그 순간에 무슨 일이 벌어지느냐였다. 예전의 나는 최상급 모델이 소진되면 그냥 일이 멈췄다. 전면 정지. 다음 리필까지 몇 시간이고 손을 놓았다.

엔지니어들이 큰 시스템을 다룰 때 쓰는 개념 세 가지가 여기서 통했다. 일을 종류별로 다른 모델에 보내기(라우팅), 성능이 우아하게 한 단계씩 낮아지게 하기(graceful degradation), 그리고 하나가 죽으면 다음이 이어받고 회복되면 되돌아오기(failover/failback). 대기업 인프라 얘기 같지만, 혼자 일하는 규모에도 그대로 적용됐다.

문제 상황: 성능 저하가 "사고"였다

기존의 나에게 모델 소진은 예고 없는 사고였다. 잘 돌아가다가 갑자기 벽에 부딪혔고, 그때마다 "이제 뭘로 일하지?"를 즉흥적으로 고민했다. 사고이기 때문에 대응도 매번 어설펐다.

해법은 발상을 뒤집는 것이었다. 성능 저하를 사고가 아니라 미리 정해둔 상태로 만들면 어떨까? 계단을 다섯 칸 그려놓고, 자원이 줄어들면 한 칸씩 내려가되 어느 칸에서든 일은 계속되게. 나는 이걸 "소진 사다리"라고 부른다.

시도: 사다리 다섯 칸

• 1단 — 정상. 최상급 모델이 판단하고, 실행·기계 작업은 이미 별도 레인에 나눠져 있다. 평시 기본값.
• 2단 — 절약 모드. 사용률이 일정 선(예: 75%)을 넘으면 최상급 모델은 지휘만 한다. 결정과 검증만 하고, 실행과 대량 읽기는 전부 외부 레인으로 내보낸다. 판단의 재료(증거)는 요약본으로라도 반드시 본다.
• 3단 — 승계. 최상급 모델이 완전히 소진되면, 한 단계 아래 모델(Opus)이 판단 역할을 이어받는다. 이때 실행 티어는 더 낮은 모델로 내려서, 판단에 쓸 여력을 아낀다.
• 4단 — 무판단 모드. Claude 계열 전체가 바닥나면, 새로운 판단이 필요한 일은 전부 대기열에 적어둔다. 그리고 이미 내려진 결정의 기계적 실행과 자동 검증만 Codex·GLM·DeepSeek으로 전진시킨다. 판단은 멈추되 손은 멈추지 않는다.
• 5단 — Zen 스택 자율 운영. Codex마저 소진되면, 저가 모델들끼리 역할을 나눠 자율로 굴린다. 한 모델(DeepSeek)이 일을 쪼개고 최종 판정하고, 다른 모델(GLM)이 작은 단위를 구현하고, 또 다른 모델(MiMo)이 독립적으로 리뷰한다. 서로 다른 세 가족이 교차하도록 짜서, 한 모델의 편향을 다른 모델이 잡게 한다.

해결의 열쇠: 복귀 규칙

내려가는 것보다 어려운 게 되돌아오기였다. 리필이 감지되면 나는 한 번에 1단으로 점프하지 않는다. 한 단계씩 올라온다. 5단에서 갑자기 정상으로 뛰면, 저가 모델들이 자율로 만들어둔 결과물을 검증 없이 신뢰하게 되기 때문이다.

그래서 복귀에는 딱 하나의 철칙을 둔다. 복귀 후 최상급 모델의 첫 번째 판단은, 폴백 기간에 나온 산출물을 스팟체크하는 일이다. 저가 레인이 밤새 만들어둔 것을 곧바로 최종본으로 삼지 않고, 돌아온 판단력으로 표본을 다시 훑는다. 이걸 가능하게 하려고, 폴백 레인의 산출물에는 "이건 어느 레인이 만들었다"는 표기를 남긴다. 어떤 결과가 저가 레인 것인지 알아야 골라서 다시 볼 수 있으니까.

배움: 설계된 저하는 정지를 없앤다

가장 큰 변화는 심리적이었다. 예전엔 최상급 모델이 소진되는 걸 두려워하며 아껴 썼고, 막상 소진되면 당황했다. 지금은 소진이 사다리의 한 칸일 뿐이다. 두렵지 않다. 어느 칸에 있든 그 칸에 맞는 일이 정해져 있고, 손은 계속 움직인다.

성능 저하를 예외 상황이 아니라 설계된 정상 상태의 하나로 만들면, "전면 정지"라는 단어 자체가 사라진다. 이게 혼자 일하는 사람이 24시간 자원을 놀리지 않고 굴리는 방법이었다.

오늘 해볼 것

1. 종이에 세 칸짜리 사다리를 그리세요. 1단: 평소 조합(어떤 일을 어느 모델에게). 2단: 주력 모델이 소진되면 — 무엇으로, 어떤 일만 계속할지. 3단: 전부 소진되면 — 판단이 필요한 일을 적어둘 곳(메모장이면 충분합니다).
2. 복귀 철칙을 한 줄로 정해두세요: "한도가 돌아오면 첫 작업은 폴백 기간에 나온 결과물 재검토."
3. 오늘부터 AI 산출물을 저장할 때 "어느 모델이 만들었는지" 한 줄을 함께 남기세요 — 나중에 골라서 재검토할 수 있는 간단하고 확실한 방법입니다.

다음 편에서는 함대의 품질을 지키는 장치를 다룬다. 한 AI의 오류를 다른 회사 AI가 잡게 만들고, 그게 정말 되는지 가짜 출처를 심어 실험한 이야기다.