내가 자는 동안 일하는 AI 함대

밤 11시, 하루 일이 끝나고 노트북을 덮으려는 순간 문득 아까운 생각이 들었습니다. 제가 구독한 AI 서비스들에는 저마다 사용량 창(일·주 단위로 갱신되는 한도)이 있습니다. 다 못 쓴 저가 모델의 쿼터는 다음 갱신 때 이월되지 않고 사라집니다. 밤새 아무도 안 쓰는 사용량이 계속 증발하고 있었던 겁니다. 그런데 제 책상 위에는, 낮 동안 "언젠가 하면 좋은데" 하고 미뤄둔 일들이 쌓여 있었습니다. 자료 조사, 문서 요약, 초안 작성, 대량 변환 같은 것들. 급하진 않지만 손은 가는 일들이요. 여기서 아이디어가 나왔습니다. 밤에 노는 저가 모델 쿼터에, 밤에도 급하지 않은 일을 물려 두면 어떨까? 아침에 일어나면 초안이 준비돼 있는 함대를 만드는 겁니다.

발상: 무인 야간 배치

설계는 간단했습니다. 낮에 일하다가 "이건 밤에 시키자" 싶은 작업이 생기면 지시서로 만들어 큐(대기열)에 넣어 둡니다. 밤 11시 반, 예약된 프로그램이 자동으로 깨어나 큐에 쌓인 지시서를 하나씩 저렴한 모델에게 넘깁니다. 산출물은 정해진 폴더에만 떨어지고, 새벽에 하드 컷으로 종료됩니다. 다음 날 아침, 제가 첫 작업을 시작할 때 가장 먼저 하는 일은 밤새 나온 결과물을 검수하는 것. 제 비싼 판단력은 검수에만 쓰고, 밤새 노동은 전부 저가 모델이 하는 구조입니다.

여기까지는 그럴듯했습니다. 그런데 이 설계를 다른 회사 AI에게 크리틱시켰더니, 22건의 지적이 돌아왔습니다. 그중 하나는 아예 "이대로는 안 됨(BLOCK)" 판정이었습니다.

크리틱의 급소: "문서 규칙은 권한 경계가 아니다"

제 원래 설계에는 이런 문장이 있었습니다. "금지: 비가역 작업 일체, 레포 직접 커밋, 배포, 외부 발신." 저는 이걸 안전장치라고 생각했습니다. 지시서에 "하지 마"라고 써 두면 AI가 안 할 거라고요.

크리틱의 지적은 뼈아팠습니다. 문서에 적힌 규칙은 권한 경계가 아니다. 제가 옆에서 지켜보지 않는 밤에, 무인으로 돌아가는 AI에게 "이건 하지 마세요"라는 문장은 그저 부탁일 뿐입니다. 만약 밤새 처리하는 자료 어딘가에 악의적인 지시가 숨어 있다면(요즘은 이런 프롬프트 인젝션 공격이 실제로 있습니다), AI는 "하지 마"라는 제 부탁보다 그 숨은 지시를 따를 수도 있습니다. 문장으로 만든 울타리는 울타리가 아닙니다. 그럴듯한 안전감을 줄 뿐입니다.

이 지적이 제 사고를 통째로 바꿨습니다.

전환: 규칙이 아니라 능력을 제한한다

해법은 "더 강하게 금지하기"가 아니었습니다. 아예 할 수 없게 만들기였습니다.

AI에게 "커밋하지 마"라고 부탁하는 대신, 커밋할 도구 자체를 손에서 뺐습니다. 밤에 돌아가는 AI에게는 파일을 쓸 도구도, 명령을 실행할 도구도, 인터넷에 접속할 도구도 주지 않았습니다. 실제로 이 무도구 에이전트를 켜면 시스템이 "사용 가능한 도구: 없음(available tools: none)"이라고 표시합니다. 부탁이 아니라 물리적 사실입니다. 하지 말라고 적어 둔 게 아니라, 할 손이 없는 겁니다.

"그러면 자료 조사는 어떻게 하나요? 웹 접근이 필요할 텐데요." 좋은 질문입니다. 여기서도 발상을 뒤집었습니다. 웹 접근 권한을 AI에게 주는 대신, 밤을 관리하는 프로그램(러너)이 대신 자료를 수집합니다. 러너가 필요한 페이지를 정해진 상한(건수와 용량 제한) 안에서 미리 긁어와 파일로 첨부해 두면, AI는 그 첨부된 자료만 읽고 작업합니다. AI는 인터넷에 직접 손을 뻗을 수 없습니다. 이렇게 하면 설령 자료에 악의적 지시가 숨어 있어도, AI에게 실행 도구가 없어 그 지시가 즉시 행동으로 이어질 표면이 사라집니다. 물론 오염된 문장이 산출물 텍스트에 섞여 들어올 위험은 남습니다 — 그래서 아침 검수가 마지막 관문입니다.

배움: 무인 AI의 안전은 규칙이 아니라 능력 제한으로

이 경험에서 제가 가져간 핵심 배움은 하나입니다. 사람이 지켜보지 않는 AI의 안전은 프롬프트 규칙만으로는 만들 수 없고, 능력 제한이 그 중심이어야 합니다.

낮에 제가 옆에서 AI를 쓸 때는 규칙이 통합니다. AI가 이상한 짓을 하려 하면 제가 보고 중단시키니까요. 사람이 최종 안전장치입니다. 하지만 밤에는 그 사람이 없습니다. 사람이 빠진 자리에서 "하지 마세요"라는 문장은 아무것도 막지 못합니다. 유일하게 믿을 수 있는 건, 애초에 그 일을 할 능력을 주지 않는 것뿐입니다.

이건 무인 AI를 운영하려는 누구에게나 적용되는 원칙입니다. AI 에이전트를 자동으로 돌리기 시작하는 순간, 스스로에게 이렇게 물어야 합니다. "내가 안 보는 사이에 이게 할 수 있는 최악의 일은 뭐지? 그리고 나는 그걸 부탁으로 막고 있나, 아니면 능력을 빼서 막고 있나?" 프롬프트에 적은 금지 문구에 기대고 있다면, 그건 안전이 아니라 안전감입니다.

재미있는 건, 이 모든 교훈이 다시 한번 교차 크리틱에서 나왔다는 점입니다(3편의 이야기와 이어집니다). 제 혼자만의 설계였다면 "금지 문구"를 안전장치라고 믿은 채 밤마다 무방비한 함대를 돌렸을 겁니다. 다른 회사 AI의 한 줄 지적이 그걸 막았습니다. 자는 동안 일하는 함대를 갖고 싶다면, 그 함대를 띄우기 전에 반드시 다른 눈에게 설계를 먼저 공격받으세요. 그리고 안전은 규칙이 아니라 능력의 문제로 다시 설계하세요.

오늘 해볼 것

1. 자동화가 없어도 시작할 수 있습니다. 자기 전 5분, 미뤄둔 조사·요약·초안 작업 3개를 저가(또는 무료) 모델 채팅에 각각 던져두세요. 아침 커피와 함께 결과를 검수하는 것으로 하루를 시작합니다. (민감한 자료는 무료 서비스에 올리기 전에 한 번 더 생각하세요.)
2. 순서를 뒤집지 마세요: 밤새 나온 결과물은 검수 전까지 전부 초안입니다. 검수 없이 그대로 고객에게 보내는 순간 이 구조의 안전장치가 사라집니다.
3. 어떤 AI든 자동으로 돌리기 전에 스스로에게 물어보세요: "내가 안 보는 사이 이게 할 수 있는 최악의 일은 무엇인가? 나는 그걸 '부탁'으로 막고 있나, '능력 제거'로 막고 있나?" 부탁으로 막고 있다면 아직 무인으로 돌릴 때가 아닙니다.

(개발자라면: 이 구조의 실제 러너 스크립트와 무도구 에이전트 설정을 공개 저장소에 올려두었습니다 — 다음 편 끝에 링크가 있습니다.)