AI 답변에서 확인할 출처 목록 만들기 — 결과를 비교하고 고치는 방법

준비

이 연습은 일반적인 AI 대화 도구에 직접 붙여넣은 가상의 짧은 자료만 사용하는 실습입니다. 외부 계정 연결이나 파일 업로드 없이, 화면에 입력할 수 있는 짧은 텍스트만 준비하면 됩니다.

먼저 가상 자료를 만듭니다. 예를 들어 아래와 같은 내용을 직접 작성해 두세요. 아래는 가상의 예시이며 실제 인물이나 단체와 관련이 없습니다.

```
[가상 자료 시작]
- 김하늘 팀장: 3월 보고서 작성
- 이산 씨: 회의록 정리
- 박수람 씨: 고객 문의 답변 초안
- 정여울 씨: 3월 보고서 검토
[가상 자료 끝]
```

이처럼 몇 줄 되지 않는 목록이면 충분합니다. 개인정보가 들어갈 자리는 모두 가상의 이름과 가상의 업무로 대체합니다.

해보기

첫째, AI 대화 도구에 위 가상 자료를 통째로 붙여넣습니다. 그다음 아래와 같이 부탁합니다.

"위 자료에서 누가 어떤 업무를 맡았는지 정리해 주세요. 각 항목에 대해 자료의 어느 줄에서 근거를 찾았는지 출처 줄 번호를 함께 적어 주세요. 자료에 없는 내용은 만들지 말아 주세요."

둘째, 답변을 받으면 화면의 원본 자료와 나란히 놓고 한 줄씩 대조합니다. 셋째, 일부러 한두 항목을 누락시키거나 이름을 살짝 바꾼 자료를 다시 넣고 같은 요청을 반복합니다. 그리고 "누락된 항목과 바뀐 부분을 찾아 고쳐 주세요. 고친 이유도 자료의 해당 줄과 함께 보여 주세요"라고 추가로 부탁합니다.

결과 확인

검증은 세 가지를 기준으로 합니다. 첫째, AI가 적은 출처 줄 번호가 실제 자료의 그 줄과 일치하는지 확인합니다. 둘째, 자료에 없는 업무나 이름이 답변에 섞여 있지 않은지 확인합니다. 셋째, 고쳐 달라고 요청한 부분이 원본 자료 기준으로 바르게 수정되었는지 확인합니다. 틀린 부분이 있다면 "몇 번째 줄 근거에 따라 고쳐 주세요"라고 지적하며 다시 시도해 봅니다. 이 과정은 붙여넣은 가상 자료 안에서만 이루어지며, AI 도구가 일반적으로 어떤 범위까지 정보를 다룰 수 있는지를 단정하는 것은 아닙니다.

연습이 끝나면 어떤 항목이 맞았고 어디를 몇 번 고쳤는지를 한 문장으로 기록해 둡니다.

## 읽고, 해보고, 남기기
오늘의 해보기: https://sociai.org/do
해본 과정과 결과는 실험기에 남겨 보세요: https://sociai.org/records