Concept practice

토큰: AI의 입력과 출력을 세는 단위

먼저 상황을 판단한 뒤, 설명과 내 예시를 확인해 보세요.

1. 판단하기

토큰을 이해할 때 가장 안전한 설명은?

처리되는 텍스트 조각 모델마다 같은 단위 한 단어와 같은 길이

선택하기 전에는 맞음·틀림을 표시하지 않습니다.

답과 설명 먼저 보기

추천 답: 처리되는 텍스트 조각

맞다. 정확한 분할은 모델과 인코더에 따라 달라지므로 대략적 단위로 이해한다.

글자 수만 세면 생기는 착각

2. 비교하고 조작하기

토큰은 AI가 입력과 출력을 처리할 때 사용하는 작은 텍스트 조각이다. 단어와 항상 일치하지 않으며 언어와 표기에 따라 한 단어가 여러 조각으로 나뉠 수 있다.

첫 사례는 모든 언어의 글자 수가 곧 AI의 처리량이라고 본다. 둘째 사례는 언어·기호·공백에 따라 토큰 분할이 달라질 수 있음을 감안해 필요한 내용과 출력 길이를 함께 계획한다.

자주 생기는 오해

토큰 수가 곧 답변의 품질이라는 오해가 있다. 토큰은 양과 처리 범위를 가늠하는 단위이고 품질은 목적·근거·검토에 달려 있다.

3. 내 작업에 옮기기

AI에게 긴 결과를 요청하기 전에 원하는 길이와 꼭 필요한 항목을 한 줄로 제한해 보세요.

나의 예시와 다음 확인 방법

이 메모는 이 기기와 브라우저에만 저장됩니다. 점수나 이해도는 기록하지 않습니다.

다음 검토

아직 답을 확인하지 않았습니다. 한 번의 선택은 이해도 점수가 아니라, 다시 살펴볼 출발점입니다.

'핵심 3개를 각 2문장으로'라고 쓰면 결과 범위를 조절할 수 있고, 불필요한 반복도 줄어든다.

함께 적용하기

직접 적용한 과정과 달라진 점을 적어 보세요. 제출한 기록은 검토 후 공개됩니다.

위 메모에서 공유할 부분을 복사해 다음 작성 화면에 붙여 넣으세요. 적용 기록은 500자까지 작성할 수 있습니다.

아직 공개된 적용 기록이 없습니다. 첫 기록을 남겨 보세요.

이제 내 아이디어에 적용해 봐요. S0에서 첫 결과물을 만드는 무료 실습을 시작해요.