OpenAI 토큰 계산기

OpenAI 토큰 계산기

인기 AI Skill PRO

계산 입력

아래 두 가지 중 하나를 선택하세요:

GPT-6 모델은 목록에 없습니다. OpenAI가 아직 tiktoken에 해당 토크나이저를 공개하지 않았습니다.

토큰 계산 방식:

공식

토큰=len(encode인코딩(텍스트))\text{토큰} = \operatorname{len}\Big(\operatorname{encode}_{\,\text{인코딩}}\big(\text{텍스트}\big)\Big)
계산 단계 보기 (1)
  1. OpenAI 모델별 토큰 수

    토큰=len(encodeenc(모델)(텍스트))\text{토큰} = \operatorname{len}\Big(\operatorname{encode}_{\,\text{enc}(\text{모델})}\big(\text{텍스트}\big)\Big)

    모델에 해당하는 인코딩이 정해지고, 토큰 수 = 입력 텍스트를 인코딩했을 때 생성되는 토큰의 개수.

사용 통계

광고

결과

토큰 수
9
인코딩: o200k_base · encode()
토큰 통계
표준(Standard) 토큰 수 9 (HTML 태그를 별도로 처리)
일반(Ordinary) 토큰 수 9 (HTML을 일반 텍스트로 처리)
글자 수 37
단어 수 7
단어당 토큰 수 1.29
인코딩 정보
인코딩 방식 o200k_base
계산 방식 encode()
선택 기준 인코딩: o200k_base

이 페이지의 오류 신고

이 OpenAI 토큰 계산기는 OpenAI의 tiktoken을 자바로 구현한 오픈소스 라이브러리 JTokkit v1.1.0을 사용합니다.

Maven 의존성: com.knuddels:jtokkit:1.1.0

JTokkit은 Knuddels GmbH가 개발·관리하며 MIT 라이선스로 배포됩니다.

구현 방식

이 토큰 계산기는 다음과 같이 구성되어 있습니다.

// Maven 의존성
implementation 'com.knuddels:jtokkit:1.1.0'

// 토큰 계산 구현
import com.knuddels.jtokkit.Encodings;
import com.knuddels.jtokkit.api.Encoding;
import com.knuddels.jtokkit.api.EncodingRegistry;
import com.knuddels.jtokkit.api.EncodingType;
import com.knuddels.jtokkit.api.ModelType;

// 사용 예시
EncodingRegistry registry = Encodings.newDefaultEncodingRegistry();
Encoding encoding = registry.getEncoding(EncodingType.CL100K_BASE);
int tokenCount = encoding.countTokens(text);

JTokkit은 OpenAI 공식 tiktoken 라이브러리와 동일한 방식으로 토큰화하므로, 결과 토큰 수도 그대로 일치합니다.

OpenAI 토큰 계산기 사용 가이드

토큰화란?

토큰화(tokenization)는 텍스트를 '토큰'이라는 작은 단위로 쪼개는 과정입니다. OpenAI 모델은 글자나 단어가 아니라 이 토큰 단위로 텍스트를 처리합니다. 토큰은 한 글자만큼 짧을 수도, 단어 하나만큼 길 수도 있습니다(예: "a" 또는 "apple"). 자주 쓰이는 단어는 대개 토큰 하나로 처리되지만, 드문 단어는 여러 토큰으로 나뉩니다.

토큰 수는 다음과 같이 정의됩니다.

$$\text{Tokens} = \operatorname{len}\Big(\operatorname{encode}_{\,\text{Encoding}}\big(\text{Text}\big)\Big)$$

중요: 모델마다 사용하는 토크나이저가 다르며, 토큰 수는 다음 세 가지에 직접적인 영향을 줍니다.

  • API 요금 — 입력과 출력 모두 토큰 단위로 과금됩니다
  • 컨텍스트 윈도우 — 모든 모델에는 처리 가능한 최대 토큰 수가 정해져 있습니다
  • 응답 속도 — 토큰이 많을수록 처리 시간이 길어집니다

인코딩 방식

JTokkit은 OpenAI 토크나이저와 동일한 여러 인코딩 방식을 제공합니다.

인코딩 설명 사용 모델
cl100k_base GPT-4, GPT-4 Turbo, GPT-3.5 Turbo 및 임베딩 모델 text-embedding-3 / ada-002의 토크나이저 GPT-4, GPT-4 Turbo, GPT-3.5 Turbo, text-embedding-3-small/large, text-embedding-ada-002
p50k_base 어휘를 보강해 코드 처리 성능을 높인 방식 GPT-3 davinci, curie, babbage, ada 및 Codex 계열
p50k_edit 편집(edit) 전용 모델에 특화된 방식 text-davinci-edit-001, code-davinci-edit-001
r50k_base 기본 어휘만 갖춘 초기 GPT-3 토크나이저 구버전 davinci, curie, babbage, ada 모델
o200k_base OpenAI GPT-5, GPT-4.1, GPT-4o, o 시리즈 모델의 현행 토크나이저(OpenAI tiktoken 기준) GPT-5, GPT-4.1, GPT-4o, GPT-4o-mini, o1, o3, o4-mini

모델별 컨텍스트 윈도우

OpenAI 모델은 각각 한 번의 요청에서 처리할 수 있는 최대 토큰 수(컨텍스트 윈도우)가 정해져 있습니다.

모델 최대 토큰 수 인코딩 방식
gpt-5 272,000 o200k_base
gpt-4.1 1,047,576 o200k_base
gpt-4o 128,000 o200k_base
gpt-4o-mini 128,000 o200k_base
o3 200,000 o200k_base
o4-mini 200,000 o200k_base
o1 200,000 o200k_base
gpt-4-turbo 128,000 cl100k_base
gpt-4 8,192 cl100k_base
gpt-3.5-turbo 16,385 cl100k_base
text-embedding-3-large 8,191 cl100k_base
text-embedding-3-small 8,191 cl100k_base
text-embedding-ada-002 8,191 cl100k_base

토큰 계산 방식

이 계산기는 두 가지 계산 방식을 제공합니다.

메서드 표준(Standard) 일반(Ordinary)
encode() HTML을 특별 처리하면서 토큰 ID까지 반환하는 완전한 토큰화 encodeOrdinary()는 HTML을 일반 텍스트로 취급합니다
countTokens() HTML을 특별 처리하되 개수만 세도록 최적화된 방식 countTokensOrdinary()는 HTML을 일반 텍스트로 취급합니다

HTML 처리: 텍스트에 HTML이 포함되어 있으면 표준 방식은 태그를 인식해 별도로 처리하고, 일반 방식은 태그를 그냥 문자열로 봅니다. 그래서 같은 텍스트라도 토큰 수가 달라질 수 있습니다. HTML을 작성한 그대로 유지하고 싶다면 일반(Ordinary) 방식을 사용하세요.

토큰 절약 팁

  • 반복되는 문장은 같은 길이의 서로 다른 문장보다 토큰을 적게 쓰는 경우가 많습니다
  • 공백(스페이스, 탭, 줄바꿈)도 토큰으로 계산됩니다
  • 특수문자는 하나씩 따로 토큰화되어 토큰 수를 늘리기 쉽습니다
  • 일상적인 단어가 전문 용어나 희귀 단어보다 토큰을 적게 씁니다
  • 한국어를 비롯한 비영어권 텍스트는 같은 내용의 영어보다 토큰을 훨씬 많이 소모합니다. 한글은 자모 단위로 쪼개지는 경우가 있어, 상대적으로 한국어 처리가 개선된 o200k_base(GPT-5, GPT-4.1, GPT-4o 등)에서 토큰 수가 눈에 띄게 줄어들기도 합니다
  • 코드는 비교적 최신 토크나이저(o200k_base, cl100k_base)에서 효율적으로 토큰화됩니다

토큰 수 예시

텍스트 토큰 수 설명
"Hello world" 2 흔한 단어는 대체로 토큰 하나로 처리됩니다
"antidisestablishmentarianism" 5 긴 단어는 여러 토큰으로 쪼개집니다
"こんにちは" 3 한글·일본어 등 비라틴 문자는 토큰이 더 많이 필요합니다
"1234567890" 3 숫자는 몇 자리씩 묶여 여러 토큰이 됩니다
"<div>Hello</div>" 4~6 HTML 태그는 표준 방식과 일반 방식에서 결과가 달라질 수 있습니다
광고
입력 텍스트가 색깔별 토큰 조각으로 나뉘어 개수가 계산되는 과정을 보여주는 도식
인코더가 텍스트를 토큰으로 나눈 뒤, 그 토큰의 개수를 세는 방식입니다.
최종 업데이트:

기타 인기 계산기

기타 계산기 전체 보기