Công cụ đếm token OpenAI

Công cụ đếm token OpenAI

Dẫn đầu AI Skill PRO

Nhập phép tính

Chọn một trong hai cách sau:

Chưa có các model GPT-6: OpenAI chưa công bố tokenizer của chúng trong tiktoken.

Phương thức đếm token:

Công thức

Token=len(encodeEncoding(Văn bản))\text{Token} = \operatorname{len}\Big(\operatorname{encode}_{\,\text{Encoding}}\big(\text{Văn bản}\big)\Big)
Xem các bước tính (1)
  1. Số token theo model của OpenAI

    Token=len(encodeenc(Model)(Văn bản))\text{Token} = \operatorname{len}\Big(\operatorname{encode}_{\,\text{enc}(\text{Model})}\big(\text{Văn bản}\big)\Big)

    Model được ánh xạ tới encoding tương ứng, sau đó Số token = số token tạo ra khi encode văn bản đầu vào.

Thống kê sử dụng

Quảng cáo

Kết quả

Số token
9
Mã hóa: o200k_base · encode()
Thống kê token
Số token theo cách tiêu chuẩn 9 (xử lý riêng các thẻ HTML)
Số token theo cách thông thường 9 (coi HTML như văn bản thuần)
Số ký tự 37
Số từ 7
Số token trên mỗi từ 1,29
Thông tin encoding
Kiểu encoding o200k_base
Phương thức đếm encode()
Chọn theo Mã hóa: o200k_base

Báo lỗi nội dung trang này

Công cụ đếm token OpenAI này sử dụng JTokkit v1.1.0 – bản cài đặt mã nguồn mở bằng Java của thư viện tiktoken do OpenAI phát triển.

Khai báo Maven: com.knuddels:jtokkit:1.1.0

JTokkit được phát triển và duy trì bởi Knuddels GmbH, phát hành theo giấy phép MIT.

Chi tiết triển khai

Công cụ đếm token này được xây dựng như sau:

// Maven dependency
implementation 'com.knuddels:jtokkit:1.1.0'

// Token counting implementation
import com.knuddels.jtokkit.Encodings;
import com.knuddels.jtokkit.api.Encoding;
import com.knuddels.jtokkit.api.EncodingRegistry;
import com.knuddels.jtokkit.api.EncodingType;
import com.knuddels.jtokkit.api.ModelType;

// Usage example
EncodingRegistry registry = Encodings.newDefaultEncodingRegistry();
Encoding encoding = registry.getEncoding(EncodingType.CL100K_BASE);
int tokenCount = encoding.countTokens(text);

JTokkit cho ra kết quả tách token giống hệt thư viện tiktoken chính thức của OpenAI, nên số token bạn nhận được là chính xác.

Hướng dẫn dùng công cụ đếm token OpenAI

Tokenization là gì?

Tokenization (tách token) là quá trình chia nhỏ văn bản thành những đơn vị gọi là token. Các model của OpenAI không đọc văn bản theo từng ký tự hay từng từ, mà xử lý theo token. Một token có thể ngắn chỉ một ký tự, cũng có thể dài bằng cả một từ (ví dụ "a" hoặc "apple"). Những từ thông dụng thường chỉ tốn một token, trong khi từ hiếm gặp có thể bị tách thành nhiều token.

Số token được tính bằng:

$$\text{Tokens} = \operatorname{len}\Big(\operatorname{encode}_{\,\text{Encoding}}\big(\text{Text}\big)\Big)$$

Lưu ý quan trọng: Mỗi model dùng một bộ tokenizer khác nhau, và số token ảnh hưởng trực tiếp đến:

  • Chi phí API (bạn trả tiền theo token, tính cả đầu vào lẫn đầu ra – thường thanh toán bằng USD)
  • Mức sử dụng cửa sổ ngữ cảnh (mọi model đều có giới hạn token tối đa)
  • Tốc độ xử lý (càng nhiều token thì càng lâu)

Đây là công cụ dành riêng cho hệ sinh thái model của OpenAI (GPT-4, GPT-4o, GPT-3.5…). Nếu bạn dùng model của nhà cung cấp khác (Claude, Gemini, hay các model tiếng Việt như PhoGPT, Vistral), cách tách token sẽ khác, nên con số ở đây chỉ mang tính tham khảo.

Các kiểu encoding

JTokkit hỗ trợ nhiều kiểu encoding tương ứng với các tokenizer của OpenAI:

Mã hóa Mô tả Dùng cho
cl100k_base Tokenizer của GPT-4, GPT-4 Turbo, GPT-3.5 Turbo và các mô hình embedding text-embedding-3 / ada-002 GPT-4, GPT-4 Turbo, GPT-3.5 Turbo, text-embedding-3-small/large, text-embedding-ada-002
p50k_base Từ vựng được cải tiến, xử lý mã nguồn tốt hơn GPT-3 davinci, curie, babbage, ada; các model Codex
p50k_edit Dành riêng cho các model chỉnh sửa (edit) text-davinci-edit-001, code-davinci-edit-001
r50k_base Tokenizer GPT-3 nguyên bản với bộ từ vựng cơ bản Các model davinci, curie, babbage, ada đời cũ
o200k_base Tokenizer hiện hành của GPT-5, GPT-4.1, GPT-4o và dòng o-series của OpenAI (theo tiktoken của OpenAI) GPT-5, GPT-4.1, GPT-4o, GPT-4o-mini, o1, o3, o4-mini

Model và cửa sổ ngữ cảnh

Mỗi model của OpenAI có một cửa sổ ngữ cảnh tối đa (số token xử lý được trong một lần gọi):

Model Token tối đa Kiểu encoding
gpt-5 272.000 o200k_base
gpt-4.1 1.047.576 o200k_base
gpt-4o 128.000 o200k_base
gpt-4o-mini 128.000 o200k_base
o3 200.000 o200k_base
o4-mini 200.000 o200k_base
o1 200.000 o200k_base
gpt-4-turbo 128.000 cl100k_base
gpt-4 8.192 cl100k_base
gpt-3.5-turbo 16.385 cl100k_base
text-embedding-3-large 8.191 cl100k_base
text-embedding-3-small 8.191 cl100k_base
text-embedding-ada-002 8.191 cl100k_base

Các phương thức đếm token

Công cụ này cung cấp hai cách đếm:

Phương thức Tiêu chuẩn Thông thường
encode() Tách token đầy đủ, trả về danh sách ID token và xử lý riêng cho HTML encodeOrdinary() coi HTML như văn bản thuần
countTokens() Phương thức tối ưu, chỉ đếm số token và có xử lý riêng cho HTML countTokensOrdinary() coi HTML như văn bản thuần

Về cách xử lý HTML: Khi văn bản của bạn có chứa HTML, các phương thức tiêu chuẩn sẽ nhận diện và xử lý thẻ HTML theo cách riêng, còn các phương thức thông thường coi thẻ HTML như văn bản bình thường. Vì vậy hai cách có thể cho ra số token khác nhau. Hãy chọn phương thức thông thường nếu bạn muốn giữ nguyên HTML đúng như đã viết.

Mẹo tiết kiệm token

  • Văn bản lặp lại thường tốn ít token hơn văn bản cùng độ dài nhưng không trùng lặp
  • Khoảng trắng (dấu cách, tab, xuống dòng) cũng được tính là token
  • Ký tự đặc biệt có thể bị tách riêng từng ký tự, làm số token tăng lên
  • Từ thông dụng thường tốn ít token hơn từ hiếm hoặc thuật ngữ chuyên ngành
  • Văn bản không phải tiếng Anh thường tốn nhiều token hơn nội dung tiếng Anh tương đương – tiếng Việt có dấu là một ví dụ điển hình, cùng một ý nhưng số token có thể cao hơn đáng kể, kéo theo chi phí API tăng
  • Mã nguồn được tách token khá hiệu quả với các tokenizer mới (o200k_base, cl100k_base)

Vài ví dụ về số token

Văn bản Số token Ghi chú
"Hello world" 2 Từ thông dụng thường chỉ tốn một token
"antidisestablishmentarianism" 5 Từ dài bị tách thành nhiều token
"こんにちは" 3 Ký tự ngoài bảng chữ Latinh thường tốn nhiều token hơn
"1234567890" 3 Chuỗi số thường được chia thành nhiều token
"<div>Hello</div>" 4-6 Thẻ HTML cho kết quả khác nhau giữa phương thức tiêu chuẩn và thông thường
Quảng cáo
Sơ đồ minh họa văn bản đầu vào được chia thành các khối token màu rồi đem đếm
Văn bản được bộ mã hóa chia thành các token, sau đó đếm tổng số token.
Cập nhật lần cuối:

Phổ biến nhất trong Khác

Xem tất cả máy tính Khác