Công Cụ Chuyển Đổi Token Sang Từ Của LLM

Công Cụ Chuyển Đổi Token Sang Từ Của LLM

Dẫn đầu AI Skill PRO

Nhập phép tính

Công thức

Từ=Token×Số từ trên mỗi token\text{Từ} = \text{Token} \times \text{Số từ trên mỗi token}

Ví dụ

Từ=1000×0.75=750\text{Từ} = 1000 \times 0.75 = 750
Thống kê sử dụng

Quảng cáo

Kết quả

Số từ ước tính
750
từ
Token 1.000
Số từ trên mỗi token 0,75

Báo lỗi nội dung trang này

Công cụ đổi Token sang Từ là gì?

Các mô hình ngôn ngữ lớn (LLM) như GPT, Claude hay Gemini không đọc văn bản theo từng từ — chúng xử lý văn bản dưới dạng token. Một token là một mẩu văn bản, có thể là cả một từ, một phần của từ, hoặc thậm chí là dấu câu. Với văn xuôi tiếng Anh thông thường, một token tương ứng với khoảng 0,75 từ (tức là khoảng 1,33 token cho mỗi từ). Công cụ này giúp bạn đổi số token sang số từ ước tính, hoặc đổi số từ sang lượng token mà nó có thể tiêu tốn. Lưu ý rằng tỷ lệ này dựa trên tiếng Anh; với tiếng Việt, văn bản thường ngốn nhiều token hơn nên bạn nên hạ tỷ lệ xuống.

Cách sử dụng

Hãy chọn chiều chuyển đổi — Token sang Từ hoặc Từ sang Token — nhập con số của bạn, và nếu muốn thì điều chỉnh tỷ lệ từ trên mỗi token (mặc định là 0,75). Công cụ sẽ hiển thị ngay kết quả đã chuyển đổi cùng với tỷ lệ đã dùng. Hãy giảm tỷ lệ khi xử lý mã nguồn hoặc văn bản không phải tiếng Anh (vì những nội dung này thường tốn nhiều token hơn), và tăng tỷ lệ với những đoạn tiếng Anh đơn giản, lặp lại nhiều.

Các mũi tên chuyển đổi giữa token và từ dùng hệ số 0,75 và 1,33
Nhân token với 0,75 để ra số từ; chia (hoặc nhân ~1,33) để làm ngược lại.

Giải thích công thức

Phép chuyển đổi chỉ là một tỷ lệ đơn giản. Để ước tính số từ từ token: $$\text{số từ} = \text{số token} \times \text{tỷ lệ}$$. Để ước tính số token từ số từ: $$\text{số token} = \frac{\text{số từ}}{\text{tỷ lệ}}$$. Với tỷ lệ mặc định 0,75, thì 1.000 token ≈ 750 từ, và 1.000 từ ≈ 1.333 token. Đây chỉ là ước tính: việc tách token thực tế còn phụ thuộc vào mô hình, ngôn ngữ và nội dung cụ thể.

Quảng cáo

Ví dụ minh họa

Giả sử một lệnh gọi API báo rằng nó đã dùng 1.000 token. Với tỷ lệ mặc định: $$1000 \times 0{,}75 = 750 \text{ từ}$$. Ngược lại, nếu bạn viết một bài luận 1.500 từ và muốn biết nó tốn bao nhiêu token: $$1500 \div 0{,}75 = 2000 \text{ token}$$ — rất hữu ích khi bạn cần nằm trong giới hạn cửa sổ ngữ cảnh của mô hình hoặc dự trù chi phí dùng API.

Sơ đồ thể hiện một đoạn văn bản được chia thành các token ánh xạ tới các từ
Token là các đoạn nhỏ hơn từ, nên một từ thường trải dài trên nhiều token.

Chuyển đổi phổ biến giữa Token và Từ

Bảng dưới đây dùng quy tắc ước lượng thông thường là khoảng 0,75 từ trên mỗi token (tương đương khoảng 4 ký tự tiếng Anh cho mỗi token), vì vậy \(\text{Từ} = \text{Token} \times 0.75\). Các trang được tính giả định khoảng 500 từ trên mỗi trang đơn cách dòng. Tất cả các giá trị đều là ước lượng; số lượng thực tế phụ thuộc vào bộ tokenizer, ngôn ngữ và nội dung.

Token Số từ ước chừng (×0.75) Số trang ước chừng (~500 từ/trang)
100 75 0.15
500 375 0.75
1,000 750 1.5
4,000 3,000 6
8,000 6,000 12
32,000 24,000 48
128,000 96,000 192
200,000 150,000 300

Để chuyển theo chiều ngược lại, chia số từ cho tỷ lệ: \(\text{Token} = \text{Từ} \div 0.75\). Ví dụ, 1.500 từ ≈ \(1500 \div 0.75 = 2000\) token.

Số từ trên mỗi token theo loại nội dung

Các loại văn bản khác nhau được tách thành token theo cách khác nhau. Các tỷ lệ dưới đây chỉ là quy tắc ước lượng thô và thay đổi theo bộ tokenizer và mô hình, vì vậy hãy coi kết quả là ước tính và dùng bộ tokenizer chính thức của nhà cung cấp khi cần độ chính xác cao.

Loại nội dung Số từ trên mỗi token thông thường (ước chừng) Số từ trong 1.000 token (ước chừng)
Văn xuôi tiếng Anh thông thường ~0.75 ~750
Tiếng Anh kỹ thuật hoặc pháp lý ~0.65–0.70 ~650–700
Mã nguồn ~0.5–0.6 ~500–600
Ngôn ngữ khác tiếng Anh hoặc chữ viết không phải Latinh ~0.3–0.5 ~300–500
Văn bản nhiều số và ký tự đặc biệt Thường dưới ~0.5 (biến động cao) Thường dưới ~500

Vì sao lại có khác biệt? Các từ tiếng Anh phổ biến thường là một token duy nhất, trong khi các từ hiếm, thuật ngữ kỹ thuật dài, ký hiệu, chữ số và nhiều ký tự không phải Latinh bị tách thành nhiều phần nhỏ hơn. Mã nguồn cũng đếm khoảng trắng, dấu câu và ký hiệu, điều này làm giảm số từ trên mỗi token. Trong máy tính, hãy thay đổi ô tỷ lệ để phù hợp với loại nội dung của bạn.

Quảng cáo

Thuật ngữ chính: Token, Cửa sổ ngữ cảnh và Tokenizer

Token
Đơn vị văn bản cơ bản mà mô hình ngôn ngữ đọc và tạo ra. Một token có thể là một từ nguyên vẹn, một phần của từ, một dấu câu hoặc một đoạn gồm khoảng trắng kèm từ.
Tokenizer
Thành phần chuyển văn bản thành chuỗi token (và ngược lại). Mỗi họ mô hình sử dụng bộ tokenizer và từ vựng riêng, vì vậy cùng một văn bản có thể tạo ra số lượng token khác nhau.
Mã hóa cặp byte (BPE)
Phương pháp token hóa phổ biến, bắt đầu từ các đơn vị nhỏ (như byte hoặc ký tự) và lặp lại việc gộp các cặp liền kề xuất hiện thường xuyên nhất thành token lớn hơn, xây dựng một từ vựng trong đó các từ phổ biến là token đơn và các từ hiếm bị tách thành nhiều mảnh.
Cửa sổ ngữ cảnh
Số token tối đa mà một mô hình có thể xử lý trong một yêu cầu, thường bao gồm cả lời nhắc, lịch sử hội thoại và phần phản hồi được tạo ra.
Token đầu vào và đầu ra
Token đầu vào là những token bạn gửi tới mô hình (lời nhắc, tài liệu, lịch sử); token đầu ra là những token mô hình tạo ra. Các nhà cung cấp thường đếm riêng hai loại này và có thể tính phí và giới hạn chúng khác nhau.
Tỷ lệ từ trên mỗi token
Số từ trung bình được biểu diễn bởi một token. Khoảng 0,75 là quy tắc ước lượng phổ biến cho văn xuôi tiếng Anh (khoảng 1 token ≈ 4 ký tự), nhưng đây chỉ là một xấp xỉ và thay đổi theo ngôn ngữ và loại nội dung.

Câu hỏi thường gặp

Tỷ lệ 0,75 từ mỗi token có luôn chính xác không? Không — đây chỉ là quy tắc ước lượng phổ biến cho tiếng Anh. Mã nguồn, con số và các ngôn ngữ khác (bao gồm tiếng Việt) thường tốn nhiều token hơn cho mỗi từ, nên hãy dùng tỷ lệ thấp hơn cho những trường hợp đó.

Vì sao token lại quan trọng? Giá dịch vụ và giới hạn ngữ cảnh của LLM đều được tính theo token chứ không phải theo từ, nên việc quy đổi giúp bạn ước tính chi phí và dung lượng phù hợp.

Làm sao để có con số chính xác? Hãy dùng công cụ tách token chính thức của mô hình (ví dụ tiktoken của OpenAI). Công cụ này chỉ đưa ra kết quả ước lượng nhanh, không phải con số chính xác tuyệt đối.

Cập nhật lần cuối:

Phổ biến nhất trong Cuộc sống số

Xem tất cả máy tính Cuộc sống số