ما هي حاسبة تحويل التوكنز إلى كلمات؟
لا تقرأ نماذج اللغة الكبيرة (LLM) مثل GPT وClaude وGemini النص كلمةً كلمة، بل تعالجه على هيئة توكنز (رموز). والتوكن هو وحدة نصية قد تكون كلمة كاملة أو جزءًا من كلمة أو حتى علامة ترقيم. وفي النصوص الإنجليزية الاعتيادية، يقابل التوكن الواحد نحو 0.75 كلمة (أي ما يعادل تقريبًا 1.33 توكن لكل كلمة). تحوّل هذه الحاسبة عدد التوكنز إلى عدد كلمات تقديري، أو تحوّل عدد الكلمات إلى عدد التوكنز الذي يُرجَّح أن تستهلكه.
طريقة الاستخدام
اختر اتجاه التحويل — من التوكنز إلى الكلمات أو من الكلمات إلى التوكنز — ثم أدخل الكمية، ويمكنك إن شئت تعديل نسبة الكلمات لكل توكن (القيمة الافتراضية 0.75). تعرض الأداة فورًا الرقم المحوَّل إلى جانب النسبة المستخدمة. اخفض النسبة عند التعامل مع الأكواد البرمجية أو النصوص بغير الإنجليزية (التي تميل إلى استهلاك توكنز أكثر)، وارفعها مع النصوص الإنجليزية البسيطة والمتكررة.
شرح المعادلة
التحويل قائم على نسبة بسيطة. لتقدير عدد الكلمات من التوكنز:
$$\text{الكلمات} = \text{التوكنز} \times \text{النسبة}$$ولتقدير عدد التوكنز من الكلمات:
$$\text{التوكنز} = \frac{\text{الكلمات}}{\text{النسبة}}$$وبالنسبة الافتراضية 0.75، فإن 1000 توكن ≈ 750 كلمة، و1000 كلمة ≈ 1333 توكنًا. وتبقى هذه أرقامًا تقديرية، إذ تعتمد التجزئة الفعلية إلى توكنز على النموذج واللغة وطبيعة المحتوى.
مثال عملي
افترض أن استدعاءً لواجهة برمجة (API) أفاد باستهلاك 1000 توكن. باستخدام النسبة الافتراضية:
$$1000 \times 0.75 = 750 \text{ كلمة}$$وإذا كتبت بدلًا من ذلك مقالًا من 1500 كلمة وأردت معرفة تكلفته بالتوكنز:
$$1500 \div 0.75 = 2000 \text{ توكن}$$— وهو ما يفيد في البقاء ضمن نافذة السياق للنموذج أو ضبط ميزانية استخدام الـ API.
الأسئلة الشائعة
هل نسبة 0.75 كلمة لكل توكن دقيقة دائمًا؟ لا، فهي قاعدة تقريبية شائعة للنصوص الإنجليزية. أما الأكواد والأرقام واللغات الأخرى فغالبًا ما تستهلك توكنز أكثر لكل كلمة، لذا استخدم نسبة أقل معها.
لماذا تهمّ التوكنز؟ لأن أسعار نماذج LLM وحدود السياق تُقاس بالتوكنز لا بالكلمات، فالتحويل يساعدك على تقدير التكلفة ومدى ملاءمة النص.
كيف أحصل على عدد دقيق؟ استخدم أداة التجزئة الرسمية الخاصة بالنموذج (مثل tiktoken لدى OpenAI). تقدّم هذه الحاسبة تقديرًا سريعًا وليس عددًا دقيقًا.
