ما هي حاسبة التوكنات إلى كلمات والتكلفة؟
تتعامل نماذج اللغة الكبيرة (LLMs) مثل GPT وClaude وGemini مع النصوص في صورة توكنات وليس كلمات. والتوكن هو جزء صغير من النص، وغالبًا ما يكون مقطعًا من كلمة بطول أربعة أحرف تقريبًا. تقدّر هذه الحاسبة عدد الكلمات التي يقابلها عدد معيّن من التوكنات، كما تحسب تكلفة هذه التوكنات بناءً على سعر النموذج لكل 1000 توكن.
طريقة الاستخدام
أدخل عدد التوكنات، ونسبة الكلمات لكل توكن (القيمة 0.75 خيار افتراضي جيد للنصوص الإنجليزية)، والسعر الذي يفرضه مزوّد الخدمة عن كل 1000 توكن. تعرض الأداة فورًا عدد الكلمات التقديري والتكلفة بالدولار.
شرح المعادلة
يعتمد تقدير الكلمات على المعادلة \( \text{الكلمات} \approx \text{التوكنات} \times 0.75 \)، وهي تعكس القاعدة الشائعة بأن كل 1000 توكن تساوي قرابة 750 كلمة إنجليزية. أما التكلفة فتُحسب بالمعادلة \( (\text{التوكنات} \div 1000) \times \text{سعر الألف توكن} \)، لأن المزوّدين يحتسبون الرسوم لكل ألف توكن. عدّل النسبة عند التعامل مع لغات أخرى أو أكواد برمجية، إذ تستهلك عادةً عددًا أكبر من التوكنات لكل كلمة. وتجدر الإشارة إلى أن اللغة العربية تميل أيضًا إلى استهلاك توكنات أكثر من الإنجليزية، لذا قد ترغب في خفض النسبة عند تقدير النصوص العربية.
مثال تطبيقي
لنفترض أن لديك 1000 توكن بنسبة 0.75 وسعر قدره 0.50 دولار لكل 1000 توكن. عدد الكلمات = \( 1000 \times 0.75 = \) 750 كلمة. التكلفة = \( (1000 \div 1000) \times 0.50 = \) 0.50 دولار.
الأسئلة الشائعة
ما مدى دقة تقدير عدد الكلمات؟ إنه تقدير تقريبي فحسب. فطريقة تقسيم النص إلى توكنات تختلف من نموذج لآخر وبحسب نوع المحتوى؛ ومع ذلك تظل قيمة 0.75 كلمة لكل توكن متوسطًا موثوقًا للنصوص الإنجليزية.
هل تكلفة توكنات الإدخال وتوكنات الإخراج متساوية؟ لا، فكثير من المزوّدين يفرضون أسعارًا مختلفة لكل منهما. شغّل الحاسبة مرتين، مرة بكل سعر، ثم اجمع النتيجتين.
لماذا تختلف الأكواد والنصوص غير الإنجليزية؟ لأنها غالبًا ما تستهلك توكنات أكثر لكل كلمة، لذا خفّض النسبة (إلى 0.5 مثلًا) للحصول على تقدير أدق.
