ما الذي تجيب عنه هذه الحاسبة
هل تستأجر وحدات GPU وتشغّل نموذجًا مفتوح الأوزان بنفسك، أم تدفع لواجهة API مقابل كل رمز؟ تعتمد الإجابة على ثلاثة أرقام: كم رمزًا في الثانية تنتجه وحداتك فعليًا، وإلى أي حد تبقيها مشغولة، وكم رمزًا تحتاج كل شهر. تقدّر الحاسبة الرقم الأول من ورقة مواصفات GPU وبنية النموذج، وتحوّله إلى تكلفة لكل مليون رمز، ثم تقارنه بسعر API للمزيج نفسه من رموز الموجّه والمخرجات.
كيف تُقدَّر الإنتاجية
توليد رمز واحد لكل تسلسل في الدفعة (خطوة فك ترميز) يتطلب قراءة جميع أوزان النموذج من ذاكرة GPU مرة واحدة، إضافةً إلى ذاكرة المفتاح/القيمة (KV) المؤقتة لكل تسلسل. ويكلّف كذلك نحو \( 2N \) عملية فاصلة عائمة لكل رمز في نموذج ذي \( N \) معامل، مع حد للانتباه يزداد بطول السياق (Kaplan وآخرون، 2020، المعادلة 2.2). وفق نموذج roofline لـ Williams وWaterman وPatterson، تستغرق الخطوة زمن الأبطأ بين الحدّين:
$$ t_{\text{step}} = \max\left( \frac{N b + B \bar{S} k}{\eta \, G \, BW},\; \frac{B \, (2N + 2 \, n_{\text{layer}} \bar{S} d)}{m \, G \, F} \right) $$حيث \( b \) عدد البايتات لكل وزن، و\( B \) عدد التسلسلات المتزامنة، و\( \bar{S} \) متوسط السياق أثناء فك الترميز (الموجّه مع نصف المخرجات)، و\( k \) بايتات ذاكرة KV المؤقتة لكل رمز، و\( G \) عدد وحدات GPU، و\( BW \) عرض نطاق الذاكرة، و\( F \) ذروة FLOPS الكثيفة للدقة المختارة، و\( \eta \) كفاءة عرض النطاق، و\( m \) استغلال الحوسبة (MFU). وذاكرة KV المؤقتة لكل رمز هي \( k = 2 \, n_{\text{layer}} \, n_{\text{kv}} \, (d / n_{\text{head}}) \, b_{\text{kv}} \).
يُعالَج الموجّه أولًا وبالتوازي (التعبئة المسبقة)، لذا يكون عادةً محدودًا بالحوسبة. كما في Pope وآخرين (2022)، تستغرق الدفعة زمن التعبئة المسبقة مضافًا إليه خطوة فك ترميز لكل رمز مخرجات، ورموز المخرجات في الثانية تساوي \( B \) مضروبًا في رموز المخرجات لكل طلب ومقسومًا على زمن الدفعة.
في الدفعات الصغيرة يهيمن حد الذاكرة، وتقترب السرعة لكل مستخدم من عرض النطاق مقسومًا على حجم النموذج. أما الدفعات الأكبر فتتقاسم كل قراءة للأوزان بين تسلسلات أكثر، فترتفع الإنتاجية الكلية حتى تصبح ذاكرة KV المؤقتة أو الحوسبة هي الحد.
من الرموز في الثانية إلى التكلفة لكل مليون رمز
$$ \text{التكلفة لكل مليون رمز} = \frac{p_{\text{GPU}} \times G}{\text{رمز/ثانية} \times 3600 \times u} \times 10^{6} $$\( p_{\text{GPU}} \) سعر ساعة GPU، و\( u \) متوسط الاستغلال، أي نسبة الساعات المدفوعة التي تخدم فيها الوحدات بالمعدل المحسوب. الإعداد المشغول نصف الوقت يدفع ضعف التكلفة لكل رمز. أما في API فتُرجَّح أسعار الإدخال والإخراج برموز الموجّه والمخرجات لكل طلب، حتى يُحسب الخياران على الرموز نفسها.
حجم التعادل
يكلّف الإعداد الذي يعمل باستمرار المبلغ نفسه كل شهر: سعر ساعة GPU × عدد الوحدات × 730 ساعة. أما فاتورة API فتزداد مع الحجم. نقطة التعادل هي الحجم الشهري الذي تتساوى عنده التكلفتان: التكلفة الشهرية الثابتة مقسومة على سعر API لكل رمز. ولا معنى لها إلا إذا استطاع إعداد واحد خدمة ذلك الحجم؛ وبعد تجاوز سعته يلزم إعداد آخر، ولهذا يرتفع خط الاستضافة الذاتية في الرسم على شكل درجات.
بالقيم الافتراضية (Llama 3 70B بدقة BF16 على وحدتي H100 SXM بسعر مثالي 2.50 دولار لساعة GPU، و16 تسلسلًا متزامنًا، و1,500 رمز موجّه و500 رمز مخرجات لكل طلب) يكون التقدير نحو 397 رمز مخرجات في الثانية و1.75 دولار لكل مليون رمز عند استغلال 50%. ومقابل سعر API مثالي قدره 1 دولار للإدخال و5 دولارات للإخراج لكل مليون رمز، تقع نقطة التعادل عند نحو 1,825 مليون رمز شهريًا.
بيانات GPU المستخدمة
تأتي الإعدادات المسبقة من ورقة مواصفات كل شركة مصنّعة. كثيرًا ما تُعلن إنتاجية أنوية Tensor مع التناثر البنيوي، وهي ضعف المعدل الكثيف؛ والاستدلال المعتاد يعمل بشكل كثيف، لذا يستخدم الجدول والحاسبة القيم الكثيفة.
| GPU | الذاكرة (غيغابايت) | عرض النطاق (GB/s) | TFLOPS كثيفة FP16/BF16 | TFLOPS كثيفة FP8 |
|---|---|---|---|---|
| NVIDIA H100 SXM5 | 80 | 3,352 | 989.4 | 1,978.9 |
| NVIDIA H100 PCIe | 80 | 2,039 | 756 | 1,513 |
| NVIDIA H200 SXM | 141 | 4,800 | 989.5 | 1,979 |
| NVIDIA A100 80GB SXM | 80 | 2,039 | 312 | — |
| NVIDIA A100 80GB PCIe | 80 | 1,935 | 312 | — |
| NVIDIA L40S | 48 | 864 | 362.05 | 733 |
| NVIDIA L4 | 24 | 300 | 121 | 242.5 |
| AMD Instinct MI300X | 192 | 5,300 | 1,307.45 | 2,614.9 |
إذا لم تكن وحدتك في القائمة، فاختر «GPU مخصص» وأدخل ذاكرتها وعرض نطاقها وTFLOPS الكثيفة لها.
ما لا يشمله التقدير
- تختلف محركات التشغيل: التجميع المستمر، وذاكرة KV المؤقتة المجزأة إلى صفحات، وفك الترميز التخميني، والنوى المحسّنة قد تغيّر الإنتاجية كثيرًا. قِس منظومتك وأدخل النتيجة.
- توزيع النموذج على عدة وحدات GPU يضيف زمن اتصال لا يحسبه التقدير.
- نموذج mixture-of-experts يقرأ الخبراء النشطين فقط لكل رمز: أدخل المعاملات النشطة لحساب السرعة، وتحقق من الذاكرة بالعدد الكلي.
- تستخدم النماذج مقسّمات رموز مختلفة، فقد يعطي النص نفسه عددًا مختلفًا من الرموز.
- الكهرباء ووقت الموظفين والسعة الاحتياطية لأوقات الذروة ورسوم نقل البيانات الصادرة غير مشمولة ما لم تضفها إلى السعر بالساعة.
لتقدير ذاكرة GPU بتفصيل أكبر، استخدم حاسبة ذاكرة VRAM المطلوبة لوحدة GPU.