ما هي حاسبة الدلالة الإحصائية لاختبار A/B؟
تخبرك هذه الأداة بما إذا كان الفرق بين نسختين في اختبار A/B ذا دلالة إحصائية فعلاً، أم أنه مجرد نتيجة للصدفة العشوائية. وهي تعتمد على اختبار Z لنسبتين (two-proportion z-test)، وهو الأسلوب المعياري لمقارنة معدلات التحويل بين النسخة الأصلية (A) والنسخة البديلة (B).
طريقة الاستخدام
أدخل عدد التحويلات والعدد الإجمالي للزوار لكل نسخة. تعرض الحاسبة درجة Z، والقيمة الاحتمالية ثنائية الذيل، ومستوى الثقة. ويُعدّ مستوى ثقة بنسبة 95% أو أعلى (قيمة احتمالية ≤ 0.05) هو العتبة الشائعة لإعلان الفائز.
شرح المعادلة
تُحسب أولاً النسبة المجمّعة وفق:
$$\bar{p} = \frac{x_1 + x_2}{n_1 + n_2}$$أما الخطأ المعياري فهو \(\sqrt{\bar{p}(1-\bar{p})\left(\frac{1}{n_1}+\frac{1}{n_2}\right)}\). وتُحسب درجة Z بقسمة الفرق بين المعدلين المرصودين على الخطأ المعياري:
$$Z = \frac{\hat{p}_1 - \hat{p}_2}{\sqrt{\bar{p}\,(1-\bar{p})\left(\frac{1}{n_1}+\frac{1}{n_2}\right)}}$$وتُشتق القيمة الاحتمالية من التوزيع الطبيعي المعياري (ثنائي الذيل)، ويساوي مستوى الثقة \((1 - \text{القيمة الاحتمالية}) \times 100\%\).
مثال محلول
النسخة A: 120 تحويلاً من أصل 1,000 (12%). النسخة B: 150 من أصل 1,000 (15%). النسبة المجمّعة \(\bar{p} = 270/2000 = 0.135\). الخطأ المعياري \(= \sqrt{0.135 \times 0.865 \times (0.001 + 0.001)} \approx 0.01528\). درجة Z \(= (0.12 - 0.15) / 0.01528 \approx -1.963\). القيمة الاحتمالية ثنائية الذيل \(\approx 0.0496\)، ما يعطي مستوى ثقة نحو 95% — وهي نتيجة عند الحدّ الفاصل للدلالة.
الأسئلة الشائعة
ما مستوى الثقة الذي ينبغي أن أستهدفه؟ 95% هو المعيار المتعارف عليه في هذا المجال، أي أن هناك احتمالاً بنسبة 5% أن تكون النتيجة إيجابية كاذبة.
هل يهمّ حجم العينة؟ نعم. فالعينات الصغيرة تنتج قيماً احتمالية كبيرة حتى لو كانت الفروق حقيقية؛ لذا اترك الاختبار يعمل حتى يجمع كل خيار عدداً كافياً من الزوار.
لماذا نستخدم الاختبار ثنائي الذيل؟ لأن الاختبار ثنائي الذيل يرصد الفرق في كلا الاتجاهين (أن تكون B أفضل أو أسوأ من A)، وهو الخيار الافتراضي الأكثر أماناً.
