حاسبة الدلالة الإحصائية لاختبار A/B
تختبر هل الفرق في معدل التحويل بين نسختين A وB ذو دلالة إحصائية، باختبار z لنسبتين مع القيمة الاحتمالية وفترة الثقة.
النسخة A (الأصلية)
النسخة B (المنافسة)
أدخل بيانات النسختين لاختبار الفرق
أدخل الزوار والتحويلات للنسختين A وB. تجري الحاسبة اختبار z لنسبتين، وتعرض القيمة الاحتمالية وفترة الثقة وطريقة الوصول إليهما.
تجري كل الحسابات في متصفحك، ولا يُرفع أو يُحفظ شيء مما تكتبه.
جرّب أداة أخرى
اخترناها لتكمل هذه الأداةفي اختبار A/B تعرض نسختين من صفحة أو إعلان أو رسالة على زوار مختلفين، ثم تقارن معدل التحويل. السؤال الذي تجيب عنه هذه الحاسبة: هل الفرق الذي تراه حقيقي، أم يمكن أن تنتجه الصدفة عند هذا العدد من الزوار؟ تجري اختبار z لنسبتين، وتعرض معدلي التحويل، والفرق بالنقاط المئوية، والتحسن النسبي، والقيمة الاحتمالية، وإحصائية z، وفترة الثقة للفرق، مع شرح خطوات الحساب وتنبيهات حين تكون العينة صغيرة. اختر مستوى الثقة واتجاه الاختبار قبل أن تنظر إلى النتائج.
طريقة الاستخدام
- 01أدخل بيانات النسختينعدد الزوار وعدد التحويلات للنسخة A الأصلية وللنسخة B المنافسة.
- 02اختر مستوى الثقة والاتجاه90% أو 95% أو 99%، واختبار ثنائي الطرف عادة، أو أحادي الطرف إن قررت ذلك قبل جمع البيانات.
- 03اقرأ الحكم والأرقاميظهر هل الفرق ذو دلالة، مع القيمة الاحتمالية وفترة الثقة، وشرح الطريقة في قسم قابل للفتح.
متى تفيدك هذه الأداة؟
- صفحات الهبوطمقارنة عنوانين أو زرين أو تصميمين لصفحة واحدة.
- حملات البريداختبار سطر الموضوع أو توقيت الإرسال بمعدل الفتح أو النقر.
- الإعلاناتالتحقق من أن الإعلان الفائز تفوّق فعلاً وليس بالصدفة.
أمثلة
- البيانات التجريبيةA فيها 4820 زائراً و241 تحويلاً، أي 5.00%. وB فيها 4790 زائراً و302 تحويل، أي 6.30%. الفرق 1.30 نقطة مئوية، والقيمة الاحتمالية نحو 0.0056، فالنتيجة ذات دلالة عند 95%.
- تحسن كبير بعينة صغيرة1000 زائر لكل نسخة، و50 تحويلاً مقابل 60: تحسن 20%، لكن القيمة الاحتمالية نحو 0.33 وفترة الثقة تمتد من -1.00 إلى 3.00 نقطة مئوية، فلا دلالة.
- تحسن صغير بعينة كبيرة20000 زائر لكل نسخة، و1000 تحويل مقابل 1100: تحسن 10% فقط، والقيمة الاحتمالية نحو 0.025، فالنتيجة ذات دلالة عند 95% وليست كذلك عند 99%.
نصائح لنتيجة أفضل
- لا توقف الاختبار عند أول دلالةمراقبة النتيجة يومياً والإيقاف عند أول قيمة احتمالية صغيرة يرفع نسبة النتائج الخاطئة كثيراً. حدد حجم العينة مسبقاً.
- اختر الاتجاه قبل البياناتالاختبار أحادي الطرف يقسم القيمة الاحتمالية على اثنين، واختياره بعد رؤية النتائج تلاعب بالنتيجة.
كيف يعمل اختبار z لنسبتين؟
يحسب الاختبار معدلاً مجمّعاً للنسختين كأنهما واحدة، وهذا ما تفترضه الفرضية الصفرية، ثم الخطأ المعياري لهذا المعدل. وإحصائية z هي الفرق بين المعدلين مقسوماً على الخطأ المعياري، ومنها القيمة الاحتمالية. أما فترة الثقة فتستخدم الخطأ المعياري غير المجمّع لأنها تقدّر الفرق الحقيقي.
ماذا تعني القيمة الاحتمالية؟
هي احتمال أن ترى فرقاً بهذا الحجم أو أكبر لو لم يكن بين النسختين فرق حقيقي. قيمة 0.03 لا تعني أن احتمال صحة B هو 97%، بل تعني أن فرقاً كهذا نادر الحدوث بالصدفة وحدها. وإن كانت أصغر من 1 ناقص مستوى الثقة اعتُبرت النتيجة ذات دلالة.
الدلالة ليست أهمية
مع زيارات كثيرة يصبح أي فرق صغير ذا دلالة، ومع زيارات قليلة قد يفشل فرق كبير في بلوغها. قرر قبل الاختبار حجم التحسن الذي يستحق التغيير، واقرأ فترة الثقة لترى أصغر تحسن وأكبره المتوافقين مع البيانات.
أسئلة شائعة
متى يكون اختبار A/B ذا دلالة إحصائية؟
عندما تقل القيمة الاحتمالية عن 1 ناقص مستوى الثقة: أقل من 0.05 عند 95%، وأقل من 0.01 عند 99%.
أي مستوى ثقة أختار؟
95% هو الشائع. اختر 99% حين يكون التغيير مكلفاً أو صعب التراجع عنه، و90% للتجارب السريعة منخفضة المخاطر.
ما الفرق بين الاختبار ثنائي الطرف وأحادي الطرف؟
ثنائي الطرف يكتشف الفرق في الاتجاهين، وأحادي الطرف يختبر فقط هل B أفضل، فيحتاج قراراً مسبقاً قبل البيانات.
كم زائراً أحتاج؟
يعتمد على معدل التحويل وحجم التحسن الذي تريد كشفه. التحسنات الصغيرة تحتاج آلاف الزوار في كل نسخة.
هل تُرسل بيانات الاختبار إلى خادم؟
لا، تجري الحسابات كلها في متصفحك.