Kalkulator Signifikansi Uji A/B

1. 01Isi data varian AJumlah pengunjung dan jumlah konversi untuk varian kontrol.
2. 02Isi data varian BJumlah pengunjung dan jumlah konversi untuk varian penantang.
3. 03Pilih tingkat kepercayaan dan arahStandarnya 95% dan dua arah. Pilih satu arah hanya jika Anda menentukannya sebelum melihat data.
4. 04Baca hasilnyaAnda mendapat nilai p, selang kepercayaan, dan pernyataan apakah selisihnya signifikan pada tingkat yang dipilih.

• Menguji halaman arahanDua versi halaman dengan judul berbeda: apakah selisih konversinya benar-benar berarti?
• Menguji tombol atau alurPerubahan kecil pada tombol ajakan bertindak sering menghasilkan selisih yang masih dalam batas kebetulan.
• Memutuskan kapan berhenti mengujiKalau hasilnya belum signifikan, biasanya artinya datanya belum cukup, bukan bahwa keduanya sama.

• Selisih yang signifikan1.000 pengunjung dengan 100 konversi melawan 1.000 pengunjung dengan 140 konversi menghasilkan nilai p yang kecil.
• Selisih yang belum meyakinkan200 pengunjung dengan 20 konversi melawan 200 dengan 24 konversi: selisihnya ada, tetapi masih wajar terjadi karena kebetulan.
• Sampel terlalu kecilDengan pengunjung di bawah 100 per varian, alat ini menampilkan peringatan bahwa hasilnya mudah berubah.

• Tentukan arah pengujian di awalMemilih satu arah setelah melihat data akan membuat hasilnya terlihat lebih meyakinkan daripada yang sebenarnya.
• Jangan berhenti begitu signifikanMengintip hasil terus-menerus dan berhenti saat angkanya bagus akan melipatgandakan peluang salah menyimpulkan.
• Perhatikan selang kepercayaannyaSelang yang sangat lebar berarti Anda belum tahu seberapa besar selisihnya, meski hasilnya sudah signifikan.

Alat ini menjalankan uji z dua proporsi. Di bawah hipotesis nol, kedua varian dianggap punya tingkat konversi yang sama, sehingga dipakai tingkat gabungan dari keduanya untuk menghitung galat baku dan skor z. Selang kepercayaannya justru memakai galat baku tanpa penggabungan, karena selang memperkirakan selisih yang nyata alih-alih menganggap kedua tingkat itu sama. Semua angka antaranya ditampilkan agar hasilnya bisa diperiksa ulang.

Ini pembedaan yang paling sering hilang dalam praktik. Dengan trafik yang sangat besar, kenaikan sekecil apa pun bisa menjadi signifikan secara statistik tanpa berdampak apa-apa pada bisnis. Sebaliknya, kenaikan yang cukup besar bisa gagal mencapai signifikansi kalau datanya terlalu sedikit. Tentukan lebih dulu seberapa besar perubahan yang layak ditindaklanjuti, sebelum uji dijalankan, supaya keputusannya tidak ditentukan belakangan oleh angka yang kebetulan muncul.

Uji ini memakai pendekatan normal, yang butuh jumlah konversi dan non-konversi yang cukup di tiap varian. Kalau jumlah yang diharapkan di bawah lima, atau pengunjungnya kurang dari seratus per varian, alat ini menampilkan peringatan dan nilai p-nya sebaiknya dianggap sebagai indikasi saja. Hasil yang tidak signifikan juga bukan bukti bahwa kedua varian sama; ia hanya berarti uji ini belum bisa membedakannya.

Semua perhitungan berjalan di browser Anda. Angka yang dimasukkan tidak diunggah dan tidak disimpan.

Apa arti nilai p?

Peluang melihat selisih sebesar ini, atau lebih besar, jika sebenarnya tidak ada perbedaan antara kedua varian. Nilai p yang kecil berarti selisih itu sulit dijelaskan hanya oleh kebetulan.

Sebaiknya pilih dua arah atau satu arah?

Dua arah adalah pilihan standar dan lebih aman. Pilih satu arah hanya kalau Anda memutuskannya sebelum melihat data.

Apakah hasil tidak signifikan berarti kedua varian sama?

Tidak. Itu hanya berarti uji ini belum bisa memisahkan keduanya pada jumlah data yang ada sekarang.

Berapa pengunjung yang dibutuhkan?

Tergantung seberapa besar selisih yang ingin dideteksi. Di bawah seratus pengunjung per varian, hasilnya sangat mudah berubah dan alat ini akan memperingatkannya.

Apakah selisih yang signifikan pasti layak diterapkan?

Belum tentu. Signifikansi statistik berbeda dari dampak bisnis. Tentukan dulu seberapa besar perubahan yang benar-benar berarti bagi Anda.