A/B testi kaç gün sürmeli?

En az bir tam hafta, tercihen iki. Haftanın günleri arasındaki davranış farkı, kısa testlerde kazananı yanlış belirleyebilir.

p-değeri 0,05’in altına inmezse ne yapmalı?

Ya test daha fazla veri toplamalı ya da aradığınız fark gerçekten yok demektir. Yön belliyse (p < 0,2) süreyi uzatın; hiçbir yön yoksa daha büyük bir değişikliği test edin.

Bu araç hangi testi uyguluyor?

İki oranlı z-testi (two-proportion z-test), iki yönlü. Dönüşüm oranı gibi ikili sonuçlar için standart yöntemdir.

Meta ve Google’ın kendi test araçları varken bu neden gerekli?

Platform testleri çoğu zaman yalnız “kazanan” gösterir, güven düzeyini vermez. Ayrıca farklı kampanyalardan veya farklı dönemlerden gelen sayıları elle karşılaştırmanız gerektiğinde platform aracı işe yaramaz.

Üç varyantı aynı anda test edebilir miyim?

Bu araç ikili karşılaştırma yapar. Üç varyantta ikişerli karşılaştırma yaparsanız yanlış pozitif olasılığı artar; eşiği 0,05 yerine 0,017 (0,05 ÷ 3) kabul edin.

A/B Test Anlamlılık Hesaplama: Fark Gerçek mi, Şans mı?

Reklam testlerinde en pahalı hata, üç günde “kazanan” ilan edip diğer varyantı kapatmaktır. Küçük örneklemde %20’lik farklar tamamen rastlantıyla oluşur. Bu araç iki oranlı z-testi uygular: farkın istatistiksel olarak anlamlı olup olmadığını, p-değerini ve güven düzeyini verir.

Kısa cevap

A/B test anlamlılığı, iki varyantın dönüşüm oranı arasındaki farkın rastlantıyla açıklanma olasılığını ölçer. Bu olasılık (p-değeri) 0,05’in altındaysa fark istatistiksel olarak anlamlı kabul edilir — yani %95 güvenle gerçek bir fark vardır. Hesap, iki oranlı z-testi ile yapılır: z = (p₂ − p₁) ÷ standart hata.

🧪 A/B Test Anlamlılık Hesaplama

Sonuç

Hesaplama için tarayıcınızda JavaScript açık olmalı.

Tek testli iki oranlı z-testi uygulanır (iki yönlü). Aynı veri üzerinde çok sayıda varyant karşılaştırıyorsanız yanlış pozitif riski artar.

Nasıl kullanılır?

İki varyantın trafiğini girin. A ve B için aynı ölçüm birimini kullanın: ikisi de tıklama ya da ikisi de ziyaretçi olsun. Gösterim ile tıklamayı karıştırmak oranları anlamsız kılar.
Dönüşüm sayılarını ekleyin. Aynı dönüşüm eylemini sayın (satış, form, arama). Test süresi boyunca dönüşüm tanımını değiştirmeyin.
p-değerine bakın. p 0,05’in altındaysa fark anlamlıdır. Üstündeyse testi sürdürün; “şu an kim önde” diye bakıp erken kapatmak, testlerde en sık yapılan hatadır.

Anlamlılık ne demek, ne demek değil?

p-değeri, “iki varyant gerçekte aynıysa, gözlediğimiz kadar büyük bir farkı görme olasılığı” demektir. p = 0,03 ise bu tesadüf ihtimali %3’tür; eşik olarak yaygın kabul 0,05’tir.

Anlamlılık, farkın büyük olduğunu söylemez, gerçek olduğunu söyler. Çok büyük örneklemde %0,2’lik bir fark bile anlamlı çıkabilir ve iş açısından hiçbir şey ifade etmeyebilir. Tersi de doğrudur: küçük örneklemde %30’luk bir sıçrama anlamsız olabilir.

Reklam testlerinde en sık yapılan hatalar

İstatistik hatası genellikle formülde değil, testin kurgusunda olur:

Erken bakıp kapatmak: her gün sonuca bakıp anlamlı olduğu anda durdurmak yanlış pozitif üretir.
Test süresini haftanın gününe göre bölmemek: hafta içi ve hafta sonu davranışı farklıdır, tam haftalar hâlinde ölçün.
Aynı anda birden fazla değişken değiştirmek: hangi değişikliğin işe yaradığı anlaşılamaz.
Bütçeyi eşit dağıtmamak: algoritmanın bir varyanta ağırlık verdiği testte karşılaştırma bozulur.
Dönüşüm yerine tıklamayı kazanan saymak: TO artıp satış düşen kreatifler yaygındır.

Ne kadar örneklem gerekir?

Kaba bir kural: mevcut dönüşüm oranınız %2 ve bunu %2,4’e çıkaran (bağıl %20) bir fark arıyorsanız, varyant başına yaklaşık 8.000–10.000 ziyaretçiye ihtiyacınız olur. Aradığınız fark küçüldükçe gereken örneklem hızla büyür: bağıl %10’luk bir fark için gereken trafik yaklaşık dört katıdır. Bu yüzden düşük trafikli hesaplarda küçük kreatif farkları test etmek yerine, teklif stratejisi veya açılış sayfası gibi büyük etkili değişikliklere odaklanmak daha verimlidir.

Sık sorulan sorular

A/B testi kaç gün sürmeli?: En az bir tam hafta, tercihen iki. Haftanın günleri arasındaki davranış farkı, kısa testlerde kazananı yanlış belirleyebilir.
p-değeri 0,05’in altına inmezse ne yapmalı?: Ya test daha fazla veri toplamalı ya da aradığınız fark gerçekten yok demektir. Yön belliyse (p < 0,2) süreyi uzatın; hiçbir yön yoksa daha büyük bir değişikliği test edin.
Bu araç hangi testi uyguluyor?: İki oranlı z-testi (two-proportion z-test), iki yönlü. Dönüşüm oranı gibi ikili sonuçlar için standart yöntemdir.
Meta ve Google’ın kendi test araçları varken bu neden gerekli?: Platform testleri çoğu zaman yalnız “kazanan” gösterir, güven düzeyini vermez. Ayrıca farklı kampanyalardan veya farklı dönemlerden gelen sayıları elle karşılaştırmanız gerektiğinde platform aracı işe yaramaz.
Üç varyantı aynı anda test edebilir miyim?: Bu araç ikili karşılaştırma yapar. Üç varyantta ikişerli karşılaştırma yaparsanız yanlış pozitif olasılığı artar; eşiği 0,05 yerine 0,017 (0,05 ÷ 3) kabul edin.