Reklam Yöneticisi İçin Test ve Öğrenme Döngüsü

Hipotez: testin ilk ve en ucuz adımı#

Bir değişikliği test etmeden önce tek cümlelik hipotezi yazın. Cümle kurulamıyorsa test edilecek bir fikir yok, yalnız bir merak var.

• Kalıp: “<Değişken>’i <yeni hâl> yaparsam <metrik> artar/azalır, çünkü <gerekçe>.”
• Örnek: “Form alan sayısını 6’dan 3’e indirirsem form tamamlama oranı artar, çünkü terk oranı alan sayısıyla artıyor.”
• Gerekçe kısmı zorunludur; gerekçesiz test, sonucu yorumlanamayan testtir.
• Beklenen etki büyüklüğünü de yazın: “en az %15 artış beklerim.”

Not: Beklenen etkiyi önceden yazmak, sonucu görünce hikâyeyi ona uydurma eğilimini (sonuç sonrası akılcılaştırma) engeller.

Ne test edilir, ne test edilmez?#

Her şey test edilmez. Test kapasitesi sınırlıdır ve etkisi küçük değişkenlere harcanmamalıdır.

Kural: trafiği düşük bir hesapta yalnız yüksek etkili değişkenler test edilir. Küçük etkileri ölçmek için gereken örneklem, çoğu hesabın aylarca toplayamayacağı büyüklüktedir.

Eşik: ne zaman karar verilir?#

Kararın ne zaman verileceği testten önce yazılır. Aksi hâlde test, istenen sonuç görünene kadar bekleyen bir gözlem hâline gelir.

Not: Bu eşiklerin altında okunan fark istatistiksel gürültüdür. Erken karar, iyi varyantları eleyen ve kötüleri yükselten en yaygın hatadır.

Tek değişken kuralı ve istisnası#

İki şeyi aynı anda değiştirdiğinizde sonuç yükselse bile hangisinin işe yaradığını bilemezsiniz — yani bir sonraki karar için hiçbir şey öğrenmemiş olursunuz.

• Aynı hafta yapı ve teklif stratejisi değiştirilmez.
• Aynı hafta kreatif ve açılış sayfası değiştirilmez.
• Ölçüm düzeltmesi her zaman tek başına ve diğer testlerden önce yapılır.
• İstisna: trafiği çok düşük hesaplarda “paket değişiklik” yapılabilir — ama bu bir test değil, yeniden kurulumdur ve öyle raporlanır.

Öğrenme kaydı: döngüyü kapatan parça#

Testin çıktısı bir sonuç değil, bir kayıttır. Kayıt tutulmayan test, aynı fikri altı ay sonra yeniden denemenizi engelleyemez.

Son satır en değerlisidir. “Sosyal kanıt açısı bu kitlede işe yaramıyor” bilgisi, bir sonraki çeyreğin kreatif planını doğrudan değiştirir.

Aylık ritim#

Sürdürülebilir tempo, ayda 2–4 iyi kurulmuş testtir. Daha fazlası çoğu hesapta birbirini kirletir.

1. Ay başı: geçen ayın öğrenme kayıtları okunur, 2–4 hipotez seçilir.
2. İlk hafta: testler kurulur, eşikler yazılır, ölçüm doğrulanır.
3. İkinci–üçüncü hafta: veri toplanır, dokunulmaz.
4. Dördüncü hafta: sonuçlar okunur, kararlar verilir, kayıtlar yazılır.
5. Ay sonu: kazanan uygulamaya alınır, kaybeden arşivlenir ve gerekçesi not edilir.

Not: Test döneminde “sadece küçük bir düzeltme” yapma isteği, testlerin en yaygın ölüm sebebidir. Veri toplama haftalarında hesaba dokunulmaz.