Deney sonuçları hakkında rapor

Raporu görmek için:

1. Yandex Metrica’da Varioqub → Deneyler sayfasına gidin.

2. Deney adının altında, Sonucu görüntüle öğesine tıklayın.

Rapor ne işe yarar

Rapor, deneysel varyantta kontrol varyantına kıyasla kabul metriğinde istatistiksel olarak anlamlı bir değişiklik olup olmadığını görmeye yardımcı olur.

Bir deneyde hipotezler test edilir:

• H₀ – metriğin değeri bu varyantta kontrol varyantına kıyasla değişmemiştir.

• H₁ – metriğin değeri bu varyantta kontrol varyantına kıyasla değişmiştir.

Kullanılan istatistiksel kriter, sepetlere bölme teknikleri kullanılarak yapılan Mann-Whitney U testidir. Ayrıklaştırma düzeltmeleri, veri miktarının az olduğu durumlar için kullanılır.

İstatistiksel kriter olarak H₀ hipotezini kabul ettiğinizde, Yandex Metrica raporunda satır renkli olarak vurgulanmaz.

H₀ hipotezinin kabul edilmesinin metriğin değişmediği anlamına gelmediğini unutmamak önemlidir. Makul bir kesinlikle söyleyebileceğimiz tek şey, etkinin MDE (Minimum detectable effect) değerini aşmadığıdır. Deneyin yüzdesini ve süresini artırarak metrikte daha küçük değişiklikler yakalayabilirsiniz.

İstatistiksel kriter olarak H₁ hipotezini P-value ≤ 0,05 anlamlılık düzeyinde kabul ettiğinizde, Yandex Metrica raporunda varyant satırı renkli olarak vurgulanır. Renk yoğunluğu üç kademeli olabilir ve P-value değerine bağlıdır – eşik değerleri: 0,05, 0,01, 0,001.

Raporun yapısı ve ayarları

Rapordaki veriler, deneye katılan varyantlara göre gruplandırılmıştır. Kontrol seçeneği ilk sıradadır.

Bir deney oluşturduğunuzda, kabul ve ek metrikleri seçebilirsiniz. Deney sırasında raporda kullanılabilir hale gelirler:

Temel metrikler

• Sitede geçirilen süre – ziyaret sayısını dikkate alarak ziyaretçilerin sitede geçirdikleri süre hakkında bilgi.

• Görüntüleme derinliği – bir ziyarette sitenin sayfa görüntüleme sayısı.

• Görsel retlerin yüzdesi. Metrik hesaplamalarında deneye katılan ziyaretçilerin ziyaretleri dikkate alınmaktadır. Örneğin, bir ziyaretçi bir düğmeye tıklar ve sayfayı hemen kapatırsa, deneyin başarısız olduğu kabul edilir – böyle bir ziyaret bir rettir, ancak görsel bir ret değildir. Bu nedenle, görsel retler Yandex Metrica retlerinden daha düşük olma eğilimindedir.

• Hedef kitle (benzersiz ziyaretçi sayısı) – ziyaretçi özelliklerinin analiz edilmesi. Benzersiz bir ziyaretçi, benzersiz bir site ziyaretçisi tanımlayıcısının (i) ilk defa atandığı bir kullanıcıdır.

• Ziyaret başına tüm hedefler için gelirler:

  • belirli bir hedef için gelir;

  • tüm hedefler için gelir;

  • bileşik hedefin belirli bir adımı için gelir.

• Hedefe dönüşüm – varyanttaki toplam ziyaret sayısından seçilen hedefe ulaşan ziyaretlerin payı.

• Birden çok hedefe dönüşüm – varyanttaki toplam ziyaret sayısından seçilen hedeflerin belirtilen sayısına ulaşılarak ziyaretlerin payı.

• Kullanıcıların hedefe dönüşümü (Bayes) – hedefe ulaşan tekil ziyaretçi sayısının toplam tekil ziyaretçi sayısına oranı. Hesaplama için Bayes yöntemi kullanılmıştır.

• Bileşik hedef adıma dönüşüm – bir ziyaretçinin bir hedef eylemi gerçekleştirme yolunda atacağı bir dizi adımı belirlemenizi sağlar. Bu "adımlar" sayfa görüntülemeleri veya JavaScript eylemleri olabilir.

• Ziyaret başına hedef gelir. Bir ziyaret hedefine ulaşıldığında Metrica bu hedef için gelir elde edebilir. Bu, ticari verimliliği hesaplamayı kolaylaştırır.

• Ziyaret başına bileşik hedef adımının geliri. Ziyaret başına bileşik bir hedefin adımları karşılandığında, Yandex Metrica bu hedef için gelir elde edebilir. Bu, ticari verimliliği hesaplamayı kolaylaştırır.

Ecommerce metrikleri

Bu metriklerin raporda görüntülenmeye başlaması için, E-Ticareti Bağlayın.

• Satın alma ile yapılan ziyaretlerin oranı.
• Satın alma ile ziyaret başına ortalama GMV.
• Ziyaret başına ortalama GMV.

Reklam metrikleri

Raporda reklam metriklerini görüntülemeye başlamak için Yandex Metrica sayacını reklamlarınıza bağlayın. Ayrıntılar için Reklam deneyleri bölümüne bakınız.

Yandex Metrica ve diğer servislerdeki hesaplama algoritmaları farklılık gösterdiğinden, Yandex Metrica’da sunulan gelir verileri reklam hesabındaki verilerden ve gerçek tutarlardan farklı olabilir.

• Ziyaret başına reklam geliri (YRA) – ziyaret başına reklam gösterimlerinden elde edilen gelirdir.

• Ziyaretçi Başına Reklam Geliri (YRA) – ziyaretçi başına reklam gösterimlerinden elde edilen gelirdir.

Ayrıca, raporda aşağıdakiler kullanılabilir:

• Yardımcı metrikler. Örneğin, hedef dönüşümleri için pay ve payda – hedefe ulaşılan ziyaret sayısı ve toplam ziyaret sayısı – görüntülenir.

• Metriğin kendi değeri. Örneğin, hedefe dönüşüm, hedeflenen ziyaretlerin toplam ziyaretlere oranıdır.

• Delta deney ve kontrol varyantlarındaki metrik değerleri arasındaki farktır.

• Delta (%) – delta, kontrol varyantındaki metrik değerin yüzdesi olarak ifade edilir.

• Güven aralığı (±2σ) – sayısal eksende deney ve kontrol varyantları için güven aralıklarını içeren görüntü.

• P-value – istatistiksel kriterin sonucunun ana sayısal özelliğidir. Metrik değerinin gerçekte değişmediğini varsayarak aynı veya daha uç sonuçlar elde etme olasılığı anlamına gelir (örnekte H₀ hipotezi). Ayrıntılar için makaleye bakınız.

  Hipotez, P-value ile anlamlılık düzeyi karşılaştırılarak kabul edilir: P-value ≤ alpha. Varsayılan eşik alpha = 0,05’tir.

  Alpha değerinin birinci tür hataların (yanlış pozitifler) olasılığını belirttiğinin farkında olmak önemlidir. Bu durumda, alphayı çok düşük yapmak doğru değildir, çünkü ikinci tür hata olasılığı (yanlış negatifler) artar ve MDE yükselir.

• MDE (%) – Minimum detectable effect. Bu hacimde veriyle ve birinci dereceden hata olasılığı alpha = 0,05 ve ikinci dereceden hata olasılığı beta = 0,2 ile metrikte fark edilebilecek minimum değişikliktir. Kontrol varyantındaki metrik değerin yüzdesi olarak ifade edilir. Deneyin yüzdesini ve süresini artırarak MDE’yi azaltabilirsiniz.

• Filtreler (Filtre ekle):

  Temel tarife

  Standart tarife

  Gelişmiş tarife

  Filtre	Açıklama
  Robotları hariç tut	Arama robotlarının ziyaretlerini rapordan hariç tutmayı sağlar.
  Hemen çıkılan ziyaretleri hariç tut	Hemen çıkma sayılan ziyaretleri hariç tutmayı sağlar.
  Yalnızca tam günler	Deneyin başladığı veya bittiği gün gibi, deneyin günün yalnızca bir kısmında yapıldığı günleri hariç tutar.

  Filtre	Açıklama
  Robotları hariç tut	Arama robotlarının ziyaretlerini rapordan hariç tutmayı sağlar.
  Hemen çıkılan ziyaretleri hariç tut	Hemen çıkma sayılan ziyaretleri hariç tutmayı sağlar.
  Yalnızca tam günler	Deneyin başladığı veya bittiği gün gibi, deneyin günün yalnızca bir kısmında yapıldığı günleri hariç tutar.
  Platformlar	Verileri cihazlara göre segmentlere ayırır. Filtrelenebilen platform türleri: Bilgisayarlar, akıllı telefonlar, tablet bilgisayarlar, televizyonlar.
  Trafik kaynakları	Kullanıcıların sitenize nerelerden geldiğini izlemenizi sağlar. Bunun için kaynak türünü seçin. Örneğin: Doğrudan ziyaretler, Arama motorlarından geçişler, Web sitelerindeki bağlantılardan geçişler. Raporda otomatik ilişkilendirme kullanılmaktadır. Daha fazla bilgi için Yandex Metrica yardımına bakın.
  İşletim sistemleri	Verileri işletim sistemlerine göre segmentlere ayırır. Filtrelenebilen işletim sistemleri: iOS, Windows, GNU/Linux, macOS, Android.
  Cinsiyet	Cinsiyete göre filtreleme: Erkek, Kadın.
  Yaş	Verileri yaş gruplarına göre segmentlere ayırır: 18 yaşından küçükler, 18-24 yaşındakiler, 25-34 yaşındakiler, 35-44 yaşındakiler, 45-54 yaşındakiler, 55 ve üstü yaşındakiler.
  İlgi alanları	Hedef kitleyi ilgi alanlarına göre segmentlere ayırır: eğlence ve boş zaman; finans; yapı; tadilat ve onarım; güzellik ve sağlık; emlak; yiyecek ve içecek; telekomünikasyon; aile ve çocuklar; iş ve işletmecilik.

  Filtre	Açıklama
  Robotları hariç tut	Arama robotlarının ziyaretlerini rapordan hariç tutmayı sağlar.
  Hemen çıkılan ziyaretleri hariç tut	Hemen çıkma sayılan ziyaretleri hariç tutmayı sağlar.
  Yalnızca tam günler	Deneyin başladığı veya bittiği gün gibi, deneyin günün yalnızca bir kısmında yapıldığı günleri hariç tutar.
  Hedefe ulaşma	Rapordaki verileri butona tıklama veya sepete gidiş gibi, ulaşılan hedeflerden birine göre filtrelemeyi sağlar.
  Platformlar	Verileri cihazlara göre segmentlere ayırır. Filtrelenebilen platform türleri: Bilgisayarlar, akıllı telefonlar, tablet bilgisayarlar, televizyonlar.
  Trafik kaynakları	Kullanıcıların sitenize nerelerden geldiğini izlemenizi sağlar. Bunun için kaynak türünü seçin. Örneğin: Doğrudan ziyaretler, Arama motorlarından geçişler, Web sitelerindeki bağlantılardan geçişler. Raporda otomatik ilişkilendirme kullanılmaktadır. Daha fazla bilgi için Yandex Metrica yardımına bakın.
  İşletim sistemleri	Verileri işletim sistemlerine göre segmentlere ayırır. Filtrelenebilen işletim sistemleri: iOS, Windows, GNU/Linux, macOS, Android.
  Cinsiyet	Cinsiyete göre filtreleme: Erkek, Kadın.
  Yaş	Verileri yaş gruplarına göre segmentlere ayırır: 18 yaşından küçükler, 18-24 yaşındakiler, 25-34 yaşındakiler, 35-44 yaşındakiler, 45-54 yaşındakiler, 55 ve üstü yaşındakiler.
  İlgi alanları	Hedef kitleyi ilgi alanlarına göre segmentlere ayırır: eğlence ve boş zaman; finans; yapı; tadilat ve onarım; güzellik ve sağlık; emlak; yiyecek ve içecek; telekomünikasyon; aile ve çocuklar; iş ve işletmecilik.

Rapor Yandex Metrica’nın standart ayarlarını desteklemiyor.

Başka metrik

Durdurulmuş veya devam eden bir deneyde rapor oluşturmak için ilave metrikler ekleyebilirsiniz.

Bu fonksiyon, bir deney oluştururken yanlış metriği seçmeniz veya deneyin diğer metrikler üzerindeki etkisini analiz etmeniz gerektiğinde yararlı olabilir.

1. Metrica’da Varioqub → Deneyler sayfasına gidin.

2. Deney adının altında, Sonucu görüntüle'ye tıklayın.

3. Seçilen metriğe tıklayın ve açılan menüde Başka metrik'i seçin.

Seçtiğiniz metrikler hariç, kullanılabilir metriklerin listesi açılır. Deneyin etkisini görmek istediğiniz metriği seçin.

Deney hakkında tam rapor

Durdurulan bir deney için raporun tamamını görüntüleme ve indirme olanağı mevcuttur.

1. Metrica’da Varioqub → Deneyler sayfasına gidin.

2. Tam raporu istediğiniz deneyin adının yanındaki → Tam Raporu Görüntüle menüsüne tıklayın.

Tüm deney ayarlarının tüm ayrıntılarını, grafikli ana metrik için ayrıntılı verileri ve tüm yardımcı metrikler için kısaltılmış verileri içeren bir rapor sayfası açılacaktır.

• Rapor verilerini güncellemek için Raporu Güncelle öğesine tıklayın. Rapor güncellemeleri saatte en fazla bir kez yapılabilir.

• Raporu yazdırmaya göndermek için düğmesinin yanındaki Yazdır düğmesine tıklayın.

Kişiselleştirme yoluyla deneyin bir varyantını yayınlama

Bir deneyin başarılı bir versiyonunu uygulamak için, deneyin bir kişiselleştirmesini oluşturun:

1. Metrica’da Varioqub → Deneyler sayfasına gidin.

2. Deney adının altında, Sonucu görüntüle'ye tıklayın.

3. Değişikliklerin olduğu varyant altında Kişiselleştirme oluştur öğesine tıklayın. Bu seçeneğin hüküm ve koşullarını içeren bir kişiselleştirme taslağı açılacaktır.

4. Kaydet'e tıklayın.

Seçilen varyanttaki değişiklikler, deney koşulları dikkate alınarak sitenin tüm hedef kitlesine uygulanır. Örneğin, platform veya bölge şartları ve URL filtreleri kişiselleştirmeye taşınacaktır.

Değişiklikleri iptal etmek için kişiselleştirmeyi durdurun:

1. Metrica'da Varioqub → Kişiselleştirmeler sayfasına gidin.

2. Kişiselleştirmenin karşısında → Durdur düğmesine basın.

Sorular ve sorunlar

Deneydeki veriler Yandex Metrica raporundakilerle aynı değildir.

Yönlendirme deneyinde deney ve kontrol değerleri çok farklıdır.

Çerezleri sildikten sonra farklı deneyler yaptım, ancak raporda yalnızca bir ziyaret görüyorum.

Yandex Metrica’daki ve iş ortağı arayüzündeki para kazanma istatistikleri farklıdır.

Destek Ekibi'ne yaz

First-party cookies içinde saklanan web sitesi ziyaretçisinin kimliği. Yanıt alındığında _ymab_param çerezinde ayarlanmalıdır. Ziyaretçinin ilk ziyaretinde boş olabilir.

Bunu API’ye yapılan her istekte iletmenizi öneririz. İlk istekte alan boş olabilir.