Arama sonuçlarında gerekli olmayan sayfaların dizine alınmasını nasıl önlerim?

Sitelerde genellikle ziyaretçiler için tasarlanmamış sayfalar bulunur. Bu şunları içerir:

  • Teknik bilgiler içeren veya site yönetimi için tasarlanmış servis sayfaları.
  • Yalnızca yetkili kullanıcılar için yararlı olan içeriğe sahip sayfalar, örneğin çevrimiçi mağazaların ödeme sayfaları veya kullanıcı profilleri.
  • Taslaklar, yer tutucu sayfalar ve yayına hazır olmayan diğer sayfalar.

Bu sayfaları neden dizine almadan gizlemelisiniz?

Bu tür sayfaların sayısı, site sahibinin ziyaretçi çekmek isteyebileceği sayfa sayısına eşit olabilir hatta onu aşabilir. Sonuç olarak:

  • Bu sayfaların dizine alma botları tarafından taranması, sitede gereksiz yükü artırır.
  • Dizine alma botunun açılış sayfalarınızı taraması daha uzun sürer.
  • Bu tür sayfalar arama dizinine dahil edilirse, açılış sayfaları ve diğer önemli sayfalarla rekabet edebilir ve kullanıcıları şaşırtabilir.

Yandex Webmaster’ta hangi istenmeyen sayfaların tarandığını nasıl kontrol edebilirim?

Yandex Webmaster’da, Yandex dizine alma botunun hangi site sayfalarınızı taradığını (ancak dizine eklemediğini) kontrol edebilirsiniz.

  1. Yandex Webmaster’a gidin, Dizine alma → Aranabilir Sayfalar’ı seçin ve Hariç tutulan sayfalar sekmesini açın.
  2. simgesine tıklayın ve Düşük değerli veya düşük talep gören sayfa’yı seçin.

Görünen listede, kullanıcıları çekmek istediğiniz sayfalar yer alabilir. Bu tür sayfaları, arama sonuçlarına dahil edilme olasılıklarını artırmak için iyileştirebilirsiniz.

Ayrıca listede, kullanıcılar için tasarlanmamış olmasına rağmen dizine alma botu tarafından taranan sayfalar da bulunabilir. Bunları bot’tan gizlemenizi öneririz.

Daha fazla bilgi edinin:

Sayfaları dizine alma botundan nasıl gizlerim?

4xx HTTP durum koduna sahip sunucu yanıtı

Yetkilendirme gerektiren ve teslimat adresi, telefon numarası veya ödeme detayları gibi kişisel bilgiler içeren sayfalar için “403 Forbidden” sunucu yanıtı HTTP kodunu ayarlayın. Silinmiş sayfalar için “404 Not Found” veya “410 Gone” kullanın.

Daha fazla bilgi edinin:

“Robots” meta etiketi veya “X-Robots-Tag” HTTP başlığı için “Noindex” yönergesi

noindex yönergesi, sayfa metninin dizine alınmasını yasaklar. Sayfa arama sonuçlarına dahil edilmeyecektir.

Bu yönergeyi kullanmak için:

  • Sitenizin sunucusundaki belirli bir URL için X-Robots-Tag HTTP başlığını yapılandırın.
HTTP/1.1 200 OK
Tarih: Sal, 25 Mayıs 2010 21:42:43 GMT
X-Robots-Tag: noindex
  • Alternatif olarak, robots meta etiketini noindex yönergesiyle birlikte sayfanın HTML kodundaki head öğesinin içine yerleştirin.
<html>
    <head>
        <meta name="robots" content="noindex" />
    </head>
    <body>...</body>
</html>

Daha fazla bilgi edinin:

robots.txt dosyasındaki “Disallow” yönergesi

Disallow yönergesi, bir sitenin belirli bölümlerinin veya sayfalarının taranmasını yasaklar. Bunu, site yönetimi için tasarlanmış, özel bilgiler içeren veya site arama sonuçlarını gösteren sayfaları dizine alma botlarından gizlemek için kullanabilirsiniz.

Örneğin:

User-agent: Yandex
Disallow: /admin # /admin ile başlayan URL’lere sahip sayfa ve bölümlerin taranmasını yasakla
Disallow: /order.html # Ödeme sayfasının taranmasını yasakla
Disallow: *?s= # Site arama sonuçlarının ve ?s= içeren URL’lere sahip sayfaların taranmasını yasakla

robots.txt dosyası ve Disallow yönergesi hakkında daha fazla bilgi edinin.

Yandex Webmaster’da bir sayfanın dizine almadan engellenip engellenmediği nasıl kontrol edilir?

robots.txt’de listelenen sayfaların dizine almadan doğru şekilde engellenip engellenmediğini kontrol etmek için, Araçlar → Robots.txt analizi sayfasına gidin, sayfa URL’lerini URL’lere izin verilip verilmediğini kontrol et alanında belirtin ve kontrolü çalıştırın. Her şey doğruysa, kontrol sonuçları URL’lerin Disallow yönergesi tarafından engellendiğini gösterecektir.

Bir sayfanın mevcut herhangi bir yöntemle dizine alma botlarından doğru şekilde engellenip engellenmediğini öğrenmek için, Dizine alma → Sayfayı kontrol et aracını kullanın. Sayfa URL kontrolünü çalıştırın. Sayfanın aramadaki durumu, veri tabanındaki sayfa sürümü → Aramadaki durum sekmesinde görüntülenir. Sayfa dizine alma botlarından gizlenmişse, “Sayfa robot tarafından bilinmiyor” durumuna sahip olacaktır.

Daha fazla bilgi edinin:

İstenmeyen sayfalar aramadan nasıl çıkarılır?

Sayfaları aramadan çıkarmak için şunları kullanabilirsiniz:

  • robots.txt dosyasındaki Disallow yönergesini.
  • HTTP durum kodu 404, 403 veya 410.
  • robots meta etiketini noindex yönergesiyle birlikte.

Sayfa, dizine alma botunun talimatlarınızı keşfetmesinden sonraki bir hafta içinde arama motoru veri tabanından kaldırılacaktır.

Yandex Webmaster ile, planlanmış dizine alma bot taramasını beklemeden kaldırma sürecini başlatabilirsiniz. Bunu yapmak için, Araçlar → Sayfaları arama sonuçlarından kaldır sayfasına gidin ve bir sayfanın URL’sini veya bir grup sayfayı hariç tutmak istiyorsanız bir ön ek belirtin.

Daha fazla bilgi edinin:




Ayrıca şuraya gidebilirsiniz:

Önceki
Site sayfalarım dizine alma botlarına ve kullanıcılara nasıl görünür?
Sonraki
Yinelenen sayfalardaki sorun nedir?