Site veya sunucu üzerindeki yükü nasıl azaltırım?

Dizinleme robotu, site sayfalarını kendi başına planlar, site veya sunucu üzerindeki yükü otomatik olarak ayarlayarak, taranması gereken yeni veya zaten dizinlenmiş sayfaların sayısına bağlı olarak ayarlar.

Bazen robot isteklerinin sayısı aniden artabilir, örneğin robot yeni bir site bölümü, site yapısındaki değişiklikler veya yeni sayfa URL’leri hakkında bilgi edindiğinde.

Sitedeki robot isteklerinin artış nedenini öğrenmek için:

1. Robot tarafından yüklenen sayfaların ve aramaya katılan sayfaların sayısını kontrol edin. Bunu yapmak için Yandex Webmaster’da Benim sitelerim sayfasını açın. Yüklenen sayfaların sayısı, aramadaki sayfa sayısından çok daha fazlaysa, robot muhtemelen sitede çok sayıda benzer sayfa veya dizinlenmemesi gereken yinelenmiş sayfalar bulmaktadır.

   

2. Yandex Webmaster’da Endeksleme → Tarama istatistikleri bölümüne gidin ve endeksleme botunun son zamanlarda hangi sayfalara eriştiğini görün. Bu bilgiyi sunucu günlüklerinde de bulabilirsiniz.

   GET parametrelerine sahip sayfalara dikkat edin. Muhtemelen, aynı içeriği içerirler. Örneğin, sitede klasörlere göre filtreler varsa, sayfalar ?price=1,000&max_price=1,000,000 gibi bir parametre içerebilir. Ya da sitede bir arama işlevi varsa: ?search=<arama ifadesi>.

   Robot, farklı URL’lere sahip ancak aynı içeriğe sahip sayfaları tarasa da, bunlar arama sonuçlarına katılamaz.

3. Clean-param direktifini robots.txt dosyasına ekleyin. Bu şekilde, robotu kopyalar arasında gerekli URL’ye yönlendirebilir ve yük yavaş yavaş azalır. Bu direktif ayrıca belirli birikmiş ölçümleri ana URL veya web sitesine aktarmanıza olanak tanır.

   Robot üzerindeki yükü hızlı bir şekilde azaltmak için Disallow direktifini robots.txt dosyasına ekleyin. Robot, dosyada yapılan değişikliklerden 24 saat sonra belirtilen sayfalara erişmeyi durduracaktır.

Yükün ekstra sayfalarla ilgili olmadığını düşünüyorsanız, sunucuyu 429 HTTP durum kodu ile yanıt verecek şekilde yapılandırabilirsiniz. Bu yanıt, sunucunun yükle ilgili zorluklar yaşadığını gösterecektir. Yandex robotu istek sayısını azaltacaktır. Ya da sitede gezinme hızın kendiniz değiştirebilirsiniz.

Alt alan adı olan bir sitedeki yük nasıl azaltılır? (#load-robots-subdomen)

Yandex, alt etki alanını ayrı bir site olarak kabul eder, bu yüzden robot her alt etki alanında gezinir. Sonuç olarak, sunucu üzerindeki yük artabilir.

Robot isteklerinin sayısını azaltmak için sunucu günlüğünü analiz edin ve isteklerin çoğunun nereden geldiğini belirleyin. Eğer arama motorları ve diğer robotlardan geliyorsa, ana etki alanı içeriğinin ziyaretçilerin ihtiyaçları için yeterli olması muhtemeldir. Bu durumda, alt etki alanlarının yapısını gözden geçirmek ve muhtemelen onları kullanmayı bırakmak veya ana sitenin bölgesel bölümleriyle değiştirmek isteyebilirsiniz.

Ayrıca sunucuyu 429 HTTP durum kodu ile yanıt verecek şekilde yapılandırabilirsiniz. Bu yanıt, sunucunun yükle ilgili zorluklar yaşadığını gösterecektir. Yandex robotu istek sayısını azaltacaktır. Ya da sitede gezinme hızın kendiniz değiştirebilirsiniz.