Tarama Bütçesi Nedir ve Nasıl Optimize Edilir?

Google, bir web tasarım arayüzündeki her sayfayı her zaman anında taramaz. Aslında, bazen haftalar sürebilir. Bu, SEO çabalarınızın önüne geçebilir. Yeni optimize edilmiş açılış sayfanız dizine eklenmeyebilir. Bu noktada, tarama bütçenizi optimize etmenin zamanı gelmiş demektir. Bu makalede, bir "tarama bütçesinin" ne olduğunu ve onu optimize etmek için neler yapabileceğinizi anlatıyoruz.

Tarama Bütçesi: Crawl Budget Nedir ve Nasıl Optimize Edilir?

Tarama bütçesi, Google'ın herhangi bir günde sitenizde tarayacağı sayfa sayısıdır. Bu sayı günden güne biraz değişir, ancak genel olarak nispeten sabittir. Google, sitenizde her gün 6 sayfa da tarayabilir, 5.000 sayfa da tarayabilir, hatta her gün 4.000.000 sayfa da tarayabilir. Google'ın taradığı sayfa sayısı, "bütçeniz" genellikle sitenizin boyutuna, sitenizin "sağlığına" (Google'ın kaç hatayla karşılaştığı) ve sitenize verilen bağlantıların sayısına göre belirlenir. Bu faktörlerden bazıları etkileyebileceğiniz şeylerdir, buna birazdan geleceğiz.

Bir Tarama Botu (Crawl Bot) Nasıl Çalışır?

Googlebot gibi bir tarayıcı, bir sitede taranacak URL'lerin listesini alır. BulutPress®'de otomatik olarak oluşturulan sitemap.xml site haritaları da bu tarama listesinin oluşturulmasında yardımcı olur. Bu listeden sistematik olarak geçer. Her bir URL'yi taramasına izin verildiğinden emin olmak için arada bir robots.txt dosyanızı alır ve ardından URL'leri tek tek tarar. BulutPress® web sitenizde otomatik oluşturulan bir robots.txt dosyası vardır. Bir örümcek bir URL'yi taradığında ve içeriği ayrıştırdıktan sonra, o sayfada bulduğu yeni URL'leri, yapılacaklar listesine taraması gereken yeni URL'leri ekler.

Birkaç olay, Google'a bir URL'nin taranması gerektiğini hissettirebilir. İçeriğe işaret eden yeni bağlantılar bulmuş olabilir veya birisi onu tweetlemiş olabilir veya XML site haritasında (sitemap.xml) güncellenmiş olabilir, vb. Google'ın bir URL'yi taramasının tüm nedenlerinin bir listesini yapmanın bir yolu yoktur, ancak yapması gerektiğini belirlediğinde yapılacaklar listesine ekler.

Tarama Bütçesi Ne Zaman Sorun Olur?

Google, sitenizde çok sayıda URL taraması yapmak zorundaysa ve çok sayıda tarama tahsis ettiyse, tarama bütçesi sorun değildir. Ancak, sitenizin 250.000 sayfası olduğunu ve Google'ın her gün bu sitede 2.500 sayfayı taradığını varsayalım. Bazılarını (ana sayfa gibi) diğerlerinden daha fazla tarar. Harekete geçmezseniz, Google'ın sayfalarınızdaki belirli değişiklikleri fark etmesi 200 gün kadar sürebilir. Tarama bütçesi artık bir sorun haline gelmiş olur. Öte yandan, günde 50.000'i tararsa, hiçbir sorun yoktur.

Sitenizde tarama bütçesi sorunu olup olmadığını hızlı bir şekilde belirlemek için aşağıdaki adımları izleyin. Bu, sitenizin Google'ın taradığı ancak dizine eklemediği (örneğin meta noindex eklediğiniz için) nispeten az sayıda URL'ye sahip olduğunu varsayar.

Sitenizde kaç sayfanız olduğunu belirleyin, XML site haritalarınızdaki URL'lerinizin sayısı iyi bir başlangıç ​​olabilir.

Google Arama Konsolu'na gidin. Sonra "Ayarlar" -> "Tarama istatistikleri"ne gidin ve günde taranan ortalama sayfa sayısını not edin. Sayfa sayısını "Günlük taranan ortalama" sayısına bölün. Sonunda ~10'dan yüksek bir sayı elde ederseniz (yani, Google'ın her gün taradığından 10 kat daha fazla sayfanız var ise), muhtemelen tarama bütçenizi optimize etmeniz gerekir.

Google hangi URL'leri tarıyor?

Google'ın sitenizde hangi URL'leri taradığını gerçekten bilmelisiniz. Bunu bilmenin tek 'gerçek' yolu web sitenizin sunucu günlüklerine bakmaktır. Daha büyük siteler için kişisel olarak Logstash + Kibana kullanmayı tercih edebilirsiniz. Daha küçük siteler için, Screaming Frog uygulamasını kullanabilirsiniz.

Sunucu Günlüklerinizi İnceleyin

Web sitesi için kullandığınız hosting türünüze bağlı olarak, günlük dosyalarınızı her zaman alamayabilirsiniz. Ancak, siteniz büyük olduğu için tarama bütçesi optimizasyonu üzerinde çalışmanız gerektiğini düşünüyorsanız, onları incelemelisiniz. Sunucu sağlayıcınız onları almanıza izin vermiyorsa, ana bilgisayarları değiştirme zamanı gelmiştir.

Sitenizin tarama bütçesini düzeltmek, bir arabayı tamir etmeye çok benzer. Günlüklere bakmak ilk başta korkutucu olabilir. Günlüklerde çok fazla gereksiz veri olduğunu hemen göreceksiniz. Saçma olduğunu düşündüğünüz yaygın olarak ortaya çıkan birçok 404 sayfa bulunamadı hatası bulabilirsiniz. O hataları düzeltmenizi sağlayacak oldukça kullanışlı BulutPress® url yönlendirme servisinden faydalanabilirsiniz.

Tarama Bütçenizi Artırın

Google'ın sitenizde kaç sayfa tarayabileceğini gerçekten iyileştiren şeylere bakalım.

Web sitesi bakımı: Daha fazla sayfanın taranmasını sağlamanın birinci adımı, taranan sayfaların iki olası dönüş kodundan birini döndürmesini sağlamaktır: 200 ("Tamam" için) veya 301 ("Bunun yerine buraya git" için). Diğer tüm dönüş kodları tarama bütçesini olumsuz etkiler. Bunu anlamak için sitenizin sunucu günlüklerine bakmalısınız. Google Analytics ve diğer analiz paketlerinin çoğu yalnızca 200'e hizmet eden sayfaları izleyecektir. Bu nedenle, sitenizdeki hataların çoğunu orada bulamazsınız. BulutPress® kullanıcıları, sunucu günlüğüne bakmaya ihtiyaç duymazlar. Çünkü googlebot tarafından ziyaret edilen ve 404 sayfa bulunamadı hatasını döndüren URL'lerin listesini çıkartır. Bu durumda her bir 404 sayfasını doğru sayfalara yönlendirerek (301 kalıcı yönlendirme) tarama bütçenizi optimize etmenize olanak verir.

Eğer BulutPress kullanmıyorsanız, sunucu günlüklerinizi aldıktan sonra, yaygın hataları bulmaya çalışın ve düzeltin. Bunu yapmanın en basit yolu, 200 veya 301 döndürmeyen tüm URL'leri almak ve ardından ne sıklıkta erişildiklerine göre sıralamaktır. Bir hatayı düzeltmek, kodu düzeltmeniz gerektiği anlamına gelebilir. Veya bir URL'yi başka bir yere yönlendirmeniz gerekebilir. Hataya neyin neden olduğunu biliyorsanız, kaynağı da düzeltmeyi deneyebilirsiniz. BulutPress url yönlendirme servisi, hangi 404 sayfasının kaç defa talep edildiğini HIT sütununda göstermektedir.

Hataları bulmak için başka bir iyi kaynak da Google Arama Konsoludur. Bununla ilgili daha fazla bilgi için web sitemizde search konsole kurulumu sayfamızı inceleyiniz.

Sitenizin Gereksiz ve İndekslenmemesi Gereken Bölümlerini Engelleyin

Sitenizde gerçekten Google'da olması gerekmeyen bölümleri varsa robots.txt kullanarak bunları engelleyin. Eğer BulutPress kullanıcısı iseniz, bunu yapmanıza gerek yok. Çünkü BulutPress® robots.txt dosyasını sizin yerinize otomatik olarak düzenlemektedir. BulutPress kullanmıyorsanız, bunu sadece, elbette, ne yaptığınızı biliyorsanız yapın. Daha büyük e-ticaret sitelerinde gördüğümüz yaygın sorunlardan biri, ürünleri filtrelemenin milyonlarca yolu olduğu zamandır. Her filtre, Google için yeni URL'ler ekleyebilir. Bu gibi durumlarda, Google'ın bu filtrelerden yalnızca birini veya ikisini örmesine izin verdiğinizden emin olmak istersiniz, hepsini değil. BulutPress e-ticaret yazılımında bulunan filtrelerin ayrı url üretmesi mümkün olmadığından, tarama bütçeniz asla israf edilmez.

Yönlendirme Zincirlerini Azaltın

Bir URL'yi 301 yönlendirdiğinizde, garip bir şey olur. Google bu yeni URL'yi görecek ve bu URL'yi taranacaklar listesine ekleyecektir. Her zaman hemen takip etmez, yapılacaklar listesine ekler ve öylece devam eder. Yönlendirmeleri zincirlediğinizde (redirect chain), örneğin www olmayanları www'ye, ardından http'den https'ye yönlendirdiğinizde, her yerde iki yönlendirmeniz olur, bu nedenle her şeyin taranması daha uzun sürer. BulutPress® kullanıcılarının çok iyi bildiği gibi, BulutPress yönlendirme zincirleri oluşturmanıza asla izin vermez.

Daha Fazla Bağlantı (Backlink) Toplayın

Bunu söylemesi kolay ama yapması oldukça zordur. Daha fazla bağlantı elde etmek sadece kusursuz olma meselesi değil, aynı zamanda başkalarının web sitenizin kusursuz olduğunu bilmesini sağlama meselesidir. Bu, iyi bir PR ve sosyal ağlara katılım meselesidir. Kronik bir indeksleme sorununuz olduğunda, öncelikle sitenizin bölümlerini engelleyen ve yeniden yönlendirme zincirlerini düzelten tarama hatalarınıza mutlaka bakmalısınız. Zararsız yeni bağlantılar kurma, tarama bütçenizi artırmak için çok yavaş ancak bir o kadar da etkili yöntemdir.

Uzun Lafın Kısası, Tarama Bütçesi Optimizasyonu Zordur, Ancak BulutPress® Bunu Sizin İçin Kolaylaştırır

Tarama bütçesi optimizasyonu, sizi strese sokmak zorunda değildir. Sitenizin bakımını iyi yapıyorsanız veya siteniz nispeten küçükse muhtemelen bunu düşünmenize gerek kalmaz. Siteniz orta büyüklükte ve bakımlıysa, yukarıdaki püf noktalarına göre bunu yapmak oldukça kolaydır.