günlük dosyaları seo analizi

Log Files ya da Günlük Dosyaları, arama motoru botlarının sitenizi nasıl ve ne sıklıkla taradığını, tararken herhangi bir sorun ile karşılaşıp karşılaşmadığını analiz etmenin çok etkili, ancak çoğunlukla gözardı edilen bir yoludur. Günlükler, tahminleri ve varsayımları ortadan kaldırır. Site ziyaretçilerinizin davranışlarını derinlemesine analiz etmenize olanak sağlarlar. Bu yüzden, ham erişim günlüklerini sunucu veya geliştirici ekibinden temin etmek biraz zaman alacak olsa da, bir SEO projesine hatırı sayılır ölçüde katkı sağlayabilirler. Screaming Frog SEO Log File Analyser ile günlük dosyalarını nasıl analiz edebileceğinizi ve sonuçları nasıl yorumlamanız gerektiğini derledik.

Günlük Dosyasının Analizi Neden Önemlidir?

Günlük dosyası analizi, aşağıdaki 5 şeyi gerçekleştirmenize yardımcı olabilir.

  1. Tam olarak hangi sayfaların ve dosyaların taranamadığını tespit edebilir,
  2. Arama motorları tarafından tarama sırasında karşılaştıkları hata kodlarını görüntüleyebilir,
  3. Daha geniş site tabanlı etkilere (örneğin hiyerarşi veya iç bağlantı yapısı) sahip olabilecek tarama eksikliklerini tanımlayabilir,
  4. Arama motorlarının hangi sayfalara öncelik verdiğini ve en önemlilerini dikkate alabileceğini görebilir,
  5. Tarama bütçesinin boşa harcandığı bölümleri keşfedebilirsiniz.

Tarama veya dış bağlantılar gibi diğer verilerin yanı sıra, arama motoru botlarının davranışı hakkında daha da fazla bilgi edinilebilir.

Tarama Bütçesi Kavramı

Konuya tam olarak giriş yapmadan önce Google’ın bir siteyi tararken belirlediği limitlerin tümünü ifade eden “tarama bütçesi” hakkında biraz daha fazla bilgi vermek istiyoruz. Bir Web sitesinin isteklere ne kadar hızlı yanıt verdiğini, sitedeki URL’lerin popülaritesini, tarama sıklığını ve yönlendirme derinliği gibi kriterler Google’ın o site hakkındaki tarama bütçesini belirlemesine yardımcı olur. Google “çok düşük değere sahip olan sayfaların o sitenin taranması ve dizine eklenmesi açısından olumsuz etkileri olduğunu” ifade etmektedir. Googlebot siteyi yine de tarayacaktır ancak gelecekte düşük değerli sayfaların taranması ihtimali düşecektir, böylece o site için tarama bütçesi daraltılmış olur.

  • Karmaşık navigasyon ve oturum tanımlayıcıları,
  • Yinelenen içerik,
  • Soft 404 içeren sayfalar,
  • Saldırıya uğramış sayfalar,
  • Proxie yönlendirmeleri içeren sayfalar,
  • Düşük kaliteli içerik ve spam.

Yukarıdaki sebepleri de eklersek bir Web sitesindeki önemli sayfaların neden dizine eklenmediğini anlamak mümkün olacaktır. Arama motoru botları birçok önemsiz ve değersiz sayfa ile vakit harcarken önemli sayfalara sıra gelmeyebilir, böylece tarama bütçesi boşa harcanmış olabilir.

Bu kılavuzda günlük dosyaları analiz etmenin çok çeşitli yollarını inceledik. Analiz için SEO projelerimizde de kullandığımız Screaming Frog’un Log File Analyzer yazılımından yararlandık. Yazılımı ücretsiz olarak belirli bir limit dahilinde kullanmanız mümkün, eğer kullanışlı bulursanız satın alarak tüm özelliklerini kullanabiliyorsunuz. Biz incelememizde ücretsiz sürümü kullanacağız. Ücretsiz sürüm 500 olay limitinde kullanılmakta ve örnek bir günlük dosyasıyla birlikte gelmekte, bu açıdan test etmek için bile kullanmanız mümkün. Örnek dosyayı açtığınızda, http://example.com üzerinde test edilmiş bir log dosyasını inceleyebilirsiniz. Ücretsiz sürümde sadece bir proje oluşturabileceğiniz için, başka bir log dosyanız varsa örnek projeyi silip kendi projenizi oluşturabilirsiniz. Şimdi örnek günlük dosyası üzerinden incelemelerimizi yapmaya başlayalım:

1) Taranan Tüm URL’leri Tanımlayın

Google Search Console, Google Analytics, XML site haritası veya doğrudan veritabanı incelemesi gibi sitedeki URL’leri toplamanın ve analiz etmenin çeşitli yolları vardır. Ancak bu yöntemlerden hiçbiri tam olarak hangi süreçlerin gerçekleştiğini size söylemez. Günlük dosyası analizinin temeli, arama motorları tarafından hangi URL’lerin tarandığını tam olarak doğrulayabilmektir. Screaming Frog Log File Analyser; IIS, Nginx, Apache gibi popüler sunucuların ham log dosyalarını içe alabilecek şekilde tasarlanmıştır. Dosyayı sürükleyip bırakarak çalıştırmanız mümkündür.

Doğrulama yaparken hangi arama motoru botunun kullanılmasını istediğinizi seçebilirsiniz. Tüm botlarla inceleme yapabilir veya Googlebot, Bingbot, Googlebot Mobile, Yandex ve Baidu botları ile ayrı ayrı değerlendirme yapmanız da mümkün. Botların gün içerisinde kaç kere sitenizi ziyaret ettiğini, bu esnada taranan ortalama sayfa sayısını, ortalama yanıt süresini, yönlendirmeleri, tarama ve sunucu hatalarını inceleyebilirsiniz.

log-file-analyser-overview-page

2) Düşük Değerli URL’leri Tanımlayın ve Değerlendirin

Yanıt süresi düşük olan, sık sık bulunamadı döndüren, yönlendirme döngüsüne giren sayfaları ayırıp inceleme altına almanız çok önemlidir. Ek olarak botların çok az sıklıkta taradığı sayfalara dikkatlice bakmanızı tavsiye ederiz. Bu sayfaların düşük öncelikte taranmasının sebeplerini tespit etmeniz, söz konusu sayfaların sağlığı açısından çok önemlidir. Bu sayfaların daha az sıklıkla taranmasının birçok sebebi olabilir, günlük dosyası bu konuda size önemli fikirler verebilir.

3) Alt Dizinlerin Taranma Sıklığı

Tarama sıklığını farklı yollarla değerlendirmek de yararlıdır. Sezgisel bir URL yapınız varsa, alt dizinlere göre toplu tarama etkinlikleri çok güçlü olabilir.

Bir sitenin hangi bölümlerinin en çok tarandığını keşfedebilirsiniz; “Number of events” sütununda yer alan rakamlar, ana dizinlerle alt dizinler arasındaki farkı görmenizi sağlar.

log-file-analyser-directories-subdirectories

 

Bu aynı zamanda, tarama bütçesinin çok fazla ayrılmadığı alanlarını tespit etmeyi kolaylaştırır.

4) İçerik Türüne göre Tarama Sıklığı

Günlük dosyalarının kendileri bir içerik türü içermedikleri halde, Günlük Dosyası Çözümleyicisi, yaygın biçimler için URL’leri inceler ve HTML, Görseller, JavaScript, CSS, PDF’ler vb. içerik türüne göre filtreleyebilmenizi sağlar.

Bu, Google’ın her bir içerik türünü tarayarak orantılı olarak ne kadar zaman harcadığını analiz etmenize olanak tanır. Ayrıca farklı istemcilerin tarama sıklıklarını da analiz edebilirsiniz. Bu diğer arama motorları açısından performansa ilişkin bilgi almanıza yardımcı olabilir.

Analiz ettiğiniz zaman aralığı boyunca taranan benzersiz URL’lerin sayısı, her bir arama motorunun sitenizdeki tüm URL’lerinizi taramak için ne kadar süre harcadığının kaba bir göstergesi olacaktır.

5) Yönlendirme Denetimleri

Arama motorlarının talep ettiği her URL’yi bir yönlendirmeyle görüntüleyebilirsiniz. Sadece gerçek zamanlı yönlendirmeler değil, geçmiş dönemlerde gerçekleşmiş yönlendirmeleri de görmeniz mümkündür. Böylece bir şekilde gözden kaçma ihtimali olan veya üst üste yönlendirme yapılmış URL’leri tespit edebilirsiniz.

Ek olarak, bir 304 yanıtı normaldir ve sadece arama motorlarının sayfanın değiştirilmediğini bilmesini sağlar, böylece belgeyi tekrar göndermeye gerek yoktur.

6) Gerçek Botları ve Sahte Arama Bot Taleplerini Tanımlayın

IP’s sekmesi ve ‘doğrulama durumu’ filtresi, “spoofed” (sahte) olarak ayarlanmış, arama motoru botlarını taklit eden isteklerin IP adreslerini, kullanıcı aracısı dizelerini kullanarak değil, doğrulama işlemini kullanarak hızlı bir şekilde görüntülemeyi sağlar. Bu sizin izleriniz veya tarama gerçekleştiren bir ajans olabilir. Bunlar dışında engellemek istediğiniz başka bir şey olabilir ve kaynakları boşa harcamazsınız. Özellikle sahte görünen arama motoru botlarını sunucuda engellemek kaynakları verimli kullanmanın bir başka yolu olacaktır.

‘Doğrulama durumu’ filtresini “verified” (doğrulandı) olarak değiştirirseniz, doğrulanmış arama motoru botlarından tüm IP’leri görüntüleyebilirsiniz. Yerel olarak uyarlanabilir sayfalara sahip web sitelerini analiz ederken ve ülkeye göre farklı içerikler sunarken faydalı olabilir.

Googlebot, artık ABD dışındaki (ABD’nin yanı sıra) IP’ye sahip coğrafi dağınık taramayı destekliyor ve HTTP üstbilgisinde ayarlanmış bir “Accept-Language” alanıyla taranıyor. IP’yi analiz ederek, Google’ın içeriğe eriştiği yerleri kontrol edebilir, organik endeksleme ve performansına göre değerlendirebilirsiniz.

7) Büyük Sayfaları Tanımlayın

Yanıt sürelerinin yüksek olması tarama bütçesini olumsuz etkilemektedir. Dolayısıyla büyük dosyalar yanıt sürelerinin gereksiz seviyelerde yüksek olmasına sebep olmaktadır. URL’lerin “ortalama byte’larını” analiz ederek, optimize edilebilecek alanları tanımlamak hızlı ve kolay bir iyileştirme yapmanızı sağlayabilir.

Görsel dosyaları başta olmak üzere MP4, PDF ve CSV gibi dosyalar çok büyük boyutlara ulaşabilmektedir.

Dosya büyüklüğüne bağlı olarak meydana gelen düşük yanıt süreleri tarama bütçesini azaltacaktır. Bu nedenle, arama motorlarının gerçekten karşılaştığı ‘ortalama yanıt süresini’ analiz ederek, optimizasyon için sorunlu bölümleri veya URL’leri tanımlayabilirsiniz. Bazı sayfaların yanıt sürelerinin çok yüksek olması, hem kullanıcılara hem de arama motorlarına 500 sunucu hatası ve türevi hata kodları döndürebilir. Bu da iyi bir izlenim ortaya çıkarmayacaktır.

Sonuç Olarak

Kullanıcı verilerinin kaydı, bir web projesinin başarısını ölçmenin en etkili araçlarından biridir. Yalnızca trafiğin gelişimini ve ziyaretçilerin düzenli davranışlarını gözlemleyerek tekliflerinizi ve içeriğinizi hedef kitlenize hitap edecek şekilde kurgulayabilirsiniz. Günlük dosyalarınızın düzenli analizi sayesinde,  Google Analytics gibi ölçümleme araçlarında bulamayacağınız çok kıymetli kullanıcı deneyimi bilgilerine ulaşabilirsiniz.

Emre Ercan
Ben Emre Ercan,
Stradiji Dijtal Pazarlama bünyesinde SEO Uzmanı olarak görev yapmaktayım. Geçmişten beri teknoloji ve internet dünyasıyla olan yakından ilişkim sayesinde SEO'nun olumlu etkilerini müşterilerimize yansıtmak için canla başla çalışmaktayım.