Taranabilirlik (Crawlability) Nedir?

Taranabilirlik (crawlability), arama motoru ve yapay zekâ tarayıcılarının sitenizdeki sayfalara ulaşıp içeriklerini okuyabilmesidir. Taranamayan bir sayfa dizine giremez, dizine girmeyen bir sayfa da hiçbir arama sonucunda ya da yapay zekâ cevabında kaynak olamaz.

Eskiden tek bir kapıcı vardı: Googlebot. Bugün sitenize Googlebot’un yanında OpenAI, Anthropic, Perplexity ve diğer yapay zekâ şirketlerinin tarayıcıları da geliyor. Her biri ayrı bir adla gelir, robots.txt’de ayrı bir satırla yönetilir ve sunucunuzda ayrı bir kuralla karşılanır. Taranabilirlik artık “Google sayfamı görüyor mu?” sorusundan daha geniştir.

Son güncelleme: 13 Ekim 2026 · Yazar: Mert Erkal, Stradiji kurucusu · Bu madde GEO Yol Haritası‘nın Aşama 1’ine bağlıdır.

Taranabilirlik kurumsal markalar için neden önemli?

Yapay zekâ görünürlüğünün ilk kapısı “ulaşmak”tır. Model sitenize ulaşamıyorsa, içeriğiniz ne kadar iyi olursa olsun cevaba giremez. Bu kapı çoğu zaman bilinçli bir kararla değil, varsayılan bir ayarla kapanır.

En büyük örnek: Cloudflare, 1 Temmuz 2025’te barındırdığı sitelerde yapay zekâ tarayıcılarını varsayılan olarak engellemeye başladığını duyurdu; site sahipleri izin vermediği sürece bu botlar içeri giremiyor (MIT Technology Review, Temmuz 2025). Siteniz Cloudflare arkasındaysa, kimse karar vermeden yapay zekâ kapınız kapanmış olabilir.

Taranabilirlik nasıl çalışır?

1. İzin: Tarayıcı önce robots.txt dosyanıza bakar. Kendi adına (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot gibi) bir engel varsa geri döner.
2. Erişim: İzin olsa bile sunucu, güvenlik duvarı ya da CDN isteği engelleyebilir, 403 ya da 429 (çok fazla istek) hatası döndürebilir.
3. Okuma: Sayfa açıldığında içerik HTML’de hazır olmalıdır. Birçok yapay zekâ tarayıcısı JavaScript çalıştırmaz; içeriği tarayıcı tarafında üretilen sayfalar onlara boş görünür.
4. Keşif: İç linkler ve site haritası, tarayıcının yeni ve güncellenen sayfaları bulmasını sağlar. Hiçbir yerden link almayan sayfa çoğu zaman bulunmaz.

Vercel ve MERJ’in Aralık 2024’te yayımlanan analizine göre ChatGPT, Claude ve Perplexity’nin tarayıcıları dahil büyük yapay zekâ tarayıcılarının hiçbiri JavaScript çalıştırmıyordu; Google’ın Gemini’si ise Googlebot altyapısını kullandığı için sayfayı tam işliyordu (Vercel, Aralık 2024). Önemli içerik sunucu tarafında üretilmelidir.

SEO ve GEO ilişkisi

Taranabilirlik teknik SEO’nun temelidir ve GEO’nun ilk kapısıdır. Aynı kurallar geçerlidir: temiz robots.txt, hızlı ve hatasız sunucu, sunucu tarafında üretilmiş içerik, iyi iç linkleme. Fark, kapıda bekleyen ziyaretçi sayısında. Google için açık olan bir site, yapay zekâ tarayıcılarına kapalı olabilir.

Bir ayrıma dikkat: Google-Extended gibi bazı kullanıcı aracıları yalnızca yapay zekâ eğitimi içindir; bunları engellemek Google Arama’daki taramayı etkilemez. Eğitimi kapatmak ile canlı arama tarayıcısını kapatmak farklı kararlardır ve ayrı ayrı verilmelidir.

Sahada gördüğümüz

Eylül 2026’ya kadar denetlediğimiz 100’den fazla sitenin yaklaşık dörtte üçü yapay zekâ tarayıcılarına açıkça erişim izni vermemişti (Yapay Zekâ Görünürlüğünün Üç Kapısı). En sık gördüğümüz durumlar:

• robots.txt’de hiçbir yapay zekâ tarayıcısının adının geçmemesi; karar verilmemiş, sadece bırakılmış.
• CDN ya da güvenlik duvarının, robots.txt izin verse bile yapay zekâ botlarını engellemesi.
• İçeriğin JavaScript ile yüklenmesi; Google görüyor, yapay zekâ tarayıcısı boş sayfa görüyor.

Kendi sitemizde de yaşadık: Eylül 2026’da sunucu kayıtlarında GPTBot ve ClaudeBot isteklerinin bir kısmının barındırma katmanında 429 hatasıyla geri çevrildiğini gördük ve konuyu barındırma sağlayıcımızla açtık. robots.txt’iniz kapıyı açsa bile sunucunuz kapatıyor olabilir.

Kurumsal markalar için taranabilirlik stratejisi

1. Kararı yazılı verin. Hangi yapay zekâ tarayıcısına izin verdiğinizi robots.txt’de adıyla belirtin. Eğitim botları ile arama botları için ayrı karar verin.
2. Altyapıyı kontrol edin. CDN, güvenlik duvarı ve barındırma sağlayıcınızın bot kurallarını gözden geçirin. Cloudflare kullanıyorsanız yapay zekâ tarayıcı ayarını açıkça kontrol edin.
3. Sunucu kayıtlarına bakın. Yapay zekâ botlarının gerçekten gelip gelmediğini ve hangi yanıt kodunu aldığını kayıtlardan doğrulayın.
4. İçeriği HTML’de sunun. Ana içerik, başlıklar ve linkler JavaScript çalışmadan da sayfada olsun.
5. Keşfi kolaylaştırın. Güncel site haritası, mantıklı iç linkler ve yetim sayfa bırakmamak.
6. Düzenli test edin. Her büyük site, eklenti ya da altyapı değişikliğinden sonra tarama izinlerini yeniden kontrol edin.

İlişkili terimler

• Yapay zekâ görünürlüğü
• Grounding
• Yapılandırılmış veri (structured data)
• GEO (Üretken Motor Optimizasyonu)
• Ajantik yapay zekâ (agentic AI)

Sıkça sorulan sorular

Yapay zekâ tarayıcılarına izin vermeli miyim?

Yapay zekâ cevaplarında kaynak olarak görünmek istiyorsanız, en azından arama ve kullanıcı isteği botlarına (örneğin OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot) izin vermeniz gerekir. Model eğitimi botları için ayrı bir karar verebilirsiniz.

Google-Extended’ı engellemek Google sıralamamı etkiler mi?

Hayır. Google-Extended, içeriğinizin Google’ın yapay zekâ modellerinin eğitiminde kullanılıp kullanılmayacağını kontrol eder; Google Arama’daki tarama ve sıralamayı etkilemez.

Yapay zekâ tarayıcıları JavaScript çalıştırıyor mu?

Çoğu çalıştırmıyor. Vercel ve MERJ’in Aralık 2024 analizinde ChatGPT, Claude ve Perplexity tarayıcıları JavaScript çalıştırmıyordu. Önemli içeriği sunucu tarafında, HTML’de hazır sunun.

Yapay zekâ botlarının sitemize gelip gelmediğini nasıl anlarım?

Sunucu kayıtlarında kullanıcı aracısı (user-agent) adlarını arayın ve yanıt kodlarına bakın. 200 dışındaki kodlar (403, 429, 503) botun geldiğini ama içeri giremediğini gösterir.