Robots.txt Nedir, Nasıl Oluşturulur? Yapay Zekâ Botları Dahil 2026 Rehberi

Robots.txt nedir, nasıl yazılır? GPTBot, OAI-SearchBot, ClaudeBot ve Google-Extended için doğru kurallar ve kopyalanabilir şablon. Sitenizi şimdi kontrol edin.

Son güncelleme: 1 Kasım 2026

Özet

Robots.txt, sitenizin kök dizininde duran ve tarayıcı botlara hangi bölümleri gezebileceklerini söyleyen düz bir metin dosyasıdır (siteniz.com/robots.txt). Bir güvenlik aracı değildir, bir rica listesidir: Google, Bing, OpenAI ve Anthropic’in botları bu ricaya uyar, kötü niyetli botlar uymaz.

2026’da robots.txt’nin en kritik görevi değişti. Artık yalnızca Google’ı değil, yapay zekâ botlarını da yönetiyor. Bir satırla ChatGPT aramasından da çıkabilirsiniz, yalnızca model eğitiminden de.

Sahadan bir vaka: robots.txt neyi çözer, neyi çözemez?

Ekim 2026’da yönettiğimiz bir kurumsal sitede garip bir tablo gördük. GA4’e göre bir ayda sitenin en çok ziyaret aldığı ülke, sitenin hiç hitap etmediği bir ülkeydi: 943 oturum, sitenin asıl pazarından bile fazla. Bu oturumların yalnızca %2,3’ü etkileşimliydi ve ortalama süre 3 saniyeydi. %99’u “doğrudan” (Direct) görünüyordu ve sitenin tüm doğrudan trafiğinin yaklaşık %57’sini oluşturuyordu.

Sunucu kayıtlarına baktığımızda iki tür bot gördük:

• Biri kendini Windows Chrome tarayıcısı gibi gösterip WordPress’in içerik API’sini tarıyordu. 2 saatte 67 istek attı. JavaScript çalıştırmadığı için GA4’te görünmüyordu.
• Diğeri iPhone kılığında sayfaları ve görselleri yüklüyordu. GA4’ü şişiren buydu.

Robots.txt’ye bunlar için kural yazmak işe yaramazdı, çünkü bu botlar robots.txt’yi okumuyor. Çözümü hosting katmanında bulduk: ülke bazlı erişim kurallarıyla trafiği sunucu seviyesinde kestik.

Aynı kayıtlarda meşru botlar da vardı: Googlebot, Bingbot, Applebot, Amazonbot, PerplexityBot, ClaudeBot. Onlar robots.txt’yi okuyor ve ona uyuyor.

Çıkardığımız ders şu: Robots.txt iyi niyetli botları yönetmek içindir. Kötü niyetli botlar için sunucu, CDN ya da güvenlik duvarı kuralı gerekir. İkisini karıştıran ya meşru botları kapatıyor ya da kötüleri durdurduğunu sanıyor.

Robots.txt nasıl çalışır? Dört komut

Kendi robots.txt dosyamız ve neden bu kadar sade?

stradiji.com’un bugünkü robots.txt dosyası şu:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.stradiji.com/sitemap_index.xml

Bilerek sade tuttuk. Yapay zekâ botlarının hepsine açığız, çünkü işimiz onların cevaplarında görünmek. Ekim 2026’da dosyadan yıllardır duran “Crawl-delay: 10” satırını da sildik. Google bu satırı zaten okumuyordu, kötü niyetli botlar da okumuyordu. Yalnızca iyi niyetli bazı botları yavaşlatıyordu.

En sık karıştırılan iki şey

1. Robots.txt bir sayfayı Google dizininden çıkarmaz. Disallow “bu sayfayı gezme” der, “dizine ekleme” demez. Başka sitelerden link alan bir sayfa, Disallow’a rağmen içeriği okunmadan dizinde görünebilir. Bir sayfayı dizinden çıkarmak istiyorsanız noindex etiketini kullanın ve sayfayı robots.txt’de kapatmayın. Kapatırsanız Google noindex etiketini hiç göremez.

2. Crawl-delay satırını Google okumaz. Bing ve bazı botlar okur. Google tarama hızını sunucunuzun cevap süresine göre kendisi ayarlar.

Yapay zekâ botları: hangisi ne yapıyor?

Burası 2016’daki ilk yazımızda yoktu, bugün yazının en önemli kısmı.

Sahada en sık gördüğümüz hata: GPTBot ile OAI-SearchBot’u aynı şey sanıp ikisini birden kapatmak. “Eğitime verim girmesin” derken ChatGPT aramasından da çıkıyorsunuz. Yaptığımız GEO denetimlerinde bu ayrımı rapora her zaman iki ayrı satır olarak yazıyoruz.

Kopyalanabilir şablon: yapay zekâ aramasında görünmek isteyen bir WordPress sitesi

Aramada görünmek isteyen ama model eğitimine içerik vermek istemeyen bir site için:

# Tüm botlar: yönetim paneli kapalı
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Model eğitimi: kapalı (isteğe bağlı)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

# Yapay zekâ araması: açık
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Sitemap: https://siteniz.com/sitemap_index.xml

Biz stradiji.com’da eğitim botlarını da açık tutuyoruz. Bir modelin “SEO ve GEO danışmanlığı” denince bizi hatırlamasının yolu eğitim verisinde bulunmaktan geçiyor. Bu bir tercih. Haber sitesi ya da ücretli içerik satan bir yayıncı için doğru cevap farklı olabilir.

Robots.txt’niz açık ama botlar yine de giremiyor olabilir

Robots.txt’yi doğru yazmak yetmeyebilir. Üç yere daha bakın:

1. CDN ayarları. Cloudflare, 15 Eylül 2026’da karma kullanımlı yapay zekâ tarayıcıları için yeni bir varsayılan engelleme düzeni duyurdu. Reklamlı sayfalar, yeni siteler ve ayarlarını değiştirmemiş ücretsiz plan kullanıcıları etkileniyor. Robots.txt’niz “açık” derken Cloudflare kapıyı kapatmış olabilir.
2. Hosting hız sınırları. Eylül 2026’da yönettiğimiz bir sitede, GPTBot ve ClaudeBot’un bazı isteklerine sunucunun “429: çok fazla istek” hatası döndüğünü gördük ve hosting firmasına ilettik. Ekim sonu itibarıyla takip ediyoruz. Robots.txt’de izin verdiğiniz bir bot sunucuda hız sınırına takılıyorsa yine içeri giremez.
3. Güvenlik eklentileri. WordPress güvenlik eklentileri bilinmeyen botları otomatik engelleyebilir. Engellenenler listesine bakın.

Robots.txt’nizi 3 adımda kontrol edin

1. Tarayıcıya siteniz.com/robots.txt yazın. Dosya açılıyor mu, içinde beklemediğiniz bir “Disallow: /” var mı?
2. Search Console’da Ayarlar > robots.txt raporuna bakın. Google’ın dosyanızı en son ne zaman okuduğunu ve hata olup olmadığını gösterir.
3. Yukarıdaki tablodaki botlardan hangilerini kapattığınızı tek tek yazın. Bilinçli bir karar mı, yoksa bir eklentinin varsayılanı mı?

JavaScript ağırlıklı bir siteniz varsa bir kontrol daha ekleyin: Yapay zekâ botlarının çoğu JavaScript çalıştırmıyor. Ayrıntılar PWA ve SEO yazımızda.

Robots.txt ve llms.txt aynı şey mi?

Değil. Robots.txt bir erişim kuralı dosyası. llms.txt ise yapay zekâ modellerine sitenizin özetini sunmaya çalışan opsiyonel bir dosya. Google llms.txt’yi bir sıralama faktörü olarak kullanmıyor. Ayrıntılar: llms.txt nedir ve neden önemlidir?

Sıkça sorulan sorular

Robots.txt dosyası olmazsa ne olur?

Botlar sitenizin tamamını gezebileceklerini varsayar. Küçük bir site için bu çoğu zaman sorun değil. Yönetim paneli gibi gereksiz alanları kapatmak ve site haritanızı göstermek için yine de bir dosya koymanızı öneririm.

GPTBot’u kapatırsam ChatGPT’de görünmez miyim?

Görünmeye devam edebilirsiniz. GPTBot model eğitimi için gelir. ChatGPT’nin arama sonuçlarını OAI-SearchBot toplar. İkisini ayrı yönetin.

Google-Extended’i kapatırsam Yapay Zekâ Özetleri’nden çıkar mıyım?

Hayır. Google-Extended, Gemini modellerinin eğitimi ve kullanımıyla ilgili bir izin işaretidir. Yapay Zekâ Özetleri Google aramasının bir parçasıdır ve onu Googlebot yönetir.

WordPress’te robots.txt nasıl düzenlenir?

Rank Math ya da Yoast gibi SEO eklentilerinin robots.txt düzenleyicisi var. Kök dizinde fiziksel bir robots.txt dosyası varsa eklentinin düzenlemesi işe yaramaz, önce o dosyayı kontrol edin.

Bu hafta yapılacak tek şey

Sitenizin robots.txt dosyasını açın ve GPTBot ile OAI-SearchBot satırlarını bulun. İkisi de “Disallow: /” diyorsa ChatGPT aramasından kendinizi çıkarmışsınız demektir. Bu kararı bilerek mi verdiniz?