{"id":5071,"date":"2016-03-03T16:25:32","date_gmt":"2016-03-03T14:25:32","guid":{"rendered":"https:\/\/www.stradiji.com\/?p=5071"},"modified":"2026-03-13T01:47:03","modified_gmt":"2026-03-12T22:47:03","slug":"robots-txt-nedir-nasil-olusturulur","status":"publish","type":"post","link":"https:\/\/www.stradiji.com\/tr\/robots-txt-nedir-nasil-olusturulur\/","title":{"rendered":"Robots.txt Dosyas\u0131 Nedir ve Nas\u0131l Olu\u015fturulur?"},"content":{"rendered":"

\"googlebot-robots.txt\"<\/a><\/p>\n

\u0130\u015fte Robots.txt dosyas\u0131 bu ama\u00e7 i\u00e7in kullanabilece\u011finiz y\u00f6ntemlerden birisidir. Yanl\u0131\u015f olu\u015fturulan bir Robots.txt dosyas\u0131 sitenizin \u00f6nemli b\u00f6l\u00fcmlerinin arama motorlar\u0131n\u0131n eri\u015fimine kapanmas\u0131 anlam\u0131na gelebilir. SEO a\u00e7\u0131s\u0131ndan optimum Robots.txt dosyas\u0131 nas\u0131l haz\u0131rlan\u0131r? Nelere dikkat edilmelidir? Gelin hep birlikte inceleyelim.<\/p>\n

Robots.txt Nedir?<\/h2>\n

Robots.txt<\/strong>, arama motoru yaz\u0131l\u0131mlar\u0131na sitenizin hangi b\u00f6l\u00fcmlerini dizine ekleyebilece\u011fini, hangi dizini taramas\u0131 gerekti\u011fini, hangi arama motoru yaz\u0131l\u0131m\u0131n\u0131n giri\u015f izni oldu\u011funu veya olmad\u0131\u011f\u0131n\u0131 s\u00f6ylemeye yarayan basit bir komut dosyas\u0131d\u0131r. \u00d6r\u00fcmcek olarak da adland\u0131r\u0131labilen Arama motoru yaz\u0131l\u0131mlar\u0131 sitenize geldi\u011finde ilk olarak bu dosyay\u0131 tarar ve dosyadaki komutlara g\u00f6re sitenin izin verilen b\u00f6l\u00fcmlerini dizine ekler.<\/p>\n

Basit\u00e7e a\u00e7\u0131klamak gerekirse Robots.txt sitenizin\u00a0s\u0131n\u0131r kap\u0131lar\u0131n\u0131 kontrol etmeye benzer. Arama motoru robotlar\u0131n\u0131n hangi s\u0131n\u0131r kap\u0131lar\u0131ndan girebilece\u011fini, hangilerinden giremeyece\u011fini, hangi arama motoru robotunun giri\u015f izni oldu\u011funu, hangisinin olmad\u0131\u011f\u0131n\u0131 belirlemenizi sa\u011flar. Robots.txt dosyas\u0131 ve i\u00e7erdi\u011fi komutlar do\u011fru \u015fekilde haz\u0131rland\u0131ysa, arama motoru robotlar\u0131 bu kurallara uyar ve sitenizi verdi\u011finiz komutlar do\u011frultusunda tarar. Bu i\u015flem Robotlar\u0131 Engelleme Standard\u0131<\/a>\u00a0(veya Robot Engelleme Protokol\u00fc) olarak adland\u0131r\u0131l\u0131r.<\/p>\n

Robots.txt dosyas\u0131, her Web sitesinde mutlaka olmas\u0131 gereken bir dosyad\u0131r ve do\u011fru \u015fekilde haz\u0131rlanm\u0131\u015f olmas\u0131 gerekmektedir. Do\u011fru komutlar kullan\u0131larak haz\u0131rlanmam\u0131\u015f bir Robots.txt dosyas\u0131 arama motorlar\u0131 taraf\u0131ndan dikkate al\u0131nmaz ve taranmas\u0131n\u0131 istemedi\u011finiz dizinler de taranabilir. Bu y\u00fczden kendisi k\u00fc\u00e7\u00fck ama etkisi b\u00fcy\u00fck olan bu dosyan\u0131n do\u011fru \u015fekilde haz\u0131rlanm\u0131\u015f olmas\u0131 gerekmektedir.<\/p>\n

\"yeni<\/a><\/p>\n

Robots.txt Dosyas\u0131n\u0131 ve Komutlar\u0131 Anlamak<\/h3>\n

Robots.txt dosyas\u0131 belli standartlara uygun\u00a0olarak haz\u0131rlanmal\u0131d\u0131r ve sitenizin k\u00f6k dizinine y\u00fcklenmelidir.\u00a0Robots.txt dosyas\u0131 haz\u0131rlan\u0131rken dikkat edilmesi gereken en \u00f6nemli \u00fc\u00e7\u00a0nokta \u015funlard\u0131r:<\/p>\n

    \n
  1. Robots.txt dosyas\u0131n\u0131n sitenizin k\u00f6k dizininde bulunuyor olmas\u0131<\/li>\n
  2. Robots.txt dosyas\u0131n\u0131n UTF-8<\/a> karakter kodlamas\u0131na uygun \u015fekilde haz\u0131rlanm\u0131\u015f olmas\u0131<\/li>\n
  3. Robots.txt dosyas\u0131n\u0131n site URL’siyle ayn\u0131 formatta olmas\u0131<\/li>\n<\/ol>\n

    Robots.txt dosyas\u0131n\u0131n sitenizin k\u00f6k dizininde bulunuyor olmas\u0131 bir gerekliliktir ve dosya olu\u015fturulurken herhangi bir alt klas\u00f6rde veya ba\u015fka bir sayfada yer almamas\u0131 gerekmektedir. Robots.txt dosyas\u0131n\u0131n URL’si mutlaka standart olmal\u0131d\u0131r; \u00f6rne\u011fin:<\/p>\n

    Do\u011fru: https<\/a>:\/\/www.siteadresiniz.com\/robots.txt<\/span><\/p>\n

    Yanl\u0131\u015f: https:\/\/www.siteadresiniz.com\/main\/robots.txt<\/span><\/span><\/p>\n

    Robots.txt dosyas\u0131 d\u00fcz metinden olu\u015fmal\u0131 ve UTF-8 karakter kodlamas\u0131 d\u0131\u015f\u0131nda bir karakter kodlamas\u0131 kullan\u0131lmamal\u0131d\u0131r<\/span>.\u00a0Robots.txt dosyas\u0131 dinamik ve de\u011fi\u015fken i\u00e7eri\u011fe sahip olabilir, dosyay\u0131 istedi\u011finiz zaman istedi\u011finiz \u015fekilde de\u011fi\u015ftirebilir ve d\u00fczenleyebilirsiniz. Tavsiyemiz, dosyan\u0131n her zaman \u00e7al\u0131\u015f\u0131r durumda olmas\u0131, herhangi bir ama\u00e7la kullan\u0131mdan kald\u0131r\u0131lmamas\u0131 ve gizlenmemesi y\u00f6n\u00fcndedir.<\/p>\n

    Ayr\u0131ca Robots.txt dosyas\u0131n\u0131n sahip oldu\u011fu URL, sitenizin eri\u015fildi\u011fi URL ile ayn\u0131 olmal\u0131d\u0131r. E\u011fer https protokol\u00fc kullan\u0131yorsan\u0131z, robots.txt dosyas\u0131n\u0131n adresi de https protokol\u00fcne uygun olacak \u015fekilde d\u00fczenlenmelidir. \u00d6rne\u011fin;<\/p>\n

    Do\u011fru:
    \nSite URL’si: https:\/\/www.siteadresiniz.com\/<\/span>
    \nRobots.txt URL’si: https:\/\/www.siteadresiniz.com\/robots.txt<\/span><\/p>\n

    Yanl\u0131\u015f:
    \nSite URL’si: https:\/\/www.siteadresiniz.com\/<\/span>
    \nRobots.txt URL’si: http:\/\/www.siteadresiniz.com\/robots.txt<\/span><\/span><\/p>\n

    Robots.txt i\u00e7erisinde belirli i\u015flemleri ger\u00e7ekle\u015ftirmek i\u00e7in standartla\u015fm\u0131\u015f komutlar kullan\u0131l\u0131r. Bu komutlar\u00a0temel olarak \u00fc\u00e7 ana ba\u015fl\u0131kta toplanmaktad\u0131r:<\/p>\n