Arama motoru botlarının asli görevi bir Web sitesinin sayfalarını taramak ve arşivlemektir. Robots.txt dosyası ise arama motoru botlarına nereye erişebilecekleri, nereye erişemeyecekleri konusunda bilgi verir ve sitemap.xml dosyasının yerini gösterir.

« Back to Glossary Index
Emre Ercan
Ben Emre Ercan,
Stradiji Dijtal Pazarlama bünyesinde SEO Uzmanı olarak görev yapmaktayım. Geçmişten beri teknoloji ve internet dünyasıyla olan yakından ilişkim sayesinde SEO'nun olumlu etkilerini müşterilerimize yansıtmak için canla başla çalışmaktayım.