“Örümcek” olarak da adlandırılan arama motoru robotu, arama motorlarının Web sitelerini tararken kullandığı yazılımlara verilen addır.

search-engine-spyder

Arama motoru robotları ilk olarak, Robotları Engelleme Standardınca oluşturulmuş Robots.txt dosyasına bakarak bir Web sitesini taramaktadır. Tarama tamamlandıktan sonra robots.txt dosyasındaki ve Arama motorunca belirlenmiş olan bölümler Arama motoru dizinine eklenir.

« Back to Glossary Index
Emre Ercan
Ben Emre Ercan,
Stradiji Dijtal Pazarlama bünyesinde SEO Uzmanı olarak görev yapmaktayım. Geçmişten beri teknoloji ve internet dünyasıyla olan yakından ilişkim sayesinde SEO'nun olumlu etkilerini müşterilerimize yansıtmak için canla başla çalışmaktayım.