Robot wyszukiwarki

Robot wyszukiwarki (inne używane określenia to także crawler, pająk lub robot internetowy) to program bądź zautomatyzowany skrypt, którego zadaniem jest przemierzać zasoby Internetu w pewien z góry określony sposób. Obok indeksu, jest jednym z kluczowych mechanizmów działania wyszukiwarki.

Wyszukiwarki używają robotów do indeksowania zasobów witryn internetowych, jak również do utrzymywania aktualności danych zgromadzonych w swoim archiwum. Roboty przemierzają Internet poruszając się od odnośnika do odnośnika w poszukiwaniu nowych stron (lub innych dokumentów). Wykonują kopię odwiedzanej strony, która jest później przetwarzana przez pozostałe części złożonego oprogramowania wyszukiwarki i dodawana do indeksu.

Crawlery indeksują strony na dwa sposoby, poprzez indeksowanie głębokie i indeksowanie płytkie. Różnicą między nimi jest m.in. częstotliwość indeksowania. Indeksowanie głębokie ma na celu pobranie większej ilości stron i stron znajdujących się głębiej w strukturze witryny. Roboty przy głębokim indeksowaniu są w stanie podążyć za dużą ilością odnośników, aby dotrzeć do wszystkich treści. Takie indeksowanie odbywa się rzadziej niż indeksowanie płytkie.

Indeksowanie płytkie ma na celu odwiedzenie stron najpopularniejszych, najczęściej aktualizowanych lub dokumentów, do których prowadzi najwięcej linków zwrotnych. Może to być strona główna, dokument zawierający aktualności lub strona z popularnym narzędziem. Indeksowaniem płytkim wyszukiwarka dokłada starań, aby jej indeks zawierał aktualne wersje popularnych dokumentów. Robot nie podąża za dużą ilością linków i nie sprawdza mniej istotnych elementów witryny. Ten typ indeksowania występuje częściej niż indeksowanie głębokie. Częstotliwość zależy od wielkości serwisu: może to być codzienne, co kilka godzin lub nawet minut w przypadku naprawdę dużych serwisów informacyjnych.

• Crawler Google w świecie Ajax - Jak konstruować linki zrozumiałe dla robotów wyszukiwarki.

• Użyte zdjęcie pochodzi od genewolf

• Częstotliwość indeksowania (Crawl Frequency)
• SERP - Search Engine Result Page
• Spam w wyszukiwarkach