Częstotliwość indeksowania (Crawl Frequency)

Częstotliwość indeksowania określa jak często Twoja witryna jest odwiedzana przez crawlera danej wyszukiwarki. Robot wyszukiwarki pobiera nowe dane ze strony internetowej i tym samym aktualizuje dane w indeksie. Jak często wybrany dokument HTML jest odwiedzany przez wyszukiwarki uzależnione jest od paru czynników.

Zazwyczaj wyższą częstość odwiedzin mają witryny darzone przez wyszukiwarki dużym zaufaniem, bądź witryny często aktualizowane. Na drugim biegunie znajdują się serwisy z wysoką ilością sztucznych linków przychodzących (przeważnie bardzo słabe jakościowo linki spamerskie) bądź zawierające niewiele ponad skopiowaną zawartość innych witryn (np. serwisy tworzone na potrzeby wszelakich systemów wymiany linków lub, rzadziej, programów partnerskich).

Kiedy ostatni raz Google bot odwiedził stronę?

Aby sprawdzić kiedy ostatni raz Google pobrało daną stronę musimy zaglądać do pamięci podręcznej tzw. cache. Można tą informację uzyskać na 2 sposoby:

Poprzez wpisanie operatora cache i adresu strony do pola wyszukiwania Google:
```
cache:http://www.przykladowa-domena.pl/dokument.html
```

Poprzez kliknięcie w odnośnik cache lub kopia (w polskiej wersji) poniżej wyniku wyszukiwania dla naszej strony.

W rezultacie ukarze nam się ramka z datą i informacją:

„To jest kopia z pamięci podręcznej Google adresu http://magiczne.seoisem.pl/dywersyfikacja-zrodel-ruchu-na-witrynie-internetowej/. Zdjęcie przedstawia stan strony z 18 Lip 2009 04:14:03 GMT.”

Uzyskana data jest datą ostatnich odwiedziń Google bota.

304 Not Modified a roboty wyszukiwarki

Za każdym razem gdy Google bot odwiedzi daną stronę internetową wysyłana jest odpowiedź z serwera HTTP. Gdy robot otrzyma odpowiedź HTTP 200 OK pobiera całą jej zawartości w celu jej aktualizacji w indeksie wyszukiwarki. Jeżeli dana strona nie została zmodyfikowana istnieje możliwość ustawienia odpowiedzi 304 Not Modified. W tym przypadku robot nie pobierze ponownie dokumentu ponieważ został poinformowany, że już najnowszą jej wersję posiada. W ten sposób można zaoszczędzić niepotrzebnego transferu danych z naszych serwerów.

Oto filmik z wyjaśnieniem działania 304 Not Modified na przykładach:

Szybkość indeksowania Google bota

Jest możliwe ustawienie szybkości z jaką roboty wyszukiwarki będą odwiedzały strony za pomocą Narzędzi dla Webmasterów. W tym celu należy się zalogować do swojego konta lub zarejestrować nowe i zweryfikować witrynę. Odpowiednie ustawienia znajdują się w sekcji:

Konfiguracja witryny > Ustawienia > Szybkość indeksowania

Dostęp crawlerów do naszych stron internetowych można także kontrolować poprzez plik robots.txt czy meta tag robots.

Monitoring robotów

Na rynku jest kilka dostępnych programów, które pozwalają na śledzenie poczynań robotów wyszukiwarek na naszych witrynach. Jednym z nich jest ClickTracks. Płatny i stosunkowo znany program analityczny. Zawiera on, obok wielu innych, raport o nazwie Robots report.