Crawl budget — czym jest i jak wpływa na pozycjonowanie?

Temat latami stawał się coraz istotniejszy. Stanowi on jednak kluczowy element techniczny w przypadku popularnych, dużych stron oraz nowych serwisów online. Niezbyt dobrze podlinkowane (działania off-site) lub słabe strukturalnie strony napotykają problem z zachęceniem algorytmów do ich indeksowania.

Crawl budget może być problemem w przypadku nowszych witryn, zwłaszcza tych z dużą ilością podstron. Serwer może spokojnie obsłużyć większą aktywność indeksowania, jednak gdy strona jest nowa i niezbyt popularna, wyszukiwarka może zwyczajnie nie chcieć jej indeksować. Algorytmy Google mogą nie wiedzieć, czy treści są wartościowe, przez co ograniczą się do indeksowania małego procenta wszystkich zasobów.

Crawl budget jest problematyczny w przypadku większych witryn z milionami podstron lub serwisów, które są często aktualizowane — dotyczy to w większości przypadków średnich lub dużych platform e-commerce. Użyj poniższej diagnozy, by ocenić, czy Twój serwis powinien traktować ten temat priorytetowo.

Jeśli chcesz zobaczyć przegląd aktywności indeksowania Google i wszelkich wykrytych przez nie problemów, najlepiej zajrzeć do raportu Statystyki indeksowania w Google Search Console. Znajdziesz tam raporty, które pomogą zidentyfikować zmiany w sposobie indeksowania, odczytać czy są jakieś problemy lub pozyskać informacje o tym, jak Google indeksuje stronę.

Koniecznie sprawdź wszystkie oznaczone stany indeksowania oraz sygnatury czasowe ostatniego indeksowania podstron. Istnieje możliwość poznania aktywności wszystkich botów i użytkowników poprzez dostęp do plików dziennika (log files). W zależności od hostingu, dostępne narzędzia to Awstats i Webalizer. Bardziej zaawansowane konfiguracje przechowują dane w postaci nieprzetworzonych plików dziennika — do ich analizy służy m.in. ELK Stack (Elasticsearch, Logstash, Kibana) oraz Splunk.

Wszystkie adresy URL i żądania są wliczane do crawl budgetu. Obejmuje to alternatywne adresy URL, takie jak strony AMP lub m-dot, hreflang, zasoby CSS i JavaScript, w tym żądania XHR. Te adresy URL można znaleźć, przemierzając i analizując strony lub trafić na nie z innych źródeł, jak mapy stron, kanały RSS, ręcznie przesyłane URL w Search Console czy Indexing API. Istnieje wiele Googlebotów, które korzystają ze wspólnego budżetu indeksowania.

Żądanie indeksowania określa, ile zasobów strony internetowej zostanie przez Google zaindeksowane. Strony o dużej popularności i te, na których znaczące zmiany następują dynamicznie, będą indeksowane częściej. Popularne strony lub te posiadające duże zaplecze off-site mają pierwszeństwo przed innymi. Należy pamiętać, że Google musi ustalić kolejność indeksowania spośród setek milionów publicznych stron internetowych — link building to łatwy sposób na wskazanie tej kolejności. Analiza podstron potrzebujących linków ułatwiana jest przez narzędzia SEO; bez nich proces byłby żmudny i zajmowałby wiele godzin.

Istnieje koncepcja stagnacji wśród serwisów internetowych. Jeśli algorytmy Google zauważą brak zmian i nowych treści, zdecydowanie rzadziej będą indeksować serwis. Przykładowo: jeśli po indeksacji strona nie zmieni się przez jeden dzień, Google poczeka trzy dni przed kolejną analizą. Przy dłuższej stagnacji odstęp rośnie — 10 dni, 30 dni, 100 dni i więcej. Gdy Google zauważy duże zmiany w całej witrynie lub wzrost ruchu, szybkość indeksowania wzrośnie przynajmniej na jakiś czas.

Poniżej znajdziesz konkretne akcje, które możesz wdrożyć, by zachęcić Google do częstszego odwiedzania Twojej strony — zaznaczaj je w miarę realizacji.

Limit szybkości indeksowania określa, ile crawlowania może obsłużyć Twoja witryna, zanim wystąpią problemy ze stabilnością serwera — spowolnienia lub błędy. Większość robotów indeksujących zrezygnuje z indeksowania, jeśli zaczną dostrzegać takie problemy, aby nie zaszkodzić witrynie. Google dostosowuje się na podstawie stanu serwera: jeśli witryna działa poprawnie mimo zwiększonego indeksowania, limit wzrośnie. Jeśli w witrynie występują problemy, Google spowolni tempo. Jeśli Googlebot otrzyma kody stanu 503 lub 429 na serii podstron, zostaną one wykluczone z indeksu tymczasowo — a powrót bywa bolesny.

Zespoły SEO przez lata stosowały różne techniki wymuszania indeksowania. Okazuje się, że spora część starych metod przestała działać lub nigdy nie działała tak, jak sądzono. Poniżej znajdziesz przegląd popularnych mitów i twardą rzeczywistość.

Jest tylko kilka dobrych sposobów na świadome spowolnienie indeksowania. Z perspektywy Search Console, w zestawie funkcji GSC znajdziesz ogranicznik szybkości indeksowania — narzędzie pozwalające zmniejszyć prędkość crawlowania. Po regulacji parametru należy odczekać do 48 godzin, aż ustawienie zacznie obowiązywać. Technicznie można też zastosować dyrektywę noindex na stronach, których nie chcesz indeksować (np. wyniki filtrów, duplikaty). Pamiętaj jednak, że spowolnienie serwera to metoda, której zdecydowanie nie polecamy — negatywnie wpłynie na doświadczenie użytkownika i sygnały Core Web Vitals.