Dla małej witryny Google z łatwością zeskanuje wszystko, więc crawl budget rzadko jest problemem. Staje się ważny na dużych witrynach — obszernych katalogach e-commerce, serwisach z milionami URL-i lub generujących wiele adresów parametrycznych i fasetowych — gdzie Googlebot może nie dotrzeć do każdej strony lub jej nie odświeżyć.
Budżet marnują rzeczy, na które crawler nie powinien tracić czasu: nieskończone kombinacje filtrów, zduplikowane URL-e, łańcuchy przekierowań, miękkie 404 i strony o niskiej wartości. Sprawne odpowiedzi 304, czyste linkowanie wewnętrzne i dobra mapa witryny pomagają Google priorytetyzować to, co ważne.
Celem jest kierowanie crawlowania ku stronom, które chcesz indeksować: konsoliduj duplikaty tagami canonical, blokuj ścieżki o niskiej wartości, naprawiaj błędy i utrzymuj szybkość witryny. Wspiera to bezpośrednio indeksację — crawling to krok, zanim strona w ogóle może zostać zindeksowana.
FAQ
Często zadawane pytania
Nie. Dla większości małych i średnich witryn Google skanuje wszystko bez problemu. Crawl budget staje się realną kwestią na dużych serwisach — setki tysięcy do milionów URL-i albo intensywna nawigacja parametryczna/fasetowa — gdzie efektywność crawlowania wpływa na tempo znajdowania i odświeżania stron.
