Zanim strona zarankuje, musi zostać znaleziona (scrawlowana) i zapisana (zaindeksowana). Większość problemów z indeksacją wynika z tego, jak witryna jest crawlowana, czy wersja mobilna jest kompletna i czy treść w ogóle warto zapisać. To pojęcia, które decydują, czy Twoje strony trafią do indeksu.
Pojęcia crawlowania i indeksacji
Crawlowanie i crawl budget
Crawlowanie to sposób, w jaki Googlebot odkrywa strony, podążając za linkami i czytając sitemapy, a crawl budget to z grubsza to, ile stron zeskanuje w Twojej witrynie i jak często. Dla większości małych i średnich stron crawl budget to nie problem — Google skanuje wszystko, co się liczy. Staje się realny na dużych witrynach (setki tysięcy URL-i), gdzie marnowanie crawla na duplikaty, parametry czy strony niskiej wartości sprawia, że ważne strony są skanowane rzadziej. Lekarstwem jest czysta architektura i linkowanie wewnętrzne prowadzące roboty do tego, co ważne.
Mobile-first index
Mobile-first index oznacza, że Google przeważnie używa mobilnej wersji strony do indeksacji i pozycjonowania, nie desktopowej. Jeśli treść, dane strukturalne lub linki są na desktopie, ale brakuje ich na mobile, mogą faktycznie się nie liczyć. Praktyczna zasada to parytet: wersja mobilna musi zawierać tę samą treść i znaczniki co desktop. Responsive design zwykle załatwia to automatycznie, ale osobne strony mobilne i ciężki rendering po stronie klienta to miejsca, gdzie kryją się problemy.
Google Discover
Google Discover to spersonalizowany feed treści na mobile, który pokazuje strony użytkownikom na podstawie ich zainteresowań — ruch bez wpisywania zapytania. Kwalifikacja zależy od bycia zaindeksowanym i spełnienia standardów jakości i polityk, a mocne wizualia i realna ekspertyza pomagają. Potrafi wysłać duże, nagłe skoki ruchu, zwłaszcza przy treściach aktualnych lub szeroko interesujących. Nie da się w niego celować wprost, ale publikowanie indeksowalnej, wysokiej jakości treści dla ludzi jest tym, co kwalifikuje.
Jak doprowadzić do zaindeksowania
Uczyń strony odkrywalnymi przez linkowanie wewnętrzne i dokładną mapę XML, trzymaj je crawlowalnymi (bez przypadkowego noindex czy blokad robots) i zadbaj, by wersja mobilna była kompletna. Potem daj Google powód, by je zapisał: unikalną, użyteczną treść. Użyj Inspekcji URL i raportu Strony w Search Console, by potwierdzić, co jest zaindeksowane i dlaczego coś jest wykluczone.
