Metody na optymalizację crawl budgetu dla dużych serwisów e-commerce - Checklista

Crawl budget optymalizujesz przede wszystkim przez ograniczenie liczby adresów URL, które robot musi odwiedzić, zanim dotrze do wartościowych podstron: blokujesz nawigację fasetową, wyniki wyszukiwarki wewnętrznej i parametry techniczne, a serwerowi zapewniasz stabilny czas odpowiedzi. Problem dotyczy realnie serwisów powyżej 10 tysięcy podstron zmieniających się codziennie lub powyżej miliona zmieniających się co tydzień - mniejsze sklepy Google zwykle przeszukuje w całości bez przeszkód.

Czym jest crawl budget i od czego zależy?

Crawl budget to liczba adresów URL w obrębie jednego hosta, jaką Googlebot jest w stanie i chce odwiedzić w danym czasie. Składa się z dwóch niezależnych elementów: limitu wydajności indeksowania (ile żądań serwer wytrzyma bez pogorszenia czasu odpowiedzi) oraz zapotrzebowania na indeksowanie (jak bardzo Google jest zainteresowany zawartością - jej popularnością i tempem zmian).

Crawl budget w dużych e-commerce - w skrócie

• Ograniczysz marnotrawstwo zasobów, jeśli zablokujesz w pliku robots.txt kombinacje filtrów, wyniki wyszukiwarki wewnętrznej i parametry sortowania - to jedyna metoda, która faktycznie powstrzymuje pobieranie adresu.
• Przyspieszysz indeksowanie nowych stroni, utrzymując mapy witryny podzielone na typy podstron i wiarygodny znacznik lastmod.
• Odzyskasz część zasobów, zwracając kod 404 lub 410 dla trwale wycofanych produktów zamiast utrzymywać puste karty w statusie 200.
• Zwiększysz limit wydajności, skracając czas odpowiedzi serwera – błędy 5xx i 429 powodują, że Google zwalnia tempo indeksowania.

Kiedy crawl budget jest faktycznym problemem?

Progi wskazane przez Google

Google w dokumentacji dla dużych serwisów wskazuje dwie sytuacje, w których warto zająć się tematem: witryny powyżej miliona unikalnych podstron z treścią zmieniającą się mniej więcej raz w tygodniu oraz witryny powyżej 10 tysięcy podstron z treścią zmieniającą się codziennie.

Jak rozpoznać marnowany crawl budget?

Pierwszym źródłem są Statystyki indeksowania w Google Search Console (Ustawienia → Statystyki indeksowania). Sprawdź w nich rozkład żądań według celu (wykrywanie a odświeżanie), według typu pliku oraz według kodu odpowiedzi. Wysoki udział odświeżania przy jednoczesnym braku indeksowania nowych produktów oznacza, że robot krąży po tym samym zbiorze adresów.

Drugim, dokładniejszym źródłem są logi serwera. Tylko one pokazują, które konkretnie adresy pobiera Googlebot i w jakich proporcjach. Weryfikuj przy tym tożsamość robota - odwrotnym DNS lub przez publikowaną przez Google listę zakresów IP - bo znaczna część ruchu podszywającego się pod Googlebota to skanery zewnętrzne.

Wskazówka od specjalisty SEO i AI z DevaGroup – Bartłomieja Tomczyka, który od 2018 roku łączy doświadczenie agencyjne i klienckie w tworzeniu skutecznych strategii pozycjonowania dla e-commerce oraz firm B2B: „W raporcie indeksowania szukaj statusu «Strona wykryta – obecnie niezindeksowana». Jeśli obejmuje on tysiące adresów produktowych, Google zna te URL-e, ale świadomie odkłada ich pobranie. To sygnał, że robot zużywa zasoby gdzie indziej - najczęściej na kombinacjach filtrów, które nigdy nie powinny być linkowane".

Checklista: jak zoptymalizować crawl budget?

1. Uporządkuj nawigację fasetową

To główne źródło problemu w e-commerce. Dziesięć filtrów po kilka wartości generuje miliony kombinacji adresów, z których żadna nie ma szans na ruch. Google wskazuje dwie skuteczne metody ograniczenia ich pobierania:

• regułę Disallow w pliku robots.txt dla wzorca parametrów oraz oparcie filtrów o fragment adresu (#), którego robot w ogóle nie pobiera,
• atrybut rel=“nofollow” na linkach do filtrów ogranicza wykrywanie nowych kombinacji, ale nie daje gwarancji - adres może zostać znaleziony w innym miejscu.

Zadbaj też o spójność: parametry zawsze w tej samej kolejności i standardowo zakodowane. Zmiana kolejności filtrów tworzy nowy adres o identycznej treści.

2. Zablokuj wyniki wyszukiwarki wewnętrznej i parametry techniczne

Podstrony wyników wyszukiwania w sklepie to nieskończony zbiór adresów generowany przez użytkowników i boty. Google od lat zaleca ich blokowanie. Tę samą regułę zastosuj do identyfikatorów sesji, parametrów śledzących (utm_), sortowania i przełączników widoku listy. Nie blokuj natomiast plików CSS i JavaScript potrzebnych do renderowania - ich brak uniemożliwi Google poprawną ocenę podstrony.

3. Ustaw właściwe kody odpowiedzi dla wycofanych produktów

Trwale usunięty produkt powinien zwracać kod 404 lub 410 – ten drugi Google przetwarza nieco szybciej. Najczęstszy błąd to utrzymywanie takich kart z kodem 200 i komunikatem „produkt niedostępny", co tworzy miękkie błędy 404: robot pobiera podstronę, ocenia ją jako pustą i wraca do niej ponownie. Produkty czasowo niedostępne to inna sytuacja - tu zachowaj kod 200 i oznacz dostępność w danych strukturalnych.

4. Skróć łańcuchy przekierowań

Każde przekierowanie to dodatkowe żądanie. Po migracjach, zmianach struktury kategorii i przenosinach na HTTPS łańcuchy potrafią mieć po kilka ogniw. Przemapuj je tak, żeby stary adres prowadził bezpośrednio do docelowego, i popraw linki wewnętrzne, które nadal wskazują na nieaktualne adresy.

5. Uporządkuj mapy witryny

Podziel mapy na typy: produkty, kategorie, wpisy blogowe, strony informacyjne. Dzięki temu w Search Console zobaczysz wskaźnik indeksacji osobno dla każdego segmentu. Pamiętaj o limitach - 50 tysięcy adresów i 50 MB nieskompresowanego pliku na jedną mapę – i o wiarygodności znacznika lastmod. Google korzysta z niego tylko wtedy, gdy daty są konsekwentnie prawdziwe; ustawianie wszędzie dzisiejszej daty sprawia, że sygnał zostaje zignorowany.

6. Zadbaj o czas odpowiedzi serwera

Limit wydajności indeksowania rośnie, gdy serwer odpowiada szybko i stabilnie. Monitoruj średni czas odpowiedzi w Statystykach indeksowania – jego systematyczny wzrost zwykle poprzedza spadek liczby żądań. Wdróż buforowanie po stronie serwera i obsługę żądań warunkowych (If-Modified-Since, ETag), tak aby niezmienione zasoby zwracały kod 304 zamiast pełnej treści.

7. Spłaszcz strukturę i wzmocnij linkowanie wewnętrzne

Adres osiągalny w trzech kliknięciach od strony głównej ma większą szansę na regularne odwiedziny niż taki, do którego prowadzi dziesięć poziomów paginacji. Zadbaj o linki z kategorii do najważniejszych produktów, sekcje powiązanych towarów i sensowną paginację.

Czego unikać przy optymalizacji crawl budgetu?

Najczęstszy błąd to próba oszczędzania zasobów przez znacznik noindex lub rel=“canonical”. Żaden z nich nie działa w ten sposób: aby zobaczyć taki znacznik, robot musi najpierw pobrać podstronę. Oba rozwiązania porządkują indeks, ale nie ograniczają liczby żądań.

Nie licz też na dyrektywę Crawl-delay w robots.txt - Googlebot jej nie obsługuje. Nie szukaj również suwaka szybkości indeksowania w Search Console: narzędzie do obsługi parametrów URL zostało wycofane w 2022 roku, a ustawienie limitu szybkości indeksowania – w styczniu 2024. Google reguluje tempo automatycznie na podstawie reakcji serwera.

Pamiętaj wreszcie, że blokada w robots.txt nie usuwa adresu z indeksu. Zablokowany URL, do którego prowadzą linki, może nadal pojawić się w wynikach bez opisu. Jeśli zależy Ci na usunięciu podstrony z indeksu, zostaw ją dostępną dla robota i oznacz znacznikiem noindex - tych dwóch metod nie łączy się na jednym adresie.

Potrzebujesz wsparcia w technicznym SEO? Wybierz DevaGroup

Praca nad crawl budgetem wymaga dostępu do logów, znajomości architektury sklepu i umiejętności oceny, które zmiany faktycznie przełożą się na indeksację. Takie kompetencje mają specjaliści prowadzący kampanie SEO oraz GEO w DevaGroup. DevaGroup działa nieprzerwanie przez ponad 20 lat - od 2005 roku - i należy do najstarszych agencji digital w Polsce, a wcześniej, od 1999 roku, zajmowała się budową stron internetowych.

• Obsługiwała największych graczy na rynku, w tym Allegro, Neonet i Shoper, a także wydawców takich jak Interia, RMF FM czy Polityka. Praca z serwisami o setkach tysięcy adresów nauczyła DevaGroup, że w technicznym SEO liczy się kolejność wdrożeń, a nie długość listy rekomendacji.
• Agencja SEO/SEM DevaGroup jest organizatorem semKRK, jednej z największych konferencji marketingowych w Polsce, której w tym roku odbyła się już 24. edycja. Artykuły ich specjalistów publikują Marketer+, E-commerce w Praktyce, Magazyn Online Marketing i NowyMarketing.
• Specjaliści DevaGroup pracowali dla firm z kilkunastu branż, od e-commerce i mediów, przez edukację, aż po przemysł i medycynę. Znają ograniczenia najpopularniejszych silników sklepowych i wiemy, co da się w nich wdrożyć bez przebudowy serwisu.
• O pracach technicznych rozmawiasz bezpośrednio ze specjalistą agencji prowadzącym projekt. W raportach tłumaczą oni, dlaczego zaproponowaliśmy dane zmiany, jak wpłynęły na indeksację i co planują w kolejnym okresie.