Crawl i indeksacja: co robot widzi naprawdę
Zaczynamy od logów serwera i raportów Search Console, żeby zobaczyć, na co robot wydaje budżet indeksowania. W sklepach zwykle marnuje go na filtry i sortowania generujące tysiące niemal identycznych adresów. Porządkujemy to adresami kanonicznymi, regułami w robots.txt i mapami witryny zawierającymi wyłącznie strony, które chcemy indeksować. Sprawdzamy też renderowanie: jeśli treść pojawia się dopiero po wykonaniu JavaScriptu, część robotów zobaczy pustą stronę. Osobno przechodzimy przekierowania, statusy HTTP i strony osierocone, do których nie prowadzi żaden link wewnętrzny.