Robots.txt, noindex, canonical i sitemap XML dotyczą widoczności strony w wyszukiwarkach, ale nie robią tego samego. Ich pomieszanie jest częstą przyczyną problemów z indeksowaniem.
W skrócie
robots.txt steruje dostępem crawlera do adresów, noindex mówi, że strona nie powinna trafić do indeksu, canonical wskazuje preferowaną wersję podobnych treści, a sitemap XML pomaga odkrywać ważne adresy.
Robots.txt: kontrola crawlowania, nie „usuwanie z Google”
Plik robots.txt jest instrukcją dla crawlerów, które ścieżki mogą pobierać. Może ograniczać niepotrzebne crawlowanie, ale nie jest właściwym narzędziem do usuwania już znanego adresu z indeksu.
Jeżeli zablokujesz crawlerowi stronę w robots.txt, robot może nie zobaczyć znajdującej się na niej dyrektywy noindex. Dlatego oba mechanizmy trzeba stosować świadomie.
Noindex: gdy strona może być dostępna, ale nie powinna być wynikiem wyszukiwania
Dyrektywa noindex jest właściwa dla stron, które mają działać dla użytkownika, ale nie powinny trafiać do wyników wyszukiwania — na przykład wybranych stron technicznych, wyników wewnętrznego wyszukiwania czy pomocniczych widoków.
Canonical: wskazanie preferowanej wersji podobnych adresów
Canonical jest sygnałem konsolidacji, a nie twardą blokadą. Stosuje się go wtedy, gdy kilka adresów zawiera tę samą lub bardzo podobną treść i chcesz wskazać wersję preferowaną.
- parametry sortowania i filtrowania
- wersje tej samej treści dostępne pod różnymi URL
- duplikaty powstałe po migracji lub zmianie struktury
Sitemap XML: lista adresów, które warto odkryć i monitorować
Mapa witryny nie gwarantuje indeksowania. Pomaga jednak wyszukiwarce odkrywać istotne adresy i jest wygodnym punktem odniesienia w narzędziach diagnostycznych.
Do sitemap warto dodawać przede wszystkim adresy kanoniczne, dostępne do indeksowania i rzeczywiście ważne dla serwisu.
Najczęstszy błąd: sprzeczne sygnały
Problem zaczyna się wtedy, gdy jedna strona jest jednocześnie w sitemap, ma canonical do innego adresu, jest blokowana w robots.txt i dodatkowo otrzymuje noindex. Im bardziej sprzeczne instrukcje, tym trudniej przewidzieć efekt.
Najważniejszy wniosek
Przy diagnozie indeksowania zawsze sprawdzaj mechanizmy razem. Pojedynczy znacznik rzadko opowiada całą historię adresu.
Źródło do dalszej weryfikacji: Google Search Central – crawling i indexing.