No index – czyli jak zablokować indeksowanie podstron poprzez meta tag

Kiedy mówimy Internet, to przynajmniej w Polsce, bardzo wiele osób ma na myśli Google i na odwrót. Nie ma w tym nic dziwnego, ponieważ jest to najczęściej wykorzystywana wyszukiwarka internetowa m.in. w Polsce. Zastanawiałeś się jednak, jak ona funkcjonuje? Różnego rodzaju zasobów internetowych przybywa każdego dnia, a w Google możemy znaleźć praktycznie wszystko. Jednak jak jest możliwe to, że wyszukiwarka nam je wszystkie wyświetla? 

Indeksowanie w Google i crawl budget

Jeśli ktoś chce umieścić coś w Internecie, to obecnie nie jest to trudnym zadaniem za sprawą m.in. mediów społecznościowych, stron internetowych opartych na systemach CMS itp. Jednak dodanie treści przez administratora danej strony, nie jest jeszcze równoznaczne z jego opublikowaniem w Google. Jeśli ma to zostać spełnione, roboty wyszukiwarek muszą najpierw zaindeksować treść, która została wprowadzona. Co więcej, decyzja robotów wyszukiwarek o tym, czy np. dany artykuł umieścić w sieci, nie zawsze jest pozytywna.

Ponadto, proces indeksowania może znacznie rozciągać się w czasie. Wszystko za sprawą tego, że roboty wyszukiwarek nie są w stanie indeksować w ułamku sekundy wszystkich zasobów internetowych. Jest po prostu ich zbyt wiele. To doprowadziło do utworzenia tzw. crawl budget, który rozumieć można jako budżet indeksowania witryny. Określa on liczbę podstron konkretnej domeny, które roboty wyszukiwarki są w stanie zaindeksować

Na przestrzeni lat powstawały różnego rodzaju sposoby na to, aby przyspieszyć indeksowanie stron internetowych, usprawnić go itp. Po prostu roboty wyszukiwarek nie muszą za każdym razem indeksować wszystkich treści, ponieważ ich obecność może np. nie przekładać się na żadne korzyści. Jednym z tego typu sposobów jest właśnie tytułowy “no index”.

Stosowanie noindex – dlaczego warto to robić?

Za pomocą dyrektywy noindex wskazujemy robotom indeksującym Google treści, których mają nie rejestrować. Oczywiście w zależności od naszej sytuacji, obszarów naszej strony może być mniej lub więcej. 

Nawet jeśli jesteś właścicielem dwóch stron internetowych, to nie zawsze te same ich obszary, powinny być wyłączone z indeksowania. Wszystko powinno być uzależnione od konkretnej sytuacji danej strony. Można jednak wskazać sytuacje, w których robi się to najczęściej.

Filtrowanie wyników wewnątrz strony

Filtrowanie wyników wyszukiwania znajdziemy praktycznie w każdym sklepie internetowym. Jest to mechanizm, który pozwala znaleźć produkty w asortymencie danego e-sklepu, posiadające wspólną cechę, np. marka producenta, parametry techniczne, cena produktu itp. Przy nawet niewielkiej liczbie oferowanych produktów w Twoim sklepie internetowym, przez możliwość kombinacji mogą powstawać ogromne ilości innych adresów URL, które domyślnie będą musiały być indeksowane przez roboty Google. 

W takim wypadku warto zastosować właśnie dyrektywę noindex, dzięki której adresy URL zawierające identyczne produkty, nie będą bez potrzeby indeksowane kilkukrotnie. Treść strony nie będzie się zmieniała, a jedynie to co widzi użytkownik. Nie ma zatem potrzeby, aby Google indeksował te same treści kilkukrotnie.

Wewnętrzne wyniki wyszukiwania

Często różnego rodzaju strony lub sklepy internetowe posiadają wewnętrzne wyszukiwarki, aby ułatwić użytkownikowi przeszukiwanie zasobów danego serwisu. W zależności od wpisanej frazy, tworzą się nowe adresy URL, które również nie zawsze powinny być indeksowane przez Google, ponieważ będą zawierały te same treści, co np. inne obszary Twojej strony. Wtedy warto zastosować noindex.

Warto rozważyć dyrektywę noindex np. dla adresów URL powstałych przez wewnętrzne wyniki wyszukiwania, które prezentują taką samą treść co np. poszczególne kategorie. Jeśli prowadzisz sklep internetowy z kosmetykami i masz kategorię produktów “kremy”, to wyniki z wyszukiwarki Twojej strony po wpisaniu w niej słowa “kremy” mogą zawierać identyczne treści.

Sortowanie wyników wewnątrz strony

W przypadku sortowania wyników na Twojej stronie, sytuacja jest praktycznie identyczna, co w przypadku ich filtrowania. Sortowanie ma za zadanie uszeregować np. produkty pod kątem wybranego kryterium przez użytkownika. Może być to cena, popularność, ocena itp. Tutaj także będziemy posiadali identyczną treść, zatem można wyniki sortowania wyłączyć z indeksowania za pomocą noindex.

Co więcej, warto pamiętać, że funkcje filtrów oraz sortowania mogą być ze sobą łączone przez użytkowników. W takich sytuacjach również warto uwzględnić to w Twoim budżecie indeksowania witryny.

Jak zastosować noindex do zablokowania indeksowania podstron?

Warto przyjrzeć się temu, jak faktycznie można wykorzystać meta tag noindex. W tym celu musisz przejść do kodu źródłowego danej strony i w sekcji <head> umieścić poniższą linijkę:

<meta name=”robots” content=”noindex”>

Ta komenda zablokuje indeksowanie danej treści przez wszystkie roboty wyszukiwarek. Gdybyś chciał zablokować konkretnego robota indeksującego, np. od Google, musisz zastosować jego konkretną nazwę w miejscu “robots”. W przypadku Google będzie to “googlebot”. Co więcej, zastosowanie dyrektywy noindex pozwoli Ci także na usunięcie danych treści z indeksu Google. Gdy zastosujesz tę linijkę kodu, to po następnej wizycie robotów wyszukiwarki na Twojej stronie, dana treści będzie wyrzucona z indeksu.

Podsumowanie

• Noindex jest powiązane z indeksowaniem stron internetowych przez wyszukiwarki i wskazuje treści, które nie mają być rejestrowane przez crawlery.

• Stosowanie noindex powinno być uzależnione od sytuacji konkretnej strony lub sklepu internetowego, dlatego jego użycie musi poprzedzić odpowiednia analiza.

• Noindex wykorzystuje się poprzez dodanie odpowiedniej linijki kodu w kodzie źródłowym strony w sekcji <head>.