Jak używać Robots txt dla SEO

Poniżej przedstawiono kilka wskazówek dotyczących tworzenia pliku specjalnie dla agentów użytkownika Google;

1) Plik powinien być zgodny z normą dotyczącą wyłączenia robotów.

2) Może zawierać jedną lub więcej reguł zezwalających lub blokujących dostęp określonego robota indeksującego do określonej ścieżki witryny.

3) Webmaster powinien znać prawie wszystkie składnie pliku robots.txt, aby zrozumieć subtelne zachowanie każdej z nich.

4) Witryna nie może mieć więcej niż jeden plik robots.txt.

5) Plik obsługuje zarówno subdomeny (np. http://website.demo.com/robots.txt lub dowolny niestandardowy port, np. (http://demo:8181/robots.txt).

6) Jeśli nie wiesz, lub mając dostęp do folderu głównego witryny to najlepiej dotrzeć do dostawcy usług hostingowych, aby utrzymać plik robots.txt wewnątrz tego samego. W przypadku, gdy nie można uzyskać dostępu do głównej strony internetowej, a następnie użyć meta tagi jako alternatywną metodę blokowania.

7) W pliku robots.txt można umieścić więcej niż jedną dyrektywę grupową lub regułę (wymienioną po jednej w wierszu).

8) Obsługuje tylko znaki ASCII.

9) Grupa zawiera informacje o tym, dla kogo jest przeznaczona (agent użytkownika) i do jakich plików lub katalogów agent nie ma/może mieć dostępu. Dyrektywy są przetwarzane od góry do dołu. Bot internetowy kojarzy się tylko z jednym zestawem reguł, który może być określony oddzielnie lub pojawia się jako pierwszy.

10) Zgodnie z domyślnymi założeniami bot może indeksować dowolny katalog lub stronę za pomocą składni "Disallow:".

11) W dyrektywach użytych w pliku rozróżniana jest wielkość liter, np. Disallow: /one.xml nie ma zastosowania do ONE.xml.

12) Ma zastosowanie do wszystkich domena strony internetowej składająca się z protokół https lub http.

Zazwyczaj agenci użytkownika Bing i Google posługują się określoną grupą dyrektyw, ale domyślnie preferowane są pierwsze, pasujące reguły, ponieważ różne boty wyszukiwarek interpretują dyrektywy w różny sposób.

Sugeruje się również, aby webmasterzy w miarę możliwości unikali stosowania składni crawl-delay w pliku robots.txt, aby skrócić całkowity czas indeksowania przez boty wyszukiwarek.

Można skorzystać z narzędzia robots.txt Tester dostępnego na stronie Konsola Google dla webmasterów aby sprawdzić, czy boty Google'a są w stanie indeksować adresy URL, które zostały zablokowane w wyszukiwarce. Może on również pokazać błędy logiczne i ostrzeżenia dotyczące składni, jeśli takie występują w pliku robots.txt. Można je edytować i ponownie przetestować.

Gdy wszystko jest w porządku, można poradzić sobie ze zmianami i zaktualizować główny plik znajdujący się na serwerze witryny. Podobnie, możesz użyć różnych narzędzi do sprawdzenia z wyprzedzeniem, jak zachowa się wyszukiwarka po przeczytaniu pliku robots.txt Twojej witryny.

Możesz również sprawdzić, jak działa robots.txt w Twojej witrynie, korzystając z funkcji "Zablokowane adresy URL" w sekcji "Przeszukiwanie", znajdującej się w lewej części strony Narzędzia dla webmasterów Google. Może on jednak nie pokazywać aktualnej lub zaktualizowanej wersji pliku robots.txt, ale można go używać do celów testowych.

Staraj się regularnie sprawdzać plik robots.txt za pomocą dowolnego narzędzia, czy wszystko jest w nim poprawne i czy plik działa w oczekiwany sposób! Przy okazji, może minąć wiele dni lub nawet kilka tygodni, zanim wyszukiwarka zidentyfikuje niedozwolony adres URL, czytając o nim z pliku robots.txt i usunie go z indeksowania.

Po umieszczeniu wszystkich zestawów reguł w pliku i nazwaniu go robots.txt należy go zapisać w głównym folderze witryny na serwerze. Folderem głównym może być folder "www" lub "htdocs", dzięki czemu plik robots.txt pojawi się obok nazwy domeny.

Zawsze sugeruje się zachowanie rozsądnego rozmiaru pliku robots.txt, unikając umieszczania w nim niepożądanych dyrektyw. Wynika to z faktu, że już wiele lat wcześniej John Mueller z Google wyjaśnił, że Googlebot będzie miał dostęp tylko do pierwszych 500kB pliku robots.txt. Ogromny plik może zostać obcięty w niepożądany sposób, tworząc linię, która może zostać zinterpretowana jako niepełna reguła.

Jest on również znany jako protokół wykluczenia robotów lub standard wykluczenia robotów, który jest używany przez witryny internetowe do komunikacji z robotami sieciowymi lub robotami indeksującymi. Wyszukiwarki używają swoich robotów do kategoryzowania witryn.

Webmasterzy używają plików robots.txt, aby poinstruować takie roboty lub pokierować nimi w celu uzyskania lepszej indeksacji ich witryn. Nie potrzebujesz pliku robots.txt, jeśli nie chcesz kontrolować dostępu agentów użytkownika do dowolnego obszaru swojej witryny. Więcej szczegółów na temat pliku robots.txt można znaleźć w każdym zaawansowanym temacie, takim jak Jak stworzyć bota wyszukiwarki?

Aby uzyskać lepsze pozycje w wyszukiwarkach, najlepszą praktyką SEO jest umożliwienie robotom indeksującym łatwego dotarcia do Twojej witryny. Nasza witryna zazwyczaj składa się z wielu stron, których nie chcemy otwierać, a kiedy boty wyszukiwarek przeszukują każdą stronę witryny, to z pewnością pochłania to więcej czasu, a to z pewnością negatywnie wpływa na jej pozycję. ranking.

Google wykorzystuje budżet na przeszukiwanie (podzielony na dwie części, limit szybkości przeszukiwania i zapotrzebowanie na przeszukiwanie) dla każdej witryny, aby zdecydować o liczbie adresów URL, które chce lub może przeskanować. Tak więc, jeśli chcesz pomóc botom lub agentom użytkownika w uzyskaniu dostępu i indeksowaniu tylko najbardziej wartościowych treści Twojej witryny, robots.txt jest koniecznością!

SEO nigdy nie chce blokować żadnych sekcji ani treści na stronie, które są niezbędne do indeksowania.

- Wyszukiwarka taka jak Google może mieć wielu agentów użytkownika, takich jak Googlebot-Image (do przeszukiwania obrazów) i Googlebot (dla wyszukiwania organicznego). Wiele agentów użytkownika, które należą do tej samej wyszukiwarki, może stosować te same reguły, dlatego wielu webmasterów pomija określenie dyrektyw dla każdego z tych robotów. SEO może to wykorzystać, podając różne instrukcje dla każdego z robotów indeksujących, nawet jeśli należą one do jednej wyszukiwarki, aby lepiej kontrolować ich zachowanie podczas indeksowania.

- Dla lepszego SEO konieczne jest, aby zablokowane linki lub strony nie zawierały żadnych dalszych linków, które należy śledzić. Zablokowana strona nie powinna więc przekazywać link equity do miejsca docelowego lub lepiej jest zastosować inny mechanizm blokujący. Nie mogą one również łączyć się z innymi stronami dostępnymi dla wyszukiwarek, tj. stronami, które nie zostały zablokowane przez meta roboty, robots.txt lub inne. W przeciwnym razie ważne połączone zasoby nie będą dostępne dla wyszukiwarek i nie będą przez nie indeksowane.

- Najlepiej jest przesłać adres URL robots.url bezpośrednio do Google po wszelkich aktualizacjach pliku, aby zapewnić szybki dostęp do niego docelowemu agentowi użytkownika. Ogólnie rzecz biorąc, wyszukiwarka aktualizuje zawartość pliku robots.txt co najmniej raz dziennie.

Dobrze jest podać lokalizację wszystkich lub wszystkich sitemaps na podstawie domeny witryny w dolnej części jej pliku robots.txt. Przy okazji, sitemapy to pliki XML, które zawierają szczegółowe informacje o stronach witryny, takie jak ich adresy URL wraz z powiązanymi z nimi metadanymi, takimi jak znaczenie, częstotliwość aktualizacji i ostatnia aktualizacja.

Wszystkie te informacje mogą być wykorzystane przez boty wyszukiwarek do inteligentnego przeszukiwania witryny. W ten sposób webmasterzy mogą pomóc agentom użytkownika, które obsługują mapy witryny, w uzyskaniu dostępu do wszystkich adresów URL z mapy witryny i dowiedzieć się o nich więcej w procesie przeszukiwania stron z jednego linku do drugiego w obrębie jednej lub innej witryny.

Na przykład;

Adres przeglądarki: https://www.demo.com/robots.txt

Wyjście:

User-agent: *

Disallow: *.dl.html

Zezwalaj: /*.html$

Sitemap: https://www.demo.com/en-au/sitemap.xml

Sitemap: https://www.demo.com/en-se/sitemap.xml

Sitemap: https://www.demo.com/en-us/sitemap.xml

(Powyższe dyrektywy służą do wywoływania więcej niż jednej sitemapy za pomocą pliku robots.txt).

Z robots.txt wiążą się zagrożenia bezpieczeństwa, ponieważ wiele złośliwych botów nie może go śledzić, a także może go wykorzystać do poznania wszystkich niedozwolonych łączy i bezpośredniego dostępu do nich. Rozwiązaniem jest więc zabezpieczenie hasłem obszaru witryny zawierającego treści prywatne, tak aby intruz nie mógł uzyskać do niego dostępu nawet po poznaniu jego lokalizacji.

Aby uchronić wrażliwe dane przed indeksowaniem lub pojawieniem się w SERP-ach (bezpośrednio lub pośrednio, np. poprzez polubione strony), najlepiej jest użyć innej metody niż zablokowanie strony w pliku robots.txt. Może to być zarówno dyrektywa no index meta, jak i metody ochrony hasłem.

WordPress zazwyczaj tworzy wirtualny domyślny plik robots.txt w katalogu głównym bezpośrednio dla swoich witryn, który nie jest widoczny w katalogu. Dlatego zawsze najlepiej jest utworzyć nowy plik, który będzie pokrywał się z domyślnymi ustawieniami, zwłaszcza aby uniemożliwić dostęp do strony logowania lub rejestracji, która nie ma znaczenia dla wyszukiwarki!

Wiele osób jest zazwyczaj zdezorientowanych, jak usunąć Robots txt w WordPressie lub na innych platformach. Jednak proces ten jest taki sam dla wszystkich! Plik robots.txt musi być zapisany w katalogu najwyższego poziomu witryny, tj. w domenie głównej lub katalogu głównym, aby ułatwić botom jego odnalezienie. Wystarczy więc usunąć plik bezpośrednio z tego konkretnego folderu lub lokalizacji.

Staraj się nie umieszczać w pliku robots.txt instrukcji dotyczących ukrywania poufnych informacji o użytkownikach. Dzieje się tak dlatego, że jest to plik publicznie dostępny, a jego dyrektywy można zobaczyć, dodając /robots.txt na końcu domeny głównej.

W ten sposób każdy może dowiedzieć się, jakie strony są dozwolone przez webmastera witryny do indeksowania lub nie przez wszystkie lub określone boty internetowe. Plik musi być zapisany tylko z nazwą "robots.txt", ponieważ wielkość liter ma znaczenie, więc żadna inna kombinacja nie zostanie zaakceptowana przez żadnego agenta użytkownika!

Wreszcie, możesz być zdezorientowany pomiędzy x-robots, metarobots i robots.txt, które brzmią jak podobne terminy. Spośród nich x-robots i meta są dyrektywami meta, natomiast robots.txt jest plikiem tekstowym i są one używane do stosowania różnych funkcji.

Mówiąc konkretnie, x-robots i meta mają za zadanie dyktować zachowanie indeksowania na poziomie elementu strony (lub pojedynczej strony), natomiast robots.txt ma dostarczać informacji o zachowaniu indeksowania po stronie dyrektora lub witryny.

Istnieją większe szanse, że boty wyszukiwarek mogą indeksować i wyświetlać zawartość Twojej witryny w SERPach w lepszy sposób i uczynić ją bardziej widoczną, wydając swój budżet na indeksowanie dobrze podczas skanowania tej samej witryny. Za pomocą pliku robots.txt można również zablokować indeksowanie automatycznie generowanych stron tagów WordPressa i zapobiec dalszemu duplikowaniu treści.

Ogólnie rzecz biorąc, należy zachować szczególną ostrożność przy ustalaniu, co należy umieścić w pliku robots.txt. W końcu mały błąd w pliku robots.txt może sprawić, że cała witryna zostanie usunięta z wyszukiwarki.