Jak używać Robots txt dla SEO

Zawsze, gdy wybieramy się na zwiedzanie nowego miejsca, potrzebujemy przewodnika, aby zaoszczędzić czas i wygodę! W ten sam sposób takie roboty internetowe z Każda wyszukiwarka korzysta z pliku Robots.txt, aby dowiedzieć się, w jaki sposób indeksować strony danej witryny.

Przy okazji, zachowanie takich robotów do poruszania się po całym internetdostęp, indeksowanie i przekazywanie treści docelowym użytkownikom. są opiera się na grupie standardów internetowych znanych jako REP lub Robots exclusion protocol, które obejmują również plik robots.txt.

Na stronie W prosty sposób możemy zrozumieć i zapamiętać robots.txt jako połączenie dwóch terminów: Robot i Txt. Jest to więc plik txt lub tekstowy, który ma być używany przez roboty sieciowe, ewentualnie przez wyszukiwarki.

Może to również pomóc webmasterom, jeśli witryna może kontrolować zachowanie agenta użytkownika związane z indeksowaniem, ale należy to robić ostrożnie, ponieważ wyłączenie ważnych lub wszystkich strony witryny z wyszukiwarki takiej jak Google może być bardzo niebezpieczne.

Administratorzy stron internetowych mogą użyć pliku robots.txt, aby poinstruować oprogramowanie indeksujące lub agentów użytkowników, aby co wszystkie elementy witryny do indeksowania i nie tylko. Można to zrobić za pomocą instrukcji "allow" lub "disallow" w pliku robots.txt dla niektórych lub wszystkich agentów użytkowników.

Aby wykonać swoją pracę, wyszukiwarka musi wykonać dwa główne zadania. Pierwszym z nich jest odkrywanie treści w sieci poprzez przeszukiwanie jej i indeksowanie aktualizacji. Kolejnym zadaniem jest wyszukiwanie powiązanych z nią informacji w zaindeksowany katalogów w celu dostarczenia właściwej zawartości zgodnie z zapytaniem.

Co to jest Robots txt?

Wyszukiwarki podążają za łącza i przechodzenie z jednej strony do drugiejProces ten nazywany jest również "spideringiem". Za każdym razem, gdy bot lub robot indeksujący dotrze do nowej witryny, zanim zacznie ją przeszukiwać, najpierw szuka pliku robots.txt. Jeśli go znajdzie, czyta go, aby uzyskać informacje o tym, jak przeszukiwać witrynę, a zwłaszcza o tym, do czego ma mieć dostęp, a do czego nie! W przypadku braku pliku robots.txt agenci-użytkownicy mogą zacząć indeksować inne informacje dostępne na stronie.

Plik powinien składać się z co najmniej dwóch następujących elementów;

User-agent: (Nazwa agenta użytkownika)

Disallow: (ciąg adresów URL, które nie mogą być indeksowane)

Powyższe dwa wiersze mogą być traktowane jako odrębny zestaw dyrektyw user-agent i są oddzielone od innych zestawów za pomocą znaku podziału wiersza (/).

Jeśli jedna reguła jest określona w pliku dla więcej niż jednego agenta-użytkownika, wówczas robot indeksujący najpierw odczyta i zastosuje się do dyrektyw wymienionych w osobnej grupie instrukcji.

Każdy może przejrzeć zawartość pliku robots.txt znajdującego się na stronie internetowej, korzystając z metody przeglądania.

Należy dodać plik robots.txt po głównej stronie URL jak https://demo.com/robots.txt lub jego subdomenę, np. https://shop.demo.com/robots.txt.

Obowiązkowo plik robots.txt powinien być dostępny po domenie głównej. Można więc wspomnieć o tym samym w przeglądarce.

Jeśli na wyjściu nie znajdziesz żadnej strony .txt, oznacza to, że w witrynie nie ma obecnie (żywej) strony robots.txt.

Powinny istnieć oddzielne pliki robots.txt dla domeny głównej (demo.com/robots.txt) i jej każdej subdomeny(blog.demo.com/robots.txt).

Wszystkie instrukcje zawarte w pliku muszą być przeczytane od góry do dołu przez człowieka lub dowolnego bota! Może się zdarzyć, że robot lub agent użytkownika nie odczyta pliku robots.txt witryny. Jest to zazwyczaj możliwe w przypadku złomiarzy adresów e-mail lub złośliwych robotów typu nefarware.

Istnieje wiele korzyści z zastosowania pliku robots.txt na stronie internetowej. Takich jak;

- Aby zapytać wyszukiwarki do zrobić nie indeksować określonych plików, takich jak pliki PDF, obrazy itp. na Twojej witrynie. Dyrektywy meta mogą być również używane jako alternatywa dla robots.txt, aby uniknąć indeksowania stron, ale nie działają w przypadku plików zasobów.

- Webmaster może zapewnić efektywne indeksowanie witryny, dostarczając pomocnych porady do swoich botów.

- Aby wyszukiwarki nie pokazywały żadnych wewnętrznych wyszukiwań strona wyników w publicznych SERP.

- Blokując pewne nieistotne lub niepotrzebne strony witryny, można zmaksymalizować budżet na indeksowanie na wymaganych stronach.

- Używane jak meta-roboty, aby uniknąć wyświetlania duplikatów treści w SERP-ach.

- Możesz skorzystać z jego pomocy, aby nie indeksować wewnętrznych wyników wyszukiwania lub uszkodzonych stron witryny.

- Aby zapobiec przeciążeniu serwerów WWW, które jest możliwe, gdy roboty indeksujące obciążenie wielu treści jednocześnie, dodając pewne opóźnienie w indeksowaniu.

- Jeśli nie chcesz, aby ludzie lądowali na stronie, która jest w wersji etapowej, może to wpłynąć na wrażenia, zwłaszcza osób odwiedzających witrynę po raz pierwszy.

- Aby ułatwić agentom użytkowników dostęp do lokalizacji sitemap(s).

Webmaster może całkowicie ukryć przed botami indeksującymi określoną część witryny (zwłaszcza tej w budowie lub niekompletnej).

Plik robots.txt należy utworzyć, jeśli liczba zaindeksowanych adresów URL przekracza oczekiwania.

Jest to najlepsze użyć dowolnego edytora tekstu, takiego jak Notatnik lub Wordpad, do utworzenia prostego pliku tekstowego zgodnego z regułami tworzenia pliku robots.txt.

Wystarczy dołączyć podstawowe dyrektywy, takie jak "User agent:" i "Disallow: /", aby utworzyć podstawowy plik dla witryny.

Każdy może dołączyć reguły, stosując zgodną z nimi składnię wewnątrz pliku robots.txt.

Najlepszym sposobem jest wygenerowanie najpierw sitemapy witryny i umieszczenie jej adresów URL na dole, aby zwiększyć jej skuteczność.

Popularne terminy używane w pliku robots.txt to:

- Crawl-delay - Określa, ile czasu musi odczekać określony crawler, aby uzyskać dostęp do zawartości strony. Polecenie nie będzie działać w przypadku Googlebota, jednak crawl wskaźnik można ustawić z poziomu Google Search Console, aby wykonać to samo zadanie.

- User-agent - określa konkretny robot indeksujący lub agenta użytkownika (na ogół wyszukiwarkę), któremu webmaster chce przekazać instrukcje indeksowania. Istnieją techniczna nazwy dla wyszukiwarek, takie jak Googlebot dla Google itd.

- Zezwalaj (używane przez Google) - jest to użyteczna składnia, która nakazuje Googlebotowi przeszukiwanie podfolderu lub strony, która znajduje się wewnątrz dowolnego podfolderu nadrzędnego lub strony, która może być niedozwolona.

- Disallow - Polecenie to służy do instruowania bota sieciowego, aby nie uzyskiwał dostępu do określonego adresu URL. Polecenie to nie powinno być dozwolone dwukrotnie dla żadnego adresu URL.

-Sitemap - Każdy kompatybilny agent użytkownika, taki jak Yahoo, Ask, Bing lub Google, może skorzystać z tego polecenia, aby znaleźć lokalizację wspomnianych map witryny XML na podstawie adresu URL.

Uwaga: Wyrażenia regularne, takie jak znak dolara ($) i gwiazdka (*), mogą być używane przez SEO aby pomóc agentom użytkowników Bing i Google w identyfikacji podfolderów lub stron. Tutaj * jest składnią dopasowywania wzorca, obejmującą wszystkie możliwe opcje zakończenia adresu URL, a * reprezentuje inną sekwencję znaków, działając jak prosty symbol wieloznaczny.

Można to zrobić, blokując boty internetowe lub uniemożliwiając im dostęp do strony lub podfolderu witryny przez określenie dyrektyw dla każdego z nich lub dla wszystkich.

Oto kilka dyrektyw powszechnie stosowanych w pliku robots.txt w celu poinstruowania agentów użytkowników lub robotów indeksujących;

1) Umożliwienie każdemu robotowi indeksującemu znalezienie całej zawartości

Składnia: User-agent: * Disallow:

2) Uniemożliwienie dostępu do folderu konkretnemu robotowi indeksującemu

Składnia: User-agent: Googlebot Disallow: /extra-subfolder/

(Powyższa instrukcja nakazuje wyszukiwarce Google, aby nie wchodziła na żadne strony w lokalizacji www.site-name.com/extra-subfolder/).

3) Uniemożliwienie wszystkim robotom indeksującym dostępu do dowolnej zawartości

Składnia: User-agent: * Disallow: /

(Prostą instrukcję można wykorzystać jako rozwiązanie problemu Jak zablokować boty Robots txt?).

4) uniemożliwienie dostępu do określonej strony internetowej konkretnemu indeksującemu programowi internetowemu

Składnia: User-agent: Googlebot Disallow: /extra-subfolder/useless-page.html

Popularna wyszukiwarka korzysta z wielu pająk oprogramowanie, które krąży po całej sieci i skanuje strony internetowe. Najważniejsze z nich to Googlebot, Googlebot-images (używany do obrazów) oraz Googlebot-news (do indeksowania i przekazywania użytkownikom informacji o nowościach).

Użyj edytora tekstu, który potrafi utworzyć standardowy plik tekstowy UTF-8. Tworzenie pliku za pomocą edytora tekstu może spowodować dodanie nieoczekiwanych znaków, takich jak cudzysłów, oraz zapisanie go w dowolnym formacie zastrzeżonym, co może spowodować problemy ze zrozumieniem instrukcji przez roboty indeksujące. Komentarze można dodawać po określeniu znaku # lub znaku.

Poniżej przedstawiono kilka wskazówek dotyczących tworzenia pliku specjalnie dla agentów użytkownika Google;

1) Plik powinien być zgodny z normą dotyczącą wyłączenia robotów.

2) Może zawierać jedną lub więcej reguł zezwalających lub blokujących dostęp określonego robota indeksującego do określonej ścieżki witryny.

3) Webmaster powinien znać prawie wszystkie składnie pliku robots.txt, aby zrozumieć subtelne zachowanie każdej z nich.

4) Witryna nie może mieć więcej niż jeden plik robots.txt.

5) Plik obsługuje zarówno subdomeny (np. http://website.demo.com/robots.txt lub dowolny niestandardowy port, np. (http://demo:8181/robots.txt).

6) Jeśli nie wiesz, lub mając dostęp do folderu głównego witryny to najlepiej dotrzeć do dostawcy usług hostingowych, aby utrzymać plik robots.txt wewnątrz tego samego. W przypadku, gdy nie możesz uzyskać dostępu do głównej strony internetowej, a następnie użyć meta tagi jako alternatywną metodę blokowania.

7) W pliku robots.txt można umieścić więcej niż jedną dyrektywę grupową lub regułę (wymienioną po jednej w wierszu).

8) Obsługuje tylko znaki ASCII.

9) Grupa zawiera informacje o tym, dla kogo jest przeznaczona (agent użytkownika) i do jakich plików lub katalogów agent nie ma/może mieć dostępu. Dyrektywy są przetwarzane od góry do dołu. Bot internetowy kojarzy się tylko z jednym zestawem reguł, który może być określony oddzielnie lub pojawia się jako pierwszy.

10) Zgodnie z domyślnymi założeniami bot może indeksować dowolny katalog lub stronę za pomocą składni "Disallow:".

11) W dyrektywach użytych w pliku rozróżniana jest wielkość liter, np. Disallow: /one.xml nie ma zastosowania do ONE.xml.

12) Ma zastosowanie do wszystkich domena strony internetowej składająca się z protokół https lub http.

Zazwyczaj agenci użytkownika Bing i Google posługują się określoną grupą dyrektyw, ale domyślnie preferowane są pierwsze, pasujące reguły, ponieważ różne boty wyszukiwarek interpretują dyrektywy w różny sposób.

Sugeruje się również, aby webmasterzy w miarę możliwości unikali stosowania składni crawl-delay w pliku robots.txt, aby skrócić całkowity czas indeksowania przez boty wyszukiwarek.

Można skorzystać z narzędzia robots.txt Tester dostępnego na stronie Konsola Google dla webmasterów aby sprawdzić, czy boty Google'a są w stanie indeksować adresy URL, które zostały zablokowane w wyszukiwarce. Może on również pokazać błędy logiczne i ostrzeżenia dotyczące składni, jeśli takie występują w pliku robots.txt. Można je edytować i ponownie przetestować.

Gdy wszystko jest w porządku, można poradzić sobie ze zmianami i zaktualizować główny plik znajdujący się na serwerze witryny. Podobnie, możesz użyć różnych narzędzi do sprawdzenia z wyprzedzeniem, jak zachowa się wyszukiwarka po przeczytaniu pliku robots.txt Twojej witryny.

Możesz również sprawdzić, jak działa robots.txt w Twojej witrynie, korzystając z funkcji "Zablokowane adresy URL" w sekcji "Przeszukiwanie", znajdującej się w lewej części strony Narzędzia dla webmasterów Google. Może on jednak nie pokazywać aktualnej lub zaktualizowanej wersji pliku robots.txt, ale można go używać do celów testowych.

Staraj się regularnie sprawdzać plik robots.txt za pomocą dowolnego narzędzia, czy wszystko jest w nim poprawne i czy plik działa w oczekiwany sposób! Przy okazji, może minąć wiele dni lub nawet kilka tygodni, zanim wyszukiwarka zidentyfikuje niedozwolony adres URL, czytając o nim z pliku robots.txt i usunie go z indeksowania.

Po umieszczeniu wszystkich zestawów reguł w pliku i nazwaniu go robots.txt należy go zapisać w głównym folderze witryny na serwerze. Folderem głównym może być folder "www" lub "htdocs", dzięki czemu plik robots.txt pojawi się obok nazwy domeny.

Zawsze sugeruje się zachowanie rozsądnego rozmiaru pliku robots.txt, unikając umieszczania w nim niepożądanych dyrektyw. Wynika to z faktu, że już wiele lat wcześniej John Mueller z Google wyjaśnił, że Googlebot będzie miał dostęp tylko do pierwszych 500kB pliku robots.txt. Ogromny plik może zostać obcięty w niepożądany sposób, tworząc linię, która może zostać zinterpretowana jako niepełna reguła.

Jest on również znany jako protokół wykluczenia robotów lub standard wykluczenia robotów, który jest używany przez witryny internetowe do komunikacji z robotami sieciowymi lub robotami indeksującymi. Wyszukiwarki używają swoich robotów do kategoryzowania witryn.

Webmasterzy używają plików robots.txt, aby poinstruować takie roboty lub pokierować nimi w celu uzyskania lepszej indeksacji ich witryn. Nie potrzebujesz pliku robots.txt, jeśli nie chcesz kontrolować dostępu agentów użytkownika do dowolnego obszaru swojej witryny. Więcej szczegółów na temat pliku robots.txt można znaleźć w każdym zaawansowanym temacie, takim jak Jak stworzyć bota wyszukiwarki?

Aby uzyskać lepsze pozycje w wyszukiwarkach, najlepszą praktyką SEO jest umożliwienie robotom indeksującym łatwego dotarcia do Twojej witryny. Nasza witryna zazwyczaj składa się z wielu stron, których nie chcemy otwierać, a kiedy boty wyszukiwarek przeszukują każdą stronę witryny, to z pewnością pochłania to więcej czasu, a to z pewnością negatywnie wpływa na jej pozycję. ranking.

Google wykorzystuje budżet na przeszukiwanie (podzielony na dwie części, limit szybkości przeszukiwania i zapotrzebowanie na przeszukiwanie) dla każdej witryny, aby zdecydować o liczbie adresów URL, które chce lub może przeskanować. Tak więc, jeśli chcesz pomóc botom lub agentom użytkownika w uzyskaniu dostępu i indeksowaniu tylko najbardziej wartościowych treści Twojej witryny, robots.txt jest koniecznością!

SEO nigdy nie chce blokować żadnych sekcji ani treści na stronie, które są niezbędne do indeksowania.

- Wyszukiwarka taka jak Google może mieć wielu agentów użytkownika, takich jak Googlebot-Image (do przeszukiwania obrazów) i Googlebot (dla wyszukiwania organicznego). Wiele agentów użytkownika, które należą do tej samej wyszukiwarki, może stosować te same reguły, dlatego wielu webmasterów pomija określenie dyrektyw dla każdego z tych robotów. SEO może to wykorzystać, podając różne instrukcje dla każdego z robotów indeksujących, nawet jeśli należą one do jednej wyszukiwarki, aby lepiej kontrolować ich zachowanie podczas indeksowania.

- Dla lepszego SEO konieczne jest, aby zablokowane linki lub strony nie zawierały żadnych dalszych linków, które należy śledzić. Zablokowana strona nie powinna więc przekazywać link equity do miejsca docelowego lub lepiej jest zastosować inny mechanizm blokujący. Nie mogą one również łączyć się z innymi stronami dostępnymi dla wyszukiwarek, tj. stronami, które nie zostały zablokowane przez meta roboty, robots.txt lub inne. W przeciwnym razie ważne połączone zasoby nie będą dostępne dla wyszukiwarek i nie będą przez nie indeksowane.

- Najlepiej jest przesłać adres URL robots.url bezpośrednio do Google po wszelkich aktualizacjach pliku, aby zapewnić szybki dostęp do niego docelowemu agentowi użytkownika. Ogólnie rzecz biorąc, wyszukiwarka aktualizuje zawartość pliku robots.txt co najmniej raz dziennie.

Dobrze jest podać lokalizację wszystkich lub wszystkich sitemaps na podstawie domeny witryny w dolnej części jej pliku robots.txt. Przy okazji, sitemapy to pliki XML, które zawierają szczegółowe informacje o stronach witryny, takie jak ich adresy URL wraz z powiązanymi z nimi metadanymi, takimi jak znaczenie, częstotliwość aktualizacji i ostatnia aktualizacja.

Wszystkie te informacje mogą być wykorzystane przez boty wyszukiwarek do inteligentnego przeszukiwania witryny. W ten sposób webmasterzy mogą pomóc agentom użytkownika, które obsługują mapy witryny, w uzyskaniu dostępu do wszystkich adresów URL z mapy witryny i dowiedzieć się o nich więcej w procesie przeszukiwania stron z jednego linku do drugiego w obrębie jednej lub innej witryny.

Na przykład;

Adres przeglądarki: https://www.demo.com/robots.txt

Wyjście:

User-agent: *

Disallow: *.dl.html

Zezwalaj: /*.html$

Sitemap: https://www.demo.com/en-au/sitemap.xml

Sitemap: https://www.demo.com/en-se/sitemap.xml

Sitemap: https://www.demo.com/en-us/sitemap.xml

(Powyższe dyrektywy służą do wywoływania więcej niż jednej sitemapy za pomocą pliku robots.txt).

Z robots.txt wiążą się zagrożenia bezpieczeństwa, ponieważ wiele złośliwych botów nie może go śledzić, a także może go wykorzystać do poznania wszystkich niedozwolonych łączy i bezpośredniego dostępu do nich. Rozwiązaniem jest więc zabezpieczenie hasłem obszaru witryny zawierającego treści prywatne, tak aby intruz nie mógł uzyskać do niego dostępu nawet po poznaniu jego lokalizacji.

Aby uchronić wrażliwe dane przed indeksowaniem lub pojawieniem się w SERP-ach (bezpośrednio lub pośrednio, np. poprzez polubione strony), najlepiej jest użyć innej metody niż zablokowanie strony w pliku robots.txt. Może to być zarówno dyrektywa no index meta, jak i metody ochrony hasłem.

WordPress zazwyczaj tworzy wirtualny domyślny plik robots.txt w katalogu głównym bezpośrednio dla swoich witryn, który nie jest widoczny w katalogu. Dlatego zawsze najlepiej jest utworzyć nowy plik, który będzie pokrywał się z domyślnymi ustawieniami, zwłaszcza aby uniemożliwić dostęp do strony logowania lub rejestracji, która nie ma znaczenia dla wyszukiwarki!

Wiele osób jest zazwyczaj zdezorientowanych, jak usunąć Robots txt w WordPressie lub na innych platformach. Jednak proces ten jest taki sam dla wszystkich! Plik robots.txt musi być zapisany w katalogu najwyższego poziomu witryny, tj. w domenie głównej lub katalogu głównym, aby ułatwić botom jego odnalezienie. Wystarczy więc usunąć plik bezpośrednio z tego konkretnego folderu lub lokalizacji.

Staraj się nie umieszczać w pliku robots.txt instrukcji dotyczących ukrywania poufnych informacji o użytkownikach. Dzieje się tak dlatego, że jest to plik publicznie dostępny, a jego dyrektywy można zobaczyć, dodając /robots.txt na końcu domeny głównej.

W ten sposób każdy może dowiedzieć się, jakie strony są dozwolone przez webmastera witryny do indeksowania lub nie przez wszystkie lub określone boty internetowe. Plik musi być zapisany tylko z nazwą "robots.txt", ponieważ wielkość liter ma znaczenie, więc żadna inna kombinacja nie zostanie zaakceptowana przez żadnego agenta użytkownika!

Wreszcie, możesz być zdezorientowany pomiędzy x-robots, metarobots i robots.txt, które brzmią jak podobne terminy. Spośród nich x-robots i meta są dyrektywami meta, natomiast robots.txt jest plikiem tekstowym i są one używane do stosowania różnych funkcji.

Mówiąc konkretnie, x-robots i meta mają za zadanie dyktować zachowanie indeksowania na poziomie elementu strony (lub pojedynczej strony), natomiast robots.txt ma dostarczać informacji o zachowaniu indeksowania po stronie dyrektora lub witryny.

Istnieją większe szanse, że boty wyszukiwarek mogą indeksować i wyświetlać zawartość Twojej witryny w SERPach w lepszy sposób i uczynić ją bardziej widoczną, wydając swój budżet na indeksowanie dobrze podczas skanowania tej samej witryny. Za pomocą pliku robots.txt można również zablokować indeksowanie automatycznie generowanych stron tagów WordPressa i zapobiec dalszemu duplikowaniu treści.

Ogólnie rzecz biorąc, należy zachować szczególną ostrożność przy ustalaniu, co należy umieścić w pliku robots.txt. W końcu mały błąd w pliku robots.txt może sprawić, że cała witryna zostanie usunięta z wyszukiwarki.