Ako používať Robots txt pre SEO

Vždy, keď ideme objavovať nové miesto, potrebujeme sprievodcu pre pohodlie a úsporu času! Rovnako ako webové roboty, ako je tento z každý vyhľadávač využíva súbor Robots.txt, aby získal predstavu o tom, ako prehľadávať stránky konkrétnej webovej lokality.

Mimochodom, správanie takýchto crawlerov, ktoré sa pohybujú po celom internet, prístup k obsahu, jeho indexovanie a doručovanie cieľovým používateľom. sú na základe skupiny webových štandardov známych ako REP alebo protokol o vylúčení robotov, ktorý zahŕňa aj súbor robots.txt.

Na stránke jednoducho môžeme chápať a zapamätať si súbor robots.txt ako kombináciu dvoch pojmov Robot a Txt. Ide teda o txt alebo textový súbor, ktorý je určený na používanie webových robotov, prípadne vyhľadávačov.

Môže tiež pomôcť webmasterom, ak webové stránky kontrolujú správanie používateľského agenta pri prehľadávaní, ale treba to robiť opatrne, pretože zakázanie dôležitých alebo všetkých stránky vášho webu z vyhľadávača, ako je Google, môže byť veľmi nebezpečné.

Správcovia webových stránok môžu pomocou súboru robots.txt nariadiť softvéru na prehľadávanie webových stránok alebo používateľským agentom, aby čo všetky časti webu na prehľadávanie a čo nie. Je to možné vykonať pomocou pokynov "allow" alebo "disallow" v súbore robots.txt pre niektoré alebo všetky používateľské agenty prehľadávačov

Vyhľadávač je zodpovedný najmä za dve hlavné úlohy, aby mohol vykonávať svoju prácu. Prvou je vyhľadávanie obsahu na webe prehľadávaním a indexovaním aktualizácií. Ďalšou úlohou je vyhľadávať súvisiace informácie do svojho indexované adresára na zobrazenie správneho obsahu podľa vyhľadávacieho dotazu.

Čo je to Robots txt?

Vyhľadávače sa riadia odkazy a prechod z jednej webovej stránky na druhú, tento proces sa nazýva aj "pavúk". Kedykoľvek bot alebo webový prehľadávač dosiahne novú webovú lokalitu, pred začatím prehľadávania najprv vyhľadá súbor robots.txt. Ak ho získa, prečíta si ho, aby získal informácie o tom, ako má webovú lokalitu prehľadávať, najmä čo má sprístupniť a čo nie! V prípade, že súbor robots.txt neexistuje, môže začať prehľadávať ostatné informácie dostupné na webovej lokalite.

Súbor by mal pozostávať aspoň z týchto dvoch prvkov;

User-agent: (názov používateľského agenta)

Zakázať: (Reťazec URL, ktorý sa nesmie prehľadávať)

Uvedené dva riadky možno spoločne považovať za samostatnú sadu smerníc používateľského agenta a od ostatných sád sú oddelené pomocou zalomenia riadku (/).

Ak je v súbore zadané jedno pravidlo pre viac ako jedného používateľa - agenta, potom prehľadávač najprv prečíta a dodrží smernice, ktoré sú uvedené v samostatnej skupine pokynov.

Ktokoľvek sa môže pozrieť na obsah súboru robots.txt, ktorý sa nachádza na webovej lokalite, jednoducho pomocou metódy prehliadača.

Je potrebné pridať súbor robots.txt za hlavný URL ako https://demo.com/robots.txt alebo jeho subdoména, napríklad https://shop.demo.com/robots.txt.

Je povinné, aby bol súbor robots.txt dostupný po koreňovej doméne. Môžete ho teda uviesť v prehliadači.

Ak na výstupe nenájdete žiadnu stránku .txt, znamená to, že na webovej lokalite nie je aktuálne prítomná (živá) stránka robots.txt.

Pre koreňovú doménu (demo.com/robots.txt) a každú jej subdoménu by mali existovať samostatné súbory robots.txt(blog.demo.com/robots.txt).

Všetky pokyny v súbore musí prečítať zhora nadol buď človek, alebo akýkoľvek softvérový robot! Môže sa stať, že robot alebo používateľský agent súbor robots.txt webovej lokality neprečíta. Zvyčajne je to možné v prípade škrabákov e-mailových adries alebo škodlivých robotov typu malware crawler.

Používanie súboru robots.txt na webovej lokalite má mnoho výhod. Napríklad;

- Pýtať sa vyhľadávače na do neindexovať určité súbory, ako sú súbory PDF, obrázky atď., na vašej webovej lokalite. Meta smernice môžete použiť aj ako alternatívu k súboru robots.txt, aby ste zabránili indexovaniu stránok, ale nefungujú pre súbory so zdrojmi.

- Webmaster môže zabezpečiť efektívne prehľadávanie webovej lokality poskytnutím užitočných tipy svojim robotom.

- Aby vyhľadávače nezobrazovali žiadne interné vyhľadávanie stránka s výsledkami na verejnom SERP.

- Zablokovaním určitých nedôležitých alebo nepotrebných stránok webovej lokality môžete maximalizovať rozpočet na prehľadávanie potrebných stránok.

- Používajú sa ako metaroboty, aby sa zabránilo zobrazovaniu duplicitného obsahu v SERP.

- Môžete využiť jeho pomoc, aby ste neindexovali interné výsledky vyhľadávania alebo nefunkčné webové stránky vášho webu.

- Aby sa predišlo preťaženiu webových serverov, ktoré je možné, keď prehľadávače zaťaženie viacero obsahov naraz pridaním určitého oneskorenia pri prechádzaní.

- Ak nechcete, aby ľudia pristáli na stránke, ktorá je v štádiovej verzii, môže to ovplyvniť dojem najmä prvých návštevníkov webovej stránky.

- Pomôcť používateľským agentom ľahko pristupovať k umiestneniu mapa stránok(s).

Správca webu môže určitú časť webovej lokality (najmä rozostavanú alebo nedokončenú) úplne utajiť pred prehľadávacími robotmi.

Ak počet indexovaných adries URL prekročí očakávania, je potrebné vytvoriť súbor robots.txt.

Je to najlepšie použiť ľubovoľný textový editor, napríklad Poznámkový blok alebo WordPad, na vytvorenie jednoduchého textového súboru kompatibilného s pravidlami na vytvorenie súboru robots.txt.

Stačí uviesť základné smernice ako "User agent:" a "Disallow: /" a vytvorte základný súbor pre webovú lokalitu.

Pravidlá môže do súboru robots.txt zahrnúť ktokoľvek podľa kompatibilnej syntaxe.

Najlepším spôsobom je najprv vygenerovať mapy stránok a na ich konci uviesť adresy URL, aby boli efektívnejšie.

V súbore robots.txt sa bežne používajú tieto pojmy:

- Oneskorenie pri plazení - Udáva, ako dlho musí zadaný prehľadávač čakať pred prístupom k obsahu stránky. Príkaz nebude fungovať pre Googlebot, avšak crawl sadzba možno nastaviť v konzole Google Search Console, aby sa vykonala rovnaká úloha.

- User-agent - označuje konkrétny webový prehľadávač alebo používateľského agenta (spravidla vyhľadávač), ktorému chce správca webu poskytnúť pokyny na prehľadávanie. Existujú technické názvy pre vyhľadávače ako Googlebot pre Google a podobne.

- Povoliť (používa Google) - Je to užitočná syntax na zadanie pokynu pre Googlebot, aby prehľadával podpriečinok alebo stránku, ktorá sa nachádza vo vnútri akéhokoľvek nadradeného podpriečinka alebo stránky, ktorá by mohla byť zakázaná.

- Zakázať - slúži na zadanie pokynu webovému botovi, aby nepristupoval na konkrétnu adresu URL. Príkaz by nemal byť povolený dvakrát pre žiadnu adresu URL.

-Sitemap - Ktorýkoľvek kompatibilný používateľský agent, ako napríklad Yahoo, Ask, Bing alebo Google, môže pristupovať k tomuto príkazu, aby našiel umiestnenie uvedených XML máp stránok na základe adresy URL.

Poznámka: Regulárne výrazy ako znak dolára ($) a hviezdička (*) môžu byť použité SEO pomôcť používateľským agentom Bing a Google pri identifikácii podpriečinkov alebo stránok. * je tu syntaxou na porovnávanie vzorov, ktorá pokrýva všetky druhy možných koncoviek adresy URL, a * predstavuje rôznu postupnosť znakov, ktorá funguje ako jednoduchý zástupný znak.

To možno vykonať zablokovaním alebo zakázaním webových robotov zadaním smerníc pre každého z nich alebo pre všetkých, aby nemali prístup k stránke alebo podpriečinku webovej lokality.

Tu je niekoľko smerníc, ktoré sa bežne používajú v súbore robots.txt na zadanie pokynov svojim používateľským agentom alebo webovým prehľadávačom;

1) Umožnenie každému webovému prehľadávaču nájsť celý obsah

Syntax: Používateľský agent: * Zakázať:

2) Zakázanie prístupu určitého webového prehľadávača k priečinku

Syntax: Používateľský agent: Googlebot Zakázať: /extra-subfolder/

(Vyššie uvedený pokyn žiada prehľadávač Google, aby nepristupoval na žiadne stránky umiestnenia www.site-name.com/extra-subfolder/)

3) Zakázanie prístupu všetkých webových prehľadávačov k akémukoľvek obsahu

Syntax: Používateľský agent: * Zakázať: /

(Môžete použiť jednoduchý návod ako riešenie Ako blokovať roboty Robots txt?)

4) Zakázanie prístupu konkrétneho webového prehľadávača na konkrétnu webovú stránku

Syntax: Používateľský agent: Googlebot Zakázať: /extra-subfolder/useless-page.html

Obľúbený vyhľadávač používa mnoho pavúk softvér, ktorý sa pohybuje po celom webe a skenuje webové stránky. Medzi zvýraznené patria Googlebot, Googlebot-images (používa sa na obrázky) a Googlebot-news (indexuje a servíruje používateľom informácie o správach).

Použite textový editor, ktorý dokáže vytvoriť štandardný textový súbor UTF-8. Vytvorenie súboru pomocou textového editora môže pridať akýkoľvek neočakávaný znak, ako sú kučeravé úvodzovky, a môže ho uložiť v akomkoľvek proprietárnom formáte, ktorý by mohol spôsobiť problémy pre prehľadávače pri pochopení pokynov. Komentáre možno pridať po zadaní znaku alebo značky #.

Tu je niekoľko návrhov na vytvorenie súboru najmä pre používateľských agentov Google;

1) Súbor by mal dodržiavať normu vylúčenia robotov.

2) Môže obsahovať jedno alebo viac pravidiel na povolenie alebo zablokovanie prístupu zadaného prehľadávača k určitej ceste na lokalite.

3) Webmaster by mal poznať takmer všetky syntaxe súboru robots.txt, aby pochopil jemné správanie jednotlivých syntaxí.

4) Stránka nemôže mať viac ako jeden súbor robots.txt.

5) Súbor podporuje obe subdomény (napríklad http://website.demo.com/robots.txt alebo akýkoľvek neštandardný port, napríklad (http://demo:8181/robots.txt).

6) Ak neviete alebo nemáte prístup do koreňového priečinka vašej webovej stránky, potom je najlepšie osloviť poskytovateľa webhostingových služieb, aby súbor robots.txt uložil v ňom. V prípade, že nemáte prístup ku koreňovému adresáru webovej stránky, potom použite meta značky ako alternatívnu metódu blokovania.

7) V súbore robots.txt môže byť zahrnutých viacero skupinových smerníc alebo pravidiel (uvedených po jednom na riadok).

8) Podporuje iba znaky ASCII.

9) Skupina poskytuje informácie o tom, pre koho sa uplatňuje (používateľský agent) a aké všetky súbory alebo adresáre agent nemôže/može získať. Smernice sa spracúvajú zhora nadol. Webový bot sa priradil len k jednej skupine pravidiel, ktorá môže byť špecifikovaná samostatne alebo je na prvom mieste.

10) Podľa predvoleného predpokladu môže bot prehľadávať akýkoľvek adresár alebo stránku pomocou syntaxe "Disallow:".

11) Smernice použité v súbore rozlišujú veľkosť písmen, ako napríklad Disallow: /one.xml sa nevzťahuje na súbor ONE.xml.

12) Vzťahuje sa na celú doména webovej stránky pozostávajúca buď z protokol https alebo http.

Používateľské agenty Bing a Google zvyčajne používajú určitú skupinu smerníc, ale štandardne sa uprednostňujú najprv zodpovedajúce pravidlá, pretože rôzne webové roboty vyhľadávačov interpretujú smernice rôznym spôsobom.

Webmasterom sa tiež odporúča, aby sa v súbore robots.txt čo najviac vyhýbali syntaxi crawl-delay, čím sa skráti celkový čas prehľadávania robotmi vyhľadávačov.

Môžete využiť nástroj robots.txt Tester, ktorý je k dispozícii na Konzola pre správcov webu Google skontrolovať, či bot spoločnosti Google dokáže prehľadávať adresu URL, ktorú ste už zablokovali vo svojom vyhľadávaní. Môže tiež zobraziť logické chyby a upozornenia na syntax, ak sa vo vašom súbore robots.txt nejaké nachádzajú. Môžete ho tam upraviť a znovu otestovať.

Keď je všetko v poriadku, môžete sa vyrovnať so zmenami a aktualizovať hlavný súbor umiestnený na serveri webovej stránky. Podobne môžete použiť rôzne nástroje na predbežnú kontrolu správania vyhľadávača pri prehľadávaní po prečítaní súboru robots.txt vašej webovej lokality.

Môžete tiež skontrolovať, ako funguje súbor robots.txt na vašej webovej lokalite pomocou funkcie "Blokované adresy URL" v časti "Prehľadávanie" v ľavej časti Nástroje Google pre webmasterov. Nemusí však zobrazovať aktuálnu alebo aktualizovanú verziu súboru robots.txt, ale môže sa použiť na testovacie účely.

Snažte sa pravidelne kontrolovať súbor robots.txt pomocou ľubovoľného nástroja, či je v ňom všetko platné a či súbor funguje správne podľa očakávania! Mimochodom, vyhľadávaču môže trvať mnoho dní alebo dokonca niekoľko týždňov, kým identifikuje nepovolenú adresu URL tak, že si o nej prečíta informácie zo súboru robots.txt a odstráni jej indexovanie.

Po zahrnutí všetkých súborov pravidiel do súboru a jeho pomenovaní robots.txt je potrebné ho uložiť do hlavného alebo koreňového priečinka webovej stránky na serveri. Priečinok na koreňovej úrovni môže byť "www" alebo "htdocs", ktorý pomáha, aby sa súbor robots.txt zobrazil vedľa názvu vašej domény.

Vždy sa odporúča zachovať primeranú veľkosť súboru robots.txt tým, že sa vyhnete uvedeniu nežiaducich smerníc v súbore. Už pred rokmi totiž John Mueller zo spoločnosti Google objasnil skutočnosť, že robot Google bude mať prístup len k prvým 500 kB súboru robot.txt. Obrovský súbor môže byť nežiaducim spôsobom skrátený a vytvoriť riadok, ktorý by mohol byť interpretovaný ako neúplné pravidlo.

Je tiež známy ako protokol vylúčenia robotov alebo štandard vylúčenia robotov, ktorý používajú webové stránky na komunikáciu s webovými robotmi alebo prehľadávačmi. Vyhľadávače používajú svojich robotov na kategorizáciu webových stránok.

Správcovia webových stránok používajú súbory robots.txt na usmernenie alebo vedenie takýchto robotov, aby sa ich webové stránky lepšie indexovali. Súbor robots.txt nepotrebujete, ak nechcete kontrolovať prístup používateľských agentov do akejkoľvek oblasti vašej webovej lokality. Podrobnejšie informácie o súbore robots.txt možno nájsť v niektorej z pokročilých tém, napríklad Ako vytvoriť bota vyhľadávača?

Pre lepšie umiestnenie vo vyhľadávači je najlepším postupom SEO umožniť jeho prehľadávačom ľahký prístup k vašej stránke. Naše webové stránky sa zvyčajne skladajú z množstva neželaných stránok, než sme očakávali, a keď roboty vyhľadávača prehľadajú každú stránku vášho webu, potom to určite spotrebuje viac času, čo určite negatívne ovplyvní jeho poradie.

Spoločnosť Google používa rozpočet na prehľadávanie (rozdelený na dve časti, limit rýchlosti prehľadávania a dopyt po prehľadávaní) pre každú webovú lokalitu na určenie počtu adries URL, ktoré chce alebo môže prehľadávať. Ak teda pomáhate takýmto robotom alebo používateľským agentom, aby mali prístup a indexovali len najhodnotnejší obsah vašej webovej lokality, súbor robots.txt je nevyhnutnosťou!

SEO optimalizátor nikdy nechce, aby boli na webovej lokalite zablokované časti alebo obsah, ktoré je potrebné prehľadávať.

- Vyhľadávač ako Google môže mať viacero používateľských agentov, ako napríklad Googlebot-Image (na vyhľadávanie obrázkov) a Googlebot (pre organické vyhľadávanie). Mnohí používateľskí agenti, ktorí patria do rovnakého vyhľadávača, môžu dodržiavať rovnaké pravidlá, takže mnohí webmasteri vynechávajú zadávanie smerníc pre každý z týchto vyhľadávačov. SEO optimalizátor to môže využiť tak, že každému z prehľadávačov uvedie iné inštrukcie, aj keď dlho patria jednému vyhľadávaču, aby lepšie kontroloval ich správanie pri prehľadávaní.

- Pre lepšiu SEO optimalizáciu je potrebné, aby zakázané odkazy alebo stránky neobsahovali žiadne ďalšie odkazy, ktoré je potrebné sledovať. Zablokovaná stránka by teda nemala odovzdávať vlastný odkaz na cieľ odkazu alebo je lepšie použiť iný blokovací mechanizmus. Taktiež nesmú byť prepojené s inými stránkami prístupnými vyhľadávačom, t. j. webovými stránkami, ktoré nie sú zakázané metarobotmi, súborom robots.txt alebo inak. V opačnom prípade nebudú dôležité prepojené zdroje prístupné a indexované vyhľadávačmi.

- Najlepšie je odoslať adresu robots.url priamo na Google po všetkých aktualizáciách vykonaných v súbore, aby sa zabezpečil rýchly prístup cieľového používateľského agenta. Vo všeobecnosti vyhľadávač aktualizuje obsah súboru robots.txt v medzipamäti aspoň raz za deň.

Je dobré uviesť umiestnenie všetkých alebo akýchkoľvek mapy stránok na základe domény webovej stránky v spodnej časti súboru robots.txt. Mimochodom, mapy stránok sú súbory XML, ktoré obsahujú podrobné informácie o stránkach webovej lokality, ako je ich adresa URL so súvisiacimi metadátami, ako je ich dôležitosť, interval aktualizácie a posledná aktualizácia.

Všetky tieto informácie môžu roboty vyhľadávačov použiť na inteligentné prehľadávanie webovej lokality. Takto môžu webmasteri pomôcť používateľským agentom, ktorí podporujú mapy stránok, poznať a sprístupniť všetky adresy URL z mapy stránok a dozvedieť sa o nich viac v procese objavovania stránok z jedného odkazu na druhý v rámci jedného alebo z iného webu.

Napríklad;

Adresa prehliadača: https://www.demo.com/robots.txt

Výstup:

Agent používateľa: *

Zakázať: *.dl.html

Umožniť: /*.html$

Mapa stránok: https://www.demo.com/en-au/sitemap.xml

Mapa stránok: https://www.demo.com/en-se/sitemap.xml

Mapa stránok: https://www.demo.com/en-us/sitemap.xml

(Vyššie uvedené smernice slúžia na vyvolanie viac ako jednej mapy stránok prostredníctvom súboru robots.txt.)

So súborom robots.txt sú spojené bezpečnostné riziká, pretože mnoho škodlivých robotov sa ním nemôže riadiť, rovnako ako ho možno použiť na zistenie všetkých zakázaných odkazov a priamy prístup k nim. Preto ako riešenie môžete oblasť webovej lokality, ktorá obsahuje súkromný obsah, chrániť heslom, aby sa k nej narušiteľ nedostal ani po tom, čo pozná jej umiestnenie.

Ak chcete prezentovať citlivé údaje z indexovania alebo sa objaviť v SERP (buď priamo, alebo nepriamo, t. j. prostredníctvom obľúbených stránok), je najlepšie použiť inú metódu, ako zakázať to isté z robots.txt na zablokovanie stránky. Môže to byť buď smernica bez indexovania meta, alebo metódy ochrany heslom.

WordPress všeobecne vytvára virtuálny predvolený súbor robots.txt v koreňovom adresári priamo pre svoje webové stránky, ktoré nie je možné vidieť v adresári. Preto je vždy najlepšie vytvoriť nový súbor, ktorý sa prekrýva so všetkými predvolenými nastaveniami, najmä na zakázanie prihlasovacej alebo registračnej stránky, na ktorej vyhľadávaču nezáleží!

Mnohí ľudia sú zvyčajne zmätení z toho, ako odstrániť Robots txt vo WordPress alebo iných platformách. Postup je však rovnaký pre všetkých! Súbor robots.txt je potrebné uložiť do adresára najvyššej úrovne webovej stránky, t. j. do koreňovej domény alebo hlavného adresára, aby ho roboty mohli ľahko nájsť. Takže všetko, čo potrebujete, je odstrániť súbor priamo z tohto konkrétneho priečinka alebo umiestnenia.

Snažte sa do súboru robots.txt nezahrnúť pokyny na skrytie dôverných informácií o používateľovi. Je to preto, že súbor je verejne prístupný súbor, jeho pokyny je možné vidieť pridaním /robots.txt na koniec koreňovej domény.

Týmto spôsobom môže ktokoľvek zistiť, ktoré všetky stránky sú povolené webmasterom webu na prehľadávanie alebo nie všetkými alebo konkrétnymi webovými robotmi. Súbor musí byť uložený len s názvom "robots.txt", pretože je citlivý na veľkosť písmen, takže žiaden používateľský agent nebude akceptovať inú kombináciu!

Nakoniec, možno si pletiete pojmy x-robots, metarobots a robots.txt, ktoré znejú podobne. Medzi nimi x-robots a meta sú meta smernice, ale robots.txt je textový súbor a používajú sa na použitie rôznych funkcií.

Aby sme boli konkrétni, x-robots a meta majú diktovať správanie pri indexovaní na úrovni prvkov stránky (alebo jednotlivých stránok), zatiaľ čo súbor robots.txt má preukázať informácie o správaní riaditeľa alebo prehľadávania na strane stránky.

Existuje vyššia šanca, že roboty vyhľadávača môžu lepšie indexovať a zobrazovať obsah vašej webovej stránky v SERP a zviditeľniť ju tým, že pri skenovaní tej istej stránky dobre vynaložia svoj rozpočet na prehľadávanie. Pomocou súboru robots.txt môžete tiež zablokovať prehľadávanie automaticky generovaných stránok so značkami WordPress a zabrániť ďalšiemu duplicitnému obsahu.

Celkovo je potrebné venovať veľkú pozornosť tomu, čo zahrnúť do súboru robots.txt. Koniec koncov, malá chyba v súbore robots.txt môže spôsobiť deindexáciu celej vašej webovej stránky.