Kako uporabljati Robots txt za SEO

Kadarkoli gremo na raziskovanje novega kraja, potrebujemo navodila za udobje in prihranek časa! Enako velja za spletni roboti, kot je ta. na spletnem mestu . Vsak iskalnik si pri iskanju strani določenega spletnega mesta pomaga z datoteko Robots.txt, da dobi informacijo o tem, kako prebrskati strani določenega spletnega mesta.

Mimogrede, obnašanje takšnih pajkov, ki se premikajo po celotnem internetdostop, indeksiranje in posredovanje vsebine ciljnim uporabnikom. so . temelji na skupini spletnih standardov, znanih pod imenom REP ali protokol za izključitev robotov, ki vključuje tudi robots.txt.

Na spletnem mestu lahko razumemo in si zapomnimo robots.txt kot mešanico dveh izrazov Robot in Txt. Gre torej za txt ali besedilno datoteko, ki je namenjena uporabi spletnih robotov, ki jih lahko uporabljajo iskalniki.

V pomoč je lahko tudi spletnim skrbnikom, če lahko nadzorujejo obnašanje uporabniškega agenta, vendar je treba to storiti previdno, saj je treba onemogočiti pomembne ali vse strani vašega spletnega mesta iz iskalnika, kot je Google, je lahko zelo nevarno.

Spletni skrbniki spletnega mesta lahko s pomočjo datoteke robots.txt programski opremi za pregledovanje spletnih strani ali uporabniškim agentom naročijo, naj kaj vsi deli za pregledovanje in kaj vse na spletnem mestu. To lahko storite tako, da v datoteki robots.txt uporabite navodila "dovoli" ali "ne dovoli" za nekatere ali vse uporabniške agente pajkov.

Iskalnik opravlja predvsem dve glavni nalogi, da opravi svoje delo. Prva je odkrivanje vsebine v spletu, tako da povsod preiskuje in indeksira posodobitve. Naslednja naloga je iskanje povezanih informacij v svojem indeksirani imenik za prikazovanje prave vsebine glede na iskalno poizvedbo.

Kaj je Robots txt?

Iskalniki sledijo povezave in prehod z enega spletnega mesta na drugo., se postopek imenuje tudi "pajkovanje". Ko robot ali spletni pajkovnik doseže novo spletno mesto, pred začetkom pajkanja najprej poišče datoteko robots.txt. Če jo dobi, jo prebere in pridobi informacije o tem, kako naj prebira spletno mesto, zlasti o tem, do česa lahko dostopa in do česa ne! Če datoteke robots.txt ni, lahko uporabniški agenti začnejo brskati po drugih informacijah, ki so na voljo na spletnem mestu.

Datoteka mora biti sestavljena vsaj iz naslednjih dveh elementov;

User-agent: (Ime uporabniškega agenta)

Prepovedati: (Niz URL, ki se ne sme preiskovati)

Zgornji dve vrstici lahko skupaj obravnavamo kot ločen niz direktiv uporabniškega agenta, ki sta od drugih nizov ločeni s prelomom vrstice (/).

Če je v datoteki določeno eno samo pravilo za več uporabniških agentov, potem bo pajkovnik najprej prebral in upošteval direktive, ki so navedene v ločeni skupini navodil.

Vsakdo si lahko ogleda vsebino robots.txt, ki je na spletnem mestu, preprosto z uporabo metode brskalnika.

Robots.txt morate dodati za glavnim URL kot https://demo.com/robots.txt ali njegova poddomena, kot je https://shop.demo.com/robots.txt.

Datoteka robots.txt mora biti obvezno na voljo za korensko domeno. Zato jo lahko omenite v brskalniku.

Če na izhodu ne boste našli strani .txt, to pomeni, da na spletnem mestu trenutno ni (žive) strani robots.txt.

Za korensko domeno (demo.com/robots.txt) in vsako poddomeno morajo biti ločene datoteke robots.txt(blog.demo.com/robots.txt).

Vsa navodila v datoteki mora od zgoraj navzdol prebrati človek ali katerikoli programski robot! Lahko se zgodi, da robot ali uporabniški agent ne prebere datoteke robots.txt spletnega mesta. To je običajno mogoče pri strgalnikih e-poštnih naslovov ali zlonamernih brskalnikih tipa robotov z zlonamerno programsko opremo.

Uporaba robots.txt na spletnem mestu ima številne prednosti. Na primer;

- Vprašati iskalnike za narediti ne indeksira določenih datotek, kot so datoteke PDF, slike itd., na vašem spletnem mestu. Meta direktive lahko uporabite tudi kot alternativo robots.txt, da preprečite indeksiranje strani, vendar ne delujejo za datoteke z viri.

- Spletni skrbnik lahko zagotovi učinkovito pregledovanje spletnega mesta z zagotavljanjem koristnih nasveti svojim robotom.

- Da iskalniki ne bi prikazali nobenega notranjega iskanja stran z rezultati na javnem spletnem mestu SERP.

- Z blokiranjem nekaterih nepomembnih ali nepotrebnih strani spletnega mesta lahko povečate proračun za pregledovanje na potrebnih straneh.

- Uporablja se kot metaroboti, da se prepreči prikazovanje podvojene vsebine v spletnih servisih SERP.

- Z njegovo pomočjo lahko preprečite indeksiranje notranjih rezultatov iskanja ali pokvarjenih spletnih strani svojega spletnega mesta.

- Da bi preprečili preobremenitev spletnih strežnikov, ki je mogoča, ko se brskalniki nalaganje več vsebin naenkrat, tako da dodate nekaj zamude pri plazenju.

- Če ne želite, da bi ljudje pristali na strani, ki je v fazi priprave, to lahko vpliva na vtis, zlasti pri obiskovalcih, ki prvič obiščejo spletno mesto.

- Da bi uporabniški agenti zlahka dostopali do lokacije zemljevid spletnih strani(s).

Spletni skrbnik lahko določen del spletnega mesta (zlasti tistega v gradnji ali nedokončanega) popolnoma zaščiti pred brskalnimi roboti.

Datoteko robots.txt je treba ustvariti, če število indeksiranih naslovov URL preseže pričakovanja.

To je najboljši uporabite katerikoli urejevalnik besedil, kot sta beležnica ali wordpad, da ustvarite preprosto besedilno datoteko, združljivo s pravili za izdelavo robots.txt.

Vključite samo osnovne direktive, kot sta "User agent:" in "Disallow: /", da ustvarite osnovno datoteko za spletno mesto.

Pravila lahko v datoteko robots.txt vključi vsak, če upošteva združljivo sintakso.

Najboljši način je, da najprej ustvarite zemljevide spletnega mesta in na dno vključite njegove URL-je, da bo učinkovitejši.

Pogosti izrazi, ki se uporabljajo v datoteki robots.txt, so:

- Zakasnitev pri plazenju - Navaja, koliko časa mora določen pajkovnik počakati, preden dostopa do vsebine strani. Ukaz ne bo deloval za Googlebota, vendar pa bo za stopnja lahko nastavite v konzoli za iskanje Google in tako opravite enako nalogo.

- User-agent - označuje določen spletni pregledovalnik ali uporabniškega agenta (običajno iskalnik), ki mu želi spletni skrbnik posredovati navodila za pregledovanje. Obstajajo tehnični imena za iskalnike, kot je Googlebot za Google in podobno.

- Dovoli (uporablja Google) - To je uporabna sintaksa, s katero Googlovemu robotu naročite, naj preišče podmapo ali stran, ki se nahaja znotraj katere koli nadrejene podmape ali strani, ki morda ni dovoljena.

- Disallow - Z njim spletnemu botru naročite, naj ne dostopa do določenega URL-ja. Ukaz ne sme biti dovoljen dvakrat za noben naslov URL.

-Sitemap - Vsak združljiv uporabniški agent, kot so Yahoo, Ask, Bing ali Google, lahko s tem ukazom poišče lokacijo omenjenih zemljevidov spletnih strani XML na podlagi naslova URL.

Opomba: regularne izraze, kot sta znak dolarja ($) in zvezdica (*), je mogoče uporabiti z SEO za pomoč uporabniškim agentom Binga in Googla pri prepoznavanju podmap ali strani. * je sintaksa za ujemanje vzorcev, ki zajema vse možne možnosti končnic URL, * pa predstavlja različno zaporedje znakov in deluje kot preprosta nadomestna črka.

To lahko storite tako, da blokirate ali onemogočite spletne bote z določitvijo direktiv za vsakega ali vse, da ne dostopajo do strani ali podmape spletnega mesta.

Tukaj je nekaj direktiv, ki se pogosto uporabljajo v datoteki robots.txt za dajanje navodil uporabniškim agentom ali spletnim pregledovalnikom;

1) Vsakemu spletnemu iskalniku omogočite, da najde vso vsebino.

Sintaksa: Uporabniški agent: * Prepovedati:

2) Prepoved dostopa do mape določenemu spletnemu brskalniku

Sintaksa: Uporabniški agent: Googlebot Disallow: /extra-podpoglavje/

(Zgornje navodilo zahteva, da Googlov iskalnik ne dostopa do nobene strani lokacije www.site-name.com/extra-subfolder/)

3) onemogočanje dostopa do vsebine vsem spletnim pajkom

Sintaksa: Uporabniški agent: * Prepovedati: /

(Preprosto navodilo lahko uporabite kot rešitev za Kako blokirati bote Robots txt?)

4) Prepoved dostopa do določene spletne strani določenemu spletnemu brskalniku

Sintaksa: Uporabniški agent: Googlebot Disallow: /extra-subfolder/useless-page.html

Priljubljeni iskalnik uporablja številne pajek programska oprema, ki se vrti po spletu in pregleduje spletna mesta. Izpostavljeni so Googlebot, Googlebot-images (uporablja se za slike) in Googlebot-news (indeksira in uporabnikom posreduje informacije o novicah).

Uporabite urejevalnik besedila, ki lahko ustvari standardno besedilno datoteko UTF-8. Ustvarjanje datoteke z urejevalnikom besedil lahko doda kakšen nepričakovan znak, kot so zaviti narekovaji, in jo lahko shrani v kateri koli lastniški obliki, kar lahko povzroči težave pri razumevanju navodil s strani pajkov. Komentarje lahko dodate po navedbi znaka ali oznake #.

Tukaj je nekaj predlogov za ustvarjanje datoteke, zlasti za Googlove uporabniške agente;

1) Datoteka mora upoštevati standard za izključitev robotov.

2) Vključuje lahko eno ali več pravil za dovolitev ali blokiranje dostopa določenega pajka do določene poti na spletnem mestu.

3) Spletni skrbnik mora poznati skoraj vse sintakse datoteke robots.txt, da razume subtilno obnašanje vsake sintakse.

4) Spletno mesto ne sme imeti več kot ene datoteke robots.txt.

5) Datoteka podpira obe poddomeni (kot je http://website.demo.com/robots.txt ali katera koli nestandardna vrata, kot je (http://demo:8181/robots.txt).

6) Če ne poznate ali nimate dostopa do korenske mape vaše spletne strani, potem je najbolje, da se obrnete na ponudnika storitev spletnega gostovanja, da bo datoteko robots.txt shranil v njej. V primeru, da nimate dostopa do korenske mape spletnega mesta, potem uporabite meta oznake kot alternativno metodo blokiranja.

7) V datoteko robots.txt lahko vključite več skupinskih direktiv ali pravil (po eno v vrstici).

8) Podpira samo znake ASCII.

9) Skupina zagotavlja informacije o tem, za koga se uporablja (uporabniški agent) in do katerih vseh datotek ali imenikov agent ne more/more dostopati. Direktive se obdelujejo od zgoraj navzdol. Spletni boter se poveže samo z enim sklopom pravil, ki je lahko določen ločeno ali pa je na prvem mestu.

10) Po privzeti predpostavki lahko robot prebira vse imenike ali strani s sintakso "Disallow:".

11) Direktive, uporabljene v datoteki, so občutljive na velikost črk, kot je Disallow: /one.xml ne velja za ONE.xml.

12) Velja za celoten domena spletnega mesta, ki je sestavljena iz protokol https ali http.

Običajno uporabniški agenti Binga in Googla uporabljajo določeno skupino direktiv, vendar so privzeto prednostna prva pravila ujemanja, saj različni spletni roboti iskalnikov različno razlagajo direktive.

Prav tako je priporočljivo, da se spletni upravitelji v datoteki robots.txt čim bolj izogibajo uporabi sintakse crawl-delay in tako skrajšajo skupni čas pregledovanja robotov iskalnikov.

Lahko uporabite orodje robots.txt Tester, ki je na voljo na Googlova konzola za spletne skrbnike za preverjanje, ali lahko Googlov robot prebira URL, ki ste ga že blokirali v svojem iskalniku. Prikaže lahko tudi logične napake in opozorila o sintaksi, če so v vašem robots.txt. Tam ga lahko uredite in ponovno preizkusite.

Ko je vse v redu, se lahko soočite s spremembami in posodobite glavno datoteko, ki se nahaja na strežniku vaše spletne strani. Podobno lahko uporabite različna orodja, da vnaprej preverite obnašanje iskalnika po branju datoteke robots.txt vašega spletnega mesta.

Kako deluje robots.txt na vašem spletnem mestu, lahko preverite tudi z uporabo funkcije "Blokirani URL-ji" v razdelku "Pregledovanje", ki je na voljo v levem razdelku spletnega mesta. Googlova orodja za spletne skrbnike. Vendar morda ne bo prikazoval trenutne ali posodobljene različice robots.txt, vendar ga lahko uporabite za testiranje.

Poskusite redno preverjati datoteko robots.txt s katerim koli orodjem, ali je v njej vse veljavno in ali datoteka deluje na pravi način, kot je bilo pričakovano! Mimogrede, lahko traja več dni ali celo nekaj tednov, da iskalnik prepozna nedovoljen naslov URL tako, da ga prebere iz datoteke robots.txt, in odstrani njegovo indeksiranje.

Po vključitvi vseh sklopov pravil v datoteko in poimenovanju z robots.txt jo je treba shraniti v glavno ali korensko mapo spletnega mesta v strežniku. Mapa na korenskem nivoju je lahko "www" ali "htdocs", ki pomaga, da se robots.txt prikaže poleg imena vaše domene.

Vedno je priporočljivo ohraniti razumno velikost datoteke robots.txt, tako da se izognete navajanju neželenih direktiv v datoteki. John Mueller iz Googla je namreč že pred leti pojasnil, da bo Googlebot dostopal le do prvih 500 kB datoteke robot.txt. Velikanska datoteka se lahko skrajša na nezaželen način, tako da nastane vrstica, ki bi jo lahko razumeli kot nepopolno pravilo.

Znan je tudi kot protokol za izključitev robotov ali standard za izključitev robotov, ki ga spletna mesta uporabljajo za komunikacijo s spletnimi roboti ali pajki. Iskalniki uporabljajo svoje robote za razvrščanje spletnih mest.

Spletni skrbniki uporabljajo datoteke robots.txt, da tem robotom dajo navodila ali jih usmerjajo k boljšemu indeksiranju svojih spletnih mest. Datoteke robots.txt ne potrebujete, če ne želite nadzorovati dostopa uporabniškega agenta do katerega koli območja svojega spletnega mesta. Več podrobnosti o datoteki robots.txt lahko najdete v kateri koli napredni temi, kot je Kako ustvariti robota iskalnika?

Za boljše uvrstitve v iskalnikih je najboljša praksa SEO, da svojim pajkom omogočite enostaven dostop do vašega spletnega mesta. Naša spletna stran je običajno sestavljena iz veliko neželenih strani, kot smo pričakovali, in ko bodo roboti iskalnikov prebrskali vsako stran vaše spletne strani, bo to zagotovo porabilo več časa, kar bo zagotovo negativno vplivalo na njeno razvrstitev.

Google za vsako spletišče uporablja proračun za pregledovanje (razdeljen na dva dela, omejitev hitrosti pregledovanja in povpraševanje po pregledovanju), da določi število URL-jev, ki jih želi ali lahko pregleda. Če torej takim robotom ali uporabniškim agentom pomagate, da dostopajo in indeksirajo samo najbolj dragoceno vsebino vašega spletnega mesta, je robots.txt nujen!

SEO nikoli ne želi, da bi bili na spletnem mestu blokirani deli ali vsebina, ki jih je treba prebrskati.

- Iskalnik, kot je Google, ima lahko več uporabniških agentov, kot sta Googlebot-Image (za iskanje slik) in Googlebot (za organsko iskanje). Veliko uporabniških agentov, ki pripadajo istemu iskalniku, lahko upošteva ista pravila, zato številni spletni mojstri preskočijo določanje direktiv za vsakega od teh iskalnikov. SEO lahko to izkoristi tako, da navede različna navodila za vsakega od iskalnikov, tudi če ti pripadajo enemu iskalniku, in tako bolje nadzoruje njihovo obnašanje pri iskanju.

- Za boljšo optimizacijo SEO je treba, da prepovedane povezave ali strani ne smejo vključevati nadaljnjih povezav, ki jim je treba slediti. Blokirana stran torej ne sme posredovati lastniškega kapitala povezave do cilja povezave ali pa je bolje uporabiti kakršen koli drug mehanizem blokiranja. Prav tako ne smejo biti povezane z drugimi stranmi, ki so dostopne iskalnikom, tj. spletnimi stranmi, ki niso prepovedane z meta roboti, robots.txt ali kako drugače. V nasprotnem primeru iskalniki ne bodo dostopali do pomembnih povezanih virov in jih indeksirali.

- Najbolje je, da URL robots.url po posodobitvah datoteke pošljete neposredno Googlu in tako zagotovite hiter dostop do ciljnega uporabniškega agenta. Na splošno iskalnik posodobi vsebino robots.txt v predpomnilniku vsaj enkrat na dan.

Dobro je navesti lokacijo vseh ali vseh zemljevidi spletnih strani na podlagi domene spletnega mesta v spodnjem delu datoteke robots.txt. Zemljevidi spletnih mest so datoteke XML, ki vsebujejo podrobne informacije o straneh spletnega mesta, kot so njihovi naslovi URL s povezanimi metapodatki, kot so pomembnost, interval posodabljanja in zadnja posodobitev.

Vse te informacije lahko iskalniki uporabijo za inteligentno pregledovanje spletnega mesta. Tako lahko spletni skrbniki pomagajo uporabniškim agentom, ki podpirajo zemljevide spletnih mest, da spoznajo in dostopajo do vseh naslovov URL iz zemljevida spletnega mesta ter o njih izvedo več pri odkrivanju strani od ene povezave do druge znotraj enega ali drugega spletnega mesta.

Na primer;

Naslov brskalnika: https://www.demo.com/robots.txt

Izhod:

User-agent: *

Prepovedati: *.dl.html

Dovolite: /*.html$

Kazalo: https://www.demo.com/en-au/sitemap.xml

Kazalo: https://www.demo.com/en-se/sitemap.xml

Kazalo: https://www.demo.com/en-us/sitemap.xml

(Zgornje direktive so za klicanje več kot enega zemljevida lokacij prek datoteke robots.txt.)

Z robots.txt so povezana varnostna tveganja, saj mu številni zlonamerni roboti ne morejo slediti, prav tako pa ga lahko uporabimo za poznavanje vseh prepovedanih povezav in neposreden dostop do njih. Zato lahko kot rešitev območje spletnega mesta, ki vsebuje zasebno vsebino, zaščitite z geslom, tako da vsiljivec do njega ne more dostopati, tudi če pozna njegovo lokacijo.

Če želite občutljive podatke predstaviti pred indeksiranjem ali se pojaviti v SERP (neposredno ali posredno, tj. prek priljubljenih strani), je najbolje uporabiti katero koli drugo metodo, ne pa prepovedati isto iz robots.txt za blokiranje strani. To je lahko bodisi direktiva no index meta bodisi metode zaščite z geslom.

WordPress na splošno naredi virtualno privzeto datoteko robots.txt v korenskem naslovu neposredno za svoja spletna mesta, ki jih ni mogoče videti v imeniku. Zato je vedno najbolje ustvariti novo datoteko, ki se prekriva z vsemi privzetimi nastavitvami, zlasti za prepoved strani za prijavo ali registracijo, ki za iskalnik ni pomembna!

Mnogi ljudje so običajno zmedeni, kako odstraniti Robots txt v WordPressu ali drugih platformah. Vendar pa je postopek enak za vse! Datoteko robots.txt je treba shraniti v imenik najvišje ravni spletnega mesta, tj. v korensko domeno ali glavni imenik, da jo bodo roboti zlahka našli. Zato morate datoteko izbrisati neposredno iz te mape ali lokacije.

V datoteko robots.txt ne vključite navodil za skrivanje zaupnih uporabniških informacij. Datoteka je namreč javno dostopna in njene direktive lahko vidite tako, da na koncu korenske domene dodate /robots.txt.

Na ta način lahko vsakdo izve, katere vse strani je spletni skrbnik spletnega mesta dovolil, da jih vsi ali določeni spletni roboti prebirajo ali ne. Datoteko je treba shraniti samo z imenom "robots.txt", saj je občutljiva na velike in male črke, zato noben uporabniški agent ne bo sprejel nobene druge kombinacije!

Morda vas bodo zmotili tudi x-robots, metarobots in robots.txt, ki zvenijo podobno. Med njimi sta x-robots in meta direktive meta, robots.txt pa je besedilna datoteka in se uporabljata za uporabo različnih funkcij.

Natančneje, x-robots in meta določata obnašanje indeksiranja na ravni elementa strani (ali posamezne strani), medtem ko robots.txt zagotavlja informacije o obnašanju direktorja ali obnašanju ob strani spletnega mesta.

Obstaja večja verjetnost, da bodo iskalni boti lahko bolje indeksirali in prikazali vsebino vašega spletnega mesta na spletnih straneh SERP ter ga naredili bolj vidnega, če bodo med pregledovanjem istega spletnega mesta dobro porabili svoj proračun za pregledovanje. Z uporabo robots.txt lahko tudi blokirate pregledovanje samodejno ustvarjenih strani z oznakami WordPress in preprečite podvojeno vsebino.

Na splošno morate biti zelo pozorni na to, kaj vključiti v datoteko robots.txt. Zaradi majhne napake v datoteki robots.txt se lahko namreč celotno spletno mesto deindeksira.