Kako uporabljati Robots txt za SEO

Tukaj je nekaj predlogov za ustvarjanje datoteke, zlasti za Googlove uporabniške agente;

1) Datoteka mora upoštevati standard za izključitev robotov.

2) Vključuje lahko eno ali več pravil za dovolitev ali blokiranje dostopa določenega pajka do določene poti na spletnem mestu.

3) Spletni skrbnik mora poznati skoraj vse sintakse datoteke robots.txt, da razume subtilno obnašanje vsake sintakse.

4) Spletno mesto ne sme imeti več kot ene datoteke robots.txt.

5) Datoteka podpira obe poddomeni (kot je http://website.demo.com/robots.txt ali katera koli nestandardna vrata, kot je (http://demo:8181/robots.txt).

6) Če ne poznate ali nimate dostopa do korenske mape vaše spletne strani, potem je najbolje, da se obrnete na ponudnika storitev spletnega gostovanja, da bo datoteko robots.txt shranil v njej. V primeru, da nimate dostopa do korenske mape spletnega mesta, potem uporabite meta oznake kot alternativno metodo blokiranja.

7) V datoteko robots.txt lahko vključite več skupinskih direktiv ali pravil (po eno v vrstici).

8) Podpira samo znake ASCII.

9) Skupina zagotavlja informacije o tem, za koga se uporablja (uporabniški agent) in do katerih vseh datotek ali imenikov agent ne more/more dostopati. Direktive se obdelujejo od zgoraj navzdol. Spletni boter se poveže samo z enim sklopom pravil, ki je lahko določen ločeno ali pa je na prvem mestu.

10) Po privzeti predpostavki lahko robot prebira vse imenike ali strani s sintakso "Disallow:".

11) Direktive, uporabljene v datoteki, so občutljive na velikost črk, kot je Disallow: /one.xml ne velja za ONE.xml.

12) Velja za celoten domena spletnega mesta, ki je sestavljena iz protokol https ali http.

Običajno uporabniški agenti Binga in Googla uporabljajo določeno skupino direktiv, vendar so privzeto prednostna prva pravila ujemanja, saj različni spletni roboti iskalnikov različno razlagajo direktive.

Prav tako je priporočljivo, da se spletni upravitelji v datoteki robots.txt čim bolj izogibajo uporabi sintakse crawl-delay in tako skrajšajo skupni čas pregledovanja robotov iskalnikov.

Lahko uporabite orodje robots.txt Tester, ki je na voljo na Googlova konzola za spletne skrbnike za preverjanje, ali lahko Googlov robot prebira URL, ki ste ga že blokirali v svojem iskalniku. Prikaže lahko tudi logične napake in opozorila o sintaksi, če so v vašem robots.txt. Tam ga lahko uredite in ponovno preizkusite.

Ko je vse v redu, se lahko soočite s spremembami in posodobite glavno datoteko, ki se nahaja na strežniku vaše spletne strani. Podobno lahko uporabite različna orodja, da vnaprej preverite obnašanje iskalnika po branju datoteke robots.txt vašega spletnega mesta.

Kako deluje robots.txt na vašem spletnem mestu, lahko preverite tudi z uporabo funkcije "Blokirani URL-ji" v razdelku "Pregledovanje", ki je na voljo v levem razdelku spletnega mesta. Googlova orodja za spletne skrbnike. Vendar morda ne bo prikazoval trenutne ali posodobljene različice robots.txt, vendar ga lahko uporabite za testiranje.

Poskusite redno preverjati datoteko robots.txt s katerim koli orodjem, ali je v njej vse veljavno in ali datoteka deluje na pravi način, kot je bilo pričakovano! Mimogrede, lahko traja več dni ali celo nekaj tednov, da iskalnik prepozna nedovoljen naslov URL tako, da ga prebere iz datoteke robots.txt, in odstrani njegovo indeksiranje.

Po vključitvi vseh sklopov pravil v datoteko in poimenovanju z robots.txt jo je treba shraniti v glavno ali korensko mapo spletnega mesta v strežniku. Mapa na korenskem nivoju je lahko "www" ali "htdocs", ki pomaga, da se robots.txt prikaže poleg imena vaše domene.

Vedno je priporočljivo ohraniti razumno velikost datoteke robots.txt, tako da se izognete navajanju neželenih direktiv v datoteki. John Mueller iz Googla je namreč že pred leti pojasnil, da bo Googlebot dostopal le do prvih 500 kB datoteke robot.txt. Velikanska datoteka se lahko skrajša na nezaželen način, tako da nastane vrstica, ki bi jo lahko razumeli kot nepopolno pravilo.

Znan je tudi kot protokol za izključitev robotov ali standard za izključitev robotov, ki ga spletna mesta uporabljajo za komunikacijo s spletnimi roboti ali pajki. Iskalniki uporabljajo svoje robote za razvrščanje spletnih mest.

Spletni skrbniki uporabljajo datoteke robots.txt, da tem robotom dajo navodila ali jih usmerjajo k boljšemu indeksiranju svojih spletnih mest. Datoteke robots.txt ne potrebujete, če ne želite nadzorovati dostopa uporabniškega agenta do katerega koli območja svojega spletnega mesta. Več podrobnosti o datoteki robots.txt lahko najdete v kateri koli napredni temi, kot je Kako ustvariti robota iskalnika?

Za boljše uvrstitve v iskalnikih je najboljša praksa SEO, da svojim pajkom omogočite enostaven dostop do vašega spletnega mesta. Naša spletna stran je običajno sestavljena iz veliko neželenih strani, kot smo pričakovali, in ko bodo roboti iskalnikov prebrskali vsako stran vaše spletne strani, bo to zagotovo porabilo več časa, kar bo zagotovo negativno vplivalo na njeno razvrstitev.

Google za vsako spletišče uporablja proračun za pregledovanje (razdeljen na dva dela, omejitev hitrosti pregledovanja in povpraševanje po pregledovanju), da določi število URL-jev, ki jih želi ali lahko pregleda. Če torej takim robotom ali uporabniškim agentom pomagate, da dostopajo in indeksirajo samo najbolj dragoceno vsebino vašega spletnega mesta, je robots.txt nujen!

SEO nikoli ne želi, da bi bili na spletnem mestu blokirani deli ali vsebina, ki jih je treba prebrskati.

- Iskalnik, kot je Google, ima lahko več uporabniških agentov, kot sta Googlebot-Image (za iskanje slik) in Googlebot (za organsko iskanje). Veliko uporabniških agentov, ki pripadajo istemu iskalniku, lahko upošteva ista pravila, zato številni spletni mojstri preskočijo določanje direktiv za vsakega od teh iskalnikov. SEO lahko to izkoristi tako, da navede različna navodila za vsakega od iskalnikov, tudi če ti pripadajo enemu iskalniku, in tako bolje nadzoruje njihovo obnašanje pri iskanju.

- Za boljšo optimizacijo SEO je treba, da prepovedane povezave ali strani ne smejo vključevati nadaljnjih povezav, ki jim je treba slediti. Blokirana stran torej ne sme posredovati lastniškega kapitala povezave do cilja povezave ali pa je bolje uporabiti kakršen koli drug mehanizem blokiranja. Prav tako ne smejo biti povezane z drugimi stranmi, ki so dostopne iskalnikom, tj. spletnimi stranmi, ki niso prepovedane z meta roboti, robots.txt ali kako drugače. V nasprotnem primeru iskalniki ne bodo dostopali do pomembnih povezanih virov in jih indeksirali.

- Najbolje je, da URL robots.url po posodobitvah datoteke pošljete neposredno Googlu in tako zagotovite hiter dostop do ciljnega uporabniškega agenta. Na splošno iskalnik posodobi vsebino robots.txt v predpomnilniku vsaj enkrat na dan.

Dobro je navesti lokacijo vseh ali vseh zemljevidi spletnih strani na podlagi domene spletnega mesta v spodnjem delu datoteke robots.txt. Zemljevidi spletnih mest so datoteke XML, ki vsebujejo podrobne informacije o straneh spletnega mesta, kot so njihovi naslovi URL s povezanimi metapodatki, kot so pomembnost, interval posodabljanja in zadnja posodobitev.

Vse te informacije lahko iskalniki uporabijo za inteligentno pregledovanje spletnega mesta. Tako lahko spletni skrbniki pomagajo uporabniškim agentom, ki podpirajo zemljevide spletnih mest, da spoznajo in dostopajo do vseh naslovov URL iz zemljevida spletnega mesta ter o njih izvedo več pri odkrivanju strani od ene povezave do druge znotraj enega ali drugega spletnega mesta.

Na primer;

Naslov brskalnika: https://www.demo.com/robots.txt

Izhod:

User-agent: *

Prepovedati: *.dl.html

Dovolite: /*.html$

Kazalo: https://www.demo.com/en-au/sitemap.xml

Kazalo: https://www.demo.com/en-se/sitemap.xml

Kazalo: https://www.demo.com/en-us/sitemap.xml

(Zgornje direktive so za klicanje več kot enega zemljevida lokacij prek datoteke robots.txt.)

Z robots.txt so povezana varnostna tveganja, saj mu številni zlonamerni roboti ne morejo slediti, prav tako pa ga lahko uporabimo za poznavanje vseh prepovedanih povezav in neposreden dostop do njih. Zato lahko kot rešitev območje spletnega mesta, ki vsebuje zasebno vsebino, zaščitite z geslom, tako da vsiljivec do njega ne more dostopati, tudi če pozna njegovo lokacijo.

Če želite občutljive podatke predstaviti pred indeksiranjem ali se pojaviti v SERP (neposredno ali posredno, tj. prek priljubljenih strani), je najbolje uporabiti katero koli drugo metodo, ne pa prepovedati isto iz robots.txt za blokiranje strani. To je lahko bodisi direktiva no index meta bodisi metode zaščite z geslom.

WordPress na splošno naredi virtualno privzeto datoteko robots.txt v korenskem naslovu neposredno za svoja spletna mesta, ki jih ni mogoče videti v imeniku. Zato je vedno najbolje ustvariti novo datoteko, ki se prekriva z vsemi privzetimi nastavitvami, zlasti za prepoved strani za prijavo ali registracijo, ki za iskalnik ni pomembna!

Mnogi ljudje so običajno zmedeni, kako odstraniti Robots txt v WordPressu ali drugih platformah. Vendar pa je postopek enak za vse! Datoteko robots.txt je treba shraniti v imenik najvišje ravni spletnega mesta, tj. v korensko domeno ali glavni imenik, da jo bodo roboti zlahka našli. Zato morate datoteko izbrisati neposredno iz te mape ali lokacije.

V datoteko robots.txt ne vključite navodil za skrivanje zaupnih uporabniških informacij. Datoteka je namreč javno dostopna in njene direktive lahko vidite tako, da na koncu korenske domene dodate /robots.txt.

Na ta način lahko vsakdo izve, katere vse strani je spletni skrbnik spletnega mesta dovolil, da jih vsi ali določeni spletni roboti prebirajo ali ne. Datoteko je treba shraniti samo z imenom "robots.txt", saj je občutljiva na velikost črk, zato noben uporabniški agent ne bo sprejel nobene druge kombinacije!

Morda vas bodo zmotili tudi x-robots, metarobots in robots.txt, ki zvenijo podobno. Med njimi sta x-robots in meta direktive meta, robots.txt pa je besedilna datoteka in se uporabljata za uporabo različnih funkcij.

Natančneje, x-robots in meta določata obnašanje indeksiranja na ravni elementa strani (ali posamezne strani), medtem ko robots.txt zagotavlja informacije o obnašanju direktorja ali obnašanju ob strani spletnega mesta.

Obstaja večja verjetnost, da bodo iskalni boti lahko bolje indeksirali in prikazali vsebino vašega spletnega mesta na spletnih straneh SERP ter ga naredili bolj vidnega, če bodo med pregledovanjem istega spletnega mesta dobro porabili svoj proračun za pregledovanje. Z uporabo robots.txt lahko tudi blokirate pregledovanje samodejno ustvarjenih strani z oznakami WordPress in preprečite podvojeno vsebino.

Na splošno morate biti zelo pozorni na to, kaj vključiti v datoteko robots.txt. Zaradi majhne napake v datoteki robots.txt se lahko namreč celotno spletno mesto deindeksira.