Kaip naudoti "Robots txt" SEO optimizavimui

Pateikiame keletą pasiūlymų, kaip sukurti failą, skirtą "Google" naudotojų agentams;

1) Failas turi atitikti robotų pašalinimo standartą.

2) Jame gali būti viena ar daugiau taisyklių, leidžiančių arba blokuojančių nurodyto naršyklės naršo prieigą prie tam tikro svetainės kelio.

3) Tinklalapio administratorius turėtų žinoti beveik visas robots.txt failo sintakses, kad suprastų subtilų kiekvienos sintaksės elgesį.

4) Svetainėje negali būti daugiau nei vienas robots.txt failas.

5) Failas palaiko tiek subdomenus (pavyzdžiui, http://website.demo.com/robots.txt arba bet kokį nestandartinį prievadą, pavyzdžiui, (http://demo:8181/robots.txt).

6) Jei nežinote ar neturite prieigos prie savo svetainės šakninio aplanko, geriausia pasiekti prieglobos paslaugų teikėją, kad jis išsaugotų robots.txt failą. Jei negalite pasiekti svetainės šakninio katalogo, tuomet kaip alternatyvų blokavimo metodą naudokite metažymas.

7) Į robots.txt failą galima įtraukti daugiau nei vieną grupės direktyvą arba taisyklę (minima po vieną eilutėje).

8) Jis palaiko tik ASCII simbolius.

9) Grupėje pateikiama informacija apie tai, kam ji taikoma (naudotojo agentui) ir kokių visų failų ar katalogų agentas negali / gali pasiekti. Direktyvos apdorojamos iš viršaus į apačią. Interneto botas susietas tik su vienu taisyklių rinkiniu, kuris gali būti nurodytas atskirai arba yra pirmas.

10) Pagal numatytąją prielaidą robotas gali nuskaityti bet kurį katalogą ar puslapį naudodamas "Disallow:" sintaksę.

11) faile naudojamos direktyvos yra jautrios didžiosioms raidėms, pavyzdžiui, Disallow: /one.xml netaikomas ONE.xml.

12) Jis taikomas visai svetainės domenas, kurį sudaro https arba http protokolas.

Paprastai "Bing" ir "Google" naudotojų agentai naudojasi tam tikra direktyvų grupe, tačiau pagal nutylėjimą pirmenybė teikiama pirmosioms, sutampančioms taisyklėms, nes skirtingi paieškos sistemų interneto robotai skirtingai interpretuoja direktyvas.

Tinklalapių valdytojams taip pat siūloma savo robots.txt faile kuo dažniau nenaudoti "crawl-delay" sintaksės, kad sutrumpėtų bendras paieškos sistemų robotų naršymo laikas.

Galite pasinaudoti robots.txt testerio įrankiu, esančiu "Google" žiniatinklio valdytojo konsolė norėdami patikrinti, ar "Google" robotai gali nuskaityti URL adresą, kurį jau užblokavote savo paieškoje. Ji taip pat gali parodyti logines klaidas ir sintaksės įspėjimus, jei jų yra jūsų robots.txt. Galite jį redaguoti ir iš naujo išbandyti.

Kai viskas bus gerai, galėsite atlikti pakeitimus ir atnaujinti pagrindinį failą, esantį jūsų svetainės serveryje. Taip pat galite naudoti įvairius įrankius, kad iš anksto patikrintumėte, kaip paieškos sistema nuskaitys jūsų svetainės robots.txt.

Taip pat galite patikrinti, kaip jūsų svetainėje veikia robots.txt, naudodami funkciją "Blokuoti URL adresai", esančią "Naršymo" skyriuje, pateiktame kairiajame "Google" žiniatinklio valdytojo įrankiai. Tačiau ji gali nerodyti dabartinės ar atnaujintos robots.txt versijos, tačiau gali būti naudojama testavimo tikslais.

Pabandykite reguliariai tikrinti robots.txt failą naudodami bet kokį įrankį, ar viskas jame galioja ir ar failas veikia taip, kaip tikėtasi! Beje, paieškos sistemai gali prireikti daug dienų ar net kelių savaičių, kol ji, perskaičiusi robots.txt failą, nustatys neleistiną URL adresą ir panaikins jo indeksavimą.

Į failą įtraukus visus taisyklių rinkinius ir pavadinus jį robots.txt, jį reikia išsaugoti pagrindiniame arba šakniniame svetainės aplanke serveryje. Šakninio lygio aplankas gali būti "www" arba "htdocs", kuris padeda robots.txt rodyti šalia jūsų domeno pavadinimo.

Visada siūloma išlaikyti protingą robots.txt dydį, vengiant nepageidaujamų direktyvų paminėjimo faile. Taip yra todėl, kad dar prieš daugelį metų Johnas Muelleris iš "Google" paaiškino, kad "Googlebot" pasieks tik pirmuosius 500 kB robotas.txt failo. Milžiniškas failas gali būti sutrumpintas nepageidaujamu būdu ir suformuoti eilutę, kuri gali būti interpretuojama kaip neišsami taisyklė.

Jis taip pat žinomas kaip robotų pašalinimo protokolas arba robotų pašalinimo standartas, kurį svetainės naudoja bendravimui su interneto robotais arba naršyklėmis. Paieškos sistemos naudoja savo robotus, kad suskirstytų svetaines į kategorijas.

Tinklalapių valdytojai naudoja robots.txt failus, kad nurodinėtų arba nukreiptų tokius robotus, kaip geriau indeksuoti jų svetaines. Robots.txt failo nereikia, jei nenorite kontroliuoti naudotojų agentų prieigos prie bet kurios svetainės srities. Daugiau informacijos apie robots.txt galima rasti bet kurioje išplėstinėje temoje, pavyzdžiui, Kaip sukurti paieškos sistemos botą?

Kad paieškos sistemos būtų geriau reitinguojamos, geriausia SEO praktika yra leisti paieškos robotams lengvai pasiekti ir pasiekti jūsų svetainę. Mūsų svetainę paprastai sudaro daug nepageidaujamų puslapių, o kai paieškos sistemos robotai nuskaitys kiekvieną jūsų svetainės puslapį, tai tikrai užims daugiau laiko ir tai tikrai turės neigiamos įtakos jos reitingas.

"Google", nustatydama, kiek URL adresų ji nori arba gali nuskaityti, naudoja kiekvienos svetainės nuskaitymo biudžetą (skirstomą į dvi dalis - nuskaitymo spartos ribą ir nuskaitymo poreikį). Taigi, jei padedate tokiems robotams arba naudotojų agentams pasiekti ir indeksuoti tik vertingiausią jūsų svetainės turinį, robots.txt yra būtinas!

SEO specialistai niekada nenori, kad būtų užblokuoti svetainės skyriai ar turinys, kuriuos būtina nuskaityti.

- Tokioje paieškos sistemoje kaip "Google" gali būti keli naudotojų agentai, pvz., "Googlebot-Image" (vaizdų paieškai) ir "Googlebot" (organinei paieškai). Daug vartotojų agentų, priklausančių tai pačiai paieškos sistemai, gali vadovautis tomis pačiomis taisyklėmis, todėl daugelis tinklalapių valdytojų praleidžia nurodyti direktyvas kiekvienai iš šių paieškos sistemų. SEO specialistas gali tuo pasinaudoti nurodydamas skirtingus nurodymus kiekvienam iš naršyklių, net jei jos priklauso vienai paieškos sistemai, kad geriau kontroliuotų jų naršymo elgseną.

- Siekiant geresnio SEO, būtina, kad neleistinose nuorodose arba puslapiuose nebūtų jokių kitų nuorodų, kurias reikia sekti. Taigi, blokuojamas puslapis neturėtų perduoti nuorodų teisingumo į nuorodų paskirties vietą arba geriau naudoti bet kokį kitą blokavimo mechanizmą. Jie taip pat neturi būti susieti su kitais paieškos sistemoms prieinamais puslapiais, t. y. tinklalapiais, kurie nėra uždrausti metarobotų, robots.txt ar kt. Priešingu atveju svarbūs susieti ištekliai nebus pasiekiami ir indeksuojami paieškos sistemų.

- Geriausia robots.url URL adresą pateikti tiesiogiai "Google" po bet kokių atnaujinimų, atliktų faile, kad tikslinis naudotojo agentas jį greitai pasiektų. Paprastai paieškos sistema atnaujina talpyklos robots.txt turinį bent kartą per dieną.

Naudinga paminėti visų ar bet kurių svetainių žemėlapiai pagal svetainės domeną jos robots.txt failo apatinėje dalyje. Beje, svetainės žemėlapiai yra XML failai, kuriuose pateikiama išsami informacija apie svetainės puslapius, pvz., jų URL ir susiję metaduomenys, pvz., jų svarba, atnaujinimo intervalas ir paskutinis atnaujinimas.

Visą šią informaciją paieškos sistemų robotai gali naudoti, kad galėtų išmaniai naršyti svetainę. Taigi, tokiu būdu tinklalapių valdytojai gali padėti naudotojų agentams, palaikantiems svetainės žemėlapius, sužinoti ir pasiekti visus URL adresus iš svetainės žemėlapio ir sužinoti apie juos daugiau, kai jie atranda puslapius iš vienos nuorodos į kitą vienoje arba kitoje svetainėje.

Pavyzdžiui;

Naršyklės adresas: https://www.demo.com/robots.txt

Išvestis:

Vartotojo agentas: *

Neleisti: *.dl.html

Leisti: /*.html$

Svetainės struktūra: https://www.demo.com/en-au/sitemap.xml

Svetainės struktūra: https://www.demo.com/en-se/sitemap.xml

Svetainės struktūra: https://www.demo.com/en-us/sitemap.xml

(Aukščiau pateiktos direktyvos skirtos daugiau nei vienam svetainės žemėlapiui iškviesti per robots.txt failą.)

Robots.txt kelia pavojų saugumui, nes daugelis kenkėjiškų robotų negali juo vadovautis, taip pat juo galima pasinaudoti norint sužinoti visas neleidžiamas nuorodas ir tiesiogiai jas pasiekti. Todėl kaip išeitį galite apsaugoti slaptažodžiu svetainės sritį, kurioje yra privataus turinio, kad įsilaužėlis negalėtų jos pasiekti net ir žinodamas jos vietą.

Norint pateikti slaptus duomenis iš indeksavimo arba gauti pasirodė SERP (tiesiogiai arba netiesiogiai, t. y. per patiko puslapius), tai geriausia naudoti bet kokį kitą metodą, o ne uždrausti tą patį iš robots.txt blokuoti puslapį. Tai gali būti arba neindeksavimo meta direktyvos, arba slaptažodžio apsaugos metodai.

WordPress paprastai savo svetainėms, kurių negalima matyti kataloge, tiesiogiai šakninėje šaknyje sukuria virtualų numatytąjį robots.txt failą. Taigi visada geriausia sukurti naują failą, kuris sutaptų su bet kokiais numatytaisiais nustatymais, ypač norint uždrausti prisijungimo ar registracijos puslapį, kuris paieškos sistemai nesvarbus!

Daugelis žmonių paprastai painiojasi, kaip pašalinti Robots txt WordPress ar kitose platformose. Tačiau procesas yra toks pat visiems! Robots.txt failą reikia išsaugoti aukščiausio lygio svetainės kataloge, t. y. šakniniame domene arba pagrindiniame kataloge, kad robotai galėtų lengvai jį rasti. Taigi, viskas, ko jums reikia, tai ištrinti failą tiesiai iš to konkretaus aplanko ar vietos.

Į robots.txt failą stenkitės neįtraukti nurodymų, kaip paslėpti konfidencialią naudotojo informaciją. Nes šis failas yra viešai prieinamas, jo nurodymus galima pamatyti šakninio domeno pabaigoje pridėjus /robots.txt.

Tokiu būdu kiekvienas gali sužinoti, kokius puslapius svetainės administratorius leido ar neleido naršyti visiems ar konkretiems interneto robotams. Failas turi būti išsaugotas tik su "robots.txt" pavadinimu, nes jis priklauso nuo mažųjų ir didžiųjų raidžių, todėl joks vartotojo agentas nepriims jokio kito derinio!

Galiausiai, gali būti, kad supainiojote x-robots, metarobotus ir robots.txt, kurie skamba panašiai. Tarp jų x-robots ir meta yra meta direktyvos, tačiau robots.txt yra teksto failas ir jie naudojami skirtingoms funkcijoms taikyti.

Tiksliau tariant, x-robots ir meta yra skirti nustatyti indeksavimo elgseną puslapio elemento (arba atskiro puslapio) lygmeniu, o robots.txt yra skirtas informacijai apie direktoriaus arba svetainės pusės naršymo elgseną pateikti.

Yra didesnė tikimybė, kad paieškos sistemų robotai gali geriau indeksuoti ir rodyti jūsų svetainės turinį SERP'e ir padaryti jį labiau matomą, nes skenuodami tą pačią svetainę gerai išnaudoja savo naršymo biudžetą. Naudodami robots.txt taip pat galite blokuoti automatiškai sukurtų "WordPress" žymų puslapių nuskaitymą ir užkirsti kelią bet kokiam besidubliuojančiam turiniui.

Apskritai, reikia labai atsargiai spręsti, ką įtraukti į robots.txt failą. Juk dėl nedidelės klaidos robots.txt faile visa jūsų svetainė gali būti deindeksuota.