Kaip naudoti "Robots txt" SEO optimizavimui

Kaskart, kai keliaujame tyrinėti naujos vietos, mums reikia rekomendacijų, kad būtų patogu ir sutaupytume laiko! Lygiai taip pat tokie interneto robotai iš bet kuri paieškos sistema naudojasi Robots.txt failu, kad sužinotų, kaip nuskaityti konkrečios svetainės puslapius.

Beje, tokių vikšrų elgsena judėti visame internetas, pasiekti, indeksuoti ir pateikti turinį tiksliniams naudotojams. yra remiantis žiniatinklio standartų grupe, vadinama REP arba robotų pašalinimo protokolu, kuris apima ir robots.txt.

Svetainėje paprasčiausiai galime suprasti ir įsiminti robots.txt kaip dviejų terminų "robotas" ir "Txt" mišinį. Taigi, tai yra txt arba teksto failas, skirtas naudoti interneto robotams, galimas paieškos sistemų.

Tai taip pat gali padėti tinklalapių valdytojams, jei svetainė gali kontroliuoti naudotojo agento naršymo elgesį, tačiau tai reikia daryti atsargiai, nes uždraudus svarbius arba visus puslapiai jūsų svetainę iš tokios paieškos sistemos kaip "Google" gali būti labai pavojinga.

Svetainės valdytojai gali naudoti robots.txt, kad nurodytų žiniatinklio naršymo programinei įrangai arba naudotojų agentams ką visų svetainės dalių nuskaitymas ir kt. Tai galima padaryti naudojant robots.txt failo viduje esančius nurodymus "leisti" arba "neleisti", skirtus kai kuriems arba visiems naršyklės naudotojų agentams.

Kad paieškos sistema atliktų savo darbą, ji daugiausia atsakinga už du pagrindinius darbus. Pirmasis - aptikti turinį internete, visur naršant ir indeksuojant atnaujinimus. Kitas darbas - ieškoti susijusios informacijos savo indeksuotas katalogą, kad būtų pateiktas tinkamas turinys pagal paieškos užklausą.

Taigi, kas tai yra Robots txt?

Paieškos sistemos vadovaujasi nuorodas ir pereiti iš vienos svetainės į kitą., šis procesas dar vadinamas "voratinkliniu". Kai robotas arba žiniatinklio naršyklė pasiekia naują svetainę, prieš pradėdamas ją naršyti, jis pirmiausia ieško robots.txt failo. Jei jį gauna, jis jį perskaito, kad gautų informacijos apie tai, kaip naršyti svetainę, ypač apie tai, ką pasiekti ir ko ne! Jei robots.txt failo nėra, naudotojo agentai gali pradėti naršyti kitą svetainėje esančią informaciją.

Failą turėtų sudaryti bent du šie elementai;

Vartotojo agentas: (Vartotojo agento pavadinimas)

Neleisti: (URL eilutė, kurios negalima nuskaityti)

Dvi pirmiau minėtos eilutės kartu gali būti laikomos atskiru vartotojo agento direktyvų rinkiniu, kuris nuo kitų rinkinių atskiriamas naudojant eilutės pertraukiklį (/).

Jei viena taisyklė faile nurodyta daugiau nei vienam naudotojui-agentui, tada naršyklė pirmiausia perskaitys ir vadovausis direktyvomis, kurios paminėtos atskiroje instrukcijų grupėje.

Kiekvienas gali peržiūrėti svetainėje esančio robots.txt turinį tiesiog naudodamasis naršyklės metodu.

Jums reikia pridėti robots.txt po pagrindinio URL kaip https://demo.com/robots.txt arba jo subdomenas, pavyzdžiui, https://shop.demo.com/robots.txt.

Robots.txt failas turi būti prieinamas po šakniniu domenu. Taigi, naršyklėje galite paminėti tą patį.

Jei išvestyje nerasite jokio .txt puslapio, tai reiškia, kad šiuo metu svetainėje nėra (gyvo) robots.txt puslapio.

Šakniniam domenui (demo.com/robots.txt) ir kiekvienam jo subdomenui turėtų būti atskiri robots.txt failai(tinklaraštis.demo.com/robots.txt).

Visus faile esančius nurodymus nuo viršaus iki apačios turi perskaityti žmogus arba bet koks programinės įrangos robotas! Gali būti, kad robotas arba naudotojo agentas neskaitys svetainės robots.txt failo. Paprastai tai įmanoma su el. pašto adresų grandikliais arba kenkėjiškų programų robotų tipo piktavaliais naršyklėmis.

Robots.txt naudojimas svetainėje turi daug privalumų. Pavyzdžiui;

- Paklausti paieškos sistemose. daryti neindeksuoti tam tikrų failų, pavyzdžiui, PDF, paveikslėlių ir kt., jūsų svetainėje. Meta direktyvos taip pat gali būti naudojamos kaip alternatyva robots.txt, kad būtų išvengta puslapių indeksavimo, tačiau jos neveikia išteklių failams.

- Tinklalapio valdytojas gali užtikrinti veiksmingą svetainės nuskaitymą pateikdamas naudingus patarimai savo robotams.

- Kad paieškos sistemos nerodytų jokių vidinės paieškos rezultatų puslapis viešajame SERP.

- Užblokavę tam tikrus nesvarbius ar nereikalingus svetainės puslapius, galite maksimaliai padidinti savo naršymo biudžetą reikalingiems puslapiams.

- Naudojami kaip metarobotai, kad būtų išvengta dubliuojančio turinio rodymo SERP.

- Jos pagalba galite neindeksuoti vidinių paieškos rezultatų arba neveikiančių svetainės tinklalapių.

- Siekiant išvengti žiniatinklio serverių perkrovos, kuri galima, kai naršyklės įkelti vienu metu kelis turinius, pridedant tam tikrą vėlavimą.

- Jei nenorite, kad žmonės atsidurtų bet kuriame puslapyje, kuris yra etapinės versijos, tai gali paveikti įspūdį, ypač pirmą kartą apsilankiusiems svetainėje.

- Kad naudotojų agentai galėtų lengvai pasiekti svetainės žemėlapis(s).

Tinklalapio valdytojas gali visiškai apsaugoti tam tikrą svetainės dalį (ypač kuriamą arba nebaigtą) nuo naršymo robotų.

Robots.txt failą būtina sukurti, jei indeksuojamų URL skaičius viršija lūkesčius.

Tai yra geriausias naudoti bet kokį teksto redaktorių, pvz., "Notepad" arba "Wordpad", kad sukurtumėte paprastą teksto failą, suderinamą su taisyklėmis, kad galėtumėte sukurti robots.txt.

Tiesiog įtraukite pagrindines direktyvas, tokias kaip "User agent:" ir "Disallow: /", kad sukurtumėte pagrindinį svetainės failą.

Taisykles gali įtraukti bet kas, laikydamasis suderinamos sintaksės robots.txt faile.

Geriausias būdas - pirmiausia sukurti svetainės žemėlapius ir apačioje įtraukti jos URL adresus, kad jie būtų veiksmingesni.

Dažniausiai robots.txt faile naudojami šie terminai:

- Vėlavimas šliaužti - Jis nurodo, kiek laiko turi laukti nurodytas naršyklė, kad galėtų pasiekti puslapio turinį. Ši komanda neveikia "Googlebot", tačiau "crawl tarifas galima nustatyti iš "Google" paieškos konsolės, kad atliktumėte tą patį darbą.

- Vartotojo agentas - jame nurodomas konkretus žiniatinklio naršyklės arba naudotojo agentas (paprastai paieškos sistema), kuriam žiniatinklio valdytojas nori pateikti naršymo instrukcijas. Yra techninis paieškos sistemų pavadinimai, pavyzdžiui, "Googlebot" - "Google" ir pan.

- Leisti (naudoja "Google") - tai naudinga sintaksė, leidžianti nurodyti "Google" robotui naršyti poaplankį arba puslapį, esantį bet kuriame pagrindiniame poaplankyje arba puslapyje, kuris gali būti uždraustas.

- Disallow - tai nurodymas žiniatinklio robotui neleisti pasiekti konkretaus URL adreso. Komanda neturėtų būti leidžiama du kartus bet kuriam URL adresui.

-Sitemap - Šią komandą gali naudoti bet kuris suderinamas vartotojo agentas, pavyzdžiui, "Yahoo", "Ask", "Bing" arba "Google", kad pagal URL rastų minėtų XML svetainės žemėlapių vietą.

Pastaba: Reguliarios išraiškos, pvz., dolerio ženklas ($) ir žvaigždutė (*), gali būti naudojamos SEO padėti "Bing" ir "Google" naudotojų agentams nustatyti pakatalogius arba puslapius. Čia * yra šablonų atitikimo sintaksė, apimanti visas galimas URL pabaigos parinktis, o * reiškia skirtingą simbolių seką ir veikia kaip paprastas pakaitinis simbolis.

Tai galima padaryti užblokuojant arba uždraudžiant žiniatinklio robotus, nurodant direktyvas, kad kiekvienas iš jų arba visi negalėtų pasiekti svetainės puslapio arba pakatalogio.

Štai keletas direktyvų, dažniausiai naudojamų robots.txt faile, kuriomis nurodomi naudotojų agentai arba žiniatinklio naršyklės;

1) leisti kiekvienam žiniatinklio naršyklės robotui rasti visą turinį

Sintaksė: Vartotojo agentas: * Neleisti:

2) Draudimas tam tikram žiniatinklio naršyklei pasiekti aplanką

Sintaksė: Vartotojo agentas: Uždrausti: /extra-subfolder/

(Pirmiau pateiktame nurodyme prašoma, kad "Google" naršyklė nesinaudotų jokiais vietovės www.site-name.com/extra-subfolder/ puslapiais)

3) Draudimas visiems žiniatinklio naršyklėms pasiekti bet kokį turinį

Sintaksė: Vartotojo agentas: * Neleisti: /

(Galite naudoti paprastą instrukciją kaip sprendimą Kaip blokuoti botus Robots txt?)

4) Draudimas tam tikram žiniatinklio naršyklei pasiekti konkretų tinklalapį

Sintaksė: Vartotojo agentas: Uždrausti: /extra-subfolder/useless-page.html

Populiarioji paieškos sistema naudoja daugybę voras programinė įranga, kuri sukasi visame žiniatinklyje ir skenuoja svetaines. Išskiriamos šios programos: "Googlebot", "Googlebot-images" (naudojama paveikslėliams) ir "Googlebot-news" (skirta indeksuoti ir pateikti naudotojams informaciją apie naujienas).

Naudokite teksto redaktorių, galintį sukurti standartinį UTF-8 teksto failą. Kurdami failą tekstų redaktoriumi, galite pridėti netikėtų simbolių, pavyzdžiui, suktąsias kabutes, ir įrašyti jį bet kokiu patentuotu formatu, dėl kurio naršyklėms gali kilti problemų suprasti instrukcijas. Nurodžius # simbolį arba ženklą, galima pridėti komentarų.

Pateikiame keletą pasiūlymų, kaip sukurti failą, skirtą "Google" naudotojų agentams;

1) Failas turi atitikti robotų pašalinimo standartą.

2) Jame gali būti viena ar daugiau taisyklių, leidžiančių arba blokuojančių nurodyto naršyklės naršo prieigą prie tam tikro svetainės kelio.

3) Tinklalapio administratorius turėtų žinoti beveik visas robots.txt failo sintakses, kad suprastų subtilų kiekvienos sintaksės elgesį.

4) Svetainėje negali būti daugiau nei vienas robots.txt failas.

5) Failas palaiko tiek subdomenus (pavyzdžiui, http://website.demo.com/robots.txt arba bet kokį nestandartinį prievadą, pavyzdžiui, (http://demo:8181/robots.txt).

6) Jei nežinote ar neturite prieigos prie savo svetainės šakninio aplanko, geriausia pasiekti prieglobos paslaugų teikėją, kad jis išsaugotų robots.txt failą. Jei negalite pasiekti svetainės šakninio katalogo, tuomet kaip alternatyvų blokavimo metodą naudokite metažymas.

7) Į robots.txt failą galima įtraukti daugiau nei vieną grupės direktyvą arba taisyklę (minima po vieną eilutėje).

8) Jis palaiko tik ASCII simbolius.

9) Grupėje pateikiama informacija apie tai, kam ji taikoma (naudotojo agentui) ir kokių visų failų ar katalogų agentas negali / gali pasiekti. Direktyvos apdorojamos iš viršaus į apačią. Interneto botas susietas tik su vienu taisyklių rinkiniu, kuris gali būti nurodytas atskirai arba yra pirmas.

10) Pagal numatytąją prielaidą robotas gali nuskaityti bet kurį katalogą ar puslapį naudodamas "Disallow:" sintaksę.

11) faile naudojamos direktyvos yra jautrios didžiosioms raidėms, pavyzdžiui, Disallow: /one.xml netaikomas ONE.xml.

12) Jis taikomas visai svetainės domenas, kurį sudaro https arba http protokolas.

Paprastai "Bing" ir "Google" naudotojų agentai naudojasi tam tikra direktyvų grupe, tačiau pagal nutylėjimą pirmenybė teikiama pirmosioms, sutampančioms taisyklėms, nes skirtingi paieškos sistemų interneto robotai skirtingai interpretuoja direktyvas.

Tinklalapių valdytojams taip pat siūloma savo robots.txt faile kuo dažniau nenaudoti "crawl-delay" sintaksės, kad sutrumpėtų bendras paieškos sistemų robotų naršymo laikas.

Galite pasinaudoti robots.txt testerio įrankiu, esančiu "Google" žiniatinklio valdytojo konsolė norėdami patikrinti, ar "Google" robotai gali nuskaityti URL adresą, kurį jau užblokavote savo paieškoje. Ji taip pat gali parodyti logines klaidas ir sintaksės įspėjimus, jei jų yra jūsų robots.txt. Galite jį redaguoti ir iš naujo išbandyti.

Kai viskas bus gerai, galėsite atlikti pakeitimus ir atnaujinti pagrindinį failą, esantį jūsų svetainės serveryje. Taip pat galite naudoti įvairius įrankius, kad iš anksto patikrintumėte, kaip paieškos sistema nuskaitys jūsų svetainės robots.txt.

Taip pat galite patikrinti, kaip jūsų svetainėje veikia robots.txt, naudodami funkciją "Blokuoti URL adresai", esančią "Naršymo" skyriuje, pateiktame kairiajame "Google" žiniatinklio valdytojo įrankiai. Tačiau ji gali nerodyti dabartinės ar atnaujintos robots.txt versijos, tačiau gali būti naudojama testavimo tikslais.

Pabandykite reguliariai tikrinti robots.txt failą naudodami bet kokį įrankį, ar viskas jame galioja ir ar failas veikia taip, kaip tikėtasi! Beje, paieškos sistemai gali prireikti daug dienų ar net kelių savaičių, kol ji, perskaičiusi robots.txt failą, nustatys neleistiną URL adresą ir panaikins jo indeksavimą.

Į failą įtraukus visus taisyklių rinkinius ir pavadinus jį robots.txt, jį reikia išsaugoti pagrindiniame arba šakniniame svetainės aplanke serveryje. Šakninio lygio aplankas gali būti "www" arba "htdocs", kuris padeda robots.txt rodyti šalia jūsų domeno pavadinimo.

Visada siūloma išlaikyti protingą robots.txt dydį, vengiant nepageidaujamų direktyvų paminėjimo faile. Taip yra todėl, kad dar prieš daugelį metų Johnas Muelleris iš "Google" paaiškino, kad "Googlebot" pasieks tik pirmuosius 500 kB robotas.txt failo. Milžiniškas failas gali būti sutrumpintas nepageidaujamu būdu ir suformuoti eilutę, kuri gali būti interpretuojama kaip neišsami taisyklė.

Jis taip pat žinomas kaip robotų pašalinimo protokolas arba robotų pašalinimo standartas, kurį svetainės naudoja bendravimui su interneto robotais arba naršyklėmis. Paieškos sistemos naudoja savo robotus, kad suskirstytų svetaines į kategorijas.

Tinklalapių valdytojai naudoja robots.txt failus, kad nurodinėtų arba nukreiptų tokius robotus, kaip geriau indeksuoti jų svetaines. Robots.txt failo nereikia, jei nenorite kontroliuoti naudotojų agentų prieigos prie bet kurios svetainės srities. Daugiau informacijos apie robots.txt galima rasti bet kurioje išplėstinėje temoje, pavyzdžiui, Kaip sukurti paieškos sistemos botą?

Kad paieškos sistemos būtų geriau reitinguojamos, geriausia SEO praktika yra leisti paieškos robotams lengvai pasiekti ir pasiekti jūsų svetainę. Mūsų svetainę paprastai sudaro daug nepageidaujamų puslapių, o kai paieškos sistemos robotai nuskaitys kiekvieną jūsų svetainės puslapį, tai tikrai užims daugiau laiko ir tai tikrai turės neigiamos įtakos jos reitingas.

"Google", nustatydama, kiek URL adresų ji nori arba gali nuskaityti, naudoja kiekvienos svetainės nuskaitymo biudžetą (skirstomą į dvi dalis - nuskaitymo spartos ribą ir nuskaitymo poreikį). Taigi, jei padedate tokiems robotams arba naudotojų agentams pasiekti ir indeksuoti tik vertingiausią jūsų svetainės turinį, robots.txt yra būtinas!

SEO specialistai niekada nenori, kad būtų užblokuoti svetainės skyriai ar turinys, kuriuos būtina nuskaityti.

- Tokioje paieškos sistemoje kaip "Google" gali būti keli naudotojų agentai, pvz., "Googlebot-Image" (vaizdų paieškai) ir "Googlebot" (organinei paieškai). Daug vartotojų agentų, priklausančių tai pačiai paieškos sistemai, gali vadovautis tomis pačiomis taisyklėmis, todėl daugelis tinklalapių valdytojų praleidžia nurodyti direktyvas kiekvienai iš šių paieškos sistemų. SEO specialistas gali tuo pasinaudoti nurodydamas skirtingus nurodymus kiekvienam iš naršyklių, net jei jos priklauso vienai paieškos sistemai, kad geriau kontroliuotų jų naršymo elgseną.

- Siekiant geresnio SEO, būtina, kad neleistinose nuorodose arba puslapiuose nebūtų jokių kitų nuorodų, kurias reikia sekti. Taigi, blokuojamas puslapis neturėtų perduoti nuorodų teisingumo į nuorodų paskirties vietą arba geriau naudoti bet kokį kitą blokavimo mechanizmą. Jie taip pat neturi būti susieti su kitais paieškos sistemoms prieinamais puslapiais, t. y. tinklalapiais, kurie nėra uždrausti metarobotų, robots.txt ar kt. Priešingu atveju svarbūs susieti ištekliai nebus pasiekiami ir indeksuojami paieškos sistemų.

- Geriausia robots.url URL adresą pateikti tiesiogiai "Google" po bet kokių atnaujinimų, atliktų faile, kad tikslinis naudotojo agentas jį greitai pasiektų. Paprastai paieškos sistema atnaujina talpyklos robots.txt turinį bent kartą per dieną.

Naudinga paminėti visų ar bet kurių svetainių žemėlapiai pagal svetainės domeną jos robots.txt failo apatinėje dalyje. Beje, svetainės žemėlapiai yra XML failai, kuriuose pateikiama išsami informacija apie svetainės puslapius, pvz., jų URL ir susiję metaduomenys, pvz., jų svarba, atnaujinimo intervalas ir paskutinis atnaujinimas.

Visą šią informaciją paieškos sistemų robotai gali naudoti, kad galėtų išmaniai naršyti svetainę. Taigi, tokiu būdu tinklalapių valdytojai gali padėti naudotojų agentams, palaikantiems svetainės žemėlapius, sužinoti ir pasiekti visus URL adresus iš svetainės žemėlapio ir sužinoti apie juos daugiau, kai jie atranda puslapius iš vienos nuorodos į kitą vienoje arba kitoje svetainėje.

Pavyzdžiui;

Naršyklės adresas: https://www.demo.com/robots.txt

Išvestis:

Vartotojo agentas: *

Neleisti: *.dl.html

Leisti: /*.html$

Svetainės struktūra: https://www.demo.com/en-au/sitemap.xml

Svetainės struktūra: https://www.demo.com/en-se/sitemap.xml

Svetainės struktūra: https://www.demo.com/en-us/sitemap.xml

(Aukščiau pateiktos direktyvos skirtos daugiau nei vienam svetainės žemėlapiui iškviesti per robots.txt failą.)

Robots.txt kelia pavojų saugumui, nes daugelis kenkėjiškų robotų negali juo vadovautis, taip pat juo galima naudotis norint sužinoti visas neleidžiamas nuorodas ir tiesiogiai jas pasiekti. Todėl kaip išeitį galite apsaugoti slaptažodžiu svetainės sritį, kurioje yra privataus turinio, kad įsilaužėlis negalėtų jos pasiekti net ir žinodamas jos vietą.

Norint pateikti slaptus duomenis iš indeksavimo arba gauti pasirodė SERP (tiesiogiai arba netiesiogiai, t. y. per patiko puslapius), tai geriausia naudoti bet kokį kitą metodą, o ne uždrausti tą patį iš robots.txt blokuoti puslapį. Tai gali būti arba neindeksavimo meta direktyvos, arba slaptažodžio apsaugos metodai.

WordPress paprastai savo svetainėms, kurių negalima matyti kataloge, tiesiogiai šakninėje šaknyje sukuria virtualų numatytąjį robots.txt failą. Taigi visada geriausia sukurti naują failą, kuris sutaptų su bet kokiais numatytaisiais nustatymais, ypač norint uždrausti prisijungimo ar registracijos puslapį, kuris paieškos sistemai nesvarbus!

Daugelis žmonių paprastai painiojasi, kaip pašalinti Robots txt WordPress ar kitose platformose. Tačiau procesas yra toks pat visiems! Robots.txt failą reikia išsaugoti aukščiausio lygio svetainės kataloge, t. y. šakniniame domene arba pagrindiniame kataloge, kad robotai galėtų lengvai jį rasti. Taigi, viskas, ko jums reikia, tai ištrinti failą tiesiai iš to konkretaus aplanko ar vietos.

Į robots.txt failą stenkitės neįtraukti nurodymų, kaip paslėpti konfidencialią naudotojo informaciją. Nes šis failas yra viešai prieinamas, jo nurodymus galima pamatyti šakninio domeno pabaigoje pridėjus /robots.txt.

Tokiu būdu kiekvienas gali sužinoti, kokius puslapius svetainės administratorius leido ar neleido naršyti visiems ar konkretiems interneto robotams. Failas turi būti išsaugotas tik su "robots.txt" pavadinimu, nes jis priklauso nuo mažųjų ir didžiųjų raidžių, todėl joks vartotojo agentas nepriims jokio kito derinio!

Galiausiai, gali būti, kad supainiojote x-robots, metarobotus ir robots.txt, kurie skamba panašiai. Tarp jų x-robots ir meta yra meta direktyvos, tačiau robots.txt yra teksto failas ir jie naudojami skirtingoms funkcijoms taikyti.

Tiksliau tariant, x-robots ir meta yra skirti nustatyti indeksavimo elgseną puslapio elemento (arba atskiro puslapio) lygmeniu, o robots.txt yra skirtas informacijai apie direktoriaus arba svetainės pusės naršymo elgseną pateikti.

Yra didesnė tikimybė, kad paieškos sistemų robotai gali geriau indeksuoti ir rodyti jūsų svetainės turinį SERP'e ir padaryti jį labiau matomą, nes skenuodami tą pačią svetainę gerai išnaudoja savo naršymo biudžetą. Naudodami robots.txt taip pat galite blokuoti automatiškai sukurtų "WordPress" žymų puslapių nuskaitymą ir užkirsti kelią bet kokiam besidubliuojančiam turiniui.

Apskritai, reikia labai atsargiai spręsti, ką įtraukti į robots.txt failą. Juk dėl nedidelės klaidos robots.txt faile visa jūsų svetainė gali būti deindeksuota.