Kuinka käyttää Robots txt:tä SEO:ssa

Aina kun lähdemme tutkimaan uutta paikkaa, tarvitsemme opastusta mukavuuden ja ajan säästämiseksi! Samalla tavalla tällaiset verkkorobotit of Kaikki hakukoneet käyttävät Robots.txt-tiedostoa saadakseen käsityksen siitä, miten tietyn verkkosivuston sivut indeksoidaan.

Muuten, käyttäytymistä tällaisten indeksoijien liikkua ympäriinsä internet, käyttää, indeksoida ja tarjota sisältöä kohdennetuille käyttäjille. ovat perustuu ryhmään verkkostandardeja, jotka tunnetaan nimellä REP tai Robots exclusion protocol, johon kuuluu myös robots.txt.

Osoitteessa yksinkertaisella tavalla voimme ymmärtää ja muistaa robots.txt:n kahden termin Robot ja Txt sekoituksena. Se on siis txt- tai tekstitiedosto, joka on tarkoitettu käytettäväksi web-robottien mahdollisissa hakukoneissa.

Se voi myös auttaa webmastereita, jos sivusto voi hallita käyttäjäagentin indeksointikäyttäytymistä, mutta se on tehtävä huolellisesti, sillä tärkeiden tai kaikkien tärkeiden tai kaikkien sivut sivuston hakukoneesta, kuten Googlesta, voi olla erittäin vaarallista.

Verkkosivuston ylläpitäjät voivat käyttää robots.txt-tiedostoa ohjeistaakseen verkkokorjausohjelmistoja tai käyttäjäagentteja antamaan seuraavat ohjeet mitä kaikki sivuston osat indeksoida ja mitä ei. Se voidaan tehdä käyttämällä robots.txt-tiedoston sisällä olevia "allow"- tai "disallow"-ohjeita joillekin tai kaikille indeksoijille.

Hakukone vastaa pääasiassa kahdesta päätehtävästä saadakseen työnsä tehtyä. Ensimmäinen tehtävä on löytää sisältöä verkosta indeksoimalla ja indeksoimalla päivitykset. Seuraavana tehtävänä on etsiä siihen liittyvää tietoa sen indeksoitu hakemiston avulla oikean sisällön tarjoamiseksi hakukyselyn mukaan.

Mitä Robots txt on?

Hakukoneet seuraavat linkkejä ja siirtyä verkkosivustolta toiselle, prosessia kutsutaan myös nimellä "spidering". Aina kun botti tai indeksoijapalvelin saavuttaa uuden verkkosivuston, se etsii ensin robots.txt-tiedoston ennen kuin se alkaa tutkia samaa sivustoa. Jos se saa sellaisen, se lukee sen saadakseen tietoa siitä, miten verkkosivua voi indeksoida, erityisesti mitä käyttää ja mitä ei! Jos robots.txt-tiedostoa ei ole, käyttäjäagentit voivat alkaa indeksoida muita verkkosivustolla olevia tietoja.

Tiedoston on koostuttava vähintään seuraavista kahdesta osasta;

User-agent: (Käyttäjäagentin nimi)

Disallow: (URL-merkkijono, jota ei saa indeksoida)

Edellä mainittuja kahta riviä voidaan yhdessä pitää erillisenä user-agent-direktiivien joukkona, ja ne erotetaan muista joukoista rivinvaihdolla (/).

Jos tiedostossa on määritetty yksi sääntö useammalle kuin yhdelle käyttäjäagentille, indeksointilaite lukee ja noudattaa ensin niitä ohjeita, jotka on mainittu erillisessä ohjeiden ryhmässä.

Kuka tahansa voi tarkastella verkkosivustolla olevan robots.txt-tiedoston sisältöä yksinkertaisesti selainmenetelmällä.

Sinun on lisättävä robots.txt-tiedosto pääasiallisen URL kuten https://demo.com/robots.txt tai sen aliverkkotunnus kuten https://shop.demo.com/robots.txt.

On pakollista, että robots.txt-tiedoston on oltava käytettävissä pääverkkotunnuksen jälkeen. Voit siis mainita saman selaimessa.

Jos tulosteessa ei ole .txt-sivua, se tarkoittaa, että sivustolla ei ole tällä hetkellä (live)robots.txt-sivua.

Juuri verkkotunnukselle (demo.com/robots.txt) ja sen jokaiselle aliverkkotunnukselle pitäisi olla erilliset robots.txt-tiedostot(blogi.demo.com/robots.txt).

Kaikkien tiedostossa olevien ohjeiden on oltava luettavissa ylhäältä alas joko ihmisen tai minkä tahansa ohjelmistobotin toimesta! Voi olla mahdollista, että robotti tai käyttäjäagentti ei lue verkkosivuston robots.txt-tiedostoa. Se on yleensä mahdollista sähköpostiosoitteiden raaputtajien tai haittaohjelmarobottien tyyppisten häijyjen indeksoijien kohdalla.

Robots.txt-tiedoston käyttämisestä verkkosivustolla on monia etuja. Tällaisia ovat mm;

- Kysyä hakukoneet tee ei indeksoi tiettyjä tiedostoja, kuten PDF-tiedostoja, kuvia jne. verkkosivustollasi. Meta-direktiivejä voidaan myös käyttää vaihtoehtona robots.txt-tiedostolle sivujen indeksoinnin välttämiseksi, mutta ne eivät toimi resurssitiedostojen kohdalla.

- Verkkovastaava voi varmistaa verkkosivuston tehokkaan indeksoinnin tarjoamalla hyödyllisiä tietoja. vinkkejä sen boteille.

- Jotta hakukoneet eivät näyttäisi sisäistä hakua tulossivu julkisessa SERP:ssä.

- Estämällä tietyt merkityksettömät tai tarpeettomat verkkosivut voit maksimoida indeksointibudjettisi tarvittaviin sivuihin.

- Käytetään meta-robottien tavoin, jotta vältetään päällekkäisen sisällön näkyminen SERP-listoilla.

- Voit käyttää sen apua indeksoimatta verkkosivustosi sisäisiä hakutuloksia tai rikkinäisiä verkkosivuja.

- Verkkopalvelimien ylikuormituksen estämiseksi, joka on mahdollista, kun indeksoijat ovat lataa useita sisältöjä kerrallaan lisäämällä jonkin verran ryömintäviivettä.

- Jos et halua, että ihmiset laskeutuvat millekään sivulle, joka on vielä vaiheessa, se voi vaikuttaa erityisesti verkkosivuston ensikertalaisen vaikutelmaan.

- Jotta käyttäjäagentit pääsisivät helposti paikalleen sivukartta(s).

Verkkopalvelun ylläpitäjä voi pitää verkkosivuston tietyn osan (erityisesti rakenteilla olevan tai keskeneräisen) täysin salassa indeksoivilta boteilta.

Robots.txt-tiedosto on luotava, jos indeksoitujen URL-osoitteiden määrä ylittää odotukset.

Se on paras käyttää mitä tahansa tekstieditoria, kuten notepadia tai wordpadia, yksinkertaisen tekstitiedoston luomiseen, joka on yhteensopiva sääntöjen kanssa robots.txt-tiedoston tekemiseksi.

Sisällytä vain perusdirektiivit kuten "User agent:" ja "Disallow: /" luodaksesi perustiedoston verkkosivustolle.

Kuka tahansa voi sisällyttää säännöt noudattamalla yhteensopivaa syntaksia robots.txt-tiedostossa.

Paras tapa on luoda ensin sivustosi sivustokartat ja sisällyttää niiden URL-osoitteet alareunaan, jotta se olisi tehokkaampi.

Yleiset termit, joita käytetään robots.txt-tiedoston sisällä, ovat:

- Ryömintäviive - Se osoittaa, kuinka kauan tietyn indeksoijan on odotettava ennen kuin se pääsee käsiksi sivun sisältöön. Komento ei toimi Googlebotin kohdalla, mutta crawl hinta voidaan asettaa Google Search Console -palvelusta saman tehtävän suorittamiseksi.

- Käyttäjäagentti - Siinä mainitaan tietty indeksointiohjelma tai käyttäjäagentti (yleensä hakukone), jolle webmaster haluaa antaa indeksointiohjeita. On olemassa tekninen hakukoneiden nimet, kuten Googlebot Googlelle ja niin edelleen.

- Salli (Googlen käyttämä) - Tämä on hyödyllinen syntaksi, jolla voit antaa Googlebotille ohjeen tutkia alikansiota tai sivua, joka on minkä tahansa vanhemman alikansion tai sivun sisällä, joka on mahdollisesti kielletty.

- Disallow - Sen avulla verkkobotti ei saa käyttää tiettyä URL-osoitetta. Komentoa ei saa sallia kahdesti millekään URL-osoitteelle.

-Sitemap - Mikä tahansa yhteensopiva käyttäjäagentti, kuten Yahoo, Ask, Bing tai Google, voi käyttää tätä komentoa löytääkseen URL-osoitteen perusteella mainittujen XML-sitemappien sijainnin.

Huomautus: Säännöllisiä lausekkeita, kuten dollarimerkkiä ($) ja tähteä (*), voidaan käyttää seuraavasti SEO auttaa Bingin ja Googlen käyttäjäagentteja tunnistamaan alikansiot tai sivut. Tässä * on kuvion täsmäytyssyntaksi, joka kattaa kaikki mahdolliset URL-osoitteen lopetusvaihtoehdot, ja * edustaa erilaista merkkijonoa, joka toimii yksinkertaisena jokerimerkkinä.

Se voidaan tehdä estämällä tai kieltämällä verkkobotit määrittämällä direktiivit, joiden mukaan kukin tai kaikki eivät saa käyttää verkkosivuston sivua tai alikansiota.

Seuraavassa on joitakin direktiivejä, joita käytetään yleisesti robots.txt-tiedostossa ohjeistamaan käyttäjäagentteja tai indeksoijia;

1) Jokaisen indeksoijan on mahdollista löytää kaikki sisältö.

Syntaksi: User-agent: * Disallow:

2) Tietyn indeksoijan pääsyn estäminen kansioon.

Syntaksi: User-agent: Googlebot Disallow: /extra-subfolder/

(Yllä oleva ohje pyytää Googlen indeksoijia olemaan käyttämättä sijainnin www.site-name.com/extra-subfolder/ sivuja).

3) Estetään kaikkien indeksoijien pääsy mihin tahansa sisältöön.

Syntaksi: User-agent: * Disallow: /

(Voit käyttää yksinkertaista ohjetta ratkaisuna kysymykseen Miten estää botit Robots txt?)

4) Tietyn indeksoijan kieltäminen pääsemästä tietylle verkkosivulle.

Syntaksi: User-agent: Googlebot Disallow: /extra-subfolder/useless-page.html

Suosittu hakukone käyttää monia hämähäkki ohjelmisto, joka pyörii ympäri verkkoa ja skannaa verkkosivustoja. Niistä korostuvat Googlebot, Googlebot-images (käytetään kuviin) ja Googlebot-news (indeksoi ja tarjoaa käyttäjille tietoa uutisista).

Käytä tekstinkäsittelyohjelmaa, joka voi luoda UTF-8-standardin mukaisen tekstitiedoston. Tiedoston luominen tekstinkäsittelyohjelmalla saattaa lisätä siihen odottamattomia merkkejä, kuten lainausmerkit, ja se voi tallentaa sen johonkin omaan muotoon, joka saattaa aiheuttaa ongelmia indeksoijille ohjeiden ymmärtämisessä. Kommentteja voidaan lisätä #-merkin tai -merkin määrittämisen jälkeen.

Seuraavassa on joitakin ehdotuksia tiedoston luomiseksi erityisesti Googlen käyttäjäagentteja varten;

1) Tiedoston on noudatettava Robots Exclusion Standard -standardia.

2) Se voi sisältää yhden tai useamman säännön, joilla sallitaan tai estetään määritellyn indeksoijan pääsy sivuston tiettyyn polkuun.

3) Verkkovastaavan tulisi tuntea lähes kaikki robots.txt-tiedoston syntaksit ymmärtääkseen kunkin syntaksin hienovaraisen käyttäytymisen.

4) Sivustolla ei voi olla useampaa kuin yhtä robots.txt-tiedostoa.

5) Tiedosto tukee sekä aliverkkotunnuksia (kuten http://website.demo.com/robots.txt tai mitä tahansa epästandardia porttia kuten (http://demo:8181/robots.txt).

6) Jos et tiedä tai sinulla ei ole pääsyä verkkosivustosi juurikansioon, on parasta tavoittaa web-hosting-palveluntarjoaja pitämään robots.txt-tiedosto saman tiedoston sisällä. Jos et pääse verkkosivuston juurikansioon, käytä metatunnisteita vaihtoehtoisena estomenetelmänä.

7) Robots.txt-tiedostoon voidaan sisällyttää useampi kuin yksi ryhmädirektiivi tai sääntö (yksi per rivi).

8) Se tukee vain ASCII-merkkejä.

9) Ryhmä antaa tietoa siitä, ketä se koskee (käyttäjäagentti) ja mitä kaikkia tiedostoja tai hakemistoja agentti ei voi/voi käyttää. Direktiivit käsitellään ylhäältä alaspäin. Verkkobotti liittyy vain yhteen sääntöjoukkoon, joka voidaan määrittää erikseen tai joka tulee ensin.

10) Oletusarvona on, että botti voi indeksoida minkä tahansa hakemiston tai sivun "Disallow:" -syntaksilla.

11) Tiedostossa käytetyt direktiivit ovat isojen ja pienten kirjainten välisiä, kuten Disallow: /one.xml ei koske ONE.xml-tiedostoa.

12) Se koskee koko verkkosivuston verkkotunnus, joka koostuu joko https- tai http-protokolla.

Yleensä Bingin ja Googlen käyttäjäagentit käyttävät tiettyä direktiiviryhmää, mutta oletusarvoisesti ensimmäiset, yhteensopivat säännöt ovat suositeltavampia, koska eri hakukoneiden verkkobotit tulkitsevat direktiivejä eri tavalla.

Verkkomestareille suositellaan myös, että he välttäisivät mahdollisimman paljon crawl-delay-syntaksin käyttöä robots.txt-tiedostossaan, jotta hakukoneen bottien kokonaiskierrosaika lyhenisi.

Voit käyttää robots.txt Tester -työkalua, joka on saatavilla osoitteessa Googlen webmaster-konsoli tarkistaa, pystyykö Googlen botti indeksoimaan URL-osoitteen, jonka olit jo estänyt sen hausta. Se voi myös näyttää logiikkavirheet ja syntaksia koskevat varoitukset, jos robots.txt-tiedostossasi on niitä. Voit muokata sitä ja testata sen uudelleen.

Kun kaikki on kunnossa, voit käsitellä muutoksia ja päivittää verkkosivustosi palvelimella sijaitsevan päätiedoston. Samoin voit käyttää erilaisia työkaluja tarkistaaksesi etukäteen hakukoneen indeksointikäyttäytymisen luettuasi verkkosivustosi robots.txt-tiedoston.

Voit myös tarkistaa, miten sivustosi robots.txt-tiedosto toimii käyttämällä "Estetyt URL-osoitteet"-ominaisuutta, joka on sivuston vasemmassa osassa olevan "Crawl"-osion sisällä. Google Webmasterin työkalut. Se ei kuitenkaan välttämättä näytä robots.txt:n nykyistä tai päivitettyä versiota, mutta sitä voidaan käyttää testaamiseen.

Yritä säännöllisesti tarkistaa robots.txt-tiedostosi millä tahansa työkalulla siitä, onko kaikki siinä oikein ja toimiiko tiedosto odotetulla tavalla! Muuten, saattaa kestää useita päiviä tai jopa muutamia viikkoja, ennen kuin hakukone tunnistaa kielletyn URL-osoitteen lukemalla sen robots.txt-tiedostosta ja poistaa sen indeksoinnin.

Kun olet sisällyttänyt kaikki sääntökokonaisuudet tiedostoon ja nimennyt sen robots.txt:llä, se on tallennettava palvelimen verkkosivuston pää- tai juurikansioon. Juuritason kansio voi olla "www" tai "htdocs", joka auttaa robots.txt-tiedostoa näkymään verkkotunnuksen nimen vieressä.

On aina suositeltavaa pitää robots.txt-tiedoston koko kohtuullisena välttämällä ei-toivottujen direktiivien mainitsemista tiedostossa. Tämä johtuu siitä, että jo vuosia aiemmin Googlen John Mueller on selventänyt, että Googlebot käyttää vain robotti.txt-tiedoston ensimmäisiä 500kB:n osia. Jättimäinen tiedosto voidaan katkaista ei-toivotulla tavalla riviksi, joka saatetaan tulkita epätäydelliseksi säännöstöksi.

Se tunnetaan myös nimellä Robots exclusion protocol tai robots exclusion standard, jota verkkosivut käyttävät kommunikoidakseen verkkorobottien tai indeksoijien kanssa. Hakukoneet käyttävät robottejaan verkkosivustojen luokitteluun.

Verkkomestarit käyttävät robots.txt-tiedostoja ohjeistamaan tai opastamaan näitä robotteja, jotta heidän verkkosivustonsa indeksoitaisiin paremmin. Et tarvitse robots.txt-tiedostoa, jos et halua valvoa käyttäjien pääsyä verkkosivustosi millekään alueelle. Lisätietoja robots.txt-tiedostosta löytyy mistä tahansa edistyneestä aiheesta, kuten How to Create a Search Engine Bot?

Parempien hakukoneiden sijoitusten saavuttamiseksi on parasta SEO-käytäntöä sallia indeksoijien päästä sivustollesi helposti. Sivustomme koostuu yleensä paljon ei-toivottuja sivuja kuin odotuksemme, ja kun hakukoneiden botit indeksoivat sivustosi jokaisen sivun, se vie varmasti enemmän aikaa, ja tämä varmasti vaikuttaa kielteisesti sen laatuun. ranking.

Google käyttää jokaisen verkkosivuston indeksointibudjettia (joka on jaettu kahteen osaan, indeksointinopeusrajaan ja indeksointitarpeeseen) päättääkseen, kuinka monta URL-osoitetta se haluaa tai voi skannata. Jos siis autat tällaisia botteja tai käyttäjäagentteja pääsemään käsiksi ja indeksoimaan vain verkkosivustosi arvokkaimman sisällön, robots.txt-tiedosto on välttämätön!

SEO ei koskaan halua, että verkkosivuston osioita tai sisältöä estetään, koska se on välttämätöntä indeksoida.

- Googlen kaltaisella hakukoneella voi olla useita käyttäjäagentteja, kuten Googlebot-Image (kuvien etsimiseen) ja Googlebot-Image (kuvien etsimiseen). Googlebot (orgaanisessa haussa). Monet samaan hakukoneeseen kuuluvat käyttäjäagentit voivat noudattaa samoja sääntöjä, joten monet webmasterit jättävät määrittelemättä direktiivejä kullekin näistä indeksoijista. SEO voi hyödyntää tätä mainitsemalla erilaiset ohjeet jokaiselle indeksoijalle, vaikka ne kuuluisivatkin yhteen hakukoneeseen, jotta niiden indeksointikäyttäytymistä voidaan hallita paremmin.

- SEO:n parantamiseksi on välttämätöntä, että kielletyt linkit tai sivut eivät saa sisältää muita linkkejä, joita on seurattava. Estetty sivu ei siis saisi välittää linkkipääomaa linkin määränpäähän tai on parempi käyttää jotain muuta estomekanismia. Niitä ei myöskään saa linkittää muihin hakukoneiden käytettävissä oleviin sivuihin eli verkkosivuihin, joita ei ole kielletty metarobotilla, robots.txt:llä tai muulla tavoin. Muuten hakukoneet eivät pääse käsiksi tärkeisiin linkitettyihin resursseihin eivätkä indeksoi niitä.

- Robots.url URL-osoite on parasta lähettää suoraan Googleen tiedoston päivitysten jälkeen, jotta kohteena oleva käyttäjäagentti pääsee siihen nopeasti käsiksi. Yleensä hakukone päivittää välimuistiin tallennetun robots.txt-tiedoston sisällön vähintään kerran päivässä.

On hyvä mainita kaikkien tai minkä tahansa muun kuin sitemaps sivuston verkkotunnuksen perusteella sen robots.txt-tiedoston alaosassa. Sivukartat ovat muuten XML-tiedostoja, jotka sisältävät yksityiskohtaisia tietoja verkkosivuston sivuista, kuten niiden URL-osoitteet ja niihin liittyvät metatiedot, kuten niiden tärkeys, päivitysväli ja viimeinen päivitys.

Hakukoneiden botit voivat käyttää kaikkia näitä tietoja älykkäästi verkkosivujen selaamiseen. Tällä tavoin webmasterit voivat auttaa sitemappeja tukevia käyttäjäagentteja tuntemaan ja käyttämään kaikkia URL-osoitteita sitemapista ja saamaan niistä enemmän tietoa, kun he etsivät sivuja linkistä toiseen yhden tai toisen sivuston sisällä tai toiselta sivustolta.

Esimerkiksi;

Selaimen osoite: https://www.demo.com/robots.txt

Lähtö:

Käyttäjäagentti: *

Poista käytöstä: *.dl.html

Sallikaa: /*.html$

Sivukartta: https://www.demo.com/en-au/sitemap.xml

Sivukartta: https://www.demo.com/en-se/sitemap.xml

Sivukartta: https://www.demo.com/en-us/sitemap.xml

(Yllä olevilla ohjeilla voidaan kutsua useampaa kuin yhtä sitemapsia robots.txt-tiedoston kautta.)

Robots.txt-tiedostoon liittyy tietoturvariskejä, koska monet pahantahtoiset botit eivät voi seurata sitä, ja sitä voidaan käyttää tietämään kaikki kielletyt linkit ja käyttämään niitä suoraan. Ratkaisuna voit siis suojata salasanalla verkkosivustosi yksityistä sisältöä sisältävän alueen, jotta tunkeilija ei pääse siihen käsiksi, vaikka tietäisi sen sijainnin.

Jos haluat esittää arkaluonteisia tietoja indeksoinnista tai saada ne näkyviin SERP-listalla (joko suoraan tai epäsuorasti eli pidettyjen sivujen kautta), on parasta käyttää jotain muuta menetelmää kuin kieltää sama robots.txt:stä sivun estämiseksi. Se voi olla joko no index meta -direktiivi tai salasanasuojausmenetelmät.

WordPress tekee yleensä virtuaalisen oletusarvoisen robots.txt-tiedoston juuressa suoraan sivustoilleen, joita ei voi nähdä hakemistossa. Joten on aina parasta luoda uusi tiedosto, joka on päällekkäinen kaikkien oletusasetusten kanssa, erityisesti kieltää kirjautumis- tai rekisteröitymissivu, jolla ei ole merkitystä hakukoneelle!

Monet ihmiset ovat yleensä hämmentyneitä siitä, miten poistaa Robots txt WordPressissä tai muilla alustoilla. Prosessi on kuitenkin sama kaikille! Robots.txt-tiedosto on tallennettava verkkosivuston ylimmän tason hakemistoon eli pääverkkotunnukseen tai päähakemistoon, jotta botit löytävät sen helposti. Sinun tarvitsee siis vain poistaa tiedosto suoraan kyseisestä kansiosta tai sijainnista.

Yritä olla sisällyttämättä robots.txt-tiedostoon ohjeita luottamuksellisten käyttäjätietojen piilottamiseksi. Se johtuu siitä, että tiedosto on julkisesti saatavilla oleva tiedosto, ja sen ohjeet voi nähdä lisäämällä /robots.txt pääverkkotunnuksen loppuun.

Tällä tavoin kuka tahansa voi saada tietää, mitä kaikkia sivuja sivuston ylläpitäjä sallii kaikkien tai tiettyjen verkkobottien indeksoida tai olla indeksoimatta. Tiedosto on tallennettava vain nimellä "robots.txt", koska se on suur- ja pienaakkoset huomioiva, joten mikään käyttäjäagentti ei hyväksy muita yhdistelmiä!

Lopuksi, saatat olla hämmentynyt x-robotsin, meta robotsin ja robots.txt:n välillä, jotka kuulostavat samankaltaisilta termeiltä. Niistä x-robots ja meta ovat meta-direktiivejä, mutta robots.txt on tekstitiedosto, ja niitä käytetään eri toimintojen soveltamiseen.

Tarkemmin sanottuna x-robots ja meta määrittelevät indeksointikäyttäytymisen sivuelementtien (tai yksittäisten sivujen) tasolla, kun taas robots.txt-tiedoston tarkoituksena on todistaa tiedot ohjaajan tai sivuston indeksointikäyttäytymisestä.

On suurempi mahdollisuus, että hakukoneen botit voivat indeksoida ja näyttää sivustosi sisällön SERPs paremmalla tavalla ja tehdä siitä näkyvämmän käyttämällä sen indeksointibudjettia hyvin skannatessaan samaa sivustoa. Käyttämällä robots.txt-tiedostoa voidaan myös estää automaattisesti luotujen WordPress-tunnistesivujen indeksointi ja estää kaksoissisällön lisääntyminen.

Kaiken kaikkiaan sinun on oltava hyvin varovainen, kun käsittelet robots.txt-tiedoston sisältöä. Loppujen lopuksi pieni virhe robots.txt-tiedostossa voi johtaa siihen, että koko verkkosivustosi poistetaan indeksistä.