Seuraavassa on joitakin ehdotuksia tiedoston luomiseksi erityisesti Googlen käyttäjäagentteja varten;
1) Tiedoston on noudatettava Robots Exclusion Standard -standardia.
2) Se voi sisältää yhden tai useamman säännön, joilla sallitaan tai estetään määritellyn indeksoijan pääsy sivuston tiettyyn polkuun.
3) Verkkovastaavan tulisi tuntea lähes kaikki robots.txt-tiedoston syntaksit ymmärtääkseen kunkin syntaksin hienovaraisen käyttäytymisen.
4) Sivustolla ei voi olla useampaa kuin yhtä robots.txt-tiedostoa.
5) Tiedosto tukee sekä aliverkkotunnuksia (kuten http://website.demo.com/robots.txt tai mitä tahansa epästandardia porttia kuten (http://demo:8181/robots.txt).
6) Jos et tiedä tai sinulla ei ole pääsyä verkkosivustosi juurikansioon, on parasta tavoittaa web-hosting-palveluntarjoaja pitämään robots.txt-tiedosto saman tiedoston sisällä. Jos et pääse verkkosivuston juurikansioon, käytä metatunnisteita vaihtoehtoisena estomenetelmänä.
7) Robots.txt-tiedostoon voidaan sisällyttää useampi kuin yksi ryhmädirektiivi tai sääntö (yksi per rivi).
8) Se tukee vain ASCII-merkkejä.
9) Ryhmä antaa tietoa siitä, ketä se koskee (käyttäjäagentti) ja mitä kaikkia tiedostoja tai hakemistoja agentti ei voi/voi käyttää. Direktiivit käsitellään ylhäältä alaspäin. Verkkobotti liittyy vain yhteen sääntöjoukkoon, joka voidaan määrittää erikseen tai joka tulee ensin.
10) Oletusarvona on, että botti voi indeksoida minkä tahansa hakemiston tai sivun "Disallow:" -syntaksilla.
11) Tiedostossa käytetyt direktiivit ovat isojen ja pienten kirjainten välisiä, kuten Disallow: /one.xml ei koske ONE.xml-tiedostoa.
12) Se koskee koko verkkosivuston verkkotunnus, joka koostuu joko https- tai http-protokolla.
Yleensä Bingin ja Googlen käyttäjäagentit käyttävät tiettyä direktiiviryhmää, mutta oletusarvoisesti ensimmäiset, yhteensopivat säännöt ovat suositeltavampia, koska eri hakukoneiden verkkobotit tulkitsevat direktiivejä eri tavalla.
Verkkomestareille suositellaan myös, että he välttäisivät mahdollisimman paljon crawl-delay-syntaksin käyttöä robots.txt-tiedostossaan, jotta hakukoneen bottien kokonaiskierrosaika lyhenisi.