Siin on mõned soovitused faili loomiseks spetsiaalselt Google'i kasutajavahenditele;
1) Fail peaks järgima robotite välistamise standardit.
2) See võib sisaldada ühte või mitut reeglit, mis lubavad või blokeerivad määratud roomikute juurdepääsu veebilehe konkreetsele teele.
3) Veebimeister peaks tundma peaaegu kõiki robots.txt faili süntaksiid, et mõista iga süntaksi peent käitumist.
4) Saidil ei tohi olla rohkem kui üks robots.txt fail.
5) Faili toetab nii alamdomeene (nagu http://website.demo.com/robots.txt või mis tahes mittestandardne port nagu (http://demo:8181/robots.txt).
6) Kui te ei tea või kellel on juurdepääs oma veebisaidi juurkaustale, siis on kõige parem pöörduda veebimajutusteenuse pakkuja poole, et hoida robots.txt faili sees. Juhul, kui te ei saa juurdepääsu veebisaidi juurkataloogile, siis kasutage alternatiivse blokeerimismeetodina metatähiseid.
7) Robots.txt-faili võib lisada rohkem kui ühe grupi direktiive või reegleid (mainitud üks rea kohta).
8) See toetab ainult ASCII-märke.
9) Rühm annab teavet selle kohta, kelle suhtes seda kohaldatakse (kasutajaagent) ja milliseid faile või katalooge agent ei saa/võib kasutada. Direktiive töödeldakse ülevalt alla. Veebibot on seotud ainult ühe reeglikogumiga, mida saab eraldi määrata või mis tuleb esimesena.
10) Vaikimisi eelduse kohaselt saab bot crawlida mis tahes kataloogi või lehekülje "Disallow:" süntaksiga.
11) Failis kasutatavad direktiivid on suur- ja väiketähtedest sõltuvad, nagu näiteks Disallow: /one.xml ei kehti faili ONE.xml kohta.
12) See kehtib kogu veebisaidi domeen, mis koosneb kas https või http protokoll.
Tavaliselt kasutavad Bingi ja Google'i kasutajaagendid kindlat gruppi direktiive, kuid vaikimisi eelistatakse esmalt sobivaid reegleid, kuna erinevad otsingumootorite veebibotid tõlgendavad direktiive erinevalt.
Samuti soovitatakse veebimeistritel vältida robots.txt failis võimalikult palju crawl-delay süntaksi kasutamist, et vähendada otsingumootorite robotite koguaega.