Šeit ir sniegti daži ieteikumi par faila izveidi īpaši Google lietotāja aģentiem;
1) Failam jāatbilst robotu izslēgšanas standartam.
2) Tas var ietvert vienu vai vairākus noteikumus, lai atļautu vai bloķētu norādītā pārlūka piekļuvi noteiktam vietnes ceļam.
3) Tīmekļa vietnes administratoram ir jāpārzina gandrīz visas robots.txt faila sintakses, lai izprastu katras sintakses smalko uzvedību.
4) Vietnei nedrīkst būt vairāk nekā viens robots.txt fails.
5) fails atbalsta gan apakšdomēnus (piemēram, http://website.demo.com/robots.txt vai jebkuru nestandarta portu, piemēram, (http://demo:8181/robots.txt).
6) Ja nezināt vai jums nav piekļuves jūsu vietnes saknes mapei, tad vislabāk ir sazināties ar tīmekļa hostinga pakalpojumu sniedzēju, lai tajā saglabātu robots.txt failu. Ja jums nav piekļuves vietnes saknes mapei, tad kā alternatīvu bloķēšanas metodi izmantojiet meta tagus.
7) Robots.txt failā var iekļaut vairāk nekā vienu grupas direktīvu vai noteikumu (katrā rindā pa vienam).
8) Tas atbalsta tikai ASCII rakstzīmes.
9) Grupa sniedz informāciju par to, kam tā ir piemērota (lietotāja aģents) un kādiem visiem failiem vai direktorijiem aģents nevar/var piekļūt. Direktīvas tiek apstrādātas no augšas uz leju. Tīmekļa robots ir saistīts tikai ar vienu noteikumu kopu, ko var norādīt atsevišķi vai kas nāk pirmais.
10) Saskaņā ar noklusējuma pieņēmumu robots var pārmeklēt jebkuru direktoriju vai lapu, izmantojot "Disallow:" sintaksi.
11) Failā izmantotās direktīvas ir atkarīgas no mazo un lielo burtu lieluma, piemēram, Disallow: /one.xml neattiecas uz ONE.xml.
12) Tas attiecas uz pilnu tīmekļa vietnes domēns, kas sastāv no https vai http protokols.
Parasti Bing un Google lietotāja aģenti izmanto konkrētu direktīvu grupu, bet pēc noklusējuma priekšroka tiek dota pirmajiem, saskaņošanas noteikumiem, jo dažādi meklētājprogrammu tīmekļa roboti interpretē direktīvas atšķirīgi.
Tīmekļa vietņu administratoriem tiek arī ieteikts pēc iespējas izvairīties no crawl-delay sintakses lietošanas robots.txt failā, lai samazinātu kopējo meklētājprogrammu robotu pārlūkošanas laiku.