Ето някои предложения за създаване на файла, специално за потребителските агенти на Google;
1) Файлът трябва да отговаря на стандарта за изключване на роботи.
2) Тя може да включва едно или повече правила за разрешаване или блокиране на достъпа на определен ползувател до определен път на сайта.
3) Уебмастърът трябва да е запознат с почти всички синтаксиси на файла robots.txt, за да разбере финото поведение на всеки синтаксис.
4) Сайтът не може да има повече от един файл robots.txt.
5) Файлът поддържа както поддомейни (като http://website.demo.com/robots.txt, така и нестандартен порт като (http://demo:8181/robots.txt).
6) Ако не знаете или нямате достъп до главната папка на уебсайта си, най-добре е да се обърнете към доставчика на хостинг услуги, за да запази файла robots.txt в нея. В случай че нямате достъп до главната папка на уебсайта, тогава използвайте мета тагове като алтернативен метод за блокиране.
7) Във файла robots.txt могат да бъдат включени повече от една групови директиви или правила (споменати по едно на ред).
8) Той поддържа само ASCII символи.
9) Групата предоставя информация за това за кого се прилага (потребителски агент) и кои са всички файлове или директории, до които агентът няма/може да има достъп. Директивите се обработват отгоре надолу. Уеб ботът се асоциира само с един набор от правила, който може да бъде посочен отделно или да е на първо място.
10) Според предположението по подразбиране ботът може да обхожда всяка директория или страница чрез синтаксиса "Disallow:".
11) Директивите, използвани във файла, се различават по големина на буквите, като например Disallow: /one.xml не се прилага за ONE.xml.
12) Прилага се за целия домейн на уебсайт, състоящ се от https или http протокол.
Обикновено потребителските агенти на Bing и Google работят с определена група директиви, но по подразбиране се предпочитат първо правилата за съвпадение, тъй като различните уеб ботове на търсачките тълкуват директивите по различен начин.
Също така се препоръчва на уебмастърите да избягват използването на синтаксиса crawl-delay в своя файл robots.txt, за да намалят общото време за обхождане на ботовете на търсачките.