Berikut ini beberapa saran untuk membuat file terutama untuk agen pengguna Google;
1) File harus mengikuti Standar Pengecualian Robot.
2) Ini dapat menyertakan satu atau lebih aturan untuk mengizinkan atau memblokir akses ke crawler yang ditentukan ke jalur tertentu dari suatu situs.
3) Seorang webmaster harus terbiasa dengan hampir semua sintaks file robots.txt untuk memahami perilaku halus dari setiap sintaks.
4) Situs tidak boleh memiliki lebih dari satu file robots.txt.
5) File ini mendukung kedua subdomain (seperti http://website.demo.com/robots.txt atau port non-standar seperti (http://demo:8181/robots.txt).
6) Jika Anda tidak tahu atau memiliki akses ke folder root situs web Anda maka yang terbaik adalah menghubungi penyedia layanan web hosting untuk menyimpan file robots.txt di dalam folder yang sama. Jika Anda tidak dapat mengakses ke root situs web maka gunakan meta tag sebagai metode pemblokiran alternatif.
7) Lebih dari satu arahan atau aturan grup (disebutkan satu per baris) dapat dimasukkan dalam file robots.txt.
8) Hanya mendukung karakter ASCII.
9) Sebuah grup menyediakan informasi tentang untuk siapa grup itu diterapkan (agen pengguna) dan semua file atau direktori apa saja yang tidak bisa/dapat diakses oleh agen. Arahan diproses dari atas ke bawah. Sebuah bot web mengasosiasikan dirinya sendiri hanya pada satu set aturan yang dapat ditentukan secara terpisah atau didahulukan.
10) Sesuai asumsi default, bot dapat merayapi direktori atau halaman apa pun dengan sintaks "Disallow:".
11) Arahan yang digunakan dalam berkas bersifat case-sensitive, seperti Disallow: /one.xml tidak berlaku untuk ONE.xml.
12) Ini berlaku untuk seluruh domain situs web yang terdiri dari Protokol https atau http.
Biasanya, agen pengguna Bing dan Google menggunakan kelompok arahan tertentu, tetapi secara default, pertama, aturan yang cocok lebih disukai karena bot web mesin pencari yang berbeda menafsirkan arahan dengan cara yang berbeda.
Juga disarankan bagi webmaster untuk menghindari penggunaan sintaks crawl-delay sebanyak mungkin dalam file robots.txt mereka untuk mengurangi total waktu perayapan bot mesin pencari.