Cómo utilizar el Robots txt para el SEO

Aquí hay algunas sugerencias para crear el archivo especialmente para los agentes de usuario de Google;

1) El archivo debe seguir la norma de exclusión de robots.

2) Puede incluir una o más reglas para permitir o bloquear el acceso al crawler especificado a una ruta particular de un sitio.

3) Un webmaster debe estar familiarizado con casi toda la sintaxis del archivo robots.txt para entender el sutil comportamiento de cada sintaxis.

4) El sitio no puede tener más de un archivo robots.txt.

5) El archivo admite tanto subdominios (como http://website.demo.com/robots.txt o cualquier puerto no estándar como (http://demo:8181/robots.txt).

6) Si no conoce o no tiene acceso a la carpeta raíz de su sitio web, lo mejor es que se dirija al proveedor de servicios de alojamiento web para que guarde el archivo robots.txt dentro de la misma. En caso de que no pueda acceder a la raíz del sitio web, utilice las etiquetas meta como método de bloqueo alternativo.

7) Se puede incluir más de un grupo de directivas o reglas (mencionadas una por línea) en el archivo robots.txt.

8) Sólo admite caracteres ASCII.

9) Un grupo proporciona información sobre a quién se aplica (agente de usuario) y cuáles son todos los archivos o directorios a los que un agente no puede/puede acceder. Las directivas se procesan de arriba a abajo. Un bot web se asocia a un solo grupo de reglas que puede ser especificado por separado o viene primero.

10) Según la suposición por defecto, un bot puede rastrear cualquier directorio o página mediante una sintaxis "Disallow:".

11) Las directivas utilizadas en el archivo distinguen entre mayúsculas y minúsculas, como Disallow: /one.xml no se aplica a ONE.xml.

12) Se aplica a la totalidad del dominio de un sitio web que consiste en protocolo https o http.

Normalmente, los agentes de usuario de Bing y Google se decantan por un grupo específico de directivas pero, por defecto, se prefieren las reglas de concordancia, ya que los diferentes bots web de los motores de búsqueda interpretan las directivas de manera diferente.

También se sugiere a los administradores de sitios web que eviten utilizar la sintaxis de retardo de rastreo en la medida de lo posible en su archivo robots.txt para reducir el tiempo total de rastreo de los robots del motor de búsqueda.

Puede utilizar la herramienta de comprobación de robots.txt disponible en el sitio web La consola para webmasters de Google para comprobar si el robot de Google es capaz de rastrear la URL que ya había bloqueado de su búsqueda. También puede mostrar los errores de lógica y advertencia de sintaxis si hay alguno en su robots.txt. Puede editarlo y volver a probarlo.

Una vez que todo está bien, puede hacer frente a los cambios y actualizar su archivo principal ubicado en el servidor de su sitio web. Del mismo modo, puede utilizar diferentes herramientas para comprobar de antemano el comportamiento de rastreo del motor de búsqueda después de leer el robots.txt de su sitio web.

También puede comprobar cómo funciona el robots.txt de su sitio web utilizando la función "URLs bloqueadas" dentro de la sección "Crawl" que se encuentra en la parte izquierda del sitio web. Herramientas para webmasters de Google. Sin embargo, es posible que no muestre la versión actual o actualizada de robots.txt, pero puede utilizarse para realizar pruebas.

Trate de comprobar regularmente su archivo robots.txt utilizando cualquier herramienta para saber si todo es válido en él y si el archivo está funcionando de la manera esperada. Por cierto, un motor de búsqueda puede tardar muchos días o incluso algunas semanas en identificar una URL no permitida al leerla en el archivo robots.txt y eliminar su indexación.

Después de incluir todos los conjuntos de reglas en el archivo y nombrarlo con robots.txt, es necesario guardarlo en la carpeta principal o raíz del sitio web en el servidor. Una carpeta de nivel raíz puede ser "www' o "htdocs" que ayuda a que el robots.txt aparezca junto al nombre de su dominio.

Siempre se sugiere mantener un tamaño razonable de robots.txt evitando mencionar directivas no deseadas en el archivo. Es porque años antes John Mueller de Google ya ha aclarado el hecho de que Googlebot sólo accederá a los primeros 500kB de un archivo robot.txt. Un archivo gigante puede ser truncado de forma no deseada para formar una línea que podría ser interpretada como una regla incompleta.

También se conoce como protocolo de exclusión de robots o estándar de exclusión de robots que es utilizado por los sitios web para comunicarse con los robots o rastreadores web. Los motores de búsqueda utilizan sus robots para clasificar los sitios web.

Los webmasters utilizan archivos robots.txt para instruir o guiar a dichos robots para conseguir una mejor indexación de sus sitios web. Usted no necesita un archivo robots.txt si no desea controlar el acceso de los agentes de usuario a cualquier área de su sitio web. Uno puede encontrar más detalles sobre robots.txt en cualquier tema avanzado como ¿Cómo crear un bot de motor de búsqueda?

Para una mejor clasificación en los motores de búsqueda, es una buena práctica de SEO para permitir que sus rastreadores para llegar y acceder a su sitio con facilidad. Nuestro sitio web generalmente consiste en un montón de páginas no deseadas que nuestras expectativas, y cuando los robots del motor de búsqueda rastrear cada página de su sitio, entonces seguramente va a consumir más tiempo y esto seguramente va a afectar negativamente a su clasificación.

Google utiliza el crawl budget (dividido en dos partes, crawl rate limit y crawl demand) de cada sitio web para decidir el número de URLs que quiere o puede escanear. Por lo tanto, si quiere ayudar a estos bots o agentes de usuario a acceder e indexar sólo el contenido más valioso de su sitio web, robots.txt es imprescindible.

Un SEO nunca quiere que se bloquee ninguna sección o contenido de un sitio web que sea necesario rastrear.

- Un motor de búsqueda como Google puede tener múltiples agentes de usuario como Googlebot-Image (para buscar las imágenes) y Googlebot (para la búsqueda orgánica). Muchos agentes de usuario que pertenecen al mismo motor de búsqueda pueden seguir las mismas reglas por lo que muchos webmasters omiten especificar directivas para cada uno de estos rastreadores. Un SEO puede aprovechar esto mencionando instrucciones diferentes a cada uno de los rastreadores aunque pertenezcan a un solo motor de búsqueda para controlar mejor su comportamiento de rastreo.

- Para un mejor SEO es necesario que los enlaces o páginas no permitidas no incluyan más enlaces que deban ser seguidos. Por lo tanto, la página bloqueada no debe pasar el link equity al destino del enlace o es mejor utilizar cualquier otro mecanismo de bloqueo. Tampoco deben estar enlazadas con otras páginas accesibles por los motores de búsqueda, es decir, páginas web que no estén desautorizadas por meta robots, robots.txt, o cualquier otro. De lo contrario, los recursos importantes enlazados no serán accedidos e indexados por los motores de búsqueda.

- Lo mejor es enviar la URL de robots.url directamente a Google después de cualquier actualización realizada en el archivo para asegurar su rápido acceso por parte del agente de usuario objetivo. Por lo general, un motor de búsqueda actualiza el contenido de robots.txt en caché una vez al día como mínimo.

Es bueno mencionar la ubicación de todos o alguno de los sitemaps basado en el dominio del sitio web en la parte inferior de su archivo robots.txt. Por cierto, los sitemaps son archivos XML que contienen información detallada sobre las páginas de un sitio web como su URL con los metadatos relacionados como su importancia, su intervalo de actualización y la última actualización.

Toda esta información puede ser utilizada por los robots de los motores de búsqueda para rastrear inteligentemente un sitio web. Así, de esta forma los webmasters pueden ayudar a los agentes de usuario que soportan los sitemaps a conocer y acceder a todas las URLs del mapa del sitio y saber más sobre ellas en su proceso de descubrimiento de páginas de un enlace a otro dentro de uno o desde otro sitio.

Por ejemplo;

Dirección del navegador: https://www.demo.com/robots.txt

La salida:

Agente de usuario: *

Disallow: *.dl.html

Permitir: /*.html$

Mapa del sitio: https://www.demo.com/en-au/sitemap.xml

Mapa del sitio: https://www.demo.com/en-se/sitemap.xml

Mapa del sitio: https://www.demo.com/en-us/sitemap.xml

(Las directivas anteriores son para llamar a más de un sitemaps a través del archivo robots.txt).

Existen riesgos de seguridad asociados a robots.txt ya que muchos bots maliciosos no pueden seguirlo así como uno puede utilizarlo para conocer todos los enlaces no permitidos y acceder directamente a ellos. Así que como solución, puede proteger con contraseña el área de su sitio web que contiene contenido privado para que un intruso no pueda acceder a él incluso después de conocer su ubicación.

Para evitar que los datos sensibles sean indexados o aparezcan en las SERPs (ya sea directa o indirectamente, es decir, a través de las páginas favoritas), es mejor utilizar cualquier otro método que no sea el de bloquear la página en el robots.txt. Puede ser una directiva de no indexación o métodos de protección con contraseña.

WordPress generalmente hace un archivo virtual por defecto robots.txt en la raíz directamente para sus sitios web que no pueden ser vistos en el directorio. ¡Por lo tanto, siempre es mejor crear un nuevo archivo que se superponga con cualquier configuración por defecto, especialmente para no permitir la página de inicio de sesión o de registro que no importa a un motor de búsqueda!

Mucha gente suele estar confundida sobre cómo eliminar el Robots txt en WordPress u otras plataformas. Sin embargo, el proceso es el mismo para todos. El archivo robots.txt debe guardarse en el directorio de nivel superior del sitio web, es decir, el dominio raíz o el directorio principal, para ayudar a los robots a encontrarlo con facilidad. Por lo tanto, todo lo que necesita es eliminar el archivo directamente de esa carpeta o ubicación en particular.

Intente no incluir las instrucciones para ocultar información confidencial del usuario dentro del archivo robots.txt. Es porque el archivo es un archivo de acceso público, uno puede ver sus directivas añadiendo /robots.txt al final del dominio raíz.

De esta manera, cualquier persona puede llegar a saber qué páginas están permitidas por el webmaster del sitio para ser rastreadas o no por todos o determinados robots web. El archivo debe guardarse sólo con el nombre "robots.txt", ya que distingue entre mayúsculas y minúsculas, por lo que ninguna otra combinación será aceptada por ningún agente de usuario.

Por último, es posible que se confunda entre x-robots, meta robots y robots.txt que suenan a términos similares. Entre ellos, x-robots y meta son directivas meta pero robots.txt es un archivo de texto y se utilizan para aplicar diferentes funciones.

En concreto, x-robots y meta deben dictar el comportamiento de indexación a nivel de elemento de página (o de página individual), mientras que robots.txt debe proporcionar información sobre el comportamiento de rastreo del director o del sitio.

Hay más posibilidades de que los bots del motor de búsqueda puedan indexar y mostrar el contenido de su sitio web en los SERPs de la mejor manera y hacerlo más visible mediante el gasto de su presupuesto de rastreo bien mientras se escanea el mismo sitio. Mediante el uso de los robots.txt también puede bloquear el rastreo de las páginas de etiquetas autogeneradas de WordPress y evitar más contenido duplicado.

En general, es necesario tener mucho cuidado cuando se trata de lo que se incluye en el archivo robots.txt. Después de todo, un pequeño error dentro del archivo robots.txt podría hacer que todo su sitio web sea desindexado.