Ahora, cree el archivo robots.txt' en su directorio raíz. Copie el texto de arriba y péguelo en el archivo de texto.
El Generador Robots.txt genera un archivo muy opuesto al mapa del sitio que indica las páginas a incluir, por lo tanto, la sintaxis robots.txt es de gran importancia para cualquier sitio web. Cada vez que un motor de búsqueda rastrea un sitio web, siempre busca primero el archivo robots.txt que se encuentra en el nivel raíz del dominio. Cuando se identifica, crawler leerá el archivo y luego identificará los archivos y directorios que pueden ser bloqueados.
Es una herramienta muy útil que ha hecho la vida de muchos webmasters más fácil ayudándoles a hacer sus sitios web amigables con Googlebot. Es una herramienta de generación de archivos robot.txt que puede generar el archivo requerido realizando la tarea difícil en un abrir y cerrar de ojos y de forma totalmente gratuita. Nuestra herramienta viene con una interfaz fácil de usar que le ofrece las opciones para incluir o excluir las cosas en el archivo robots.txt.
Usando nuestra increíble herramienta, usted puede generar un archivo robots.txt para su sitio web siguiendo estos sencillos y sencillos pasos:
De forma predeterminada, todos los robots pueden acceder a los archivos de su sitio, puede elegir los robots que desea permitir o denegar el acceso.
Elija crawl-delay que indica cuánto tiempo de retardo debe haber en los crawls, permitiéndole elegir entre la duración de retardo que prefiera, de 5 a 120 segundos. Por defecto está configurado en `sin retraso'.
Si ya existe un mapa de sitio para su sitio web, puede pegarlo en el cuadro de texto. Por otro lado, puedes dejarlo en blanco, si no lo tienes.
Se muestra una lista de robots de búsqueda, puede seleccionar los que desea rastrear su sitio y puede rechazar los robots que no desea rastrear sus archivos.
El último paso es restringir los directorios. La trayectoria debe contener una barra oblicua "/", ya que la trayectoria es relativa a la raíz.
Al final, cuando haya terminado de generar el archivo robots.txt de Googlebot con la ayuda de nuestra herramienta Robots.txt Generator Tool, puede cargarlo en el directorio raíz del sitio web.
Si desea explorar nuestra amigable herramienta antes de usarla, siéntase libre de jugar con ella y generar un ejemplo de robot.txt.