Robots.txt Generator


Predeterminado - Todos los robots son:  
    
Retardo de rastreo:
    
Mapa del sitio: (deje en blanco si no tiene) 
     
Robots de b√ļsqueda: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Directorios restringidos: La ruta es relativa a la raíz y debe contener una barra diagonal. "/"
 
 
 
 
 
 
   



Ahora, cree el archivo 'robots.txt' en su directorio raíz. Copia el texto anterior y pégalo en el archivo de texto.


Acerca de Robots.txt Generator

¿Qué es el Generador Robots.txt?

Ahora, cree el archivo robots.txt' en su directorio raíz.  Copie el texto de arriba y péguelo en el archivo de texto.

 

El Generador Robots.txt genera un archivo muy opuesto al mapa del sitio que indica las páginas a incluir, por lo tanto, la sintaxis robots.txt es de gran importancia para cualquier sitio web.  Cada vez que un motor de búsqueda rastrea un sitio web, siempre busca primero el archivo robots.txt que se encuentra en el nivel raíz del dominio.  Cuando se identifica, crawler leerá el archivo y luego identificará los archivos y directorios que pueden ser bloqueados.

 

¿Por qué debe utilizar nuestra herramienta Robots.txt Generator?

Es una herramienta muy útil que ha hecho la vida de muchos webmasters más fácil ayudándoles a hacer sus sitios web amigables con Googlebot.  Es una herramienta de generación de archivos robot.txt que puede generar el archivo requerido realizando la tarea difícil en un abrir y cerrar de ojos y de forma totalmente gratuita.  Nuestra herramienta viene con una interfaz fácil de usar que le ofrece las opciones para incluir o excluir las cosas en el archivo robots.txt.

 

Cómo usar nuestra herramienta Robots.txt Generator?

Usando nuestra increíble herramienta, usted puede generar un archivo robots.txt para su sitio web siguiendo estos sencillos y sencillos pasos:

 

De forma predeterminada, todos los robots pueden acceder a los archivos de su sitio, puede elegir los robots que desea permitir o denegar el acceso.

Elija crawl-delay que indica cuánto tiempo de retardo debe haber en los crawls, permitiéndole elegir entre la duración de retardo que prefiera, de 5 a 120 segundos.  Por defecto está configurado en `sin retraso'.

Si ya existe un mapa de sitio para su sitio web, puede pegarlo en el cuadro de texto.  Por otro lado, puedes dejarlo en blanco, si no lo tienes.

Se muestra una lista de robots de búsqueda, puede seleccionar los que desea rastrear su sitio y puede rechazar los robots que no desea rastrear sus archivos.

El último paso es restringir los directorios.  La trayectoria debe contener una barra oblicua "/", ya que la trayectoria es relativa a la raíz.

Al final, cuando haya terminado de generar el archivo robots.txt de Googlebot con la ayuda de nuestra herramienta Robots.txt Generator Tool, puede cargarlo en el directorio raíz del sitio web.

Si desea explorar nuestra amigable herramienta antes de usarla, siéntase libre de jugar con ella y generar un ejemplo de robot.txt.