Robots Txt Generator (por Ann Smarty) es una herramienta fácil de usar para crear directivas de Robots. txt apropiado para su sitio: Copie y edite fácilmente archivos Robots.txt de otros sitios o cree sus propios archivos Robots.txt.
Cuando las arañas de los motores de búsqueda navegan por un sitio web, por lo general comienzan por identificar un archivo de robots. txt en el nivel de dominio raíz. Durante la identificación, el rastreador lee las directivas de archivo para identificar los directorios y archivos que se pueden bloquear. Los archivos bloqueados se pueden crear con el generador de robots. txt; estos archivos son, en cierto modo, lo contrario de los de un sitemap de un sitio web, que normalmente incluye páginas para incluir cuando un motor de búsqueda escanea un sitio web.
Nuestro Generador de Robots. txt
Crear un archivo robots.txt editado/nuevo para un sitio web es fácil cuando se utiliza un generador robots.txt.
Para descargar un archivo existente y rellenar previamente la herramienta del generador, escriba o copie/pegue la URL del dominio raíz en el cuadro de texto proporcionado y seleccione Descargar.
Para personalizar el archivo robots.txt generado, utilice las funciones'Permitir' y'Denegar'. Tenga en cuenta que el ajuste predeterminado es Permitir.
Para aplicar una nueva directiva a su lista, haga clic en Añadir Directiva.
Para eliminar o modificar una directiva existente, seleccione Eliminar Directiva y cree una nueva utilizando la función Añadir Directiva.
Personalice las directivas del agente de usuario
Nuestro generador de robots. txt permite la especificación de varios motores de búsqueda diferentes, incluyendo Google.
Para especificar directivas alternativas para uno o más rastreadores de motores de búsqueda específicos, seleccione la casilla de verificación Agente de usuario, indicando (*) por defecto, para especificar el bot. Seleccione'Add Directive', para añadir la sección custom a la lista con la directiva genérica como parte de la nueva directiva custom.
Para revisar una directiva de rechazo genérica que refleje una directiva de autorización para un agente de usuario de aduanas, cree una nueva directiva de autorización para acomodar el agente de usuario específico para el contenido. La directiva de rechazo correspondiente se elimina para el agente de usuario personalizado. Para añadir un enlace a un archivo de sitemap basado en XML, copie/pegue o escriba la URL completa del archivo de sitemap en el cuadro de texto especificado y, a continuación, seleccione Actualizar para añadir este comando a la lista de archivos de robot. txt.
Cuando haya terminado, seleccione Exportar para guardar el nuevo archivo robots.txt y, a continuación, utilice FTP para cargar el archivo robots.txt en el dominio raíz del sitio web. Una vez descargado, el archivo robtos.txt le dirá a Google y a otros motores de búsqueda qué páginas, directorios y directorios o el sitio web deben mostrarse y no mostrarse cuando un usuario de un motor de búsqueda introduce una consulta. La Guía definitiva para bloquear su contenido en la búsqueda es un recurso excelente para aquellos que quieren aprender más acerca de los archivos txt y las directrices.