¿Qué es el archivo robots.txt?

El archivo robots también conocido como el protocolo de la exclusión de robots o protocolo de robots.txt es un método para evitar que ciertos bots que analizan los  sitios Web u otros robots que investigan todo o una parte del acceso de un sitio Web, público o privado, agreguen información innecesaria a los resultados de búsqueda.
Dicho de otra manera es el archivo que impedirá que ciertos buscadores entren o dejen de entrar a páginas sin o con información relativa.

¿Cómo generar el archivo robots.txt?

Para generar este archivo tendremos que crear un archivo de texto completamente vacio llamado robots.txt y colocarlo en el directorio raíz con permisos de escritura, iremos al panel de administración de nuestra tienda online basada en PrestaShop en > Preferencias > Generaremos el archivo.

Una vez realizado podemos comprobar que efectivamente se ha geerado correctamente nuestro fichero robots.tex, para ello tecleamos www.tudominio.com/robotos.txt

Salu2.

Print Friendly
Compartir