Robots.txt

• Es un archivo de texto que se aloja en la raíz del servidor

• Sirve para dar instrucciones a los motores de búsqueda

• Se indica qué páginas se pueden acceder

• Brinda control al dueño del sitio web

• Es importante excluir el contenido que no deseamos indexar