El fichero robots.txt es el recurso esencial para cualquier sitio web que busca ser bien indexada por los motores de búsqueda como Bing. Opera como una mapa para los bots, indicándoles qué https://soloweb.mx/knowledgebase/211/Sitemap-y-robots.txt-para-mejorar-tu-web.html