El fichero robots.txt es una elemento fundamental para toda sitio que desea ser bien indexada por los buscadores como Bing. Funciona como una mapa para los bots, indicándoles qué secciones de tu https://soloweb.mx/knowledgebase/211/Sitemap-y-robots.txt-para-mejorar-tu-web.html