El documento robots.txt es un herramienta esencial para la sitio web que busca estar bien indexada por los motores de búsqueda como Bing. Sirve como una instructivo para los crawlers , indicándoles qué páginas de tu sitio pueden están rastreadas y cuáles se deben excluir . La adecuada configuración