El documento robots.txt es una herramienta fundamental para la sitio que busca estar bien posicionada por los buscadores como Google . Sirve como una directorio para los bots, indicándoles qué páginas de tu plataforma pueden están indexadas y cuáles no . La adecuada configuración de este archivo ayuda a prevenir problemas de indexación , opt