El archivo robots.txt es un recurso fundamental para cualquier página web que busca estar bien vista por los motores de búsqueda como Google . Funciona como el mapa para los crawlers , indicándoles qué áreas de tu plataforma pueden deben crawleadas y cuáles evitar. La óptima configuración de este