Robots.txt

El archivo robots.txt es un estándar de exclusión que indica a los rastreadores de los motores de búsqueda y a los agentes de IA qué partes de un sitio web pueden ser accedidas y procesadas. En el ámbito del GEO, configurar correctamente el robots.txt es una medida técnica esencial para permitir que los modelos de IA rastreen el contenido relevante y eviten el consumo de recursos en páginas sin valor. Un archivo robots.txt mal configurado puede bloquear accidentalmente a los agentes de IA, impidiendo que el sitio sea considerado para las respuestas generadas o las AI Overviews. Es una herramienta de control fundamental para los creadores de contenido que desean equilibrar la visibilidad en buscadores tradicionales con la accesibilidad para sistemas generativos. Se relaciona con el rastreo, la indexación y la gestión de la visibilidad técnica.