rastreo

Qué hace exactamente un rastreador

Un rastreador es un programa que pide páginas a tu servidor igual que lo haría un navegador, se descarga lo que recibe y extrae los enlaces que encuentra dentro para añadirlos a una lista de sitios pendientes de visitar. Luego repite. El de Google se llama Googlebot, pero el mecanismo es el mismo en todos: buscadores tradicionales, herramientas de auditoría y los sistemas que alimentan a los modelos de inteligencia artificial.

La idea clave es que el rastreo es un recorrido, no una consulta a una base de datos. Nadie le entrega al buscador la lista de tus páginas: tiene que encontrarlas. Y las encuentra por tres vías principales:

• Siguiendo enlaces desde páginas que ya conocía, tuyas o de otros sitios.
• Leyendo tu mapa del sitio, ese archivo que enumera las URL que consideras relevantes y cuándo cambiaron por última vez.
• A través de enlaces externos, que además de descubrir la página le dan una pista de su importancia.

De ahí sale una consecuencia práctica que se pasa por alto continuamente: una página a la que no apunta ningún enlace interno, y que solo está en el mapa del sitio, existe pero está en la periferia. Se rastrea peor, se revisita menos y compite en desventaja. La arquitectura de enlaces internos no es decoración, es el mapa de carreteras por el que circula el rastreador.

Presupuesto de rastreo: qué es y a quién le importa

Google no rastrea infinitamente. Cada sitio recibe de facto una cantidad de rastreo determinada por dos factores: cuánto aguanta tu servidor sin degradarse y cuánto interés tiene Google en tu contenido. La combinación es lo que se suele llamar presupuesto de rastreo.

Conviene decir algo impopular: en la mayoría de las webs esto no es un problema. Un sitio de doscientas páginas bien enlazadas se rastrea entero sin dificultad, y dedicarle tiempo a optimizar el presupuesto es distraerse de lo que sí importa. El presupuesto se convierte en asunto serio en sitios grandes: comercios electrónicos con filtros combinables, portales con paginaciones enormes, webs que generan URL nuevas con cada parámetro. La propia documentación de Google sobre el tema está escrita para sitios grandes, no para el resto.

En esos casos el problema típico no es que falten páginas por rastrear, sino que el rastreador se está gastando el tiempo en basura: combinaciones de filtros que producen listados casi idénticos, URL con parámetros de seguimiento que duplican contenido, calendarios infinitos que generan una página por cada día del año 2093. Cada visita malgastada ahí es una visita que no se hace a la ficha de producto nueva.

Cómo lo diagnostico

Mi herramienta favorita para esto no es una herramienta de SEO, son los registros del servidor. Ahí está la verdad sin intermediarios: qué URL ha pedido el buscador, cuántas veces, en qué orden y con qué código de respuesta le has contestado. Casi siempre aparece algo que nadie sospechaba, del tipo «el 40 % del rastreo se lo está llevando una sección de filtros que ni siquiera queremos posicionar».

Después contrasto con el informe de estadísticas de rastreo de Search Console y con un rastreo propio del sitio, hecho con las mismas reglas que usaría el buscador. Comparar las tres cosas —lo que yo veo, lo que Google dice que hace y lo que el servidor registra— es lo que descubre los problemas de verdad: páginas que están en el mapa del sitio pero devuelven error, secciones huérfanas sin ningún enlace entrante, cadenas de redirecciones que consumen peticiones para no llegar a ninguna parte.

Un detalle que me he encontrado más de una vez: sitios que bloqueaban por error en su archivo de instrucciones para robots las hojas de estilo y los scripts. El buscador rastreaba el texto, pero al no poder dibujar la página no entendía la maquetación y valoraba mal el conjunto. Bloquear recursos de presentación es un error caro y sorprendentemente frecuente.

Rastreo no es indexación

Esta distinción vale por media auditoría. Son dos fases distintas y consecutivas:

• Rastrear es descargar la página.
• Indexar es analizarla, entenderla y decidir guardarla en el índice para poder mostrarla en resultados.

Se puede rastrear una página y no indexarla: pasa constantemente con contenido pobre, duplicado o irrelevante. Y —esto sorprende más— se puede indexar una página que no se ha rastreado, cuando hay suficientes enlaces externos apuntando a ella y el buscador deduce de qué va sin haberla abierto. De ahí viene ese resultado raro que aparece sin descripción, con la nota de que no hay información disponible.

La conclusión práctica es que bloquear el rastreo no es la forma de sacar una página de los resultados. Si bloqueas el acceso, el buscador no puede leer la instrucción que le dice que no la muestre. Para excluirla hay que dejar que entre y decírselo desde dentro.

Por qué le importa a un negocio

Porque es el primer eslabón de todo. No hay posicionamiento sin indexación, no hay indexación sin rastreo y no hay rastreo sin que el buscador pueda llegar a la página y descargarla sin tropiezos. Toda la inversión en contenido, en diseño y en publicidad descansa sobre este escalón invisible.

Y es un escalón que se rompe en silencio. Un cambio de plantilla que elimina enlaces internos, una migración mal redirigida, una línea de más en el archivo de robots subida un viernes por la tarde: nada de eso da error visible, la web sigue funcionando perfectamente para las personas, y las visitas empiezan a bajar semanas después sin causa aparente. Cuando alguien me llama porque «el tráfico ha caído y no hemos tocado nada», lo primero que miro es esto.

Errores frecuentes

Bloquear el rastreo para desindexar. El error clásico. Si le impides entrar, no puede leer la instrucción de no indexar, y la página puede seguir apareciendo con peor aspecto todavía.

Dejar que los filtros generen URL infinitas. Cada combinación de color, talla y orden crea una dirección nueva con contenido casi duplicado. En un catálogo mediano eso son decenas de miles de páginas inútiles compitiendo por la atención del rastreador.

Confiar solo en el mapa del sitio. El mapa ayuda a descubrir, pero no sustituye a los enlaces internos. Una página sin enlaces entrantes le está diciendo al buscador que a ti tampoco te parece importante.

Ignorar la velocidad de respuesta del servidor. Si tardas en contestar, Google reduce el ritmo de rastreo para no hacerte daño. Un servidor lento rastrea menos, y eso retrasa que se vean tus cambios.

Encadenar redirecciones. Una redirección que lleva a otra que lleva a una tercera no pierde autoridad por el camino —Google ha desmentido públicamente esa idea—, pero sí gasta peticiones de rastreo, retrasa el descubrimiento del destino final y multiplica los puntos donde algo puede romperse: basta con que un salto intermedio desaparezca para quedarte con un error. Tras cualquier migración conviene revisar que cada dirección antigua salte directamente a su destino final.