Parece contradictorio pero si, a veces los SEO queremos esconder contenidos a Google. ¿La pregunta a responder es porqué?
¿Porqué poner URLs en Noindex o Bloquear por Robots.txt?
- Mejorar nuestro Crawl Budget (Rastreo) cómo consecuencia de reducir el numero de páginas para hacer peticiones.
- Mejorar la Calidad de nuestras páginas indexadas del Sitio y nuestro E.A.T. Para así no disponer de páginas con poco contenido (thin content), Contenido duplicado y en definitiva contenidos que no responde a ninguna intención de búsqueda y Google esta invirtiendo recursos en rastrearlo y analizándolo para su indexación.
- Priorización de indexación de URLs enfocadas a palabras clave de negocio.
Atención: También se relaciona las canibalizaciones SEO pero se suelen rectificar de varias formas además de noindex o canonicals.
Criterios para no indexar una URL
Introducimos (noindex, canonicals a otras URLs) ya que nuestro objetivo es que Google indexe todas nuestras páginas orientadas a intenciones de búsqueda las demás introduciremos la meta etiqueta no index para tener una calidad del sitio a los ojos de Google mayor y cómo consecuencia aumentar nuestra frecuencia de rastreo y tiempo de dedicación analizar y ponderar nuestro site.
- Páginas que NO cubren ninguna intención de búsqueda pero queremos que GogoleBot las visite para seguir sus enlaces con frecuencia.
- Páginas con Thin Content (Sin Contenido) o SOFT 404 que no haya la posibilidad de aumentar los contenidos.
- Contenido duplicado, Validar que las fichas de producto que se indexan tienen contenidos Originales, de lo contrario la recomendación será introducir no index.
- Páginas creadas automáticamente y que no cubren ninguna intención de búsqueda.
Artículos relacionados que te pueden interesar:
Particularidades Sitemap.xml
- NO enviar URLs con noindex en SITEMAP
- SI enviar URL con canonical hacia otras URLs
Paginaciones de Listados (Categorías de productos, Categorías de Blogs)
- Poner en index cada una de las páginas con canonical a sí mismas
- Implementar Rel=”next” | Rel=”prev”
En definitiva todas las URLs que se indexen en nuetra web deberían cubrir una intención de búsqueda en específico.
Criterios para Bloquear una URL
El objetivo de Bloquear URL a través del Robots.txt es permitir a Google solo rastrear esas URLs de importancia, este factor es importante para páginas con más de 10K URLs.
Aquí teneis información detallada del blog de google: Guía para propietarios de sitios web grandes sobre cómo gestionar el presupuesto de rastreo
- Páginas que no cubren ninguna intención de búsqueda y no queremos que Google invierta tiempo en ellas.
- Páginas de gestión de eCommerce.
- Páginas privadas
- Páginas automáticas con parámetros: Filtros, Búsquedas, Etiquetados y entre otros.
Documentación SEO
Referencias de fuentes oficiales de Google y la comunidad SEO que siempre encontrareis en mis post 😀
- https://developers.google.com/search/docs/advanced/crawling/block-indexing?hl=es
- https://support.google.com/webmasters/answer/7440203
- https://developers.google.com/search/docs/advanced/robots/intro?hl=es
PODCAST RELACIONADOS
Podcast relacionados sobre la temática de rastreo e indexación:
