En el artículo de hoy hablaremos sobre cómo optimizar el rastreo de un eCommerce hecho con Shopify mediante la correcta optimización del robots.txt del mismo.
¿Qué son los robots.txt y para qué sirven?
El archivo robots.txt de Shopify igual que en cualquier eCommerce se utiliza para indicar que elementos pueden ser rastreables por parte de los motores de búsqueda y cuales no.
El objetivo de bloquear diferentes partes de nuestra web se simplifica en el concepto de Crawl Budget, conocido cómo presupuesto de rastreo que un motor de búsqueda dedica para el rastreo y renderizado de una web.
¿Puedo editar el archivo robots.txt de Shopify?
¡SI! anteriormente shopify había bloqueado esta funcionalidad, pero a fecha de hoy ya puedes optimizar el robots.txt del mismo mediante el bloqueo de partes de tu página web y la posibilidad de su edición cómo veremos a continuación ;D
Ten en cuenta que el Robots.txt de Shopify de base esta bastante bien optimizado con lo que el bloqueo de URLs se dará en casos excepcionales en tienda online con themes personalizados
¿Cómo verifico que el archivo robots.txt es correcto?
Con la herramienta probador de robots.txt podrás comprobar con exactitud qué URLs se están restringiendo el acceso y cuáles no.
Pasos para la comprobación:
- Ejecuta la herramienta
- En la parte inferior de la página introduce la URL de la página a verificar
- Selecciona el user-agent correspondiente
- Pulsa el botón “probar”
- Chequea el estado del botón “probar”, aparecerá la opción “aceptada” o “bloqueada”
¿Cómo editar el robots.txt de Shopify?
Automáticamente el archivo robots.txt proporcionado por Shopify bloquea la página de carrito, para que se pueda encontrar con mayor facilidad los productos en vez del carrito.
¿Pero cómo ocultamos las páginas que no están incluidas?
En este caso se recomienda el uso de la etiqueta no index en tu Shopify editando el archivo del tema.
Para editar el archivo robots.txt, deberás seguir los siguientes pasos:
- Accede a tu panel de control de Shopify.
- Mediante el administrador accede a “Tienda en línea” > “Temas”.
- Busca el tema a editar y selecciona “Acciones” > “Editar código”.
- Haz clic en “crear plantilla” (template).
- Haz los cambios necesarios en la plantilla.
- Guarda los cambios en el archivo “robots.txt.liquid” de tu tema.
Ahora solo te faltará guardar los cambios, y ya estaría todo.
¡Mucha precaución cuando realizas estas acciones, procura no modificar otras secciones, porque Shopify no se responsabiliza de los cambios que hagas!
Pero habiendo seguido esta guía paso por paso, no deberías tener problemas, pero si tienes cualquier duda, consulta conmigo cómo consultor seo shopify
Eliminar personalizaciones de robots.txt.liquid
Si deseas volver a utilizar el robots.txt predeterminado no te preocupes es muy fácil solo deberás seguir los siguientes pasos:
- Desde tu administrador de Shopify, ve a Tienda en línea > Temas.
- Haga clic en Acciones y luego en Editar código.
- Haga clic en robots.liquid y luego haga clic en Eliminar archivo.
- Si aún desea eliminar el archivo robots.txt.liquid, haga clic en Eliminar archivo.
Siempre puede editar el robots.txt.liqui en el futuro, o si has guardado tus personalizaciones pasadas, puedes rehacer sus cambios copiando tus personalizaciones anteriores guardadas.
¿Qué ajustes puedo hacer sobre Robots.txt.liquid para mejorar el SEO?
Si deseas agregar una regla al archivo robots.txt de Shopify, puedes hacerlo agregando bloques de código adicionales al archivo robots.txt.liquid cómo se indica perfectamente en la documentación
{%- if group.user_agent.value == ‘*’ -%}
{{ ‘Disallow: [URLPath]‘ }}
{%- endif -%}
Por ejemplo, si tu sitio de Shopify usa / search-results / para la función de búsqueda interna y desea bloquearlo con el archivo robots.txt, puede agregar el siguiente comando:
{%- if group.user_agent.value == ‘*’ -%}
{{ ‘Disallow: /search-results/.*’ }}
{%- endif -%}
Si quisiera bloquear los directorios múltiples (/ search-results / & / private /), agregaría los siguientes 2 bloques al archivo:
{%- if group.user_agent.value == ‘*’ -%}
{{ ‘Disallow: /search-results/.*’ }}
{%- endif -%}
{%- if group.user_agent.value == ‘*’ -%}
{{ ‘Disallow: /private/.*’ }}
{%- endif -%}
Documentación oficial de Shopify
Aquí tienes la documentación oficial de Shopify por si tienes mas dudas técnicas al respecto
- https://shopify.dev/themes/seo/robots-txt?shpxid=76a983a3-C41E-4DB2-E0D8-4F5E384D8347#add-extra-sitemap-urls
- https://shopify.dev/themes/architecture/templates/robots-txt-liquid
- Documentación oficial de Google: https://developers.google.com/search/docs/advanced/robots/intro
Aspectos a editar del robots.txt para mejorar el SEO
A continuación te daré posibles ideas para la optimización de tu robots.txt de serie que suelo aplicar en los shopifys de mis clientes:
- Permitir o no permitir el rastreo de ciertas URL
- Agregar reglas de demora de rastreo para ciertos rastreadores
- Agregar URL adicionales del mapa del sitio
- Bloquear ciertos rastreadores
Con el fin de simplificar el rastreo y las peticiones sobre tu eCommerce
Añade tu Sitemap.xml Segmentado
Añade el sitemap.xml que crea Shopify segmentado en tu robots.txt, para así facilitar la indexación del sitio
Bloquea URLs que detectes que se están renderizando
Bloquea mediante el parámetro disallow URLs que no quieres que se rastreen:
Conclusión sobre la edición del robots.txt en Shopify
El archivo robots.txt.liquid de Shopify permite a los SEO tener un control mucho mayor sobre el rastreo de su sitio que antes.
Si bien para la mayoría de los sitios, el archivo robots.txt predeterminado de Shopify debería ser suficiente para mantener a los motores de búsqueda fuera de áreas no deseadas.
Por lo general, cuanto más grande sea tu tienda y más personalización le haya hecho, es más probable que deses realizar ajustes en el archivo robots.txt.
