robot google

Cómo un simple error puede dañar tu SEO – Robots.txt

Este post ha sido escrito por un blogger invitado. Si a ti también te gustaría colaborar con el blog, consulta aquí los requisitos para publicar tu artículo.

robot googleEn toda mi experiencia he visto como un simple error puede ser causa de un desastre para nuestro negocio online. Es más, es posible que ahora mismo tú estés cometiendo dicho error sin darte cuenta.

Este error te puede costar solo unos días de tráfico, o puede que algunas semanas. He visto noticias de propietarios de sitios web que han perdido meses de tráfico proveniente de los buscadores y perder mucho dinero por este motivo.

Ya llevo unos cuantos años en esto del SEO y he visto como grandes marcas y sobre todo medianas y pequeñas empresas con pocos medios, pasan por alto pequeños aspectos de sus sitios web que le están perjudicando sin saberlo.

Esto es normal pues desconocen el funcionamiento de sus negocios online, ya que han encargado el desarrollo de su sitio web a un diseñador o webmaster que cuando termina su trabajo se olvida por completo del proyecto y se marcha a otro.

Lo bueno es que es muy fácil de solucionar aunque no se tenga mucha experiencia en estos casos.

Cuando se produce el problema y cómo evitarlo

Un sitio web es más vulnerable a este pequeño asesino de tráfico cuando se acaba de terminar el diseño del mismo. Esto se debe a que el diseñador de sitios web por regla general comparte sus avances con el cliente, mostrando el progreso y trabajando en conjunto para una satisfacción entre las dos partes.

Es frecuente que el diseñador o webmaster cree un subdominio para trabajar el nuevo sitio web. Por ejemplo: desarrollo.sitioweb.com. Esto crea algunos problemas para el SEO del sitio, ya que desarrollo.sitioweb.com será indexado por los motores de búsqueda y esto va a crear contenido duplicado una vez que se pase al dominio principal, algo que es bastante perjudicial para el SEO.

Por este motivo un webmaster responsable lo que hace es bloquear el acceso de los motores de búsqueda para este subdominio, incluyendo un archivo robots.txt en la raíz del sitio. Esto solo lleva unos minutos y evita que los bots indexadores tengan acceso al sitio que está en construcción.

Este archivo de texto tiene un formato como este:

User-agent: *

Disallow: /

Hasta aquí todo correcto.

El web crawler de Google (también conocido como el robot de Google) se encarga de descubrir e indexar las nuevas páginas. La terminología utilizada en el archivo.txt para referirse a estos bots es User-agent. Antes de entrar en un sitio web, el robot tiene que pasar por el archivo robots.txt para identificar qué áreas puede y no puede indexar.

El archivo robots.txt se puede configurar con diferentes reglas según nos haga falta.

En la regla User-agent el símbolo * actúa como un comodín cuyo significado es que se aplica a todos los agentes de usuario (incluyendo el robot de Google).

En este caso, la barra inclinada Disallow: / indica que todo el contenido del sitio web no debe ser rastreado o indexado.

Ahora vemos como este pequeño error tiene grandes consecuencias

Lo más frecuente es que cuando se está realizando un proyecto web este se atrase por varias circunstancias y no se termine en el tiempo estipulado. Esto hace que empiecen las prisas para intentar que la web esté operativa lo antes posible.

El webmaster o diseñador copia todos los archivos que están en el subdominio de desarrollo hacia el sitio web principal pasando por consiguiente el archivo robots.txt entre ellos con el mismo formato, lo que causa el desastre:

User-agent: *

Disallow: /

Cuando el archivo se encuentra en el dominio principal va a actuar como lo hacía anteriormente, denegando el paso a los bots indexadores para que rastreen el sitio.

Mientras el archivo siga ahí es imposible recibir tráfico orgánico a través de los buscadores. Los bots sólo volverán a entrar en el sitio web cuando se elimine el archivo robots.txt o se mantenga el archivo pero eliminando la barra diagonal del mismo. Por ejemplo:

User-agent:

Disallow:

Como ves es muy fácil de solucionar pero también es causa de muchos malestares.

Por experiencia propia esto suele pasar entre un 10 a un 20% de las veces, pero por regla general se descubre pronto y se soluciona sin que cause demasiados daños.

Sin embargo, hay excepciones de propietarios de sitios web que han estado meses con el archivo denegando el acceso a su sitio, con las respectivas perdidas que esto puede ocasionar. Se puede decir que hay despistes que merecen palos 😀 .

Así que no pierdas el tiempo y échale un ojo a tu archivo robots.txt para ver en qué estado se encuentra.

Por ejemplo mi sitio web reinspirit.com tiene las siguientes reglas:

User-agent:*

Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/

Como podemos ver los bots tienen acceso al sitio web menos a las carpetas que no me interesa que estos entren a cotillear.

Para terminar siempre hay que tener en cuenta que si acabas de terminar un nuevo proyecto web donde ha trabajado un desarrollador o diseñador, debes mirar el archivo robots.txt una vez que el sitio web está terminado.

pedro-mendezPedro Méndez trabaja desde el 2008 realizando proyectos sobre desarrollo web y posicionamiento en buscadores (SEO). Su especialidad es la optimización de sitios web para ser encontrados con mayor facilidad por los principales buscadores.

Puedes encontrar más información en su blog.

Opt In Image
¿Te ha gustado este Post?
Suscríbete y Accede a Contenido Exclusivo

+ Disfruta de mis CURSOS EXCLUSIVOS para Suscriptores

+ Recibe una Notificación por Email con cada Nuevo Post

+ Únete a una Comunidad de +600 Suscriptores

100% Libre de Spam. Tu privacidad me importa.

One thought on “Cómo un simple error puede dañar tu SEO – Robots.txt

Responder