Robots.txt para Joomla

Escrito por Jose M Ramirez en . Publicado en Tutoríal

Robotstxt para Joomla

Uno de los factores importantes para SEO en cualquier cms es la creación de un buen Robots.txt, y Joomla no escapa de esa regla. En esta guía aprenderemos a optimizar nuestro robots.txt para Joomla agilizando el rastreo de los crawler de los buscadores, como también mejoraremos un tanto la seguridad al controlar el contenido que queremos mostrar en los resultados de búsquedas. Para conocer mejor el concepto y todas funciones específicas pueden revisar nuestra Guía para crear Robots.txt donde profundizamos en el proceso de creación para cualquier página web, como y donde debe incluirse.

De forma predefinida después que instalamos Joomla en nuestro servidor, el mismo crea un archivo robots.txt genérico que excluye algunos elementos de nuestro cms, sin embargo es muy básico y no contiene caracteres son necesarios para el optimo uso de SEO en nuestros sitios. Una de las razones de excluir contenido es evitar el contenido duplicado y en este caso en específico el robots.txt predefinido de Joomla es ineficiente. Para optimizarlo debemos agregar algunas líneas adicionales que resolverán el problema en aquellos enlaces comunes que google siempre termina tomando como enlaces duplicados.

El robots.txt por defecto que viene con Joomla es este:

Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

Allí vemos como se excluye contenido que no debe ser indexado ya que es relevante al funcionamiento de la pagina mas no es contenido.

Luego de que instalamos nuestro cms la mayoría de aplicamos el cambio de urls para hacerlas amigables incluyendo el titulo en nuestros enlaces, este el primer factor generador de contenido duplicado para los buscadores ya que al hacer el cambio quedan algunas urls accesibles desde las antiguas. El mejor ejemplo es que en nuestro sitio se puede acceder mediante los enlaces:


http://misitio.com/


http://misitio.com/index.php

Pero al cambiar las urls lo que buscamos es acceder por una sola, por esa razón empezamos a excluir todas las urls que contengan el carácter ‘.php’ en su estructura. Para eso agregamos esta línea a nuestro robots.txt:

Disallow: /*.php

Por el mismo motivo es necesario excluir todas urls que contengan el carácter ‘?’ que es característico de los enlaces resultados de búsquedas. En este caso excluimos las contengan el signo de interrogación al principio, en medio o al final dejando inaccesible cualquier termino que use el signo.

Disallow: /*?$

Una de las funciones que tiene casi todos los temas de Joomla es la capacidad de aumentar o disminuir la fuente de la pagina por parte del visitante, esos enlaces también son tomados como duplicado por los buscadores, así que por ultimo excluimos esos enlaces también.

Disallow: /?fontstyle=f-smaller
Disallow: /?fontstyle=f-larger

Por ultimo para que los bot vayan directo a nuestro sitemap y no se desvíen observando otras carpetas con contenido irrelevante le decimos donde esta nuestro sitemap en la siguiente línea.

Sitemap: http://tutobinario.com/sitemap.xml

Asi que nuestro robots.txt optimizado para Joomla quedaría de esta forma:

Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /?fontstyle=f-smaller
Disallow: /?fontstyle=f-larger
Disallow: /*?$
Disallow: /*.php
Disallow: /cgi-bin

Sitemap: http://tutobinario.com/sitemap.xml

Etiquetas:,

Trackback desde tu sitio.

Comentarios (2)

Dejar un Comentario

Sígueme en twitter

Twitter

Suscríbete al Feed

RSS-Feed

Red de Blogs

Red de Blogs iBlogLabs