Nunca llegaremos al primer puesto en Google si les ponemos trabas a los spider-bots. Pero no creo que nadie lo haga a propósito, por eso deberÃamos estar bien seguros de qué cosas pueden “molestar” a Google.
A veces un detalle que parece mÃnimo hace la diferencia entre aparecer o desaparecer de los resultados del buscador. Un servidor lento, una barra de más en el robots.txt o un mal manejo de la tecnologÃa Flash son algunos ejemplos. Entérate cómo evitarlos.
El primer paso para chequear que tu sitio esté indexado de manera correcta es directamente entrar en Google y escribir site:www.nombredetusitio.com (¡con el nombre de dominio de tu sitio, obvio!).
De esta manera verás como resultado todas las páginas de tu sitio que están indexadas actualmente en Google.
Tal vez te enteres de que Google no ha indexado correctamente tu sitio, o que faltan páginas. La siguiente es una lista de probables razones y cómo solucionarlas:
- Problemas con el archivo robots.txt:
No sé por qué se esparció tanto este error, probablemente porque mucha gente que no tiene mucha idea de cómo funciona el archivo robots.txt simplemente copió y pegó el código con error.
La barra luego del comando “Disallow” hará que tu sitio NO SEA indexado por Google:
User-agent: *
Disallow: /
Forma incorrecta.User-agent: *
Disallow:
Forma correcta (tu sitio será indexado). - Un servidor lento:
Tener un servidor lento no es un crimen para nadie más que para tÃ. Los spider-bots generalmente van en grupo, pero si Google detecta que podrÃa consumir todos los recursos de tu sitio, simplemente no lo indexará por completo. Piensa que hay buenos servicios por muy poco dinero hoy en dÃa, o redes sociales muy sólidas donde alojar tu sitio. - Eres una fuente de spam:
Bueno, Google sabe cómo detectar estas cosas. Y a nadie le gusta el spam, de modo que ¡te lo mereces! Pero si recapacitas, puedes “limpiar” tu sitio y enviar a Google una solicitud de reindexación. Google se fijará si has cambiado tu forma de actuar.
Un dato importante: no quieras engañar a Google. Lo sabrá al instante y las consecuencias nunca son buenas. - Sitio hecho en Flash:
El tema de Flash es eterno, a mà también me agrada lo que se puede lograr con él, pero aún no es correctamente indexable. Si vas a diseñar tu sitio en Flash, asegúrate de dejar el texto como seleccionable (para alivio de tus usuarios) y monta la pelÃcula en una página index “legible” por los spider-bots.
Dentro de esta página deberÃas incluir todas las keywords que sean relevantes con el contenido de tu sitio, algún texto, enlaces, etc. Esto es prácticamente lo único que podrá indexar Google.
Nota importante: parece que hasta ahora sólo se pueden indexar pelÃculas swf versión 7 para abajo. De la versión 8 en adelante no aparecerán en los buscadores por sà mismas. - La “carrera de obstáculos” de los spiders:
Muchas cosas hacen que los robots desistan o consideren que el contenido de tu sitio es irrelevante. Si el código Javascript que usaste ocupa las primeras 2000 lÃneas del código de tu sitio, si para entrar se necesitan cookies o alguna acción de los usuarios, si tiene URL dinámica y “poco amigable” o si tu sitio redirecciona varias veces antes de cargarse son algunos ejemplos. - Tu sitio se “cae” frecuentemente:
Si varias veces los robots han intentado indexar tu sitio y este no estaba disponible, dejarán de hacerlo. Esto también puede ser un problema del servidor. Puedes realizar una prueba desde el sitio Pingdom Tools para ver el estado de tu sitio, los tiempos de carga, etc.
Si tienes cuidado con estos detalles no tendrás problemas con la indexación. Recuerda que los spider-bots pueden ser muy útiles si los usamos a nuestro favor.
Fuente: Nerv
Lunes, 7 de Julio de 2008 a las 16.38
Estuve viendo en la parte HTML de mi blog y no encuentro ninguno de estos codigos: User-agent: *
Disallow: / el otro tampoco. Sera por eso q no puedo aparecer en google, todos los sitios que aparecen cuando pongo site: www.yeahpositive.com es de cuando dejo firmas en otro blog o pagina pero no me aparece mi sitio. Realmente es algo que me preocupa mucho. Tengo un amigo que se creo un blog con el dominio www.rootsario.com.ar y el esta mejor posicionado siendo que empezo despues que yo y que casi no tiene contenido.
Martes, 8 de Julio de 2008 a las 17.56
¡Hola, Yeah Positive!
En tu comentario la extensión que pones es “.com” pero creo que quisiste poner “.com.ar”, fuera de eso…
Estuve viendo el código de tu sitio y el problema es que el contenido no está en la dirección www.yeahpositive.com.ar sino en la “landing page” (de blogspot).
También me fijé cómo está indexando Google tu sitio: velo por tà mismo haciendo clic aquÃ.
Te darás cuenta cuál es la dirección que Google toma como “original”.
En todo caso, para usar el comando “site:” deberÃas hacerlo con el nombre de dominio de blogspot. Cualquier otra duda me consultas ¿ok?
¡Mucha suerte y gracias por tu pregunta!