Nunca llegaremos al primer puesto en Google si les ponemos trabas a los spider-bots. Pero no creo que nadie lo haga a propósito, por eso deberíamos estar bien seguros de qué cosas pueden “molestar” a Google.
A veces un detalle que parece mínimo hace la diferencia entre aparecer o desaparecer de los resultados del buscador. Un servidor lento, una barra de más en el robots.txt o un mal manejo de la tecnología Flash son algunos ejemplos. Entérate cómo evitarlos.
El primer paso para chequear que tu sitio esté indexado de manera correcta es directamente entrar en Google y escribir site:www.nombredetusitio.com (¡con el nombre de dominio de tu sitio, obvio!).
De esta manera verás como resultado todas las páginas de tu sitio que están indexadas actualmente en Google.
Tal vez te enteres de que Google no ha indexado correctamente tu sitio, o que faltan páginas. La siguiente es una lista de probables razones y cómo solucionarlas:
- Problemas con el archivo robots.txt:
No sé por qué se esparció tanto este error, probablemente porque mucha gente que no tiene mucha idea de cómo funciona el archivo robots.txt simplemente copió y pegó el código con error.
La barra luego del comando “Disallow” hará que tu sitio NO SEA indexado por Google:
User-agent: *
Disallow: /
Forma incorrecta.
User-agent: *
Disallow:
Forma correcta (tu sitio será indexado). - Un servidor lento:
Tener un servidor lento no es un crimen para nadie más que para tí. Los spider-bots generalmente van en grupo, pero si Google detecta que podría consumir todos los recursos de tu sitio, simplemente no lo indexará por completo. Piensa que hay buenos servicios por muy poco dinero hoy en día, o redes sociales muy sólidas donde alojar tu sitio. - Eres una fuente de spam:
Bueno, Google sabe cómo detectar estas cosas. Y a nadie le gusta el spam, de modo que ¡te lo mereces! Pero si recapacitas, puedes “limpiar” tu sitio y enviar a Google una solicitud de reindexación. Google se fijará si has cambiado tu forma de actuar.
Un dato importante: no quieras engañar a Google. Lo sabrá al instante y las consecuencias nunca son buenas. - Sitio hecho en Flash:
El tema de Flash es eterno, a mí también me agrada lo que se puede lograr con él, pero aún no es correctamente indexable. Si vas a diseñar tu sitio en Flash, asegúrate de dejar el texto como seleccionable (para alivio de tus usuarios) y monta la película en una página index “legible” por los spider-bots.
Dentro de esta página deberías incluir todas las keywords que sean relevantes con el contenido de tu sitio, algún texto, enlaces, etc. Esto es prácticamente lo único que podrá indexar Google.
Nota importante: parece que hasta ahora sólo se pueden indexar películas swf versión 7 para abajo. De la versión 8 en adelante no aparecerán en los buscadores por sí mismas. - La “carrera de obstáculos” de los spiders:
Muchas cosas hacen que los robots desistan o consideren que el contenido de tu sitio es irrelevante. Si el código Javascript que usaste ocupa las primeras 2000 líneas del código de tu sitio, si para entrar se necesitan cookies o alguna acción de los usuarios, si tiene URL dinámica y “poco amigable” o si tu sitio redirecciona varias veces antes de cargarse son algunos ejemplos. - Tu sitio se “cae” frecuentemente:
Si varias veces los robots han intentado indexar tu sitio y este no estaba disponible, dejarán de hacerlo. Esto también puede ser un problema del servidor. Puedes realizar una prueba desde el sitio Pingdom Tools para ver el estado de tu sitio, los tiempos de carga, etc.
Si tienes cuidado con estos detalles no tendrás problemas con la indexación. Recuerda que los spider-bots pueden ser muy útiles si los usamos a nuestro favor.
Fuente: Nerv
Lunes, 7 de Julio de 2008 a las 16.38
Estuve viendo en la parte HTML de mi blog y no encuentro ninguno de estos codigos: User-agent: *
Disallow: / el otro tampoco. Sera por eso q no puedo aparecer en google, todos los sitios que aparecen cuando pongo site: http://www.yeahpositive.com es de cuando dejo firmas en otro blog o pagina pero no me aparece mi sitio. Realmente es algo que me preocupa mucho. Tengo un amigo que se creo un blog con el dominio http://www.rootsario.com.ar y el esta mejor posicionado siendo que empezo despues que yo y que casi no tiene contenido.
Martes, 8 de Julio de 2008 a las 17.56
¡Hola, Yeah Positive!
En tu comentario la extensión que pones es “.com” pero creo que quisiste poner “.com.ar”, fuera de eso…
Estuve viendo el código de tu sitio y el problema es que el contenido no está en la dirección http://www.yeahpositive.com.ar sino en la “landing page” (de blogspot).
También me fijé cómo está indexando Google tu sitio: velo por tí mismo haciendo clic aquí.
Te darás cuenta cuál es la dirección que Google toma como “original”.
En todo caso, para usar el comando “site:” deberías hacerlo con el nombre de dominio de blogspot. Cualquier otra duda me consultas ¿ok?
¡Mucha suerte y gracias por tu pregunta!
Miércoles, 23 de Julio de 2008 a las 21.32
Gracias Juan Manuel, disculpa mi inutilidad pero no entendi mucho lo que me quisiste decir.
Creo que los errores que tenia eran porque si bien tenia el dominio las direcciones siempre eran yeahpositive.blogspot.com/entrada ahora pude solucionar eso y las direcciones son yeahpositive.com.ar/entrada. Me costo mucho pero lo logre.
Luego subi un sitemaps con Google Apps , lo hice de este manera http://www.yeahpositive.com.ar/rss.xml?redirect=false&start-index=1&max-results=400 para que me tome la mayor cantidad de post. Pero el problema que me surge es que me dice que todas las url estan restringidas por el robot.txt
y este es el robot
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Sitemap: http://www.yeahpositive.com.ar/feeds/posts/default?orderby=updated
Espero noser un pesado y gracias por toda la ayuda que me brindan
URL restringida por robots.txtAyuda
Miércoles, 30 de Julio de 2008 a las 16.27
¡Hola, Yeah Positive!
En efecto, lo que te quise decir era lo de las direcciones en blogspot ^_^.
Respecto de lo que estás poniendo ahora, dices que tu robots txt dice:
“User-agent: *
Disallow: /search”
La barra (”/”) luego de disallow hace que tu sitio no sea indexado.
Y ya que estamos, y perdona por preguntar pero ¿por qué estás usando un robots.txt personalizado en tu sitio? Me refiero a: ¿cumple alguna finalidad?
Esto te lo pregunto sólo a fines de poder ayudarte mejor. Te mando muchos saludos, voy a tratar de ir a algún recital próximo o fiesta reggae que se anuncie en tu sitio :).
¡hasta la próxima!
Juan Manuel
Viernes, 1 de Agosto de 2008 a las 01.54
Hola Juan Manuel, llegue a tu sitio buscando algún lugar en Buenos Aires donde poder aprender manejar wordpress, y administrarlo en el hosting, ya que no entiendo ni jota d esto. Mi sitio pude empezar porque un amigo me lo instalo en el hosting. Asi que recien estoy aprendiendo algo.
Queria preguntarte si es necesario crear esto del del robot txt, ya que es algo que no termino de comprender y para que sirve.
Por cierto estuve leyendo tu blog a vuelo de pájaro y contiene muy interesante información
Saludos
Viernes, 1 de Agosto de 2008 a las 16.45
¡Hola, Gloria!
No te recomiendo crear o modificar un archivo robots.txt, es sólo para fines avanzados de gestión del sitio respecto de los buscadores, por ejemplo, para indicarle al robot spider que no indexe tal o cual página, etc.
Realmente hay que tenerla muy muy clara para meterse con eso (y aún así no te reportará ningún beneficio trascendente).
Hay muchas notas aquí en elwebmaster.com sobre WordPress, espero que te sean útiles. ¡Bienvenida a nuestro sitio y no dudes en consultarnos por cualquier duda ^_^!
¡Saludos!
Viernes, 1 de Agosto de 2008 a las 16.51
Muchas gracias Juan Manuel por tu pronta respuesta y a tu blog ya lo agende en mi lista de sitios a leer. Saludos desde Buenos Aires
Viernes, 19 de Septiembre de 2008 a las 20.41
Hola, esta bueno el foro, queria saber como hacer que mi sitio web sea compatible en distintas resoluciones, tanto en 1024*768 u 800*600, salu2
Lunes, 23 de Noviembre de 2009 a las 19.57
Hola a mi me sal esto es k no se como quitarlo pero creo que por eso no indexa mi pagina a google
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Sitemap: http://sorpresasmorelia.blogspot.com/feeds/posts/default?orderby=updated
mmm en realidad no se por que no indexa mi pagina
ayudame!!!!
Saludos!!
Martes, 24 de Noviembre de 2009 a las 11.41
Hola, Vero
El comando “Disallow” sirve para impedir que las búsquedas realizadas en los buscadores puedan encontrar tu sitio. Para evitar que esto suceda, tal como explica la nota en el punto 1, elimina el texto “/search” que se encuentra luego de “Disallow:”.
Si lo has hecho bien, tu código debería quedar así:
——————-
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
——————-
Saludos!
Martes, 24 de Noviembre de 2009 a las 16.45
ok pero eso en donde lo modifico o en donde lo pongo,eso me sale en Acceso de rastreadores en probar robots.txt ,en que parte de mi codigo htlm lo pego o que ondas no se como resolver esto…..:(
Martes, 24 de Noviembre de 2009 a las 16.51
o si puedes pasame tu email creo que sera mas facil… por fis…en verdad necesito ayuda
Viernes, 27 de Noviembre de 2009 a las 18.39
Hola amigos yo tambien comparto el problema de Vero con respecto a la indexacion de mi blog, y la verdad ya no se ni k hacer, quisiera saber como borrar ese “/search” para que indexe mi pagina:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Sitemap: http://coroshema.blogspot.com/feeds/posts/default?orderby=updated
—
de antemano muchas gracias.
Luis Antonio
Coro Shema.
Lunes, 30 de Noviembre de 2009 a las 13.32
Hola, Vero
Asumo que el blog al que te refieres es http://regalosadomiciliomorelia.blogspot.com/ ya que el otro que publicaste no funciona.
Actualmente el sitio http://regalosadomiciliomorelia.blogspot.com/ se encuentra indexado por Google.
Saludos!
Lunes, 30 de Noviembre de 2009 a las 13.38
Hola, Luis Antonio
Probablemente se deba a la configuración de tu blog en Blogger. Para cambiar la configuración, puedes hacerlo de esta manera:
Para que Google indexe tu blog, simplemente ingresa a la configuración, en la pestaña de Opciones Básicas, y en la opción de “¿Deseas permitir que los motores de búsqueda encuentren tu blog?” coloca SÍ y luego guarda los cambios.
En tu caso, el texto que encuentras en robots.txt es el predeterminado para un blog de Blogger y no puede ser reemplazado a excepción de que instales el blog en tu propio servidor. El código que posee tu robots.txt no impide la indexación, sólo evita que se indexen páginas duplicadas.
Saludos!
Lunes, 30 de Noviembre de 2009 a las 14.38
Gracias
Morton!!!!!!!!!!!!!!!!!!!!!!!!!
Muchas gracias!!!!!!!!!!!!!!!!!!!!
Miércoles, 23 de Diciembre de 2009 a las 15.46
el problema es que debes antes de publicarlo, incrustar los meta tags para que el buscador X lo encuentre, luego inscribe tu dominio en google y en cada buscador que se te ocurra…
los meta tags son uy importantes pues contiene el codigo del robot araña y las palabras claves para encontrar tu contenido, espero que te sirva
Sábado, 6 de Febrero de 2010 a las 19.37
Wow, por momentos los sigo lindo y por otros siento que me perdí. Cree dos blogs: http://www.diloconestilo.blogspot y http://www.lepasoamiamigo.blogspot, intenté darle de alta a ambos en diversos motores de búsqueda entre ellos Google. Ya “dilo con Estio” aparece encabezando la lista pero el http://www.lepasoamiamigo.blogspot.com no aparece. Ambos tienen Adsense y al chekar mi Estado de cuenta pude ver que éste último figura como que debo modificar el robot.txt No sé cómo hacerlo o dónde hacerlo.
Me darías una mano con eso?
Martes, 16 de Febrero de 2010 a las 17.10
Estimados amigos, hace poco que estoy trabajando en este sitio: http://www.clubdelasmascotas.cl pero lamentablemente aún no aparece en google y tampoco en ningún buscador…
alguien me puede ayudar…???
gracias
Viernes, 30 de Abril de 2010 a las 17.36
Hola Juan Manuel, enhorabuena por tu site.. Ayudan de tanto!!
Te explico mi caso a ver en que podrias ayudarme.. Es referente a todo esto.. Seria casi el mismo problema que tuvo “Luis Antonio” y “Vero” Tengo un blogger y me dice los de disallow: /search
Tu dices que es predeterminado y no puede cambiarse.. La cuestion es que tengo 2 bloggers indexados!! pero siento que las entradas como tal NO.. y me duele mucho las pelotas por eso =(
el primer blog no me tira ningun url restringida por url.. pero EL SEGUNDO me tira 6!! vamos casi todas las entradas.. Lo que me doy cuenta tambien es que las entradas que me restringe no van a ningun sitio no tiran error 404 PERO son con extension “/search/label/blogspot” por ejemplo.. Y la verdad NOSE. si eso tenga algo que ver.. Soy un novatillo en blogger.. Y la verdad me siento como cucaracha en baile de gallina.. Si me podrias ayudar o mostrar la luz te estaria MUY agradecido..
Thanks de ante mano y gratz..
Sin animo de hacer spam, te dejo link hacia mis 2 blogs para que des un vistazo o los examines por google =)
http://puzzlerules.blogspot.com/
http://trucos-ganar-dinero.blogspot.com/
Viernes, 30 de Abril de 2010 a las 17.43
OHH se me olvidaba.. Por otro lado uno de los blogs al meterme en herrramientas de webmaster por google me dice “url que se han indexado” y me muestra TODAS.. Sin embargo el otro me dice que solo una!! y eso me preocupa muchoo.. MUCHO.. A ver si tu experiencia puede iluminarme
Y disculpa la tocadera de naricez >.<
Sábado, 14 de Agosto de 2010 a las 22.04
Hola!!.. les cuento que mi blog tampoco es visitado porque tampoco está en google. Quisiera saber cuanto se demora en que aparezca en google??…ya lo indexé o registré en google pero no me aparece.
Visiten mi blog.
Si alguien quiere que hagamos intercambio de links de las paginas, yo feliz. Mande mensaje privado a daniloveclo@gmail.com
Saludos!!
Sábado, 14 de Agosto de 2010 a las 22.05
olvidé poner mi Blog para que lo visiten:
http://lasmejoresptcdelared.blogspot.com/
Saludo2!!