Juan Manuel 15 de abril de 2008 a las 10.19
   Imprimir artículo
elWebmaster.com

Slurp 3.0: el nuevo crawler de Yahoo!


Slurp 3.0: el nuevo crawler de Yahoo!Slurp 3.0 es la nueva versión del spider-bot de Yahoo!, que indexa las páginas web para poder después mostrarlas en los resultados del buscador. Si bien seguirá con las mismas directivas de user-agent y fichero robots.txt, incluirá dos importantes novedades:

Por un lado residirán en un nuevo conjunto de IPs pero aún así devolverán los datos al dominio crawl.yahoo.net. Además, devolverán un nuevo user-agent. Se recomienda utilizar las directivas Slurp o Yahoo! Slurp, pero no Slurp/2.0 (ahora desactualizada), en el código del sitio, y User-agent: Slurp en el robot.txt.


Enviar a Del.icio.us Enviar a Meneame Enviar a Digg Enviar a Fresqui Enviar a Enchilame

Deja tu opinión

© 2007 - 2008 elWebmaster.com | Powered by Wordpress | Diseño CSS y XHTML válido. | Algunos íconos basados en FamFamFam Mini
Acceder