Juan Manuel
15 de Abril de 2008 a las 10.19
Slurp 3.0 es la nueva versión del spider-bot de Yahoo!, que indexa las páginas web para poder después mostrarlas en los resultados del buscador. Si bien seguirá con las mismas directivas de user-agent y fichero robots.txt, incluirá dos importantes novedades:
Por un lado residirán en un nuevo conjunto de IPs pero aún asà devolverán los datos al dominio crawl.yahoo.net. Además, devolverán un nuevo user-agent. Se recomienda utilizar las directivas Slurp o Yahoo! Slurp, pero no Slurp/2.0 (ahora desactualizada), en el código del sitio, y User-agent: Slurp en el robot.txt.
Comentarios recientes
- diego gutierrez arias: excelente todo le q se publica en esta pagina, es de mucha ayuda, mi pro...
- christian: Hola alguien puede pasarme los archivos ? desde ya gracias quiero probar...
- Iruma: Pues vaya que todos tienen muchas cosas que contar... Yo les puedo decir...
- A2design: Seamos realistas... hay gente que paga por usar un programa... pero yo m...
- A2design: ¿no usar gif??? desde cuando...? la consigna es no usar flash que no se...
- lara: EXELENTEEEEE...
Feed de los comentarios