elWebmaster.com
Slurp 3.0 es la nueva versión del spider-bot de Yahoo!, que indexa las páginas web para poder después mostrarlas en los resultados del buscador. Si bien seguirá con las mismas directivas de user-agent y fichero robots.txt, incluirá dos importantes novedades:
Por un lado residirán en un nuevo conjunto de IPs pero aún asà devolverán los datos al dominio crawl.yahoo.net. Además, devolverán un nuevo user-agent. Se recomienda utilizar las directivas Slurp o Yahoo! Slurp, pero no Slurp/2.0 (ahora desactualizada), en el código del sitio, y User-agent: Slurp en el robot.txt.
15/Abr./08, 10.19 Juan Manuel Comentar
Comentarios recientes
- Alejandra: Las clases se vienen publicando desde hace varios meses durante todos lo...
- Pedro Castañeda: Como podrÃa conseguir las clases en pdf?. Me acabo de incorporar al cur...
- Eduardo: Pues yo no lo encuentro jejeje...
- GEINNER PARRALES GALERA: Me parece exelente .
saludos....
- jesteban_kof: Pues si, se nota que han pirateado el logo de pirate bay, pero hay una p...
- fernando javier dalmazzo: Hola soy principiante en esto, me gustaria que me puedan explicar como s...
Feed de los comentarios