Si echa un vistazo a la política de rastreadores de quora http://www.quora.com/robots.txt,
Para los bots registrados, no están prohibiendo preguntas y respuestas.
Googlebot por ejemplo:
Agente de usuario: Googlebot
No permitir: / log /
No permitir: / ajax /
No permitir: / * / log
No permitir: / * / rss
No permitir: / * / preguntas_rss
No permitir: / * / answers_rss
No permitir: / * _ POST
No permitir: / home / global_feed
No permitir: / buscar
No permitir: / digerir /
No permitir: / email_optout /
- ¿Por qué mi padre no aprecia nada de lo que hago o me compra algo agradable, pero comparte mis logros con sus amigos?
- Estoy en el octavo estándar. ¿Cómo debo prepararme para el IIT?
- Acabo de comenzar mi primer trabajo de soldadura en una gran corporación. Dicen que debe ganar $ 16 por hora a partir, pero me ofrecieron $ 14 por hora. ¿Esta bien?
- ¿Por qué realmente quiero un hijo cuando solo tengo 15 años?
- ¿Por qué mis logros no me hacen feliz?
Por lo tanto, un bot ético idealmente debería registrarse con ellos antes de realizar cualquier tipo de rastreo. Para los bots no registrados, la lista de permisos es bastante pequeña con la que no se puede hacer mucho.
Además, mirando su archivo robots.txt, puede registrarse fácilmente enviando un correo electrónico a [correo electrónico protegido]
Dicho todo esto, se supone que todos los rastreadores éticos deben seguir el archivo robots.txt de un sitio web. No estoy realmente seguro de si quora está haciendo cosas como etiquetar actividades sospechosas o prohibir tales bots. Esto es algo que una persona que trabaja en quora debe informarnos.