Hace poco hablábamos de como Google podía entrar a página de pago como si fueras Googlebot y lo curioso que están saliendo más métodos para hacer lo mismo, navegar como GoogleBot.

Algunas de estas maneras no funciona pero otras seguro que sí:

• IP Delivery: Usa el traductor de Google
  como Proxy, traduciendo inglés -> español aunque la página esté en
  español (o al revés si la página está en inglés). Parece que no
  funciona desde que Google no bloquea la IP.
• User-Agent Cloaking: Utiliza el User-Agent Switcher para simular que eres GoogleBot.
• Bloquea el JavaScript: mediante No Script, Web Developer Toolbar, etc.
• Desactiva los cookies: desde el navegador o con cualquier herramienta.
• Desactiva la detección de referers, mediante la extensión para Firefox RefControl Extension