有的手机网站拒绝手机以外的任何访问,这样就导致谷歌网页爬虫无法访问该站,这样的话网站就不能被收录了。谷歌的手机站点的网页爬虫是"Googlebot-Mobile"。如果您希望自己的站点被收录,请开放包括对"Googlebot-Mobile"的访问。请注意,谷歌可能随时改变谷歌网页爬虫的User-Agent信息,所以我们不建议您对"Googlebot-Mobile"进行精确匹配。更推荐的匹配是任何
含有"Googlebot-Mobile"的User-Agent字段。你可以
用DNS查询验证谷歌爬虫。