请告诉网站管理员们，最好的方法看来是使用域名解析服务器(DNS)来核实每个案例。我推荐的验证技术是做反向DNS查找，核实该名字是在googlebot.com域名内，然后使用该googlebot.com名做一个相应的正向DNS->IP的查找; 例如：（译者注：以下是Linux命令及执行结果）> host 66.249.66.11.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.（1.66.249.66.in-addr.arpa域名指针crawl-66-249-66-1.googlebot.com）> host crawl-66-249-66-1.googlebot.comcrawl-66-249-66-1.googlebot.com has address 66.249.66.1（crawl-66-249-66-1.googlebot.com的IP地址是66.249.66.1）我认为只做反向DNS查找是不够的，因为一个垃圾制造者可以建立反向的DNS来指向crawl-a-b-c-d.googlebot.com。
请问Googlebot的User-agent到底是什么？在我的log中好像都是带Mozilla/5.0的。Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
这是Google Header:GET / HTTP/1.1Host: example.comConnection: Keep-aliveAccept: */*From: googlebot(at)googlebot.comUser-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)Accept-Encoding: gzip,deflate
关注技术!
关注中。。。
发表评论
4 条评论 :
请问Googlebot的User-agent到底是什么？
在我的log中好像都是带Mozilla/5.0的。
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
这是Google Header:
GET / HTTP/1.1
Host: example.com
Connection: Keep-alive
Accept: */*
From: googlebot(at)googlebot.com
User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Accept-Encoding: gzip,deflate
关注技术!
关注中。。。
发表评论