发表者:软件工程师Javier Tordable和网站管理员趋势分析师John Mueller
如何使用“像Googlebot一样抓取”
首先,登入网站站长工具中,“像Googlebot一样抓取”功能就会出现在实验室版块的导航菜单的最下方:网页中会包含一个域,你可以在其中插入要抓取的URL。或者你也可以什么都不填,让它抓取主页。
点击“抓取”,然后等待几秒钟。刷新网页后,就能看到请求抓取的状态。如果成功,他可以点击“成功”链接。
之后就会显示带有被抓取网页内容的详细信息:如果你的网站被黑了,就会显示有垃圾内容!确定网站已经遭到黑客攻击(很可能仍在遭受黑客攻击)是重要的一步。然而,这只是开始。为了获得更多信息,我们强烈建议向你的服务器管理员或托管方求助,并阅读我们之前关于被黑网站的博文:
原文:http://googlewebmastercentral.blogspot.com/2009/11/new-software-version-notifications-for.html
发表者:Patrick Chapman,搜索质量团队
利用可观的计算能力完成真正有意义的任务,这正是在谷歌工作最引人入胜的地方。例如,我们试图帮助网站站长了解他们可能受到黑客攻击的网站。我们为实现这个目的初期努力已见成效,因此我们决定进一步扩展工作范围,将其他类型的网络应用软件包括在内——例如,内容管理系统(CMS)、论坛/公告板应用软件和状体追踪的软件等等。不过,当前我们的目标并不局限于隔离易受攻击或可能被黑客攻破的软件包,我们还会通知站长,告知其网站运行的软件包或插件存在更新版本。例如, 即便Drupal module 或 Joomla extension 已经发布了更新版,很多人还是没有更新。站长会因为很多原因未能及时更新,其中之一是他们根本不知道新版本已经发布。而在这方面我们正好可以帮上忙。我们希望通过网站站长工具向站长发送软件更新信息,通过这种方式,站长可以及时了解更新资讯并决定更新与否。我们通过对抓取的网页进行源代码解析,来确定需要被通知的网站,例如 WordPress和CMS应用软件包含标出了版本号的生成器元标签。事实证明,这种方法能够帮助我们有效地通知站长。因此,如果你是软件开发商,而且需要我们帮助你将软件产品的最新版本通知用户,那么你最好在软件产品中包含一个生成器元标签,标明软件版本。如果你是一位插件或桌面小工具(widget)开发商,那么在为用户提供的源代码中标注版本号码也将大有帮助。当然,在源代码中包含版本号是否具有安全隐患的问题已经引起了广泛争论 - 因为这种版本号可能反而会帮助黑客或蠕虫病毒编写者了解网站自身的漏洞,从而进行有针对性的攻击。而版本号的优势在于,它能够提醒网站所有者何时需要更新网站。因此,我们认为,增加版本号的做法利大于弊。希望这种方法能够为站长们提供帮助!如果你有任何问题或反馈,欢迎在此发表评论。
网络管理员等级:中级
前两天我们发表了你的网站有多快一文,简单介绍Google网站站长工具中关于网站速度的一个新的功能,今天我们将对这个功能进行全面的介绍。功能概况根据使用Google Toolbar激活了PageRank功能的访问者最常访问的页面信息,性能概览部分主要展示网站的平均网页速度 。通过使用来自Google Toolbar用户的数据,你不必担心我们得到的测试数据和用户的实际使用情况脱节。例如,如果您的网站位于德国,而且所有用户也在德国,这个图就会反映在德国的网页速度 。同样的,如果您的用户多数使用拨号连接(或高速宽带),这些信息也会在这些数字中有所反映。但如果您的网站访问者中只有一小部分人使用Google Toolbar,我们将无法在网站站长工具中显示这项数据。图中红色与绿色部分中间的分界线表示:在我们检测的所有网站中,只有20%的网站比分界线所指示的速度要快。如果该网站的速度非常接近这个20%的分界线的数值,那么我们应当首先改进哪些页面?示例网页在本部分,您会看到用户在浏览你的网站时可以观察到的一些示例页面,以及这些网页的平均载入时间数据。这些数字可能会与您所看到的不同,因为它们来自许多不同的浏览器、互联网连接与以及不同的地区。本清单可以帮您识别出那些网页速度低于平均值的页面 ——正是这些页面拖慢了用户的访问网速。由于网页速度会基于用户实际访问时的操作,所以,该页面有可能也会包括一些不允许抓取的网页。尽管Googlebot 无法抓取这些网页,但是它们依然是网站用户体验的重要组成部分。请牢记,你偶尔会在此发现一些网页载入时间的峰值 ,我们建议你对网页速度进行小段时间的监视,看看哪些因素是稳定的。如果持续发现非常高的加载时间,这很有可能意味着你的大部分用户都在忍受非常缓慢的网页速度 (不管是由于连接缓慢还是其他原因),所以此问题需认真对待。Page Speed建议
前两天我们发表了你的网站有多快一文,简单介绍Google网站站长工具中关于网站速度的一个新的功能,今天我们将对这个功能进行全面的介绍。
功能概况根据使用Google Toolbar激活了PageRank功能的访问者最常访问的页面信息,性能概览部分主要展示网站的平均网页速度 。通过使用来自Google Toolbar用户的数据,你不必担心我们得到的测试数据和用户的实际使用情况脱节。例如,如果您的网站位于德国,而且所有用户也在德国,这个图就会反映在德国的网页速度 。同样的,如果您的用户多数使用拨号连接(或高速宽带),这些信息也会在这些数字中有所反映。但如果您的网站访问者中只有一小部分人使用Google Toolbar,我们将无法在网站站长工具中显示这项数据。图中红色与绿色部分中间的分界线表示:在我们检测的所有网站中,只有20%的网站比分界线所指示的速度要快。如果该网站的速度非常接近这个20%的分界线的数值,那么我们应当首先改进哪些页面?示例网页
在本部分,您会看到用户在浏览你的网站时可以观察到的一些示例页面,以及这些网页的平均载入时间数据。这些数字可能会与您所看到的不同,因为它们来自许多不同的浏览器、互联网连接与以及不同的地区。本清单可以帮您识别出那些网页速度低于平均值的页面 ——正是这些页面拖慢了用户的访问网速。由于网页速度会基于用户实际访问时的操作,所以,该页面有可能也会包括一些不允许抓取的网页。尽管Googlebot 无法抓取这些网页,但是它们依然是网站用户体验的重要组成部分。请牢记,你偶尔会在此发现一些网页载入时间的峰值 ,我们建议你对网页速度进行小段时间的监视,看看哪些因素是稳定的。如果持续发现非常高的加载时间,这很有可能意味着你的大部分用户都在忍受非常缓慢的网页速度 (不管是由于连接缓慢还是其他原因),所以此问题需认真对待。Page Speed建议
发表者:Jun Mukai,移动搜索组 软件工程师
转载自:日文网站管理员中心博客
原文:http://googlewebmastercentral-ja.blogspot.com/2009/10/blog-post.html
发表于:2009年11月18日
不久前,我介绍了几种确保您的手机版网站能被谷歌正确索引的办法。今天,我想与负责同一网站电脑版和手机版的各位网站站长们分享一些有用的信息。
对于同时管理一个站点的电脑版网站和手机版网站的站长来说,最常遇到的问题就是用户的电脑上会显示站点的手机版,或通过手机的打开却是电脑版。以下两种方法能够很好地解决这个问题:
将手机用户重定向至正确的版本
当一个手机用户或爬虫(如Googlebot-Mobile)通过手机访问一个URL的电脑版URL 时,您可以将他们重定向至同一网页相应的手机页面 。谷歌会注意到同一个网页 的两个版本间的关系,由此台式机搜索的结果将以电脑网页 显示,而手机设备搜索的将以手机网页显示。
如果您重定向用户,请确保同一URL的手机/电脑版上的内容尽可能相同。比如说,如果您运营了一个购物网站,有用户通过手机访问该网站某产品的电脑版网页,您需要确保将用户重定向到该产品对应的的手机网页 ,而不是该网站手机版的主页。我们有时发现有网站试图利用这种重定向到主页的方式来提升其网站的搜索排名,但实际上这种做法只会影响用户体验,因此网站应该尽量避免这种做法。
通过User-agent切换内容
有些网站的台式机网页内容和手机网页内容使用同一个URL,但可根据User-agent来改变网页格式。换句话说,手机用户和台式机用户都访问同一个URL(也就是无需重定向),但是内容/格式会根据User-agent的不同发生改变。那么,不管是手机搜索还是电脑搜索都将得到同一个URL,电脑用户将浏览到该内容的电脑页面,而手机用户将浏览到该内容的手机页面。
然而,如果您不能正确设置您的网站,您的网站会被视为隐藏网页(cloaking),继而会从我们的搜索结果中消失。所谓隐藏网页,指的是显示给谷歌爬虫的页面与显示给普通浏览者的页面不同,从而提高搜索排名的一种作弊手法。隐藏网页会导致相关度较低的搜索结果(即便页面的实际内容与用户所看到或所需的信息毫不相关,该页面也显示在搜索结果中),因此我们对其采取了非常严格的措施。
那么如果您在同一URL中提供两种版本,“用户看到的网页”究竟是怎样的呢?正如我曾经所提到的,谷歌通过“Googlebot”完成互联网搜索,而通过“Googlebot-Mobile”完成手机搜索。若想严格遵守谷歌的规范,您应该确保向Googlebot显示的内容和一般的电脑用户所看到的内容相同,向Googlebot-Mobile显示的内容和一般移动设备用户所看到的内容相同。对Googlebot和Googlebot-Mobile显示不同的内容是完全可以的。
您的网页也可能会被意外地定义为隐藏网页,举例来说,如果您的网站向电脑浏览器发送回“请通过手机访问”这类信息,但对两种爬虫都返回完整的手机网页(这样Googlebot也接收到含有实际内容的手机版)。在这种情况下,互联网用户浏览到的网页(如“请通过手机访问”)将会和Googlebot看到的网页不一样(如“欢迎访问我们的网站”)。重申一遍,我们探测隐藏网页是为了确保用户不管是通过谷歌爬虫还是 Googlebot-Mobile搜索都能获得同等相关的内容。
支持手机访问的网站内容显示图解
我们每天都在努力提升搜索结果的质量并试图解决各种问题,但是一个网站的电脑版网站和手机版网站之间的关系可能会非常微妙,因此我们非常希望得到网站站长们的合作。你们的支持将有助于更多的手机内容能够被谷歌索引,从而进一步提升搜索结果的质量。在此我们谢谢你们的配合,良好有效的合作能使移动搜索用户获得更加优质的搜索体验。