中文网站站长博客。
Google中文网站站长博客 为广大站长提供关于Google网页抓取、收录、搜索引擎优化以及其他相关的站长资讯。
测试robots.txt文件变得更轻松
2014年7月17日星期四
原文:
Testing robots.txt files made easier
作者:
Asaph Arnon, 网站站长工具小组
是否抓取相应网址由robots.txt决定的。
创建并维护正确的robots.txt文件有时并非易事。尽管大多数网站的robots.txt文件创建工作都非常轻松(提示:这些网站通常甚至不需要robots.txt文件!),但是,当robots.txt文件非常大时,要在其中找到当前或以前规定禁止抓取个别网址的指令无异于大海捞针。为了更轻松地进行此项工作,现在我们在网站站长工具中推出了经过改进的
r
obots.txt测试工具
。
您可以在
网站站长工具
中的“抓取”部分找到该工具:
您可以在其中查看当前使用的robots.txt文件,并可测试新网址是否已被禁止抓取。为了帮助您厘清复杂的指令,该工具会突出显示促成最终决定的指令。您可以在robots.txt文件中进行更改,并对所做更改进行测试。然后,您只需将文件的新版本上传到服务器,即可使更改生效。您可以在我们的开发者网站上找到
与robots.txt指令以及robots.txt文件处理方式有关的更多内容
。
此外,您还可以查看robots.txt文件的旧版本,并了解访问权限问题何时会导致我们无法抓取网址。例如,如果Googlebot在查找robots.txt文件时遇到500服务器错误,通常会暂停抓取相应网站。
由于您现有的网站可能会出现一些抓取错误或警告,因此我们建议您仔细检查其robots.txt文件。您还可以将该工具与网站站长工具中的其他部分结合使用:例如,您可以使用经过改进的
Google抓取方式工具
来呈现您网站上的重要网页。如果相应工具报告了任何被禁止抓取的网址,您都可以使用该robots.txt测试工具查找文件中规定禁止抓取这些网址的指令,然后改进相应指令。我们经常遇到的一个问题就是因为旧版的robots.txt文件指示禁止抓取CSS、JavaScript或移动内容而导致的 - 您只要看到这样的指令,解决起来通常非常容易。
我们希望这款经过改进的工具能够让您更轻松地测试和维护robots.txt文件。如果您有任何问题,或者您需要一些帮助来编写出色的指令,请随时访问
网站站长帮助论坛
!
现在,所有人都可以将Android应用编入索引!
2014年7月2日星期三
原文:
Android app indexing is now open for everyone!
作者:
Mariya Moeva
,
网站趋势分析师
除了电脑版的网站之外,您是否还拥有Android应用?现在,您可以将这两者关联起来;这样,用户在智能手机和平板电脑进行搜索时,就能够轻松找到并访问您的应用内容。
借助搜索结果中的应用深层链接,用户可以更轻松地找到您的内容,并在安装您的应用后继续与之互动。作为网站所有者,您可以在适当的时间为用户提供适当的内容 - 通过将网站上的网页与应用的相关部分关联起来,您可以控制何时将用户定向到应用,以及何时定向到网站。
目前已有上百个
应用申请并被编入了Google索引
。在上周的Google I/O上,我们也公布了一系列新功能。借助这些功能,您可以更轻松地在应用中设置深层链接,将网站与应用关联,以及跟踪效果和可能出现的错误。
入门非常简单
经过不懈努力,我们大大简化了将应用链接编入索引的流程。如果您的应用支持HTTP链接方案,您只需按以下步骤操作即可:
1.
为应用添加链接
2.
将网站与应用关联
3. 大功告成了:-)
将您的网址编入索引时,我们的系统会发现应用/网站之间的关联并会将其编入索引,以便开始在搜索结果中显示应用的链接。
虽然我们的系统能够自行发现应用链接并将其编入索引,但我们仍然建议您公布深层链接。如果您的应用仅支持自定义深层链接方案,此建议同样适用。您可以通过以下其中一种方法公布深层链接:
在每个网页的<head>部分或在站点地图中插入rel=alternate <link>元素,以便指定应用URI。要了解具体实施方法,请访问我们的
开发者网站
。
使用
App indexing API
。
另外,我们在网站站长工具中
推出了一项新功能
,以便帮助您解决在将应用页面编入索引期间遇到的任何问题。此功能会显示我们的系统在关联的“应用页面-网页”对中检测到的错误类型,并会提供一些应用URL示例,以便您解决问题:
我们的系统还会为您提供每个问题的解决方法详细说明(其中包括应用链接对应的QR码,以便您在手机或平板电脑中轻松打开链接),而且会向您发送来自网站站长工具的错误通知,以便您及时了解最新情况。
立即试试将应用编入索引吧!和以往一样,如果您需要更多帮助,请在
网站站长帮助论坛
中发帖咨询。
标签
恶意软件
搜索引擎优化
网站管理员小贴士
网站管理员指南
小贴士
心系四川 爱我中华
badware
Google
Google Webmaster Tools
Google索引
Google站长工具
img
Matt Cutts 的文章
robots.txt
SEO
Top Contributor
博客归档
2020
十一月
九月
八月
七月
六月
五月
四月
三月
二月
一月
2019
十一月
十月
九月
2018
七月
五月
二月
一月
2017
十二月
十一月
六月
四月
三月
2016
十二月
十一月
十月
九月
八月
五月
三月
一月
2015
十二月
十一月
十月
九月
八月
七月
五月
四月
三月
二月
一月
2014
十一月
九月
八月
七月
测试robots.txt文件变得更轻松
现在,所有人都可以将Android应用编入索引!
六月
五月
四月
三月
二月
一月
2013
十二月
十一月
九月
八月
七月
六月
五月
四月
三月
二月
一月
2012
十二月
十一月
十月
九月
八月
七月
六月
五月
四月
三月
二月
一月
2011
十二月
十一月
十月
九月
八月
七月
六月
五月
四月
三月
二月
一月
2010
十二月
十一月
十月
九月
八月
七月
六月
五月
四月
三月
二月
一月
2009
十二月
十一月
十月
九月
八月
七月
六月
五月
四月
三月
二月
一月
2008
十二月
十一月
十月
九月
八月
七月
六月
五月
四月
三月
二月
一月
2007
十二月
十一月
十月
九月
八月
七月
Feed
Give us feedback in our
Product Forums
.