互联网真的很大。你只是不相信它是怎样地无穷无尽地大。你也许认为维护网站耗费好多精力,但是那只是"网海一粟"。 (对Douglas Adams致以诚挚的道歉)
User-Agent: GooglebotDisallow: /logs/
<html><head><meta name="googlebot" content="noindex">...
我们也在我们的站长博客 里写了一些关于robots.txt的帖子,也许对你有用。例如: