三月 28, 2008
Google网站管理员工具增加robots.txt文件生成器
由. Ken Wong 将文章归档于 G多点
要想控制各搜索引擎的爬虫对你的网站的访问，你就得在网站的robots.txt文件里写明有关的规则。比如，你允许爬虫访问你的哪些目录，禁止爬虫访问哪些内容。Google自己也有爬虫即Googlebot，如果你有些目录不想让它访问但你又不熟悉robots.txt文件的编写，现在可以利用Google网站管理员工具新增的robots.txt文件生成器了。
进入控制台>工具>生成 robots.txt就可以看到有关选项：
你可以允许或禁止某种Googlebot访问你的某些目录或文件，十分方便。你要做的只是填写目标目录或文件：
生成新的robots.txt文件后，还可以使用工具里的"分析 robots.txt"来分析它。
固定链接: Google网站管理员工具增加robots.txt文件生成器
关键词:
Google 网站 管理员工具 robots.txt 生成器
引用: http://www.creative-weblogging.com/cgi-bin/mt-tb.pl/118302
