gseeker
Google网站管理员工具增加robots.txt文件生成器
将文章归档于 G多点 由. Ken Wong on 2008-03-29
Google网站管理员工具增加robots.txt文件生成器

  要想控制各搜索引擎的爬虫对你的网站的访问,你就得在网站的robots.txt文件里写明有关的规则。比如,你允许爬虫访问你的哪些目录,禁止爬虫访问哪些内容。Google自己也有爬虫即Googlebot,如果你有些目录不想让它访问但你又不熟悉robots.txt文件的编写,现在可以利用Google网站管理员工具新增的robots.txt文件生成器了。

  进入控制台>工具>生成 robots.txt就可以看到有关选项:

googlebot-generator-1.gif


  你可以允许或禁止某种Googlebot访问你的某些目录或文件,十分方便。你要做的只是填写目标目录或文件:

googlebot-generator-2.gif


  生成新的robots.txt文件后,还可以使用工具里的"分析 robots.txt"来分析它。

有联系的文章:

Permalink: Google网站管理员工具增加robots.txt文件生成器
Tags: Google  网站  管理员工具  robots.txt  生成器 
Trackback: http://publish.creative-weblogging.com/publish/mt-tb.pl/118302
img Addthis img Ask img Blinklist img del.icio.us img Digg img Fark img Facebook img Google img Lycos img Ma.gnolia Add this page to Mister Wong Mr Wong img Netscape img Netvousz img Newsvine img Reddit img StumbleUpon img Slashdot img Tailrank img Technorati img Wink img Yahoo

Vote for Google网站管理员工具增加robots.txt文件生成器:

  • Currently 9.00/10
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
分值情况: 9.00 / 4 评分
订阅
Share It
CW工具栏安设
RSSrss   | 所有的部落格订阅选择
Google google   |   什么是RSS?
Yodao Yodao
Netvibes Netvibes
AnothrAnothr
时事通讯

TwitterFollow us on Twitter!