将文章归档于
G多点
由. Ken Wong on 2008-03-29
要想控制各搜索引擎的爬虫对你的网站的访问，你就得在网站的robots.txt文件里写明有关的规则。比如，你允许爬虫访问你的哪些目录，禁止爬虫访问哪些内容。Google自己也有爬虫即Googlebot，如果你有些目录不想让它访问但你又不熟悉robots.txt文件的编写，现在可以利用Google网站管理员工具新增的robots.txt文件生成器了。
进入控制台>工具>生成 robots.txt就可以看到有关选项：
你可以允许或禁止某种Googlebot访问你的某些目录或文件，十分方便。你要做的只是填写目标目录或文件：
生成新的robots.txt文件后，还可以使用工具里的"分析 robots.txt"来分析它。
Permalink: Google网站管理员工具增加robots.txt文件生成器
Trackback: http://publish.creative-weblogging.com/publish/mt-tb.pl/118302
Addthis
Ask
Blinklist
del.icio.us
Digg
Fark
Facebook
Google
Lycos
Ma.gnolia
Mr Wong
Netscape
Netvousz
Newsvine
Reddit
StumbleUpon
Slashdot
Tailrank
Technorati
Wink
Yahoo
Vote for Google网站管理员工具增加robots.txt文件生成器:
|
分值情况: 9.00 / 4 评分
|
回应:
酷勤网
(03/28/08 7:26pm)
这个东西很好啊，微软能取得成功就是很多产品都是界面化，都是傻瓜式操作，这个东西用起来，肯定很多站长都会使用的 呵呵
回应:
Sucirst
(03/28/08 7:48pm)
这个新工具有两个缺陷：
1. 不支持sitemap添加的编辑
2. 不知道yahoo等一下搜索引擎的独特 robots语法比如expire
3.，可能，因为这一次更新，导致很多网站无法验证了，原因不明，我的blog也没法验证了，在管理员group发现了大把和我一样问题的站长 0.0
1. 不支持sitemap添加的编辑
2. 不知道yahoo等一下搜索引擎的独特 robots语法比如expire
3.，可能，因为这一次更新，导致很多网站无法验证了，原因不明，我的blog也没法验证了，在管理员group发现了大把和我一样问题的站长 0.0
回应:
carloschen
(03/29/08 1:36pm)
無法驗證+1
我有兩個域名指向同一個網站，一個域名驗證正常，另一個最近始終出現「由於伺服器逾時，我們無法驗證您的檔案。」0rz
我有兩個域名指向同一個網站，一個域名驗證正常，另一個最近始終出現「由於伺服器逾時，我們無法驗證您的檔案。」0rz
订阅
使用我们的搜索寻找其他有趣的文章
| CW工具栏 |  |
| RSS |  | 所有的部落格订阅选择 |
| 什么是RSS? | |
| Yodao |
|
| Netvibes |
|
| Anothr |  |
| 时事通讯 | |
| Follow us on Twitter! |
