首页 > Web开发 > 详细

网页SEO内容

时间:2015-11-27 00:57:32      阅读:294      评论:0      收藏:0      [点我收藏+]

关于网页根目录下的robots.txt文件的部分疑问

robots.txt
书写语法:
第一条:User-agent,后接搜索引擎的蜘蛛名称
第二条:Disallow,填写要拦截的部分
经典语法:
User-agent:*
Disallow:

or

User-agent:*
Allow:/

User-agent:*
Disallow:/

User-agent:Baiduspider
Disallow:/

User-agent:BaiduspiderDisallow:
User-agent:*Disallow:/

User-agent:*
Disallow:/admin/
Allow:/images/

User-agent:*
Disallow:/admin/*.php$
Allow:/admin/*.asp$

User-agent:*Disallow:/*?*

在对 robots.txt 文件设置记录时,要特别注意 Disallow 与 Allow 行的顺序是有意义的,spider 会根据第一个匹配成功的 Allow 或 Disallow 行确定是否访问某个URL。
举例说明:
允许 spider 访问 /cgi-bin/ 目录下的包含 see 的文件夹或URL
User-agent: *
Allow: /cgi-bin/see
Disallow: /cgi-bin/
如果Allow 和 Disallow 的顺序调换一下:
User-agent: *
Disallow: /cgi-bin/
Allow: /cgi-bin/see
spider 就无法访问到 /cgi-bin/ 目录下的包含 see 的文件夹或URL,因为第一个 Disallow: /cgi-bin/ 已经匹配成功。

Disallow 和 Allow 记录后面可以是一条完整的路径,也可以是路径的非空前缀。例如 “Disallow: /help” 禁止 spider 访问/help.html、/helpabc.html、/help/index.html;而 “Disallow:/help/” 则允许 spider 访问 /help.html、/helpabc.html,不能访问 /help/index.html

 

网页SEO内容

原文:http://www.cnblogs.com/tianxia2s/p/4999361.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!