包罗万象--好东西要收藏--共享无限

robots.txt，存放于网站根目录下的ASCII编码的文本文件，文件名应统一为小写。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据。  例如：www.baidu.com/robots.txt    robots元数据：      <meta name="robots" content="noindex,nofollow" />定义与页面文件中    这个协议也不是一个规范，而只是约定俗成的，通常搜索引擎会识别这个元数据，不索引这个页面，以及这个页面的链出页面    文件的格式及基本定义    "robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示：    "<field>:<optionalspace><value><optionalspace>"。    可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow行,详细情况如下：  1、User-agent:    该项的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则该协议对任何机器人均有效，在"robots.txt"文件中，"User-agent:*"这样的记录只能有一条。  2、Disallow:    该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被robot访问到。例如"Disallow:/help"对/help.html 和/help/index.html都不允许搜索引擎访问，而"Disallow:/help/"则允许robot访问/help.html，而不能访问/help/index.html。任何一条Disallow记录为空，说明该网站的所有部分都允许被访问，在"/robots.txt"文件中，至少要有一条Disallow记录。如果"/robots.txt"是一个空文件，则对于所有的搜索引擎robot，该网站都是开放的。    robots语法说明    用几个最常见的情况，直接举例说明：    1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。    2. 禁止所有SE收录网站的某些目录：  User-agent: *  Disallow: /目录名1/  Disallow: /目录名2/    3. 禁止某个SE收录本站，例如禁止百度：    User-agent: Baiduspider    Disallow: /    4. 禁止所有SE收录本站：    User-agent: *    Disallow: /      5. 加入sitemap.xml路径,例如：  Sitemap: http://naruto-cn.1ve.info/rss    Robots对应搜索引擎名字    名称 搜索引擎  google蜘蛛： googlebot  百度蜘蛛：baiduspider  yahoo蜘蛛：slurp  alexa蜘蛛：ia_archiver  msn蜘蛛：msnbot  altavista蜘蛛：scooter  lycos蜘蛛： lycos_spider_(t-rex)  alltheweb蜘蛛： fast-webcrawler/  inktomi蜘蛛： slurp    twiceler蜘蛛：twiceler    RoboRobots META标签的写法    1、META标签中没有大小写之分，name="Robots"表示所有的搜索引擎，可以针对某个具体搜索引擎写为name="BaiduSpider"。 content部分有四个指令选项：index、noindex、follow、nofollow，指令间以","分隔。  INDEX 指令告诉搜索机器人抓取该页面；    noindex 指令告诉搜索机器人不抓取该页面    FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；    noFOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；    archive 指定限制GOOGLE是否保留网页快照（仅限于google引擎）；    2、Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它，缺省值是INDEX,NOFOLLOW。    这样，一共有四种组合：    ＜META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"＞可以写成＜META NAME="ROBOTS" CONTENT="ALL"＞；      ＜META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW"＞可以写成＜META NAME="ROBOTS" CONTENT="NONE"＞    ＜META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW"＞    ＜META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"＞    绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于Robots META标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令"archive"，可以限制GOOGLE是否保留网页快照。例如：    ＜META NAME="googlebot" CONTENT="index,follow,noarchive"＞    表示抓取该站点中页面并沿着页面中链接抓取，但是不在GOOLGE上保留该页面的网页快照。    蜘蛛    序号 IP 注释   1 202.106.186.* 163蜘蛛   2 202.108.36.* 163蜘蛛   3 202.108.44.* 163蜘蛛   4 202.108.45.* 163蜘蛛   5 202.108.5.* 163蜘蛛   6 202.108.9.* 163蜘蛛   7 220.181.12.* 163蜘蛛   8 220.181.13.* 163蜘蛛   9 220.181.14.* 163蜘蛛   10 220.181.15.* 163蜘蛛   11 220.181.28.* 163蜘蛛   12 220.181.31.* 163蜘蛛   13 222.185.245.* 163蜘蛛   14 202.165.100.* 3721蜘蛛   15 220.181.19.* 百度蜘蛛   16 159.226.50.* 百度蜘蛛   17 202.108.11.* 百度蜘蛛   18 202.108.22.* 百度蜘蛛   19 202.108.23.* 百度蜘蛛   20 202.108.249.* 百度蜘蛛   21 202.108.250.* 百度蜘蛛   22 61.135.145.* 百度蜘蛛   23 61.135.146.* 百度蜘蛛   24 64.124.85.* become.com   25 61.151.243.* china蜘蛛   26 202.165.96.* gais.cs.ccu.edu.tw   27 216.239.33.* google蜘蛛   28 216.239.35.* google蜘蛛   29 216.239.37.* google蜘蛛   30 216.239.39.* google蜘蛛   31 216.239.51.* google蜘蛛   32 216.239.53.* google蜘蛛   33 216.239.55.* google蜘蛛   34 216.239.57.* google蜘蛛   35 216.239.59.* google蜘蛛   36 64.233.161.* google蜘蛛   37 64.233.189.* google蜘蛛   38 66.102.11.* google蜘蛛   39 66.102.7.* google蜘蛛   40 66.102.9.* google蜘蛛   41 66.249.64.* google蜘蛛   42 66.249.65.* google蜘蛛   43 66.249.66.* google蜘蛛   44 66.249.71.* google蜘蛛   45 66.249.72.* google蜘蛛   46 72.14.207.* google蜘蛛   47 61.135.152.* iask蜘蛛   48 65.54.188.* msn蜘蛛   49 65.54.225.* msn蜘蛛   50 65.54.226.* msn蜘蛛   51 65.54.228.* msn蜘蛛   52 65.54.229.* msn蜘蛛   53 207.46.98.* msn蜘蛛   54 207.68.157.* msn蜘蛛   55 194.224.199.* noxtrumbot   56 220.181.8.* Outfox   57 221.239.209.* Outfox   58 217.212.224.* psbot   59 219.133.40.* QQ蜘蛛   60 202.96.170.* QQ蜘蛛   61 202.104.129.* QQ蜘蛛   62 61.135.157.* QQ蜘蛛   63 219.142.118.* sina蜘蛛   64 219.142.78.* sina蜘蛛   65 61.135.132.* sohu蜘蛛   66 220.181.26.* sohu蜘蛛   220.181.19.*   67 61.135.158.* tom蜘蛛   68 66.196.90.* yahoo蜘蛛   69 66.196.91.* yahoo蜘蛛   70 68.142.249.* yahoo蜘蛛   71 68.142.250.* yahoo蜘蛛   72 68.142.251.* yahoo蜘蛛   73 202.165.102.* yahoo中国蜘蛛   74 202.160.178.* yahoo中国蜘蛛   75 202.160.179.* yahoo中国蜘蛛   76 202.160.180.* yahoo中国蜘蛛   77 202.160.181.* yahoo中国蜘蛛   78 202.160.183.* yahoo中国蜘蛛   79 72.30.101.* yahoo蜘蛛   80 72.30.102.* yahoo蜘蛛   81 72.30.103.* yahoo蜘蛛   82 72.30.104.* yahoo蜘蛛   83 72.30.107.* yahoo蜘蛛   84 72.30.110.* yahoo蜘蛛   85 72.30.111.* yahoo蜘蛛   86 72.30.128.* yahoo蜘蛛   87 72.30.129.* yahoo蜘蛛   88 72.30.131.* yahoo蜘蛛   89 72.30.133.* yahoo蜘蛛   90 72.30.134.* yahoo蜘蛛   91 72.30.135.* yahoo蜘蛛   92 72.30.216.* yahoo蜘蛛   93 72.30.226.* yahoo蜘蛛   94 72.30.252.* yahoo蜘蛛   95 72.30.97.* yahoo蜘蛛   96 72.30.98.* yahoo蜘蛛   97 72.30.99.* yahoo蜘蛛   98 74.6.74.* yahoo蜘蛛   99 202.108.4.* 中搜蜘蛛   100 202.108.4.* 中搜蜘蛛   101 202.108.33.* 中搜蜘蛛   102 202.96.51.* 中搜蜘蛛   103 219.142.53.* 中搜蜘蛛