关于robots.txt 的一些资讯

2010年5月30日星期日 | | |

robots.txt,存放于网站根目录下的ASCII编码的文本文件,文件名应统一为小写。如果想单独定义搜索引擎的漫游器访问子目录时的行为,那么可以将自定的设置合并到根目录下的robots.txt,或者使用robots元数据。  例如:www.baidu.com/robots.txt    robots元数据:      <meta name="robots" content="noindex,nofollow" />定义与页面文件中    这个协议也不是一个规范,而只是约定俗成的,通常搜索引擎会识别这个元数据,不索引这个页面,以及这个页面的链出页面    文件的格式及基本定义    "robots.txt"文件包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:    "<field>:<optionalspace><value><optionalspace>"。    可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow行,详细情况如下:  1、User-agent:    该项的值用于描述搜索引擎robot的名字,在"robots.txt"文件中,如果有多条User-agent记录说明有多个robot会受到该协议的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则该协议对任何机器人均有效,在"robots.txt"文件中,"User-agent:*"这样的记录只能有一条。  2、Disallow:    该项的值用于描述不希望被访问到的一个URL,这个URL可以是一条完整的路径,也可以是部分的,任何以Disallow开头的URL均不会被robot访问到。例如"Disallow:/help"对/help.html 和/help/index.html都不允许搜索引擎访问,而"Disallow:/help/"则允许robot访问/help.html,而不能访问/help/index.html。任何一条Disallow记录为空,说明该网站的所有部分都允许被访问,在"/robots.txt"文件中,至少要有一条Disallow记录。如果"/robots.txt"是一个空文件,则对于所有的搜索引擎robot,该网站都是开放的。    robots语法说明    用几个最常见的情况,直接举例说明:    1. 允许所有SE收录本站:robots.txt为空就可以,什么都不要写。    2. 禁止所有SE收录网站的某些目录:  User-agent: *  Disallow: /目录名1/  Disallow: /目录名2/    3. 禁止某个SE收录本站,例如禁止百度:    User-agent: Baiduspider    Disallow: /    4. 禁止所有SE收录本站:    User-agent: *    Disallow: /      5. 加入sitemap.xml路径,例如:  Sitemap: http://naruto-cn.1ve.info/rss    Robots对应搜索引擎名字    名称 搜索引擎  google蜘蛛: googlebot  百度蜘蛛:baiduspider  yahoo蜘蛛:slurp  alexa蜘蛛:ia_archiver  msn蜘蛛:msnbot  altavista蜘蛛:scooter  lycos蜘蛛: lycos_spider_(t-rex)  alltheweb蜘蛛: fast-webcrawler/  inktomi蜘蛛: slurp    twiceler蜘蛛:twiceler    RoboRobots META标签的写法    1、META标签中没有大小写之分,name="Robots"表示所有的搜索引擎,可以针对某个具体搜索引擎写为name="BaiduSpider"。 content部分有四个指令选项:index、noindex、follow、nofollow,指令间以","分隔。  INDEX 指令告诉搜索机器人抓取该页面;    noindex 指令告诉搜索机器人不抓取该页面    FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;    noFOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;    archive 指定限制GOOGLE是否保留网页快照(仅限于google引擎);    2、Robots Meta标签的缺省值是INDEX和FOLLOW,只有inktomi除外,对于它,缺省值是INDEX,NOFOLLOW。    这样,一共有四种组合:    <META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">可以写成<META NAME="ROBOTS" CONTENT="ALL">;      <META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">可以写成<META NAME="ROBOTS" CONTENT="NONE">    <META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">    <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">    绝大多数的搜索引擎机器人都遵守robots.txt的规则,而对于Robots META标签,目前支持的并不多,但是正在逐渐增加,如著名搜索引擎GOOGLE就完全支持,而且GOOGLE还增加了一个指令"archive",可以限制GOOGLE是否保留网页快照。例如:    <META NAME="googlebot" CONTENT="index,follow,noarchive">    表示抓取该站点中页面并沿着页面中链接抓取,但是不在GOOLGE上保留该页面的网页快照。    蜘蛛    序号 IP 注释   1 202.106.186.* 163蜘蛛   2 202.108.36.* 163蜘蛛   3 202.108.44.* 163蜘蛛   4 202.108.45.* 163蜘蛛   5 202.108.5.* 163蜘蛛   6 202.108.9.* 163蜘蛛   7 220.181.12.* 163蜘蛛   8 220.181.13.* 163蜘蛛   9 220.181.14.* 163蜘蛛   10 220.181.15.* 163蜘蛛   11 220.181.28.* 163蜘蛛   12 220.181.31.* 163蜘蛛   13 222.185.245.* 163蜘蛛   14 202.165.100.* 3721蜘蛛   15 220.181.19.* 百度蜘蛛   16 159.226.50.* 百度蜘蛛   17 202.108.11.* 百度蜘蛛   18 202.108.22.* 百度蜘蛛   19 202.108.23.* 百度蜘蛛   20 202.108.249.* 百度蜘蛛   21 202.108.250.* 百度蜘蛛   22 61.135.145.* 百度蜘蛛   23 61.135.146.* 百度蜘蛛   24 64.124.85.* become.com   25 61.151.243.* china蜘蛛   26 202.165.96.* gais.cs.ccu.edu.tw   27 216.239.33.* google蜘蛛   28 216.239.35.* google蜘蛛   29 216.239.37.* google蜘蛛   30 216.239.39.* google蜘蛛   31 216.239.51.* google蜘蛛   32 216.239.53.* google蜘蛛   33 216.239.55.* google蜘蛛   34 216.239.57.* google蜘蛛   35 216.239.59.* google蜘蛛   36 64.233.161.* google蜘蛛   37 64.233.189.* google蜘蛛   38 66.102.11.* google蜘蛛   39 66.102.7.* google蜘蛛   40 66.102.9.* google蜘蛛   41 66.249.64.* google蜘蛛   42 66.249.65.* google蜘蛛   43 66.249.66.* google蜘蛛   44 66.249.71.* google蜘蛛   45 66.249.72.* google蜘蛛   46 72.14.207.* google蜘蛛   47 61.135.152.* iask蜘蛛   48 65.54.188.* msn蜘蛛   49 65.54.225.* msn蜘蛛   50 65.54.226.* msn蜘蛛   51 65.54.228.* msn蜘蛛   52 65.54.229.* msn蜘蛛   53 207.46.98.* msn蜘蛛   54 207.68.157.* msn蜘蛛   55 194.224.199.* noxtrumbot   56 220.181.8.* Outfox   57 221.239.209.* Outfox   58 217.212.224.* psbot   59 219.133.40.* QQ蜘蛛   60 202.96.170.* QQ蜘蛛   61 202.104.129.* QQ蜘蛛   62 61.135.157.* QQ蜘蛛   63 219.142.118.* sina蜘蛛   64 219.142.78.* sina蜘蛛   65 61.135.132.* sohu蜘蛛   66 220.181.26.* sohu蜘蛛   220.181.19.*   67 61.135.158.* tom蜘蛛   68 66.196.90.* yahoo蜘蛛   69 66.196.91.* yahoo蜘蛛   70 68.142.249.* yahoo蜘蛛   71 68.142.250.* yahoo蜘蛛   72 68.142.251.* yahoo蜘蛛   73 202.165.102.* yahoo中国蜘蛛   74 202.160.178.* yahoo中国蜘蛛   75 202.160.179.* yahoo中国蜘蛛   76 202.160.180.* yahoo中国蜘蛛   77 202.160.181.* yahoo中国蜘蛛   78 202.160.183.* yahoo中国蜘蛛   79 72.30.101.* yahoo蜘蛛   80 72.30.102.* yahoo蜘蛛   81 72.30.103.* yahoo蜘蛛   82 72.30.104.* yahoo蜘蛛   83 72.30.107.* yahoo蜘蛛   84 72.30.110.* yahoo蜘蛛   85 72.30.111.* yahoo蜘蛛   86 72.30.128.* yahoo蜘蛛   87 72.30.129.* yahoo蜘蛛   88 72.30.131.* yahoo蜘蛛   89 72.30.133.* yahoo蜘蛛   90 72.30.134.* yahoo蜘蛛   91 72.30.135.* yahoo蜘蛛   92 72.30.216.* yahoo蜘蛛   93 72.30.226.* yahoo蜘蛛   94 72.30.252.* yahoo蜘蛛   95 72.30.97.* yahoo蜘蛛   96 72.30.98.* yahoo蜘蛛   97 72.30.99.* yahoo蜘蛛   98 74.6.74.* yahoo蜘蛛   99 202.108.4.* 中搜蜘蛛   100 202.108.4.* 中搜蜘蛛   101 202.108.33.* 中搜蜘蛛   102 202.96.51.* 中搜蜘蛛   103 219.142.53.* 中搜蜘蛛
 
我的QQ空间
the more Free Reverse IP/DNS Lookup
http://www.yougetsignal.com/tools/web-sites-on-web-server/ht...
 

0 评论:


所有文章收集于网络,如果有牵扯到版权问题请与本站站长联系。谢谢合作![email protected]