利用 Html 元标记控制搜索引擎蜘蛛，meta name="robots" 详解

META标签的Robots

写法为：

 name="Robots" contect="信息参数">

Robots代表告诉搜索引擎机器人抓取哪些页面

其中的属性说明如下：

all：文件将被检索，且页面上的链接可以被查询；

none：文件将不被检索，且页面上的链接不可以被查询；

index：文件将被检索；

follow：页面上的链接可以被查询；

noindex：文件将不被检索，但页面上的链接可以被查询；

nofollow：文件将被检索，但页面上的链接不可以被查询；

noarchive：文件将被检索，但禁止保存快照；

快照不被百度缓存：

 name="Baiduspider" content="noarchive">

所有搜索引擎，抓取这个页面、爬行链接、禁止快照：

 name="robots" content="index,follow,noarchive">

----------------------------------------------------------

 name="robots" content="noarchive">

以上的一段代码限制了所有的搜索引擎建立你的网页快照。如果我们需要仅仅限制一个搜索引擎建立快照的话，就可以像如下这样去写

 name="Baiduspider" content="noarchive">

需要注意的是，这样的标记仅仅是禁止搜索引擎为你的网站建立快照，如果你要禁止搜索引擎索引你的这个页面的话，请参照后面的办法。

第二种情况：禁止搜索引擎抓取本页面。

在SEO中，禁止搜索引擎抓取本页面或者是允许搜索引擎抓取本页面是经常会用到的。因此我们需要对这一部分重点做一次讨论。

为了让搜索引擎禁止抓取本页面，我们一般的做法是在页面的元标记中加入如下的代码：

 NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">

在这里，META NAME="ROBOTS"是泛指所有的搜索引擎的，在这里我们也可以特指某个搜索引擎，例如META NAME="Googlebot"、META NAME="Baiduspide"等。content部分有四个命令：index、noindex、follow、nofollow，命令间以英文的“,”分隔。

INDEX  命令：告诉搜索引擎抓取这个页面

FOLLOW  命令：告诉搜索引擎可以从这个页面上找到链接，然后继续访问抓取下去。

NOINDEX  命令：告诉搜索引擎不允许抓取这个页面

NOFOLLOW 命令：告诉搜索引擎不允许从此页找到链接、拒绝其继续访问。

根据以上的命令，我们就有了一下的四种组合

 NAME="ROBOTS" CONTENT="INDEX,FOLLOW">：可以抓取本页，而且可以顺着本页继续索引别的链接
 NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">：不许抓取本页，但是可以顺着本页抓取索引别的链接
 NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">：可以抓取本页，但是不许顺着本页抓取索引别的链接
 NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">：不许抓取本页，也不许顺着本页抓取索引别的链接

这里需要注意的是，不可把两个对立的反义词写到一起，例如

 NAME="ROBOTS" CONTENT="INDEX,NOINDEX">

或者直接同时写上两句

 NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
 NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">

这里有一个简便的写法，如果是

 NAME="ROBOTS" CONTENT="INDEX,FOLLOW">

的形式的话，可以写成：

 NAME="ROBOTS" CONTENT="ALL">

如果是

 NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

的形式的话，可以写成：

 NAME="ROBOTS" CONTENT="NONE">

当然，我们也可以把禁止建立快照和对于搜索引擎的命令写到一个命令元标记中。从上面的文章中我们得知，禁止建立网页快照的命令是noarchive，那么我们就可以写成如下的形式：

 NAME="ROBOTS" CONTENT="INDEX,FOLLOW,noarchive">

如果是对于单独的某个搜索引擎不允许建立快照，例如百度，我们就可以写成：

 NAME="Baiduspider" CONTENT="INDEX,FOLLOW,noarchive">

如果在元标记中不屑关于蜘蛛的命令，那么默认的命令即为如下

 NAME="ROBOTS" CONTENT="INDEX,FOLLOW,archive">

因此，如果我们对于这一部分把握不准的话，可以直接写上上面的这一行命令，或者是直接留空。

在SEO中，对于蜘蛛的控制是非常重要的一部分内容，所以希望各位看官准确把握这部分的内容。