robots取值
none
搜索引擎将忽略此网页，等价于noindex，nofollow。
noindex
搜索引擎不索引此网页。
nofollow
搜索引擎不继续通过此网页的链接索引搜索其它的网页。
all
搜索引擎将索引此网页与继续通过此网页的链接索引，等价于index，follow。
index
搜索引擎索引此网页。
follow
搜索引擎继续通过此网页的链接索引搜索其它的网页。
noodp noydir
不使用DOMZ、Yahoo!目录中描述作为网页摘要
使用noodp和noydir
做SEO的朋友都经常和meta标签打交道，比如写description、keywords之类，但却很少用到noodp和noydir这样的标签（这两个其实比较老了，只是国内一般不太实用），这里我想对这两个做下说明，因为在不少做英文SEO的地方还得使用到。（meta标签详解）
有些时候站点加入了dmoz或者yahoo的分类目录，这本是好事，但很多时候开始加入的时候并未考虑完全，或者后来网站业务出现的变化等等，这样的情况下，使得原本的好事可能在一些时候反倒有了负面影响，因为Google和yahoo默认情况下会优先抓取dmoz和雅虎分类目录里面的信息作为搜索结果的标题和描述。
为了让搜索引擎抓取现有网页的描述就得使用到上述标签，比如对付google就用
< meta name=”googlebot” content=”noodp” />
对付yahoo就用
< meta name=”slurp” content=”noydir” />
当然还有对付msn的
< meta name=”msnbot” content=”noodp” />
如果想对付多个可以用
< meta name=”robots” content=”noodp,noydir” />
如果你觉得分类目录上的信息未能准确概述现有网站内容，不妨试试noodp和noydir
温馨提示：答案为网友推荐，仅供参考