怎么设置百度蜘蛛不抓取首页的部分内容。比如说,我不需要抓取首页上的最新动态里的内容?

怎么在代码里设置,谢谢。

如何禁止百度搜索引擎抓取网站内容
1、编辑robots.txt文件,设计标记为:
User-agent: Baiduspider
Disallow: /

2、在网站首页代码<head>与</head>之间,加入<meta name="Baiduspider" content="noarchive">即可禁止百度搜索引擎抓取网站并显示网页快照。

3、联系百度管理人员,信箱地址为:[email protected],用网站联系人信箱发电邮,如实说明删除网页快照的情况,经百度核实后,网页停止收录抓取。

4、登陆百度自己的“百度快照”帖吧和“百度投诉”帖吧,发个帖子,表明删除网页收录网站快照的原因,当百度管理人员,看到会给予处理。

如何禁止Google搜索引擎收录抓取网站内容
1、编辑robots.txt文件,设计标记为:
User-agent: googlebot
Disallow: /

2、在网站首页代码<head>与</head>之间,加入<meta name="googlebot" content="noarchive">即可禁止google搜索引擎抓取网站并显示网页快照。追问

不是不让Baiduspider不抓某个页面,而是,不让它抓首页页面上的一个板块……不知道我表述清楚了没有。

追答

.... 那应该没办法吧... 好像不能指定不允许百度抓取某一个标签。

温馨提示:答案为网友推荐,仅供参考
第1个回答  2013-05-08
您尝试分析下到底是什么,为什么不看百度网站捕捉到,因为内容质量,还是因为外链追问

情况是这样的,我网站首页上的一个板块,这相板块里的内容,我只想呈现出来给用户看,不需要要Baiduspider来爬取它。这样的效果。

相似回答