不想让百度收录某些页面怎么办 noindex标签和robots设置方法

不想让百度收录某些页面怎么办 noindex标签和robots设置方法

不是所有页面都希望被搜索引擎收进去。后台登录页、用户协议、带一堆参数的筛选页、内部测试页、重复度很高的标签聚合页,这些页面一旦进了索引,既白白占用抓取额度,又可能拉低站点在百度眼里的整体质量。很多人第一反应是去改 robots 文件,其实还有个更对口的办法:noindex 标签。这两种方式分别适合什么场景、有什么区别,这篇一次性说清楚。

一、noindex 是什么,怎么加上去

noindex 是一段写在网页 head 区域里的 meta 标签,把 name 设成 robots、content 设成 noindex 就生效了。如果想顺带告诉蜘蛛别顺着这个页面的链接往外爬,可以把 content 写成 noindex 加 nofollow。百度蜘蛛抓到这个页面、读到这段标签,就不会把它放进索引。操作层面,用 WordPress 建站的话,可以在主题的头部模板里按页面类型条件输出这段标签,或者借助 SEO 插件在个别文章的编辑页里勾选不希望被收录。加完之后过几天,用 site 加网址复查一下,之前已经收录的通常会慢慢被移除,不会立刻消失。

二、它和 robots 文件的区别,千万别用混

这是最容易搞错的地方。robots 文件表达的是“禁止抓取”,蜘蛛连页面内容都读不到;noindex 表达的是“可以抓,但别收录”,蜘蛛必须先抓到页面,才看得到那行标签。关键区别就在这里:如果一个页面已经被 robots 挡在门外,你再加 noindex 是白搭,因为蜘蛛根本没机会读到标签。所以想让百度彻底丢掉一个已经收录的页面,正确做法恰恰是反过来——允许抓取,同时加上 noindex,让它进来读一次,然后把页面从索引里移除。那什么时候该用 robots 呢?如果你只是想减少无意义的抓取、把有限的抓取额度留给重要页面,比如那些无穷无尽的带参数网址,用 robots 挡掉更省事。一个是管“抓不抓”,一个是管“收不收”,按目的选工具就不会乱。

三、几个常见的误区

一是把 noindex 误加到首页或者核心栏目页上,结果连主力页面一起被移出索引,流量肉眼可见地往下掉,动手之前一定要确认标签的作用范围。二是给某个页面加了 noindex 加 nofollow,却又指望通过这个页面把权重传给别的重要页面,这种写法会让链接的权重传递打折扣,需要传权的页面别这么设。三是以为加上就马上见效,其实要等百度下一次来抓、再重新处理,往往要等上几天到几周,急不来,耐心等并用站长平台复查就对了。还有个细节值得注意:如果同一个网址既能用带参数的形式访问、又能用不带参数的形式访问,蜘蛛可能把它当成两个不同的页面,只在其中一种形式上加了标签就会漏网。稳妥的做法是把这类重复入口统一处理,要么用跳转归并到一个干净地址,要么在所有变体上都不漏地加上禁止收录的标签,别留死角。

小结

想让某个页面不进百度索引,noindex 标签是最直接的办法,但前提是让蜘蛛能抓到它才生效。分清“禁止抓取”和“禁止收录”,按页面性质选对手段,就能既清理掉垃圾页面,又不误伤真正带来流量的页面。

本文为原创内容,版权归本站所有。转载请注明出处:

如果这篇文章对你有帮助,欢迎扫码打赏。