网站分页和列表页怎么优化 才不产生重复内容影响百度收录

网站做大了以后,页数越来越多,其中有一类页面最容易被忽略:列表页和分页。比如文章列表第一页、第二页、第三页,或者带筛选参数的结果页。这些页面往往内容高度相似,只是文章换了一批、后面加了页码。很多人以为多一个页面就多一次曝光机会,其实在百度看来,这类重复度高的页面不仅帮不上忙,还会分散权重、浪费抓取资源。如果发现收录里一堆没用的列表页,正文页反而不被抓,八成就是它们惹的祸。

先分清哪些页面算重复,别一刀切

不是所有列表页都要处理,先做诊断。分类第一页、标签首页通常有引导价值,用户会用它继续浏览,这类页面是合理的,可以保留。真正需要警惕的是深度分页和参数组合页:比如列表翻到第五页之后、同一个筛选条件排列出几十个不同URL、或者带排序和页码的链接被大量生成。判断标准是看这些页面之间正文内容差异大不大。如果除了文章顺序几乎一模一样,标题描述也雷同,那就是典型的重复页。可以进百度搜索资源平台看索引量,再用site命令抽查,心里就有数了。

用规范手段收敛重复页

确认是重复页之后,处理有几种常用手段。第一是给重要的列表页写独立的标题和描述,适当加一点栏目说明文字,让它和别的页面有区分度。第二是用robots.txt限制百度抓取那些没必要的深度分页和参数页,不要让它把抓取预算浪费在这里。第三是合理使用canonical标签,把内容高度相似的页面指向一个规范版本,告诉百度以哪个为准。第四是控制分页数量,超过一定页数就不再生成链接。这几招组合起来用,效果比单独用一种更稳。要注意robots别写错规则,把正文页一起屏蔽了,那就得不偿失。改完之后记得在资源平台提交更新,并用抓取诊断看看蜘蛛实际能不能正常抓到该抓的页面,确认调整真的生效,而不是只在自己电脑上看着正常。

常见误区要绕开

一个误区是把列表页全部设置成不收录,连有价值的第一页一起屏蔽,结果用户和蜘蛛都少了入口。另一个误区是以为分页越多收录越多,拼命生成参数页,最后.site一看全是重复内容,正文反而沉了下去。还有人把内链全堆到列表页,正文页得不到链接权重,主次颠倒。正确思路是让列表页做好导航和分发,把权重导向真正有价值的正文页。

还有个细节值得注意:分页链接要让蜘蛛能够正常发现。有些人为了页面好看,把翻页做成必须点击才能加载的效果,蜘蛛抓不到第二页之后的正文内容,连累这些文章很难被收录。稳妥的做法是保留普通的、可以被抓取的分页链接,让每一页正文都有明确地址,再配合前面的收敛手段控制重复。既方便用户浏览,也不给蜘蛛设置障碍,两端都照顾到,收录才会更顺。

小结:分页和列表页本身没错,错在放任重复页面无限生成。先诊断出哪些是真重复,再用robots、canonical、独立描述这些手段收敛,让抓取资源集中在值得收录的正文上,收录质量自然会提升。

本文为原创内容,版权归本站所有。转载请注明出处:

如果这篇文章对你有帮助,欢迎扫码打赏。