合理禁抓网站内页 提升网站优化效果

合理禁抓网站内页 提升网站优化效果,第1张

  为什么要禁抓自己的网页呢?这似乎有点让人不理解,因为对于自己的网站来说,显然是让百度搜查引擎抓取的越多就会越好,因为有着更多的机会揭露到互联网上。可是事实上一个网站通常有很多的内页不应该被百度抓取,因为这些网站页面不仅不利于自身的优化,甚至还会带来反作用。

  那么通常哪些网站页面不应该被百度抓取呢?比如网站内部存在着一定的重复性内容,比如一些遵照条件查询获得的结果页面,这一点在很多商城类网站表示的异常突出,比如一个产品因为颜色、大小和型号的差异,就会出现很多种类似的页面,这种页面能够对用户来说具有一定的体验度,可是对于搜查引擎,却轻易因为提供的重复内容太多,而被惩处或者降权。

  另外网站中还存在着很多注册页面、备份的页面以及测试页面等,这些页面仅仅是为了让用户能够更好的操作网站,以及自己对网站的操作管理。而这些页面由于内容相对单调,并不适合百度对内容质量的要求,因此要尽可能的规避被百度收录和抓取。下面就来具体谈谈如何规避百度抓取内容页的方法。

  第一,运用Flash技术来展现那些不想被百度收录的内容

  通过这种方法不仅能够让用户获得更好的用户体验,同时百度也不能够抓取这些内容,从而实现更好的服务于用户,同时也不会影响到自己的内容再百度中揭露。

  第二,采用robots脚本技术来屏蔽相应的内容

  目前搜查引擎行业协会规定了对于Robots描述的内容和链接赋予遏制抓取,因此对于网站上存在着隐私内容,以及管理页面和测试页面等内容,都可以设置到这个脚本文件中,这不仅能够对本网站提供很好的维护,同时也能够让那些看起来是垃圾的内容,规避被百度抓取后,反而对本网站形成巨大的负面作用。

  第三,使用nofollow属性标签来摒弃页面中那些不想被收录的内容

  这种方法使用比较常见,而且能够针对网页中某一个区域或者一段文字进行屏蔽,从而提升自己网站内容的优化效果。采用这种技术只需要对需要屏蔽的内容将nofollow属性设置为True,就能够屏蔽这些内容。比如对于网站上存在着一些精彩的内容,可是这些内容还包括了锚文本链接,那么为了防范这些锚文本外链偷走本站的权重,就可以对这些锚文本链接设置nofollow属性,这样就能够享受到这些内容带给网站的流量,同时也能够规避网站权重被分流的危急。

  第四,使用Meta Noindex和follow标签

  使用这种方式既能够实现防止被百度收录,同时还能够实现权重的传递,当然具体怎么操作还需要看站长们的须要,不过采用这种方式来屏蔽内容,往往会浪费百度蜘蛛的抓取时间,从而影响优化体验,也就是说不到万不得已时不需要采用这种模式。

  对于有些站长采用的表单模式和Javascript技术来进行屏蔽,目前已经不能够完成这项使命了,因为随着百度蜘蛛智能化水平的提升,采用这些技术编篡的内容已经能够被抓取,而且从不久的将来,Flash里面的内容一旦能够被抓取,如果想要屏蔽网站内容,这个方法也要规避使用。谢谢阅读,希望能帮到大家,请继续关注脚本之家,我们会努力分享更多优秀的文章。

文章来源:https://www.jb51.net/yunying/242183.html

本文经用户投稿或网站收集转载,如有侵权请联系本站。