网站robots文件是否要屏蔽JS和CSS文件

youshangwang 建站知识 708

遇到搜索蜘蛛抓取网站JS和CSS文件非常频繁,甚至占到了日抓取量的五分之一,这种情况有没有什么办法解决呢?是否可以屏蔽?下面大兵来给大家讲讲。

网站robots文件

首先来介绍下什么是robots文件呢?

robots是网站与搜索蜘蛛之间的抓取协议,通过txt文本文件告诉搜索蜘蛛网站允许的抓取权限,robots.txt是搜索引擎访问网站第一个文件,当搜索蜘蛛访问网站时,第一件事情就是检查该网站有没有robots文件,如果有,搜索蜘蛛就按照robots文件所规定的权限进行抓取,如果该文件不存在,搜索蜘蛛就可以抓取网站上所有文件。

js和css文件

网站robots文件是否要屏蔽JS和CSS文件的个人见解

1、将JS和CSS文件不建议全部屏掉,因为随着网站的发展,网站需要抓取的文件会越来越多,不建议全部屏蔽的原因有以下几个:
A、目前还没有相关数据证明,搜索蜘蛛抓取网页JS和CSS文件后,会减少抓取网页的机会;
B、如果要通过屏掉js和css文件来让其它网页提高抓取率的话,那网页推广做的也是蛮差的;
C、目前百度搜索可以正确识别什么是js文件、css文件及什么是网页文件。
网页主体内容模板
2、根据百度内容模板专利相关介绍,可以得出以下几个观点:
A、百度搜索可根据网页链接布局、网页框架,就可判断站点的主要页面类型及页面主体内容;
B、如果网页js、css文件对搜索蜘蛛识别网页主体内容没有影响,那么屏蔽是可以的,但从网页实际运行实例中js、css文件对网页内容抓取没有什么帮助,因为网页主体内容与js、css文件本来就是不相关的;
C、如果js、css文件对搜索蜘蛛识别网页主体内容有影响,例如网页js、css文件中含有网址、图片地址、有效资源地址、文字资源,这种情况不建议屏蔽,因为搜索蜘蛛可以抓取网页js、css文件中的内容,不建议采用ajax或多重逻辑判断的代码;
总结:如果遇到网页js、css文件抓取频率还是比较频繁,建议使用百度抓取频次工具进行反馈,提搞下网页抓取频次

回复

我来回复
  • 暂无回复内容

联系我

平时工作忙:合作还是咨询SEO服务,请简明扼表明来意!谢谢!

在线咨询:点击这里给我发消息

邮件:dabingseo@qq.com
工作时间:周一至周六,10:30-24:30,节假日休息

个人微信
个人微信
分享本页
返回顶部