robots文件中到底要不要屏蔽JS和css

youshangwang SEO优化 63

发现百度搜索蜘蛛最近频繁抓取网站js和css文件,遇到这种情况,是不是应该要屏蔽搜索蜘蛛抓取js和css文件呢?

robots文件
下面为大兵的个人见解:

1、不建议robots屏蔽掉网页JS和css文件,随着互联网的不断发展,网络上的信息资源越来越多,搜索蜘蛛是需要分析的;
2、根据百度搜索专利技术的解读,可以得出以下观点内容:
1)百度搜索能够根据网站前台页面框架、布局,进而判断一个网站主体页面类型及适合用户浏览的主体内容;
2)如果网页js、css文件对搜索蜘蛛索引网页内容没有影响,那么屏蔽也可以,但可能对于网站其它页面抓取频率没有什么帮助,因为主体内容、js文件、css文件本来就是不相关的东西;
3)如果js、css文件对搜索蜘蛛判断站点主体内容有影响,例如网址、图片地址、有效资源地址、文字资源等建议不要屏蔽,搜索蜘蛛在抓取js/css文件的同时,还可以抓取网页里的内容,不建议采用ajax或多重逻辑判断的代码;

经过处理,如果发现搜索引擎依然对js、css文件抓取频率较高,那么建议向百度搜索进行反馈,降低网页抓取频率。

回复

我来回复
  • 暂无回复内容

联系我

平时工作忙:合作还是咨询SEO服务,请简明扼表明来意!谢谢!

在线咨询:点击这里给我发消息

邮件:dabingseo@qq.com
工作时间:周一至周六,10:30-24:30,节假日休息

个人微信
个人微信
分享本页
返回顶部