robots文件中到底要不要屏蔽JS和css
SEO优化 418
发现百度搜索蜘蛛最近频繁抓取网站js和css文件，遇到这种情况，是不是应该要屏蔽搜索蜘蛛抓取js和css文件呢？
下面为大兵的个人见解：
1、不建议robots屏蔽掉网页JS和css文件，随着互联网的不断发展，网络上的信息资源越来越多，搜索蜘蛛是需要分析的；
2、根据百度搜索专利技术的解读，可以得出以下观点内容：
1）百度搜索能够根据网站前台页面框架、布局，进而判断一个网站主体页面类型及适合用户浏览的主体内容；
2）如果网页js、css文件对搜索蜘蛛索引网页内容没有影响，那么屏蔽也可以，但可能对于网站其它页面抓取频率没有什么帮助，因为主体内容、js文件、css文件本来就是不相关的东西；
3）如果js、css文件对搜索蜘蛛判断站点主体内容有影响，例如网址、图片地址、有效资源地址、文字资源等建议不要屏蔽，搜索蜘蛛在抓取js/css文件的同时，还可以抓取网页里的内容，不建议采用ajax或多重逻辑判断的代码；
经过处理，如果发现搜索引擎依然对js、css文件抓取频率较高，那么建议向百度搜索进行反馈，降低网页抓取频率。
