什么是百度抓取UA? 百度UA禁封怎么办?
什么是百度抓取UA?
UA即为用户代理（User-Agent）User Agent是http协议中的一部分，当访问网站时计算机会自动将客户端浏览器版本、操作系统、浏览器内核等信息提交给网站服务器端，通过这个标识可显示不同版本的网站内容为用户提供更好的网站浏览体验及信息统计数据。
百度抓取UA指的是百度搜索蜘蛛的类型，百度搜索蜘蛛抓取网页有多重类型，常见的搜索蜘蛛指的是电脑PC端搜索蜘蛛，专门抓取百度推广广告类型的搜索蜘蛛，这些搜索蜘蛛简称为UA。
百度UA禁封怎么办?
UA禁封指的是网站robots.txt文件对网站根目录设置的针对搜索蜘蛛禁止抓取的规则。
比如：
User-agent: Baiduspider
Disallow: /baidu
以上这个robots.txt文件设置的是禁止搜索蜘蛛抓取名为baidu的网站目录。
使用百度站长平台抓取诊断工具抓取名为baidu的网站目录时会提醒，此网站目录已被robots封禁，如果想要重新开放这个目录给搜索蜘蛛抓取，只需要在网站robots.txt文件中删除这个robots封禁即可。
如何正确识别Baiduspider移动ua
百度站长平台公开发布了新版的Baiduspider移动ua，同时也公开了PC版Baiduspider UA，那么要如何正确识别百度移动UA呢？下面一起来看看。
新版移动UA:
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
PC UA:
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
之前通过“http://www.baidu.com/search/spider.html”进行识别网站的用户请注意，现在需要更改别的识别方式，新的识别Baiduspider移动ua的方法如下：
1、查看“Android”或者“Mobile”关键词来判断，判断是否为移动端抓取或访问；
2、通过关键词“Baiduspider/2.0”来判断是否为百度蜘蛛爬虫。
以上需要注意的是，网站robots文件封禁，如果封禁的是Baiduspider，会同时对PC端和移动端生效，因此无论是PC端还是移动端，搜索蜘蛛都不会进行抓取索引，之所以要强调这一点，是因为有些自适应站点，一个url地址打开即是PC端网页也是移动端网页，想通过robots文件设置只允许移动端抓取，但由于PC和移动端都是同一个URL地址，因此这种方法是不可取的。
以上就是百度蜘蛛UA的识别方法，你学会了吗？
