无百度蜘蛛抓取记录,大兵教你三步轻松解决百度蜘蛛封禁

网站内容优质却没有搜索蜘蛛的抓取记录,出现这种问题一般可能是由于站长误操作封禁了百度蜘蛛,常见的百度搜索蜘蛛误封禁的行为包括robots文件封禁、百度UA封禁、百度IP封禁等。

近期内有用户反应,网站内容非常优质,但是却没有百度搜索蜘蛛的抓取记录,内容在百度搜索中也没有任何收录和展现,问这是什么原因,下面大兵来给大解决下这个问题。

百度搜索蜘蛛

三步轻松解决网站,无百度蜘蛛抓取记录和百度蜘蛛封禁问题

网站内容优质却没有搜索蜘蛛的抓取记录,出现这种问题一般可能是由于站长误操作封禁了百度蜘蛛,导致百度蜘蛛无法正常抓取网站页面,所以网站页面在百度搜索里就没有任何收录和展现,常见的百度搜索蜘蛛误封禁的行为包括robots文件封禁、百度UA封禁、百度IP封禁等。
如何查找自己网站有无误封禁百度蜘蛛的情况?大兵告诉大家可以通过以下三种方法自查。

1、自查robots.txt文件

站长们,先看看自己网站的robots.txt文件,检查下是否百度蜘蛛封禁行为,这个文件一般是在网站根目录下。
处理方法:如果网站有robots封禁行为,建议站长们尽快修改或删除robots.txt文件。

robots文件正确设置方法
不知道网站如何设置robots.txt文件,可参考《Robots.txt文件要如何正确设置》这篇文章。

2、自查是否封禁百度UA

站长们如果自查网站的robots.txt文件没有问题,那么进一步就排查下网站是否封禁了百度UA呢?那么如何排查网站是否误封禁了百度UA?

浏览器UA设置

(1)执行代码自查

执下如下代码就可以自查网站是否误封禁百度UA:
curl–head–user-agent’Mozilla/5.0 (compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html)’–request GET ‘xxxxxxx’
xxxxxxx为网站域名,如:https://www.zhuzhouren.cn
如果执行这条代码返回的是200代码,则说明网站没有误封禁百度UA,反之,如果返回的是其它异常代码,则说明网站误封禁了百度UA。

(2)更换浏览器进行UA验证

检查下网站在其它浏览器中是否能正常抓取或收录,以此来判断网站是否存在封禁百度UA的问题;
处理方法:利用网站反抓虫策略,进行策略调整,解决百度UA封禁问题,或者将百度UA添加到浏览器的白名单中。

3、自查是否存在IP封禁

站长们,如果自查以上问题均无异常,那么站长们还可以去排查网站是否有IP封禁的问题;
IP误封禁一般都是防火墙误操作导致,打开防火墙设置后台,检查下防火墙是否将网站IP误封禁了。
处理方法:利用网站反抓虫策略,进行策略调整,解决百度IP封禁问题。

总结:如果你的网站也出现了以上问题,建议按照以上三个步骤方法去排查,这样才能快速解决网站内容优质,却无百度蜘蛛来抓取的问题。

本文发布于大兵SEO博客文章,作者:大兵,如若转载,请注明出处:https://www.zhuzhouren.cn/seojishu/10966.html,否则,禁止转载,谢谢配合!

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-05-24 22:59
下一篇 2022-07-15 21:36

其他人还看过以下内容

联系我

平时工作忙:合作还是咨询SEO服务,请简明扼表明来意!谢谢!

在线咨询:点击这里给我发消息

邮件:dabingseo@qq.com
工作时间:周一至周六,10:30-24:30,节假日休息

个人微信
个人微信
分享本页
返回顶部