搜索引擎工作原理分析及搜索蜘蛛抓取收录排名策略解读

搜索引擎工作原理分析及搜索蜘蛛抓取收录排名策略解读,搜索引擎蜘蛛抓取流程为抓取网页,再放入临时索引库,再筛选,再放到正式索引库中,最后才有关键词查询与排序结果.

一、搜索引擎蜘蛛抓取流程原理

搜索引擎蜘蛛先抓取网页内容,将抓取网页存储于临时索引库中,再分析这些内容的价值,如果这些内容符合搜索引擎收录的标准,就将这些内容存储于搜索引擎的正式索引库中,反之则将这些内容从临时索引库中删除,这也是有些站长查到蜘蛛来抓取了网页却没有收录的原因。

搜索引擎蜘蛛抓取流程原理
搜索引擎蜘蛛抓取流程原理图

你的网页要参与搜索引擎关键词排名,只有当你的网页被搜索引擎收录了才有资格,否则连参与排名的资格都没有,至于排在哪一页,这个就得是搜索引擎算法说了算了,搜索引擎算法分析你网页内容的当前价值,然后根据你网页的价值给出你网页关键词合理的排名。
搜索蜘蛛抓取流程:先抓取网页—临时索引库—分析筛选—正式索引库—最后才能参与网页关键词排序。

spider抓取系统的基本框架图
spider抓取系统的基本框架图

搜索蜘蛛的工作流程步骤为先抓取网页内容,再分析抓取回来的网页内容,内容合格则收录此内容,不合格则不收录此内容,每时每刻不停的重复此步骤,可将搜索引擎简单地理解为是一个内容抓取程序。

1、http的工作原理

在浏览器中输入网址向网站服务器端发送一个http访问请求,服务端接收到此请求并进行解析,向客户端以http的形式进行响应,并以图文并茂的形式展现在用户眼前。
对于服务端来说,向客户端返回的都是http代码,它并不知道返回是文字还是图片,最后返回的结果是需要浏览器渲染用户才可以看到图文并茂的网页。
作为SEO优化工作人员,对于搜索引擎的工作原理我们还是需要了解一点的。

http的工作原理图
http的工作原理图

 

2、搜索引擎抓取三步曲

搜索蜘蛛对于一个新网页内容,先会抓取网页链接,再进行分析过滤网页链接内容,达到收录标准的内容则进行收录,未达到收录标准的内容则直接删除了,已收录的内容根据搜索算法规则进行排序,最后呈现关键词查询与排序结果。
作为我们只需要知道搜索引擎蜘蛛抓取的三步曲就行了,为“抓取—过滤—收录”这么一个过程。

搜索引擎蜘蛛抓取三步曲

二、如何提升抓取减少过滤

搜索引擎蜘蛛都是以匿名身份抓取所有网页内容的,如果你的网页内容加了密,需要输入帐号密码才可以访问,那么这种网页搜索引擎是无法进行正常抓取的,需要网页开放加密权限才可以抓取,如果你的网页内容需要参与搜索排名,一定千万注意不要限制了搜索引擎抓取网页内容。

搜索引擎蜘蛛

无ALT属性的图片、视频、JS文件、flash动画、ifame框架等内容搜索引擎都是不能识别的,搜索引擎只能识别文字和数字,如果你的网页中存在有搜索引擎不能识别的内容,就很有可能会被搜索引擎蜘蛛给过滤掉,所以我们在设计网页的时候,就要避免在网页中加入搜索引擎不能识别的内容,如果你的网页内容都不能被搜索蜘蛛给识别到,又何谈收录及排名了?
搜索蜘蛛抓取了网页内容后,第一步就是过滤,过滤掉不符合搜索引擎收录标准的内容,搜索蜘蛛收录网页内容基本步骤为筛选、剔除、再筛选、收录到正式索引库,正式收录网页后接着就是分析当前网页内容的价值,最后就是决定当前网页关键词排序的位置。
筛选过滤我们可简单理解为对无价值、质量度低的内容进行剔除,保留对用户有价值、质量高的内容,如果你想提高你网站内容的收录率,就建议多更新对用户有价值质量高、符合搜索收录规则的内容,不要更新低质拼接的垃圾内容。

三、如何提升网站内容收录和索引

1)什么是网站收录和索引

使用site指令就可以查询出网站预估的收录量,例如“site:www。58。com”,就可以查询58同城网站的预估收录量,如下图所示:

58同城网站页面百度搜索收录量
58同城网站页面百度搜索收录量

网站收录率是什么意思?例如你的网站有100个页面,而搜索引擎只收录你网站10个页面,那么你的网站收录率就是10%,网站收录率计算公式为收录率/网站总页面=收录率,site指令只能查询出网站大概的收录量,一般情况下你的网站页面越多收录就会越多,网站收录页面多了则意味着网站流量就会多,网站内容质量度越高网站页面收录率就会越高,注意网站收录量并不等于网站索引量,网站收录量是小于索引量的。

2)如何提高网站页面收录,减少网页筛选剔除

(1)如何提高网站页面收录率

想要提高网站的收录率就要提高网站内容的更新频率,网站内容更新要与网站定位相符合,例如网站定位是女鞋,那么你的网站内容更新就需要围绕女鞋而展开,而且网站更新的内容必须是高质,对用户有价值的内容。
搜索引擎判断网站内容质量的高低重要的参考依据就是网站跳出率,网站跳出率越低则代表内容质量度越高,网站跳出率越高则则代表内容质量度越低,跳出率高了则意味着网站关键词排名就会不怎么好。

(2)如何减少网页筛选剔除率

不要更新低质垃圾对用户无任何价值的内容,要重视内容的质量度,100篇低质量内容,不如一篇高质量原创内容,例如有些站长利用内容采集工具向网站导入大量的低质垃圾内容,然而搜索引擎并没有收录这些内容,因此说网站内容质量度与网站收录率是成正比关系的。
同样的内容,哪个网站权重高就会先收录哪个网站的内容,所以说网站收录率与网站权重值也是有一定关系的,还有就是与网站内容更新时间也是有一定关系的,先更新的网站先收录,后更新的先收录。
完全对用户没有价值的垃圾内容,搜索引擎是不会收录的,就算被搜索蜘蛛抓取了,也会被筛选剔除掉的。

4、关键词查询与排序及搜索结果输出

排序是最后一个步骤了,网站关键词排序并不是马上就会有结果的,其实在搜索引擎对网站内容页面建索引库时就已经开始进行分析了,分析网站页面质量度,例如站内结构优化、站内站外投票值、关键词密度等,这些决定了网站页面关键词排序,简单地讲就是我们在搜索引擎搜索一个关键词时,这个关键词的排序是搜索引擎早就分析计算得出的结果。

本文发布于大兵SEO博客文章,作者:大兵,如若转载,请注明出处:https://www.zhuzhouren.cn/seojishu/4957.html,否则,禁止转载,谢谢配合!

发表评论

登录后才能评论
联系我

平时工作忙:合作还是咨询SEO服务,请简明扼表明来意!谢谢!

在线咨询:点击这里给我发消息

邮件:dabingseo@qq.com
工作时间:周一至周六,10:30-24:30,节假日休息

个人微信
个人微信
分享本页
返回顶部