课程咨询 :15874024893
qq:2416540879

长沙网络营销培训 > 达内新闻 > 《搜索引擎工作原理》之抓取篇
  • 《搜索引擎工作原理》之抓取篇

    发布:长沙网络营销培训      来源:达内新闻      时间:2016-04-11

  • 抓取对于我们做SEO行业的小伙伴来说还是很有用的,长沙网络营销培训今天和大家分享一下关于抓取的原理吧!

    一、抓取篇

    spider抓取系统包括链接存储系统、链接选取系统、dns解析服务系统、抓取调度系统、网页分析系统、链接提取系统、链接分析系统、网页存储系统。

    解读:蜘蛛从链接库中选取链接,对链接对应的页面进行抓取,保存网页到网页库的同时再提取抓取页面中的链接,并对这些链接和链接库进行对照、合并重复链接、建立新链接入库。

    其中在抓取页面的时候,已经对页面进行简单分析,过滤掉垃圾页面。这是一个不断循环的过程。

    Baiduspider根据上述网站设置的协议对站点页面进行抓取,但是不可能做到对所有站点一视同仁,会综合考虑站点实际情况确定一个抓取配额,每天定量抓取站点内容,即我们常说的抓取频次。

    那么百度搜索引擎是根据什么指标来确定对一个网站的抓取频次的呢,主要指标有四个:

    1、网站更新频率:更新快多来,更新慢少来,直接影响Baiduspider的来访频率;

    2、网站更新质量:更新频率提高了,仅仅是吸引了Baiduspier的注意,Baiduspider对质量是有严格要求的,如果网站每天更新出的大量内容都被Baiduspider判定为低质页面,依然没有意义;

    3、连通度:网站应该安全稳定、对Baiduspider保持畅通,经常给Baiduspider吃闭门羹可不是好事情;

    4、站点评价:百度搜索引擎对每个站点都会有一个评价,且这个评价会根据站点情况不断变化,是百度搜索引擎对站点的一个基础打分(绝非外界所说的百度权重),是百度内部一个非常机密的数据。站点评级从不独立使用,会 合其它因子和阈值一起共同影响对网站的抓取和排序。

    长沙网络营销培训解读:如果你的网站新更新的文章百度收录慢或者不收录,就可以从以上四点上找下原因,其中影响最大的就是更新频率,也就是我们常说的,要学会养蜘蛛,更新频率不但指更新量上,还要注意每日的更新 数不要悬殊太大。另外,网站访问稳定也要注意,打开速度过慢或者无法打开都会影响到收录问题。

    Baiduspider抓了多少页面并不是最重要的,重要的是有多少页面被建索引库,即我们常说的“建库”。众所周知,搜索引擎的索引库是分层级的,优质的网页会被分配到重要索引库,普通网页会待在普通库,再差一些的网页会被分 配到低级库去当补充材料。目前60%的检索需求只调用重要索引库即可满足,这也就解释了为什么有些网站的收录量超高流量却一直不理想。

    解读:长沙网络营销培训认为,这三个等级的索引库也是有相互转化的,比如普通库的页面会被提升到优质库中,对于很多新站或者信任度不高的站点,新发布的页面很难直接进入到优质库中,但后期如果经过搜索用户检验, 及大量的外链导入可能会转化到优质库中。

    哪些网页可以进入优质索引库呢。其实总的原则就是一个:对用户的价值。

    《搜索引擎工作原理》之抓取篇

    包括却不限于:

    1、有时效性且有价值的页面:在这里,时效性和价值是并列关系,缺一不可。有些站点为了产生时效性内容页面做了大量采集工作,产生了一堆无价值面页,也是百度不愿看到的;

    2、内容优质的专题页面:专题页面的内容不一定完全是原创的,即可以很好地把各方内容整合在一起,或者增加一些新鲜的内容,比如观点和评论,给用户更丰富全面的内容;

    3、高价值原创内容页面:百度把原创定义为花费一定成本、大量经验积累提取后形成的文章。千万不要再问我们伪原创是不是原创;

    4、重要个人页面:这里仅举一个例子,科比在新浪微博开户了,需要他不经常更新,但对于百度来说,它仍然是一个极重要的页面。

    解读:请注意这里面的时效性、价值性、整合、成本、独立无二,特别是里面的成本,复制粘贴的无成本、标题党无成本、所以,就算你不原创,你也要让人感觉你的文章是花了很大时间成本或金钱成本搞成的。

    上面百度所讲的四个点中不包含权威性,但权威性也是一个很很关键的因素,同样一个文章,大门户复制和一个小站长复制,那层次是不一样的。

    哪些网页无法建入索引库

    上述优质网页进了索引库,那其实互联网上大部分网站根本没有被百度收录。并非是百度没有发现他们,而是在建库前的筛选环节被过滤掉了。那怎样的网页在最初环节就被过滤掉了呢:

    1、 重复内容的网页:互联网上已有的内容,百度必然没有必要再收录。

    2、主体内容空短的网页

    2.1、有些内容使用了百度spider无法解析的技术,如JS、AJAX等,虽然用户访问能看到丰富的内容,依然会被搜索引擎抛弃

    2.2、加载速度过慢的网页,也有可能被当作空短页面处理,注意广告加载时间算在网页整体加载时间内。

    2.3、很多主体不突出的网页即使被抓取回来也会在这个环节被抛弃。

    3、部分作弊网页

    好技巧也只是适合偶尔使用,就好很好的渠道,天天如此便没有任何意义了,长沙网络营销培训希望大家对于技巧有更多了解,而不是长期以往的使用。

    推荐文章

上一篇:网编该懂的SEO技巧文字整理

下一篇:什么是有效收录?

最新开班日期  |  更多

网络营销型网站班

网络营销型网站班

开班日期:10月31日

SEO搜索引擎优化班

SEO搜索引擎优化班

开班日期:10月31日

SEM搜索引擎推广班

SEM搜索引擎推广班

开班日期:10月31日

百度搜索推广综合班

百度搜索推广综合班

开班日期:10月31日

  • 网址:http://cs.so.tedu.cn      地址:长沙市芙蓉中路一段479号建鸿达现代城27楼
  • 课程培训电话:15874024893
    qq:2416540879    全国服务监督电话:400-827-0010
  • 服务邮箱 ts@tedu.cn
  • 2001-2016 达内国际公司(TARENA INTERNATIONAL,INC.) 版权所有 京ICP证08000853号-56