400-685-0732 电话咨询送星巴克礼品
关注专业seo外包公司
SEO创新会
文军营销 中国靠谱的数字营销公司

为什么网站的抓取频次低?

首页  >   网站优化  > SEO每日一博  >  为什么网站的抓取频次低?

一向以新人的身份看待自己,当然,我本来也就是新人,说实话,确实不太敢写一些技术性的东西,然而写些感想又觉得太没意思,所以今天尝试写一下自己的分析,如有错误,还请各位看官及时更正!
昨天写了A客户的月报,因为有模板所以也算是顺利,统计数据的时候突然发现高网站的抓取频次远远不如B客户的网站,简直差了一大截。如下图所示。
1
A客户网站抓取频次
2
B客户网站抓取频次
由上图我们可以看出,B客户网站的抓取频次几乎都在7500以上,而A客户网站的抓取频次全都在1000以下。那什么原因导致了抓取频次的差异呢?
首先,我们来分析一下,抓取频次的影响因素。一般来说,影响蜘蛛抓取频次的官方因素是网站的外链,网站发布内容发热质量、原创度及发布的时间,网站的死链,网站的代码和站长工具。这两个站都是我们的客户,外链的质量,死链的数量,发布内容及时间,包括站长工具都是相同或类似的,为什么抓取频次会有如此大的差距呢?是否是网页数量的问题呢?其实不是的,我们来看一下两网站的抓取时间。
3
A客户网站的抓取时间
4
B客户网站的抓取时间
显然,网站抓取频次少的重大元凶是抓取时间太长。蜘蛛抓取的时间是一定的,抓取时间那么长怎么能挽留蜘蛛呢?此外,是否服务器的差异也导致了两个网站抓取频次的差异呢?我们一起来看一下如下两个图。
5
A客户服务器无响应次数(501、502等状态码)
6
B客户服务器无响应次数(501、502等状态码)
由上图可以看到,A客户的服务器无响应次数很多,而B客户则完全相反,这难道还不能说明原因吗?同样的客户,我们同样认真的服务,即使策略不同,该有的调整都会做好。蜘蛛的耐心是有限的,抓取的时候时间长了它会离开,无响应它也会离开,如果连续几次都是无响应状态,那么它来抓取的频率也会有所下降。
抓取频率一旦下降,短期之内也是升不上来的,只能依靠定时高质量的更新慢慢吸引蜘蛛的到来。所以,小伙伴们,在抱怨网站抓取频次太低之前,请先看看服务器还OK吗?

copyright@2015 上海文军信息技术有限公司 沪ICP备10034044号-8 网站地图