说明:如果您有任何疑问或想咨询其他业务请拨打电话 400 685 0732
全网监测海量数据按需发布监测预警
实时把握舆情动态精准追溯信息源头
历史回顾:
前段时间,多个站点抓取量出现过山车的现象,吓尿了有木有?
果然的赶紧投诉,然后发现,是百度自己的问题。
再然后,百度说了 宣布新版Baiduspider移动ua上线,同时公布了PC版Baiduspider ua。如下:
新版移动ua:
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
PC ua:
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
新的正确的识别Baiduspider移动ua的方法如下:
1. 通过关键词“Android”或者“Mobile”来进行识别,判断为移动访问或者抓取。
2. 通过关键词“Baiduspider/2.0”,判断为百度爬虫。
另外需要强调的是,对于robots封禁,如果封禁的agent是Baiduspider,会对PC和移动同时生效。即,无论是PC还是移动Baiduspider,都不会对封禁对象进行抓取。之所以要强调这一点,是发现有些代码适配站点(同一个url,PC ua打开的时候是PC页,移动ua打开的时候是移动页),想通过设置robots的agent封禁达到只让移动Baiduspider抓取的目的,但由于PC和移动Baiduspider的agent都是Baiduspider,这种方法是非常不可取的。
推荐阅读
百度spider工程师给https站点的技术建议 | 文军营销4、针对https的站点,百度在抓取技术层面上有哪些建议? 答:如果以前有http站点,建议保留跳转行为。之后注意通过百度站长平台的抓取诊断工具和抓取异常工具关注抓取结果。 所以,站长们将http站点转为https的话会更利于站点排名,同时百度对https...常见的seo排名优化问题有哪些?十种常见百度Seo排名优化技巧 |...8、移动页面优化技巧 与PC站类似,需要对移动页面进行必要优化以提升百度移动排名。 需要注意的点:移动站点的标题,关键字,描述的字数应该与PC站有区别,要设置得更少。建议做成移动站后,通过手机浏览器测试,看相关内容是否可以全部正常展现。李彦宏新专利"对象识别方法和装置" 剑指移动端搜索布局 | 文军营销百度在对未来技术的投入是不惜一切代价的,其中还包括语音识别,图片识别,深度学习等技术。 移动端优化与PC端优化的区别? 移动端更加本地化:谷歌的产品经理玛丽莎·梅耶尔曾经说过的一个数据来回答大家,40%的移动搜索是属于本地搜索的;微...百度seo排名优化技巧 百度seo排名优化技巧分享 | 文军营销8、移动页面优化技巧 与PC站类似,需要对移动页面进行必要优化以提升百度移动排名。 需要注意的点:移动站点的标题,关键字,描述的字数应该与PC站有区别,要设置得更少。建议做成移动站后,通过手机浏览器测试,看相关内容是否可以全部正常展现。
说明:如果您有任何疑问或想咨询其他业务请拨打电话 400 685 0732