一种应用商城中应用信息的抓取方法及装置制造方法及图纸

技术编号:19857884 阅读:43 留言:0更新日期:2018-12-22 11:47
本发明专利技术公开了一种应用商城中应用信息的抓取方法,所述方法包括:接收预定义的与应用商城匹配的爬虫规则,其中,所述预定义的规则中至少包括:与应用商城的标识信息相对应的爬虫标识信息、应用商城的分类列表、应用商城分类列表页面连接模式、列表页抓取配置、详情页抓取配置、抓取脚本、HTTP请求头以及爬虫工具的cookie设置中的至少一种;解析所述爬虫规则,并加载所述爬虫规则;根据所述爬虫规则对所述应用商城中的应用进行应用信息抓取。本发明专利技术实施例还提供了一种应用商城中应用信息的抓取方装置。应用本发明专利技术实施例,可以提高应用信息的采集效率。

【技术实现步骤摘要】
一种应用商城中应用信息的抓取方法及装置
本专利技术涉及一种信息的抓取方法及装置,更具体涉及一种应用商城中应用信息的抓取方法及装置。
技术介绍
随着智能手机的发展,手机应用也越来越多,如何对手机应用进行分析是亟待解决的技术问题。目前,可以通过爬虫技术来统计各个应用商店中的应用的应用信息、应用详情信息等。由于各个应用商店具有差异性,因此,在采集各个应用商店中的应用的应用信息、应用详情信息时,需要进行定制爬虫的开发,因此,现有技术存在采集效率较低的技术问题。
技术实现思路
本专利技术所要解决的技术问题在于提供了一种应用商城中应用信息的抓取方法及装置,以提高应用信息的采集效率。本专利技术是通过以下技术方案解决上述技术问题的:本专利技术实施例提供了一种应用商城中应用信息的抓取方法,所述方法包括:接收预定义的与应用商城匹配的爬虫规则,其中,所述预定义的规则中至少包括:与应用商城的标识信息相对应的爬虫标识信息、应用商城的分类列表、应用商城分类列表页面连接模式、列表页抓取配置、详情页抓取配置、抓取脚本、HTTP请求头以及爬虫工具的cookie设置中的至少一种;解析所述爬虫规则,并加载所述爬虫规则;根据所本文档来自技高网...

【技术保护点】
1.一种应用商城中应用信息的抓取方法,其特征在于,所述方法包括:接收预定义的与应用商城匹配的爬虫规则,其中,所述预定义的规则中至少包括:与应用商城的标识信息相对应的爬虫标识信息、应用商城的分类列表、应用商城分类列表页面连接模式、列表页抓取配置、详情页抓取配置、抓取脚本、HTTP请求头以及爬虫工具的cookie设置中的至少一种;解析所述爬虫规则,并加载所述爬虫规则;根据所述爬虫规则对所述应用商城中的应用进行应用信息抓取。

【技术特征摘要】
1.一种应用商城中应用信息的抓取方法,其特征在于,所述方法包括:接收预定义的与应用商城匹配的爬虫规则,其中,所述预定义的规则中至少包括:与应用商城的标识信息相对应的爬虫标识信息、应用商城的分类列表、应用商城分类列表页面连接模式、列表页抓取配置、详情页抓取配置、抓取脚本、HTTP请求头以及爬虫工具的cookie设置中的至少一种;解析所述爬虫规则,并加载所述爬虫规则;根据所述爬虫规则对所述应用商城中的应用进行应用信息抓取。2.根据权利要求1所述的一种应用商城中应用信息的抓取方法,其特征在于,所述根据所述爬虫规则对所述应用商城中的应用进行应用信息抓取,包括:获取应用商城的分类列表,并对所述应用商城的分类列表中的每一个分类,获取每一个分类的首页地址,将分类列表中的一个分类作为当前分类,进而获取当前分类下的应用信息;判断是否存在还未进行应用信息抓取的分类;若是,将所述分类列表中除所述当前分类之外的其他分类作为当前分类,并返回执行所述获取当前分类下的应用信息的步骤,直至所述分类列表中所有的分类下的应用信息都被采集。3.根据权利要求2所述的一种应用商城中应用信息的抓取方法,其特征在于,所述获取当前分类下的应用信息,包括:获取当前分类下的列表页面链接,进而将获取列表页作为当前分类下的当前列表页;判断所述当前列表页是否有效;若是,获取所述当前列表页中所包含的应用信息,并将所述当前列表页的下一列表页作为当前列表页,获取所述当前列表页中所包含的应用信息,直至当前分类下所由的列表页中的应用信息都被抓取;若否,将所述当前列表页的下一列表页作为当前列表页,并返回执行所述判断所述当前列表页是否有效的步骤,直至当前分类下所由的列表页中的应用信息都被抓取。4.根据权利要求3所述的一种应用商城中应用信息的抓取方法,其特征在于,所述获取所述当前列表页中所包含的应用信息,包括:在获取所述当前列表页中所包含的应用信息时,判断所述爬虫规则中是否定义了抓取应用详情的规则;若是,获取所述当前列表...

【专利技术属性】
技术研发人员:阳雄
申请(专利权)人:安徽捷兴信息安全技术有限公司
类型:发明
国别省市:安徽,34

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1