一种商品采集调度方法及系统技术方案

技术编号:17780912 阅读:35 留言:0更新日期:2018-04-22 10:04
本发明专利技术涉及电子商务技术领域,具体涉及一种商品采集调度方法及系统,该方法包括:为所有要采集商品设置采集标记;设置不同等级的采集频率,所述不同等级的采集频率包括:第一频率;以所述第一频率采集所有要采集商品的URL,根据所述商品的URL将商品信息存储到数据库;根据所述商品信息,计算商品采集时间距离上一次变价时间的天数,根据所述天数将所述采集标记指定为不同等级的采集频率,以对商品进行不同等级采集频率的采集。通过本发明专利技术,提高了商品采集系统的效率以及实用性。

【技术实现步骤摘要】
一种商品采集调度方法及系统
本专利技术涉及电子商务
,具体涉及一种商品采集调度方法及系统。
技术介绍
商品采集调度是指在采集商品信息过程中,根据商品价格的变动规律,制定出特殊的个性化的采集策略。随着商品采集数量的增多,围绕商品采集调度开展的调度策略以及系统也日益增多。海量的商品数据包含了商品的各种标题、图片、规格、评论、优惠以及价格等信息。其中对于价格采集进行调度的研究也是非常有价值的。常规商品采集流程如下:(一)从网站入口页获取列表页URL(UniformResourceLocator,统一资源定位符),对列表页的URL格式处理,同一个网站内部的列表页URL格式相同;遍历列表页URL获取商品单页URL、商品标题、图片等信息,将列表页URL和单页商品URL以及商品标题、图片等信息保存到数据库,并且要给商品价格赋值作为初始价格,价格更新时间、商品进入数据库的时间等信息都要进行初始化。(二)从数据库中取出所有单页URL,分析页面结构,采集优惠信息、库存、规格、品牌等属性,处理后存放到数据库中。将商品每次的价格变动信息单独存放,日后便于查看商品的价格变动,也可以据此生成包含商品的所有本文档来自技高网...
一种商品采集调度方法及系统

【技术保护点】
一种商品采集调度方法,其特征在于,所述方法包括:为所有要采集商品设置采集标记;设置不同等级的采集频率,所述不同等级的采集频率包括:第一频率;以所述第一频率采集所有要采集商品的URL,根据所述商品的URL将商品信息存储到数据库;根据所述商品信息,计算商品采集时间距离上一次变价时间的天数,根据所述天数将所述采集标记指定为不同等级的采集频率,以对商品进行不同等级采集频率的采集。

【技术特征摘要】
1.一种商品采集调度方法,其特征在于,所述方法包括:为所有要采集商品设置采集标记;设置不同等级的采集频率,所述不同等级的采集频率包括:第一频率;以所述第一频率采集所有要采集商品的URL,根据所述商品的URL将商品信息存储到数据库;根据所述商品信息,计算商品采集时间距离上一次变价时间的天数,根据所述天数将所述采集标记指定为不同等级的采集频率,以对商品进行不同等级采集频率的采集。2.根据权利要求1所述的商品采集调度方法,其特征在于,所述不同等级的采集频率还包括:第二频率,所述第二频率低于所述第一频率;所述根据所述天数将所述采集标记指定为不同等级的采集频率包括:检测所述天数是否大于或等于第一设定天数并且小于第二设定天数,所述第二设定天数大于所述第一设定天数;如果是,将所述采集标记指定为所述第二频率,以对商品进行第二频率的采集。3.根据权利要求2所述的商品采集调度方法,其特征在于,所述不同等级的采集频率还包括:第三频率,所述第三频率低于所述第二频率;所述根据所述天数将所述采集标记指定为不同等级的采集频率包括:在所述天数大于第一设定天数时,检测所述天数是否大于第二设定天数;如果是,将所述采集标记指定为所述第三频率,以对商品进行第三频率的采集。4.根据权利要求3所述的商品采集调度方法,其特征在于,所述根据所述采集标记对商品进行不同等级采集频率的采集包括:根据当前采集时间与上一次采集时间检测商品是否达到所述采集标记指定的频率;如果是,继续采集商品的URL;检测商品的价格是否有变动;如果是,指定所述采集标记为所述第一频率,以对商品进行第一频率的采集。5.根据权利要求4所述的商品采集调度方法,其特征在于,所述方法还包括:如果商品的价格没有变动,使所述采集标记保持指定的采集频率或者根据所述天数将所述采集标记降低为下一等级的采集频率。6.根据权利要求5所述的商品采集调度方法,其特征在于,所述如果商品的价格没有变动,使所述采集标记保持指定的采集频率或者根据所述天数将所述采集...

【专利技术属性】
技术研发人员:崔俊
申请(专利权)人:北京值得买科技股份有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1