一种数据处理的方法和装置制造方法及图纸

技术编号:40318450 阅读:23 留言:0更新日期:2024-02-07 21:01
本发明专利技术公开了一种数据处理的方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:响应于接收到请求方发送的人群计算请求,从所述人群计算请求中解析出人群计算规则;确定与所述人群计算请求对应的路由策略;所述路由策略指示了执行引擎;所述执行引擎为双引擎;利用所述执行引擎根据所述人群计算规则得到与所述人群计算请求对应的人群计算结果,并将所述人群计算结果返回至所述请求方。该实施方式能够提升人群计算性能,减少查询扩散,实现高复杂度下的高效人群计算,支持高并发的人群计算场景,提升了人群计算的时效性。

【技术实现步骤摘要】

本专利技术涉及计算机,尤其涉及一种数据处理的方法和装置


技术介绍

1、随着电子商务的发展,可以通过智能营销的手段将产品触达至目标人群,即通过技术手段从海量的用户数据中快速高效的计算出符合营销目标的大规模人群。

2、相关技术中,借助数据仓库具备的海量数据存储的能力,依赖hive(一种基于hadoop数据仓库的一个数据仓库工具)计算引擎基于数据仓库进行人群计算,需要耗时几个小时甚至几十个小时,从数以tb甚至pb级别的数据中得到人群计算结果,时效性较差。


技术实现思路

1、有鉴于此,本专利技术实施例提供一种数据处理的方法和装置,能够提升人群计算性能,减少查询扩散,实现高复杂度下的高效人群计算,支持高并发的人群计算场景,提升了人群计算的时效性。

2、为实现上述目的,根据本专利技术实施例的一个方面,提供了一种数据处理的方法,包括:

3、响应于接收到请求方发送的人群计算请求,从所述人群计算请求中解析出人群计算规则;

4、确定与所述人群计算请求对应的路由策略;所述路由策略指本文档来自技高网...

【技术保护点】

1.一种数据处理的方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述人群计算规则指示了多个特征以及所述多个特征之间的关系;利用所述执行引擎根据所述人群计算规则得到与所述人群计算请求对应的人群计算结果,包括:

3.根据权利要求1所述的方法,其特征在于,所述双引擎为Presto引擎和CH引擎;所述路由策略为第一策略,所述第一策略为Presto引擎前置,CH引擎兜底;或

4.根据权利要求1所述的方法,其特征在于,所述路由策略为第三策略,所述第三策略为按照预设规则确定所述执行引擎,所述预设规则为预设分流比例或计算类型。

5.根...

【技术特征摘要】

1.一种数据处理的方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述人群计算规则指示了多个特征以及所述多个特征之间的关系;利用所述执行引擎根据所述人群计算规则得到与所述人群计算请求对应的人群计算结果,包括:

3.根据权利要求1所述的方法,其特征在于,所述双引擎为presto引擎和ch引擎;所述路由策略为第一策略,所述第一策略为presto引擎前置,ch引擎兜底;或

4.根据权利要求1所述的方法,其特征在于,所述路由策略为第三策略,所述第三策略为按照预设规则确定所述执行引擎,所述预设规则为预设分...

【专利技术属性】
技术研发人员:刘丹王海李涛
申请(专利权)人:京东科技信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1