一种数据处理方法及装置制造方法及图纸

技术编号:41902087 阅读:19 留言:0更新日期:2024-07-05 14:08
本发明专利技术公开了一种数据处理方法及装置,涉及数据处理技术领域,主要目的在于提升后续查询数据的性能。本发明专利技术主要技术方案为:确定指定消息队列中当前批次的第一指定数据,第一指定数据为处理机制按照第一预设时间间隔对实时拉取到的数据处理后存储至指定消息队列中,数据包括维度数据及对应的维度值数据,维度数据表征数据的触发渠道,维度值数据表征触发渠道下的触发数据,当前批次表征当前时间所处的第一预设时间间隔;通过第一预设导入机制将当前批次第一指定数据中的第一指定维度值数据导入指定聚合表中,按照预设聚合规则在指定聚合表中对当前批次的第一指定维度值数据进行聚合处理,得到聚合后的目标维度值数据。

【技术实现步骤摘要】

本专利技术涉及数据处理,尤其涉及一种数据处理方法及装置


技术介绍

1、在一些业务场景中,通常需要为用户提供业务数据,以便于用户了解到自身业务的具体情况,例如广告主在投放了广告之后,需要为广告主提供例如广告的展示总量,点击总量等分析统计和汇总的一些数据。

2、在为用户提供业务数据之前,需要对业务数据进行一些处理,然后将处理后的结果放在数据库中,以便于用户进行查询。但目前对于数据进行处理的方法,会导致后续查询数据的性能下降。


技术实现思路

1、鉴于上述问题,本专利技术提供一种数据处理方法及装置,主要目的是为了提升后续查询数据的性能。

2、为解决上述技术问题,本专利技术提出以下方案:

3、第一方面,本专利技术提供了一种数据处理方法,所述方法包括:

4、确定指定消息队列中当前批次的第一指定数据,所述第一指定数据为处理机制按照第一预设时间间隔对从业务系统中实时拉取到的数据进行处理后存储至所述指定消息队列中的数据,所述数据包括维度数据及对应的维度值数据,所述维度数据表征数本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,按照预设聚合规则,在所述指定聚合表中对所述当前批次的第一指定维度值数据进行聚合处理,得到聚合后的目标维度值数据,包括:

3.根据权利要求1所述的方法,其特征在于,在确定指定消息队列中当前批次的第一指定数据后,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,按照第二预设时间间隔,通过第二预设导入机制将所述当前批次的第一指定维度数据同步至目标维度表中,包括:

5.根据权利要求1-4中任一项所述的方法,其特征在于,所述方法还包括:

...

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,按照预设聚合规则,在所述指定聚合表中对所述当前批次的第一指定维度值数据进行聚合处理,得到聚合后的目标维度值数据,包括:

3.根据权利要求1所述的方法,其特征在于,在确定指定消息队列中当前批次的第一指定数据后,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,按照第二预设时间间隔,通过第二预设导入机制将所述当前批次的第一指定维度数据同步至目标维度表中,包括:

5.根据权利要求1-4中任一项所述的方法,其特征在于,所述方法还包括:

6.一种数据处理装置,其特征在于,所述装置包括:

7....

【专利技术属性】
技术研发人员:郭建伟
申请(专利权)人:北京国双千里科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1