业务数据更新方法、装置及电子设备制造方法及图纸

技术编号:40593892 阅读:24 留言:0更新日期:2024-03-12 21:55
本申请的实施例提供了一种业务数据更新方法、装置及电子设备。该业务数据更新方法包括:将预定时间内的增量业务数据导入聚合模型表;根据所述增量业务数据的排序键,将所述增量业务数据与对应的原始业务数据进行替换聚合,以完成聚合模型表的更新;将所述聚合模型表固化为结果分区表。该业务数据更新方法只需根据排序键即可完成业务数据更新,不需要再通过人工介入代码的方式更新,提高了大周期宽表维护的便利性和效率,解决了目前大周期宽表需要业务数据分析人员开发代码方式维护,导致更新维护不便的问题。

【技术实现步骤摘要】

本申请涉及计算机,具体而言,涉及一种业务数据更新方法、装置及电子设备


技术介绍

1、在现有技术中,对于大业务数据宽表的维护,一般是通过运维人员在各个节点输入代码的方式实现。

2、具体实现方式为每次hive关联合并45天以内的产生的多个ods表,将45天以内的业务数据一起计算,保障每一条业务数据正确更新。这些需要更新的业务数据总记录在13.5亿条以上,总字段数150个以上。但其中3000万条记录是新增的,更新记录数占比不足0.1%,却需要运维人员通过开发代码的方式在每一个步骤节点进行维护,导致更新维护效率较低。


技术实现思路

1、本申请的实施例提供了一种业务数据更新方法、装置及电子设备,进而至少在一定程度上可以克服目前大周期宽表需要业务数据分析人员开发代码方式维护,导致更新维护不便的问题。本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。

2、根据本申请实施例的一个方面,提供了一种业务数据更新方法,所述业务数据更新方法包括:将预定时间内从外部获取的增量本文档来自技高网...

【技术保护点】

1.一种业务数据更新方法,其特征在于,所述业务数据更新方法包括:

2.如权利要求1所述的业务数据更新方法,其特征在于,在所述将预定时间内从外部获取的增量业务数据导入预设的聚合模型表之前,所述业务数据更新方法还包括:

3.如权利要求2所述的业务数据更新方法,其特征在于,所述根据所述原始业务数据,确定所述聚合模型表的排序列,具体包括:

4.如权利要求3所述的业务数据更新方法,其特征在于,在将所有所述聚合模型表的维度列均确定为所述聚合模型表的排序列之后,所述业务数据更新方法还包括:

5.如权利要求4所述的业务数据更新方法,其特征在于,所述根据所有...

【技术特征摘要】

1.一种业务数据更新方法,其特征在于,所述业务数据更新方法包括:

2.如权利要求1所述的业务数据更新方法,其特征在于,在所述将预定时间内从外部获取的增量业务数据导入预设的聚合模型表之前,所述业务数据更新方法还包括:

3.如权利要求2所述的业务数据更新方法,其特征在于,所述根据所述原始业务数据,确定所述聚合模型表的排序列,具体包括:

4.如权利要求3所述的业务数据更新方法,其特征在于,在将所有所述聚合模型表的维度列均确定为所述聚合模型表的排序列之后,所述业务数据更新方法还包括:

5.如权利要求4所述的业务数据更新方法,其特征在于,所述根据所有所述排序列的业务数据确定所述聚合模型表的分桶...

【专利技术属性】
技术研发人员:廖波赵继科胡文涛刘垚舒放王振泰洪永俊
申请(专利权)人:顺丰科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1