数据处理方法及装置制造方法及图纸

技术编号:32967412 阅读:30 留言:0更新日期:2022-04-09 11:26
本发明专利技术提供一种数据处理方法及装置。该方法包括:根据目标数据索引,确定目标数据最后一次更新的存储位置;基于所述存储位置,确定所述目标数据的中间变量数据;其中,所述中间变量数据用于指示所述目标数据中产生更新的数据。本发明专利技术提供的数据处理方法及装置,可以减少数据存储冗余,并可以减少数据处理时的资源占用。源占用。源占用。

【技术实现步骤摘要】
数据处理方法及装置


[0001]本专利技术涉及数据处理
,尤其涉及一种数据处理方法及装置。

技术介绍

[0002]通常情况下,为了保证数据服务的实时性,数据仓库通常使用数据冗余方案预汇总数据,导致对数据存储空间的占用极高,一般在T以上的量级。在一般数据处理场景中,该存储方式的冗余度高达90%以上,进而会影响数据处理效率。
[0003]其次,在此场景下,每对服务器每进行一次数据处理请求,都需要对全量数据运算,会对服务器造成很大的压力,且占用了服务器额外资源,影响其工作效率和性能。

技术实现思路

[0004]本专利技术提供一种数据处理方法及装置,用以解决现有技术中数据存储冗余度高以及数据处理占用资源大的技术问题。
[0005]本专利技术提供一种数据处理方法,包括:
[0006]根据目标数据索引,确定目标数据最后一次更新的存储位置;
[0007]基于所述存储位置,确定所述目标数据的中间变量数据;
[0008]其中,所述中间变量数据用于指示所述目标数据中产生更新的数据。<br/>[0009]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:根据目标数据索引,确定目标数据最后一次更新的存储位置;基于所述存储位置,确定所述目标数据的中间变量数据;其中,所述中间变量数据用于指示所述目标数据中产生更新的数据。2.根据权利要求1所述的数据处理方法,其特征在于,所述根据目标数据索引,确定目标数据最后一次更新的存储位置,包括:根据所述目标数据的数据快照以及所述目标数据索引,确定所述目标数据最后一次更新的数据快照;基于所述目标数据最后一次更新的数据快照,确定所述存储位置。3.根据权利要求1所述的数据处理方法,其特征在于,在所述根据目标数据索引,确定目标数据最后一次更新的存储位置之前,还包括:根据增量数据,更新所述目标数据索引;基于更新后的目标数据索引,更新所述目标数据的中间变量数据。4.根据权利要求1所述的数据处理方法,其特征在于,在所述确定所述目标数据的中间变量数据之后,还包括:根据所述中间变量数据,确定所述中间变量数据的统计指标;将所述统计指标的计算结果确定为所述中间变量数据的处理结果。5.根据权利要求1

4任一项所述的数据处理方法,其特征在于,所述中间变量数据包括以下至少一项:数据累计计数、数据累计求...

【专利技术属性】
技术研发人员:胡迪程明磊吴晓双李文君陈双王超
申请(专利权)人:中金支付有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1