【技术实现步骤摘要】
一种增量数据处理方法、装置、设备及存储介质
[0001]本专利技术涉及数据处理
,特别涉及一种增量数据处理方法
、
装置
、
设备及存储介质
。
技术介绍
[0002]在企业的实时或准实时的场景中,往往涉及到有状态的计算需求,无法直接通过增量计算获得结果
。
许多场景需要结合历史数据才能进行完整和准确的计算,这给增量计算带来了相当大的挑战
。
而通过定时调度任务以跑批方式
(
批量处理
)
执行效率又不够
。
不管通过基于增量流计算方式
、
还是定时调度跑批方式,会面临以下问题:
1)
批式处理和流式处理过程不一致;
2)
数据量大;
3)
实时性要求高
。
具体的,在实际应用中,很多项目的批式逻辑是一套逻辑,流式处理是另外一套逻辑
。
无法保证逻辑的一致,这使得维护上线迁移成本大大提升
。
很多场景下,编写批式处理的开发人员和流式处理的开发人员不是同一个人,所以,这期间的沟通转换成本巨大
。
复杂
SQL(Structured Query Language
,结构化查询语言
)
逻辑通常需要处理大规模的数据,全量计算需要占用大量的内存
、
存储和计算能力,这可能超出系统的承载能力,导致资源消耗过大,影响整体系统的性能和 ...
【技术保护点】
【技术特征摘要】
1.
一种增量数据处理方法,其特征在于,包括:从业务场景的变更日志中获取相应的增量数据,并利用所述增量数据对初始全局状态进行更新,得到当前全局状态;基于目标
SQL
业务逻辑和所述增量数据的主键,从所述当前全局状态中获取相应的待计算数据;所述目标
SQL
业务逻辑为与所述增量数据对应的批量处理的业务逻辑;利用所述待计算数据,并以流式处理的方式执行所述目标
SQL
业务逻辑,以得到与所述待计算数据对应的业务处理结果;将所述业务处理结果更新至所述当前全局状态,以完成所述增量数据的处理过程
。2.
根据权利要求1所述的增量数据处理方法,其特征在于,所述从业务场景的变更日志中获取相应的增量数据,包括:查看业务场景对应的消息队列,以从所述消息队列中获取变更日志;对所述变更日志进行分流计算,以得到相应的增量数据
。3.
根据权利要求1所述的增量数据处理方法,其特征在于,所述利用所述增量数据对初始全局状态进行更新,得到当前全局状态,包括:根据预设全局状态数据格式对所述增量数据进行结构化处理,得到待更新数据;利用所述待更新数据对初始全局状态进行更新,得到当前全局状态
。4.
根据权利要求1所述的增量数据处理方法,其特征在于,所述基于目标
SQL
业务逻辑和所述增量数据的主键,从所述当前全局状态中获取相应的待计算数据,包括:从批量处理的业务逻辑中确定出与所述增量数据对应的目标
SQL
业务逻辑;根据所述增量数据的主键从所述当前全局状态中获取与所述目标
SQL
业务逻辑对应的待计算数据
。5.
根据权利要求4所述的增量数据处理方法,其特征在于,所述根据所述增量数据的主键从所述当前全局状态中获取与所述目标
SQL
业务逻辑对应的待计算数据,包括:根据所述增量数据的主键从所述当前全局状态中获取与所述目标
SQL
业务逻辑...
【专利技术属性】
技术研发人员:周锋,杨晨,李杨,曹闯,杨得力,
申请(专利权)人:河南中原消费金融股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。