业务数据处理方法技术

本发明专利技术提供一种业务数据处理方法

【技术实现步骤摘要】
业务数据处理方法、系统、电子设备及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种业务数据处理方法
、
系统
、
电子设备及存储介质
。

技术介绍

[0002]通过业务数据的日终批量处理的流程通常需要执行如下步骤：首先，执行数据采集步骤，以将不同的源系统和应用中的业务数据，整合到一个数据仓库中，以便进行后续的处理；接着，执行数据清洗步骤，以将来自不同系统的业务数据进行数据规范化处理；接着，执行数据逻辑处理步骤，以根据业务处理需求进行数据的计算
、
聚合或过滤等；最后，执行数据输出步骤，以将经过逻辑处理后的数据需要输出到目标系统
。
[0003]但是，按照上述流程对业务数据进行批量处理时，对于每一执行步骤，需要达到批量任务触发时间，如日终，且需要确认所有业务数据均执行完成之后，才会执行下一执行步骤，而每一执行步骤下所需执行的业务数据较多，且需要等到特定时间才能执行，无法实时执行，所需消耗的处理时间较长，数据处理实时性较差；因此，对于实时性要求较高的业务数据，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种业务数据处理方法，其特征在于，包括：根据目标任务配置表，在数据库中确定至少一个源数据表和目标数据表；确定各所述源数据表中的增量业务数据；根据所述增量业务数据以及目标批量任务配置信息，生成所述目标任务配置表对应的目标处理任务；所述目标处理任务包括至少一个目标子任务以及各所述目标子任务之间的依赖关系；根据当前执行的任务集合中各任务与各所述目标子任务之间的冲突状态，以及所述依赖关系和各所述源数据表，执行各所述目标子任务，以对所述增量业务数据进行业务处理后存储至所述目标数据表中
。2.
根据权利要求1所述的业务数据处理方法，其特征在于，在所述根据当前执行的任务集合中各任务与各所述目标子任务之间的冲突状态，以及所述依赖关系和各所述源数据表，执行各所述目标子任务之前，所述方法还包括：对于每一所述目标子任务执行如下操作：获取当前目标子任务的读写需求信息，以及所述任务集合中各任务的读写记录；根据所述读写需求信息，确定所述当前目标子任务对应的至少一个目标标识；所述目标标识为所述当前目标子任务所需读写的数据表的标识；在所述读写记录中查找各所述目标标识；根据查找结果确定所述任务集合中各任务与所述当前目标子任务之间的冲突状态
。3.
根据权利要求2所述的业务数据处理方法，其特征在于，所述根据查找结果确定所述任务集合中各任务与所述当前目标子任务之间的冲突状态，包括：在根据所述查找结果，确定所述任务集合中任一任务的读写记录中存在任一目标标识的情况下，若确定所述任一目标标识对应的数据表满足预设冲突条件，则确定所述任一任务与所述当前目标子任务之间的冲突状态为存在冲突；在根据所述查找结果，确定所述任一任务的读写记录中不存在所述任一目标标识的情况下，确定所述任一任务与所述当前目标子任务之间的冲突状态为不存在冲突；其中，所述预设冲突条件包括根据所述读写记录确定所述任一目标标识对应的数据表处于写入状态的条件，或者根据所述读写记录确定所述任一目标标识对应的数据表处于读取状态，且根据所述读写需求信息确定所述任一目标标识对应的数据表为所述当前目标子任务所需写入的数据表的条件
。4.
根据权利要求3所述的业务数据处理方法，其特征在于，所述根据当前执行的任务集合中各任务与各所述目标子任务之间的冲突状态，以及所述依赖关系和各所述源数据表，执行各所述目标子任务，包括：对所述当前目标子任务的执行状态进行监控；在确定所述当前目标子任务的执行状态为异常状态的情况下，获取所述当前目标子任务所处理的异常业务数据；判断所述异常业务数据中是否存在关键数据；所述关键数据为对所述当前目标子任务的输出结果存在关联关系的数据；在确定所述异常业务数据中不存在所述关键数据的情况下，根据所述冲突状态确定所述任务集合中是否存在与下一目标子任务冲突的任务；
在确定所述任务集...

【专利技术属性】
技术研发人员：刘志鑫，
申请(专利权)人：中银金融科技有限公司，
类型：发明
国别省市：