一种数据处理的方法、装置、设备及介质制造方法及图纸

本申请涉及数据处理技术领域，具体涉及一种数据处理的方法、装置、设备及介质。该方法包括：获取数据源发送的目标处理数据；若确定所述目标处理数据是待处理数据的部分数据，将所述目标处理数据确定为第一处理数据，将所述第一处理数据储存至源系统数据集合；确定所述第一处理数据的目标操作；利用所述目标操作对所述第一处理数据进行处理，得到中间数据；将所述中间数据作为待处理数据储存至所述源系统数据集合；返回执行所述获取数据源发送到目标处理数据以及后续步骤，直到满足预设条件为止。如此利用中间数据进行数据处理，提升了批量系统数据加工的效率。量系统数据加工的效率。量系统数据加工的效率。

【技术实现步骤摘要】
一种数据处理的方法、装置、设备及介质


[0001]本申请涉及数据处理
，具体涉及一种数据处理的方法、装置、设备及介质。

技术介绍

[0002]在对批量系统进行数据加工时，通常需要将所有的源系统关联，待所有源系统的数据加载完毕再进行数据加工。
[0003]但受到各种因素的影响，实际上数据加工的效率并不高。

技术实现思路

[0004]本申请提供一种数据处理的方法、装置、设备及介质，能够提高批量系统数据加工的效率。
[0005]第一方面，本申请提供一种数据处理的方法，该方法包括：
[0006]获取数据源发送的目标处理数据；
[0007]若确定所述目标处理数据是待处理数据的部分数据，将所述目标处理数据确定为第一处理数据，将所述第一处理数据储存至源系统数据集合；
[0008]确定所述第一处理数据的目标操作；
[0009]利用所述目标操作对所述第一处理数据进行处理，得到中间数据；
[0010]将所述中间数据作为待处理数据储存至所述源系统数据集合；
[0011]返回执行所述获取数据源发送到目标处理数据以及后续步骤，直到满足预设条件为止。
[0012]可选地，所述确定所述第一处理数据的目标操作，包括：
[0013]确定所述第一处理数据的所属的数据源；
[0014]将所述数据源对应的单独数据源的数据操作作为目标操作。
[0015]可选地，所述单独数据源的数据操作是预先设置的；
[0016]或者，
[0017]所述单独数据源的数据操作是对完整数据处理操作拆分得到的。
[0018]可选地，所述方法还包括：
[0019]若确定目标处理数据是待处理数据的全部数据，将所述目标处理数据确定为第二处理数据；
[0020]采用完整数据处理操作对所述第二处理数据进行处理。
[0021]可选地，所述预设条件包括完成数据处理，和确定发送所述待处理数据的数据源故障中的一种或多种。
[0022]第二方面，本申请提供一种数据处理的装置，该装置包括：
[0023]获取单元，用于获取数据源发送的目标处理数据；
[0024]第一储存单元，用于若确定所述目标处理数据是待处理数据的部分数据，将所述
目标处理数据确定为第一处理数据，将所述第一处理数据储存至源系统数据集合；
[0025]确定单元，用于确定所述第一处理数据的目标操作；
[0026]第一处理单元，用于利用所述目标操作对所述第一处理数据进行处理，得到中间数据；
[0027]第二储存单元，用于将所述中间数据作为待处理数据储存至所述源系统数据集合；
[0028]执行单元，用于返回执行所述获取数据源发送到目标处理数据以及后续步骤，直到满足预设条件为止。
[0029]可选地，所述确定单元具体用于确定所述第一处理数据的所属的数据源；将所述数据源对应的单独数据源的数据操作作为目标操作。
[0030]可选地，所述单独数据源的数据操作是预先设置的；
[0031]或者，
[0032]所述单独数据源的数据操作是对完整数据处理操作拆分得到的。
[0033]可选地，所述装置还包括：第二处理单元，用于若确定目标处理数据是待处理数据的全部数据，将所述目标处理数据确定为第二处理数据；采用完整数据处理操作对所述第二处理数据进行处理。
[0034]可选地，所述预设条件包括完成数据处理和确定发送所述待处理数据的数据源故障中的一种或多种。
[0035]第三方面，本申请提供一种数据处理的设备，所述设备包括处理器以及存储器：
[0036]所述存储器用于存储计算机程序，并将所述计算机程序传输给所述处理器；
[0037]所述处理器用于根据所述计算机程序中的指令执行第一方面任一项所述的数据处理的方法。
[0038]第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行第一方面任一项所述的数据处理的方法。
[0039]本申请技术方案的优点和有益效果：
[0040]本申请提供一种数据处理的方法、装置、设备及介质，通过获取数据源发送的目标处理数据；若确定所述目标处理数据是待处理数据的部分数据，将所述目标处理数据确定为第一处理数据，将所述第一处理数据储存至源系统数据集合；确定所述第一处理数据的目标操作；利用所述目标操作对所述第一处理数据进行处理，得到中间数据；将所述中间数据作为待处理数据储存至所述源系统数据集合；返回执行所述获取数据源发送到目标处理数据以及后续步骤，直到满足预设条件为止。如此利用中间数据进行数据处理，提升了批量系统数据加工的效率。
附图说明
[0041]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0042]图1为本申请实施例提供的一种数据处理的方法的流程示意图；
[0043]图2为本申请实施例提供的一种数据处理的装置的结构示意图；
[0044]图3为本申请实施例提供的一种数据处理的设备的结构示意图；
[0045]图4为本申请实施例提供的一种计算机可读存储介质示意图。
具体实施方式
[0046]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0047]在进行批量系统数据加工时，需要先将所有的源系统关联，当所有源系统的数据加载完毕后再进行数据加工。但受到一些因素的影响，例如，当少量源系统宕机时，或者某些源系统数据加载的速度较慢时，都会导致批量系统的数据加载不完整，数据加工的效率较低。
[0048]基于此，本申请提供一种数据处理的方法、装置、设备及介质，通过获取数据源发送的目标处理数据；若确定所述目标处理数据是待处理数据的部分数据，将所述目标处理数据确定为第一处理数据，将所述第一处理数据储存至源系统数据集合；确定所述第一处理数据的目标操作；利用所述目标操作对所述第一处理数据进行处理，得到中间数据；将所述中间数据作为待处理数据储存至所述源系统数据集合；返回执行所述获取数据源发送到目标处理数据以及后续步骤，直到满足预设条件为止。如此利用中间数据进行数据处理，提升了批量系统数据加工的效率。
[0049]参见图1所示，该图为本申请实施例提供的一种数据处理的方法的流程示意图，该方法包括步骤S101
‑
S106。
[0050]S101：获取数据源发送的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理的方法，其特征在于，包括：获取数据源发送的目标处理数据；若确定所述目标处理数据是待处理数据的部分数据，将所述目标处理数据确定为第一处理数据，将所述第一处理数据储存至源系统数据集合；确定所述第一处理数据的目标操作；利用所述目标操作对所述第一处理数据进行处理，得到中间数据；将所述中间数据作为待处理数据储存至所述源系统数据集合；返回执行所述获取数据源发送到目标处理数据以及后续步骤，直到满足预设条件为止。2.根据权利要求1所述的数据处理的方法，其特征在于，所述确定所述第一处理数据的目标操作，包括：确定所述第一处理数据的所属的数据源；将所述数据源对应的单独数据源的数据操作作为目标操作。3.根据权利要求2所述的数据处理的方法，其特征在于，所述单独数据源的数据操作是预先设置的；或者，所述单独数据源的数据操作是对完整数据处理操作拆分得到的。4.根据权利要求1所述的数据处理的方法，其特征在于，所述方法还包括：若确定目标处理数据是待处理数据的全部数据，将所述目标处理数据确定为第二处理数据；采用完整数据处理操作对所述第二处理数据进行处理。5.根据权利要求1所述的数据处理的方法，其特征在于，所述预设条件包括完成数据处理和确定发送所述待处理数据的数据源故障中的一种或多种。6.一种数据处理的装置，其特征在于，包括：获取单元，用于获取数...

【专利技术属性】
技术研发人员：温雨霖，黄文东，胡小明，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：