数据处理方法及装置、电子设备和计算机可读存储介质制造方法及图纸

本公开提供了一种数据处理方法及装置、电子设备和计算机可读存储介质，可以应用于数据处理技术领域和金融科技领域。该数据处理方法包括：响应于第一定时任务被触发，根据第一定时任务中的第一任务信息和与待处理数据对应的至少一个地址信息，获取待处理数据，待处理数据具有至少一个对象类型；根据至少一个对象类型中的每个对象类型，确定与每个对象类型对应的配置信息，其中，与每个对象类型对应的配置信息均包括至少一个预设规则和至少一个预设字段标识；根据与每个对象类型对应的至少一个预设规则，对待处理数据进行处理，得到经处理数据；以及，根据与每个对象类型对应的至少一个预设字段标识，对经处理数据进行处理，得到目标数据。到目标数据。到目标数据。

【技术实现步骤摘要】
数据处理方法及装置、电子设备和计算机可读存储介质


[0001]本公开涉及数据处理
和金融科技领域，更具体地，涉及一种数据处理方法及装置、电子设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]随着数据处理技术的发展，数据提供方和数据接收方之间的数据同步需求与日俱增。数据提供方可以指提供数据的系统。数据接收方可以指接收数据的系统。
[0003]数据同步可以是指将不同类型的数据由数据提供方同步至数据接收方的过程。数据同步方法通常可以包括以下之一：基于单独接口的数据同步方法和基于大数据平台的数据同步方法。
[0004]在实现本公开构思的过程中，专利技术人发现相关技术中至少存在如下问题：在实现数据同步的过程中，开发工作量和资源消耗较大

技术实现思路

[0005]有鉴于此，本公开提供了一种数据处理方法及装置、电子设备、计算机可读存储介质和计算机程序产品。
[0006]根据本公开的一个方面，提供了一种数据处理方法，包括：
[0007]响应于第一定时任务被触发，根据上述第一定时任务中的第一任务信息和与待处理数据对应的至少一个地址信息，获取上述待处理数据，其中，上述第一定时任务用于对上述待处理数据进行处理，上述待处理数据具有至少一个对象类型；
[0008]根据上述至少一个对象类型中的每个对象类型，确定与上述每个对象类型对应的配置信息，其中，上述与上述每个对象类型对应的配置信息均包括至少一个预设规则和至少一个预设字段标识；
[0009]根据与上述每个对象类型对应的至少一个预设规则，对上述待处理数据进行处理，得到经处理数据；以及
[0010]根据与上述每个对象类型对应的至少一个预设字段标识，对上述经处理数据进行处理，得到目标数据。
[0011]根据本公开的实施例，上述至少一个对象类型中的每个对象类型分别用于表征目标对象，上述目标对象包括以下至少之一：目标接口对象、目标文件对象和目标数据库对象。
[0012]根据本公开的实施例，上述根据上述至少一个对象类型中的每个对象类型，确定与上述每个对象类型对应的配置信息包括：
[0013]在上述至少一个对象类型表征上述目标对象包括上述目标接口对象的情况下，根据第一映射关系，确定与上述目标接口对象对应的配置信息；
[0014]在上述至少一个对象类型表征上述目标对象包括上述目标文件对象的情况下，根据第二映射关系，确定与上述目标文件对象对应的配置信息；以及
[0015]在上述至少一个对象类型表征上述目标对象包括上述目标数据库对象的情况下，根据第三映射关系，确定与上述目标数据库对象对应的配置信息。
[0016]根据本公开的实施例，上述第一映射关系包括至少一个第一键值对，上述至少一个第一键值对是根据至少一个接口对象和与上述至少一个接口对象各自对应的配置信息确定的。
[0017]根据本公开的实施例，上述第二映射关系包括至少一个第二键值对，上述至少一个第二键值对是根据至少一个文件对象和与上述至少一个文件对象各自对应的配置信息确定的。
[0018]根据本公开的实施例，上述第三映射关系包括至少一个第三键值对，上述至少一个第三键值对根据至少一个数据库对象和与上述至少一个数据库对象各自对应的配置信息确定的。
[0019]根据本公开的实施例，上述根据与上述每个对象类型对应的至少一个预设规则，对上述待处理数据进行处理，得到经处理数据包括：
[0020]针对上述至少一个对象类型中的上述每个对象类型，
[0021]确定与上述对象类型对应的数据类型，其中，上述数据类型包括以下至少之一：结构化数据、半结构化数据和非结构化数据；
[0022]根据上述对象类型和上述数据类型，确定上述至少一个预设规则，其中，上述预设规则包括以下至少之一：数据组合规则、数据转换规则、字段添加规则和数据加解密规则；以及
[0023]根据上述数据组合规则、上述数据转换规则、上述字段添加规则和上述数据加解密规则中的至少之一，对与上述对象类型对应的待处理数据进行处理，得到上述经处理数据。
[0024]根据本公开的实施例，上述根据与上述每个对象类型对应的至少一个预设字段标识，对上述经处理数据进行处理，得到目标数据包括：
[0025]针对上述至少一个对象类型中的上述每个对象类型，
[0026]确定与上述对象类型对应的上述至少一个预设字段标识和上述经处理数据中的至少一个字段标识；
[0027]根据上述至少一个预设字段标识和上述至少一个字段标识，确定上述至少一个预设字段标识中的每个目标预设字段标识和上述至少一个字段标识中的每个目标字段标识彼此之间的相似度；
[0028]响应于上述相似度大于或等于预设阈值，将与上述目标字段标识对应的经处理数据确定为与上述目标预设字段标识对应的经处理数据；以及
[0029]根据与上述目标预设字段标识对应的经处理数据，确定上述目标数据。
[0030]根据本公开的实施例，上述第一任务信息包括任务关联信息，上述至少一个地址信息包括至少一个源地址信息，上述至少一个源地址信息各自对应有源系统。
[0031]根据本公开的实施例，上述响应于第一定时任务被触发，根据上述第一定时任务中的第一任务信息和与待处理数据对应的至少一个地址信息，获取上述待处理数据包括：
[0032]响应于上述第一定时任务被触发，获取上述第一定时任务中的上述第一任务信息；以及
[0033]在上述任务关联信息表征上述第一定时任务未存在关联任务的情况下，根据与上述待处理数据对应的上述至少一个源地址信息，从与上述至少一个源地址信息各自对应的源系统中获取上述待处理数据。
[0034]根据本公开的实施例，上述方法还包括：
[0035]在上述任务关联信息表征上述第一定时任务存在关联任务的情况下，确定至少一个第二定时任务，其中，上述至少一个第二定时任务包括与上述第一定时任务具有前向关联关系的定时任务；以及
[0036]响应于检测到上述第二定时任务执行完成，根据与上述待处理数据对应的上述至少一个源地址信息，从与上述至少一个源地址信息各自对应的源系统中获取上述待处理数据。
[0037]根据本公开的实施例，上述第一任务信息还包括与上述待处理数据对应的数据分页信息，上述数据分页信息是根据上述待处理数据的总数据量确定的，上述数据分页信息包括至少一个页码信息和与上述至少一个页码信息各自对应的数据量。
[0038]根据本公开的实施例，上述根据与上述待处理数据对应的上述至少一个源地址信息，从与上述至少一个源地址信息各自对应的源系统中获取上述待处理数据包括：
[0039]基于上述至少一个页码信息和与上述至少一个页码信息各自对应的数据量，根据上述至少一个源地址信息，从上述源系统中获取与上述至少一个页码信息各自对应的部分待处理数据；以及
[0040]根据与上述至少一个页码信息各自对应的部分待处理数据，确定上述待处理数据。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：响应于第一定时任务被触发，根据所述第一定时任务中的第一任务信息和与待处理数据对应的至少一个地址信息，获取所述待处理数据，其中，所述第一定时任务用于对所述待处理数据进行处理，所述待处理数据具有至少一个对象类型；根据所述至少一个对象类型中的每个对象类型，确定与所述每个对象类型对应的配置信息，其中，所述与所述每个对象类型对应的配置信息均包括至少一个预设规则和至少一个预设字段标识；根据与所述每个对象类型对应的至少一个预设规则，对所述待处理数据进行处理，得到经处理数据；以及根据与所述每个对象类型对应的至少一个预设字段标识，对所述经处理数据进行处理，得到目标数据。2.根据权利要求1所述的方法，其中，所述至少一个对象类型中的每个对象类型分别用于表征目标对象，所述目标对象包括以下至少之一：目标接口对象、目标文件对象和目标数据库对象；其中，所述根据所述至少一个对象类型中的每个对象类型，确定与所述每个对象类型对应的配置信息包括：在所述至少一个对象类型表征所述目标对象包括所述目标接口对象的情况下，根据第一映射关系，确定与所述目标接口对象对应的配置信息；在所述至少一个对象类型表征所述目标对象包括所述目标文件对象的情况下，根据第二映射关系，确定与所述目标文件对象对应的配置信息；以及在所述至少一个对象类型表征所述目标对象包括所述目标数据库对象的情况下，根据第三映射关系，确定与所述目标数据库对象对应的配置信息。3.根据权利要求2所述的方法，其中，所述第一映射关系包括至少一个第一键值对，所述至少一个第一键值对是根据至少一个接口对象和与所述至少一个接口对象各自对应的配置信息确定的；其中，所述第二映射关系包括至少一个第二键值对，所述至少一个第二键值对是根据至少一个文件对象和与所述至少一个文件对象各自对应的配置信息确定的；以及其中，所述第三映射关系包括至少一个第三键值对，所述至少一个第三键值对根据至少一个数据库对象和与所述至少一个数据库对象各自对应的配置信息确定的。4.根据权利要求1至3中任一项所述的方法，其中，所述根据与所述每个对象类型对应的至少一个预设规则，对所述待处理数据进行处理，得到经处理数据包括：针对所述至少一个对象类型中的所述每个对象类型，确定与所述对象类型对应的数据类型，其中，所述数据类型包括以下至少之一：结构化数据、半结构化数据和非结构化数据；根据所述对象类型和所述数据类型，确定所述至少一个预设规则，其中，所述预设规则包括以下至少之一：数据组合规则、数据转换规则、字段添加规则和数据加解密规则；以及根据所述数据组合规则、所述数据转换规则、所述字段添加规则和所述数据加解密规则中的至少之一，对与所述对象类型对应的待处理数据进行处理，得到所述经处理数据。5.根据权利要求1至3中任一项所述的方法，其中，所述根据与所述每个对象类型对应
的至少一个预设字段标识，对所述经处理数据进行处理，得到目标数据包括：针对所述至少一个对象类型中的所述每个对象类型，确定与所述对象类型对应的所述至少一个预设字段标识和所述经处理数据中的至少一个字段标识；根据所述至少一个预设字段标识和所述至少一个字段标识，确定所述至少一个预设字段标识中的每个目标预设字段标识和所述至少一个字段标识中的每个目标字段标识彼此之间的相似度；响应于所述相似度大于或等于预设阈值，将与所述目标字段标识对应的经处理数据确定为与所述目标预设字段标识对应的经处理数据；以及根据与所述目标预设字段标识对应的经处理数据，确定所述目标数据。6.根据权利要求1至3中任一项所述的方法，其中，所述第一任务信息包括任务关联信息，所述至少一个地址信息包括至少一个源地址信息，所述至少一个源地址信息各自对应有源系统；其中，所述响应于第一定时任务被触发，根据所述第一定时任务中的第一任务信息和与待...

【专利技术属性】
技术研发人员：饶梦文，李良欢，隋建龙，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：