【技术实现步骤摘要】
本申请涉及大数据处理，具体而言，涉及一种数据处理方法、装置、设备及存储介质。
技术介绍
1、在当前大数据实时处理领域，apacheflink已经成为了当前实时处理的主流技术计算框架。在目前开发人员实际开发中，会根据官方网站提供的flinksql和datastream开发向导来完成开发。然而，与官方网站适配的两套官方开发api：table&sql api和datastreamapi，对数据源的支持方式并不相同。
2、因此，在实际开发中，开发人员需要在每一个需求开发时，开发和维护多套代码，导致开发效率不高，且数据治理的难度较高，同时，数据利用效率较差。
技术实现思路
1、本申请的目的在于，针对上述现有技术中的不足，提供一种数据处理方法、装置、设备及存储介质，以解决现有技术中开发效率不高，且数据治理的难度较高，数据利用效率较差的问题。
2、为实现上述目的，本申请实施例采用的技术方案如下：
3、第一方面，本申请一实施例提供了一种数据处理方法，所述方法包括：
4、获取目标数据源中的至少一个待处理字段；
5、根据预先构建的所述目标数据源与向导程序的字段映射关系，确定各所述待处理字段在所述向导程序中对应的目标程序字段以及所述目标程序字段的字段值；
6、根据各所述目标程序字段以及所述目标程序字段的字段值，调用所述向导程序，得到各目标程序字段对应的中间处理结果；
7、根据各目标程序字段对应的中间处理结果，得到
8、在一种可能的实现方式中，所述根据预先构建的所述目标数据源与向导程序的字段映射关系，确定各所述待处理字段在所述向导程序中对应的目标程序字段以及所述目标程序字段的字段值之前，还包括：
9、获取用户指示的所述目标数据源以及所述目标数据源中的多个待映射字段；
10、获取用户针对各所述待映射字段所选择的所述向导程序中对应的程序字段；
11、建立各所述待映射字段与各待映射字段对应的程序字段的对应关系，并将各所述待映射字段与各待映射字段对应的程序字段的对应关系记录在所述目标数据源与向导程序的字段映射关系表中，以通过所述字段映射关系表记录所述目标数据源与向导程序的字段映射关系。
12、在一种可能的实现方式中，所述根据预先构建的所述目标数据源与向导程序的字段映射关系，确定各所述待处理字段在所述向导程序中对应的目标程序字段以及所述目标程序字段的字段值，包括：
13、遍历所述至少一个待处理字段，针对遍历到的当前待处理字段，从所述目标数据源与向导程序的字段映射关系表中读取所述当前待处理字段对应的当前目标程序字段，并将所述待处理字段的字段值作为所述当前目标程序字段的字段值。
14、在一种可能的实现方式中，所述根据各所述目标程序字段以及所述目标程序字段的字段值，调用所述向导程序，得到各目标程序字段对应的中间处理结果，包括：
15、将各所述目标程序字段的字段值作为所述向导程序的输入参数，调用所述向导程序，由所述向导程序进行数据处理，得到所述向导程序输入的各目标程序字段对应的中间处理结果。
16、在一种可能的实现方式中，所述由所述向导程序进行数据处理，得到所述向导程序输入的各目标程序字段对应的中间处理结果，包括：
17、由所述向导程序根据所述目标程序字段的类型，确定数据处理方式；
18、由所述向导程序按照所述数据处理方式对所述目标程序字段的字段值进行处理，得到所述目标程序字段对应的中间处理结果。
19、在一种可能的实现方式中，所述由所述向导程序根据所述目标程序字段的类型，确定数据处理方式，包括：
20、若所述目标程序字段的类型为实时输出结果类型，则确定所述数据处理方式为：按照预设的滑动窗口进行实时数据处理。
21、在一种可能的实现方式中，所述由所述向导程序根据所述目标程序字段的类型，确定数据处理方式，包括：
22、若所述目标程序字段的类型为非实时输出结果类型，则确定所述数据处理方式为：对所述目标程序字段的字段值进行数据处理。
23、第二方面，本申请另一实施例提供了一种数据处理装置，所述装置包括：
24、获取模块，用于获取目标数据源中的至少一个待处理字段；
25、确定模块，用于根据预先构建的所述目标数据源与向导程序的字段映射关系，确定各所述待处理字段在所述向导程序中对应的目标程序字段以及所述目标程序字段的字段值；
26、调用模块，用于根据各所述目标程序字段以及所述目标程序字段的字段值，调用所述向导程序，得到各目标程序字段对应的中间处理结果；
27、生成模块，用于根据各目标程序字段对应的中间处理结果，得到所述至少一个待处理字段的目标处理结果。
28、在一种可能的实现方式中，所述确定模块之前，还包括：配置模块；
29、所述配置模块，具体用于获取用户指示的所述目标数据源以及所述目标数据源中的多个待映射字段；
30、所述配置模块，具体用于获取用户针对各所述待映射字段所选择的所述向导程序中对应的程序字段；
31、所述配置模块，具体用于建立各所述待映射字段与各待映射字段对应的程序字段的对应关系，并将各所述待映射字段与各待映射字段对应的程序字段的对应关系记录在所述目标数据源与向导程序的字段映射关系表中，以通过所述字段映射关系表记录所述目标数据源与向导程序的字段映射关系。
32、在一种可能的实现方式中，所述确定模块，具体用于：
33、遍历所述至少一个待处理字段，针对遍历到的当前待处理字段，从所述目标数据源与向导程序的字段映射关系表中读取所述当前待处理字段对应的当前目标程序字段，并将所述待处理字段的字段值作为所述当前目标程序字段的字段值。
34、在一种可能的实现方式中，所述调用模块，具体用于：
35、将各所述目标程序字段的字段值作为所述向导程序的输入参数，调用所述向导程序，由所述向导程序进行数据处理，得到所述向导程序输入的各目标程序字段对应的中间处理结果。
36、在一种可能的实现方式中，所述调用模块，具体用于：
37、由所述向导程序根据所述目标程序字段的类型，确定数据处理方式；
38、由所述向导程序按照所述数据处理方式对所述目标程序字段的字段值进行处理，得到所述目标程序字段对应的中间处理结果。
39、在一种可能的实现方式中，所述调用模块，具体用于：
40、若所述目标程序字段的类型为实时输出结果类型，则确定所述数据处理方式为：按照预设的滑动窗口进行实时数据处理。
41、在一种可能的实现方式中，所述调用模块，具体用于：
42、若所述目标程序字段的类型为非实时输出结果类型，则确定所述数据处理方式为：对所述目标程序字段的字段值进行数据处本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的数据处理方法，其特征在于，所述根据预先构建的所述目标数据源与向导程序的字段映射关系，确定各所述待处理字段在所述向导程序中对应的目标程序字段以及所述目标程序字段的字段值之前，还包括：
3.根据权利要求2所述的数据处理方法，其特征在于，所述根据预先构建的所述目标数据源与向导程序的字段映射关系，确定各所述待处理字段在所述向导程序中对应的目标程序字段以及所述目标程序字段的字段值，包括：
4.根据权利要求1所述的数据处理方法，其特征在于，所述根据各所述目标程序字段以及所述目标程序字段的字段值，调用所述向导程序，得到各目标程序字段对应的中间处理结果，包括：
5.根据权利要求4所述的数据处理方法，其特征在于，所述由所述向导程序进行数据处理，得到所述向导程序输入的各目标程序字段对应的中间处理结果，包括：
6.根据权利要求5所述的数据处理方法，其特征在于，所述由所述向导程序根据所述目标程序字段的类型，确定数据处理方式，包括：
7.根据权利要求5所述的数据处理方法
8.一种数据处理装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器执行所述机器可读指令，以执行如权利要求1至7任一所述的数据处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的数据处理方法的步骤。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的数据处理方法，其特征在于，所述根据预先构建的所述目标数据源与向导程序的字段映射关系，确定各所述待处理字段在所述向导程序中对应的目标程序字段以及所述目标程序字段的字段值之前，还包括：
3.根据权利要求2所述的数据处理方法，其特征在于，所述根据预先构建的所述目标数据源与向导程序的字段映射关系，确定各所述待处理字段在所述向导程序中对应的目标程序字段以及所述目标程序字段的字段值，包括：
4.根据权利要求1所述的数据处理方法，其特征在于，所述根据各所述目标程序字段以及所述目标程序字段的字段值，调用所述向导程序，得到各目标程序字段对应的中间处理结果，包括：
5.根据权利要求4所述的数据处理方法，其特征在于，所述由所述向导程序进行数据处理，得到所述向导...
【专利技术属性】
技术研发人员：谭鹏飞，
申请(专利权)人：北京汇通天下物联科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。