【技术实现步骤摘要】
本申请涉及数据处理领域，尤其涉及数据处理方法、装置、设备及介质。
技术介绍
1、金融业务数据量庞大，当需要查找金融业务数据的时候，需要手动登陆linux主机使用命令行的形式进行表数据的查询和下载，改造业务提供的sql语句来分批下载金融业务数据到本地目录，将金融业务数据按照不同要求转成特定格式的文件进行封装，再将多个文件通过邮件的形式发给使用者，操作和流程繁琐，耗时长。
技术实现思路
1、本申请的目的在于至少一定程度上解决相关技术中存在的技术问题之一。
2、为此，本申请实施例的一个目的在于提供数据处理方法、装置、设备及介质，能减少操作和流程，提高处理效率。
3、本申请的第一方面的实施例，提供了一种数据处理方法，包括：
4、获取操作命令和目标地址；
5、配置数据处理引擎的任务执行所述操作命令得到操作命令结果；
6、当所述目标地址映射向数据库，获取所述数据库的目标表格，将所述操作命令结果写入所述目标表格得到表格文件；
7、当所述目标地址映射向文件传输服务器，获取分割维度和文件类型，按照所述分割维度将所述操作命令结果进行分割成子文件，根据所述子文件生成对应文件类型的目标文件，将所述目标文件上传到所述文件传输服务器。
8、根据本申请的第一方面的某些实施例，所述配置数据处理引擎的任务执行所述操作命令得到操作命令结果，包括：
9、将所述操作命令分成多个关键字，根据预设语义规则将多个所述关键字解析成语法
10、对所述语法树的节点进行数据类型绑定和函数绑定，以通过元数据信息表达所述语法树中的关键字；
11、根据预设优化策略对所述语法树的节点进行等价转换，得到优化语法树；
12、根据所述优化语法树生成多个能被所述配置数据处理引擎执行的物理计划，获取所述物理计划的代价，从多个物理计划中选择代价最小的目标物理计划；
13、按照所述目标物理计划以分布式数据集的形式执行所述操作命令得到操作命令结果。
14、根据本申请的第一方面的某些实施例，所述将所述操作命令结果写入所述目标表格，包括：
15、当所述数据库不存在所述目标表格；
16、建立新的目标表格；
17、将所述操作命令结果写入新的目标表格。
18、根据本申请的第一方面的某些实施例，所述建立新的目标表格，包括:
19、提取所述操作命令结果的字段和值类型；
20、获取预设表名；
21、建立新的目标表格，并令新的目标表格的字段对应所述操作命令结果的字段，新的目标表格的值类型对应所述操作命令结果的值类型，新的目标表格的名称为所述预设表名。
22、根据本申请的第一方面的某些实施例，当所述分割维度为空；所述按照所述分割维度将所述操作命令结果进行分割成子文件，包括：
23、获取预设文件名；
24、建立新建文件，并将所述预设文件名作为所述新建文件的名称；
25、将所述操作命令结果写入所述新建文件中，得到子文件。
26、根据本申请的第一方面的某些实施例，在根据所述子文件生成对应文件类型的目标文件之后，所述数据处理方法还包括:
27、将所述目标文件分割为至少一个数据块；
28、将所述数据块分散存储在分布式文件系统的集群的节点上；
29、为所述数据块创建唯一标识符，记录所述唯一标识符与所述数据块的映射关系。
30、根据本申请的第一方面的某些实施例，所述将所述目标文件上传到所述文件传输服务器，包括：
31、构建连接到所述文件传输服务器的加密传输通道；
32、获取传输参数；
33、对所述目标文件进行加密得到加密文件；
34、调用基于安全文件传输协议的传输工具根据传输参数将所述目标文件通过所述加密传输通道上传到所述文件传输服务器。
35、本申请的第二方面的实施例，一种数据处理装置，包括：
36、输入单元，所述输入单元用于获取操作命令和目标地址；
37、命令执行单元，所述命令执行单元用于配置数据处理引擎的任务执行所述操作命令得到操作命令结果；
38、第一传输单元，所述第一传输单元用于当所述目标地址映射向数据库，获取所述数据库的目标表格，将所述操作命令结果写入所述目标表格得到表格文件；
39、第二传输单元，所述第二传输单元用于当所述目标地址映射向文件传输服务器，获取分割维度和文件类型，按照所述分割维度将所述操作命令结果进行分割成子文件，根据所述子文件生成对应文件类型的目标文件，将所述目标文件上传到所述文件传输服务器。
40、本申请的第三方面的实施例，一种电子设备，包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如上所述的数据处理方法。
41、本申请的第四方面的实施例，一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上所述的数据处理方法。
42、本申请实施例所公开的数据处理方法、装置、设备及介质，通过配置数据处理引擎的任务执行操作命令得到操作命令结果；当目标地址映射向数据库，获取数据库的目标表格，将操作命令结果写入目标表格得到表格文件；当目标地址映射向文件传输服务器，获取分割维度和文件类型，按照分割维度将操作命令结果进行分割成子文件，根据子文件生成对应文件类型的目标文件，将目标文件上传到文件传输服务器；实现了自动化运行输入的操作命令来获取金融业务数据，并将金融业务数据转换为目标格式的数据结果，减少了操作和流程，提高了处理效率。
本文档来自技高网...【技术保护点】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的数据处理方法，其特征在于，所述配置数据处理引擎的任务执行所述操作命令得到操作命令结果，包括：
3.根据权利要求1所述的数据处理方法，其特征在于，所述将所述操作命令结果写入所述目标表格，包括：
4.根据权利要求3所述的数据处理方法，其特征在于，所述建立新的目标表格，包括:
5.根据权利要求1所述的数据处理方法，其特征在于，当所述分割维度为空；所述按照所述分割维度将所述操作命令结果进行分割成子文件，包括：
6.根据权利要求1所述的数据处理方法，其特征在于，在根据所述子文件生成对应文件类型的目标文件之后，所述数据处理方法还包括:
7.根据权利要求1所述的数据处理方法，其特征在于，所述将所述目标文件上传到所述文件传输服务器，包括：
8.一种数据处理装置，其特征在于，包括：
9.一种电子设备，其特征在于，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的数据处理方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的数据处理方法，其特征在于，所述配置数据处理引擎的任务执行所述操作命令得到操作命令结果，包括：
3.根据权利要求1所述的数据处理方法，其特征在于，所述将所述操作命令结果写入所述目标表格，包括：
4.根据权利要求3所述的数据处理方法，其特征在于，所述建立新的目标表格，包括:
5.根据权利要求1所述的数据处理方法，其特征在于，当所述分割维度为空；所述按照所述分割维度将所述操作命令结果进行分割成子文件，包括：
6.根据权利要求1所述的数据处理方法，其特征在于，在根据所述子文件生成对应文件类型的目标文件之后...
【专利技术属性】
技术研发人员：雷志勇，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。