【技术实现步骤摘要】
数据处理方法、装置、电子设备及计算机可读存储介质
本专利技术涉及人工智能
，尤其涉及一种数据处理的方法、装置、电子设备及计算机可读存储介质。
技术介绍
在大数据蓬勃发展的时代背景下，人们执行海量数据处理的场合与机会越来越多。在数据处理过程中数据处理引擎被广泛应用，所述数据处理引擎能够完成强大的实时分析。如Flink数据处理引擎以数据并行和流水线方式执行任意流数据程序，Flink数据处理引擎的流水线运行时系统可以执行批处理和流处理程序，此外，Flink数据处理引擎的运行时本身也支持迭代算法的执行，可对数据进行多线程读取、并行化执行。现在Flink数据处理引擎被大规模应用到流式数据处理，但是对于不了解这个产品的人来说，有着非常高的入门门槛，需要了解Flink数据处理引擎本身的运行机制，还需要懂开发代码，对于一般的数据人员基本上无法像处理HIVE数据一样处理流式数据。对于用户的交互界面方面，Flink数据处理引擎产品本身只提供了基于linuxshell的sql交互界面，目的性单一导致安全性差，同时操作不友好，需要登陆...
【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n通过查询语言对交互式实时计算平台的数据库中的数据集进行设定和加密编辑，得到加密数据集；/n获取任务数据集，对所述加密数据集进行解密，得到解密数据集，将所述任务数据集与所述解密数据集进行参数调整，得到任务处理集，所述任务处理集中包含执行命令和任务命令；/n将所述任务处理集提交至所述交互式实时计算平台中的数据处理引擎，根据所述任务命令解析所述执行命令，生成解析任务集；/n将所述解析任务集提交至所述数据处理引擎中并运行生成处理结果集。/n
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
通过查询语言对交互式实时计算平台的数据库中的数据集进行设定和加密编辑，得到加密数据集；
获取任务数据集，对所述加密数据集进行解密，得到解密数据集，将所述任务数据集与所述解密数据集进行参数调整，得到任务处理集，所述任务处理集中包含执行命令和任务命令；
将所述任务处理集提交至所述交互式实时计算平台中的数据处理引擎，根据所述任务命令解析所述执行命令，生成解析任务集；
将所述解析任务集提交至所述数据处理引擎中并运行生成处理结果集。
2.如权利要求1所述的数据处理方法，其特征在于，所述通过查询语言对交互式实时计算平台的数据库中的数据集进行设定和加密编辑，得到加密数据集，包括：
通过查询语言对所述数据库中的数据集进行编辑设定，编辑设定成功后，创建源表、维度表和目标表；
对所述源表进行加密编辑得到加密源表，将所述加密源表与所述维度表及所述目标表进行关联，得到所述加密数据集。
3.如权利要求2所述的数据处理方法，其特征在于，所述对所述源表进行加密编辑得到加密源表，将所述加密源表与所述维度表及所述目标表进行关联，得到所述加密数据集，包括：
根据所述源表的ID创建第一字段；
利用预构建的加密函数，对所述源表的ID进行加密得到第二字段；
利用所述第一字段和所述第二字段，创建加密源表；
将所述加密源表与所述维度表及所述目标表根据所述源表的ID进行关联，得到所述加密数据集。
4.如权利要求3所述的数据处理方法，其特征在于，所述对所述加密数据集进行解密，得到解密数据集，包括：
调用与所述加密函数对应的解密函数；
通过所述解密函数对所述加密源表进行解密，得到解密源表和所述解密源表的ID；
汇总所述解密源表及所述解密源表的ID，得到所述解密数据集。
5.如权利要求1所述的数据处理方法，其特征在于，所述将所述任务数据集与所述解密数据集进行参数调整，得到任务处理集，包括：
根据预构建的数据切片函数，将所述任务数据集进行切片，得到切片集；
遍历所述切片集，与所述解密数据集中的数据进行对比，将所述切片集中与所述解密数据集中同一类型的数据进行关联，并添加命令语句和命令字段，对所述切片集中与所述解密数据集中不同数据类型的数据添加任务字段和...
【专利技术属性】
技术研发人员：张兴，田辉，
申请(专利权)人：平安证券股份有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。