一种数据处理方法技术

本发明专利技术提供了一种数据处理方法

【技术实现步骤摘要】
一种数据处理方法、装置、存储介质及电子设备


[0001]本专利技术涉及数据处理
，特别涉及一种数据处理方法
、
装置
、
存储介质及电子设备
。

技术介绍

[0002]目前，在用户分析处理大数据过程中，通常需要将数据湖中的海量数据迁移到沙箱环境中进行处理，然而，随着业务的快速发展，需要分析的项目的数据的也越来越多，往沙箱环境中迁移数据的方式导致沙箱环境占用的存储空间过大，使得存储资源浪费
。

技术实现思路

[0003]本专利技术所要解决的技术问题是提供一种数据处理方法
、
装置
、
存储介质及电子设备，能够节约存储空间
。
具体方案如下：
[0004]一种数据处理方法，应用于数据处理系统，所述方法包括：
[0005]在接收到用户提交的数据请求的情况下，对所述数据请求中的请求信息进行核验；
[0006]在对所述数据请求中的请求信息核验通过后，根据所述请求信息在预设的第一集群的数据湖中进行查询，得到所述请求信息对应的目标数据；
[0007]根据所述目标数据在第二集群中生成数据视图表，所述第二集群为运行所述数据处理系统的集群；
[0008]为所述用户配置操作所述数据视图表的权限，以使得所述用户操作所述数据视图表
。
[0009]上述的方法，可选的，所述对所述数据请求中的请求信息进行核验，包括：
[0010]将所述数据请求中的请求信息发往预设的审核终端；
[0011]在接收到所述审核终端对所述请求信息的确认指令时，确定对所述请求信息核验通过；
[0012]在接收到所述审核终端对所述请求信息的拒绝指令时，确定对所述请求信息核验不通过
。
[0013]上述的方法，可选的，所述根据所述请求信息在预设的第一集群的数据湖中进行查询，得到所述请求信息对应的目标数据，包括：
[0014]在所述第一集群的数据湖中确定与所述请求信息中的数据标识对应的数据；
[0015]检测与所述请求信息中的数据标识对应的数据中是否包含敏感信息；
[0016]在所述数据中包含敏感信息的情况下，利用预设的脱敏算法对所述数据中的敏感信息进行脱敏处理；
[0017]在对所述数据中的敏感信息进行脱敏处理后，将所述数据确定为所述请求信息对应的目标数据
。
[0018]上述的方法，可选的，所述为所述用户配置操作所述数据视图表的权限，包括：
[0019]获取所述请求信息中所述用户的身份标识；
[0020]利用所述身份标识查询预设的配置文件，获得所述用户的权限信息；
[0021]根据所述权限信息为所述用户配置操作所述数据视图表的权限
。
[0022]上述的方法，可选的，所述根据所述目标数据在第二集群中生成数据视图表之后，还包括：
[0023]在所述数据视图表在第二集群中的存储时长到达预设时长阈值后，在第二集群中删除所述数据视图表
。
[0024]上述的方法，可选的，还包括：
[0025]显示第一集群的数据分布，使得所述用户根据所述数据分布提交所述数据请求
。
[0026]上述的方法，可选的，还包括：
[0027]在对所述请求信息核验不通过的情况下，输出提示信息，所述提示信息用于提示用户修改请求信息
。
[0028]一种数据处理装置，应用于数据处理系统，所述装置包括：
[0029]接收单元，用于在接收到用户提交的数据请求的情况下，对所述数据请求中的请求信息进行核验；
[0030]查询单元，用于在对所述数据请求中的请求信息核验通过后，根据所述请求信息在预设的第一集群的数据湖中进行查询，得到所述请求信息对应的目标数据；
[0031]生成单元，用于根据所述目标数据在第二集群中生成数据视图表，所述第二集群为运行所述数据处理系统的集群；
[0032]配置单元，用于为所述用户配置操作所述数据视图表的权限，以使得所述用户操作所述数据视图表
。
[0033]一种存储介质，所述存储介质包括存储指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如上述的数据处理方法
。
[0034]一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如上述的数据处理方法
。
[0035]与现有技术相比，本专利技术包括以下优点：
[0036]本专利技术提供了一种数据处理方法
、
装置
、
存储介质及电子设备，其中，可以在接收到用户提交的数据请求的情况下，对所述数据请求中的请求信息进行核验；在对所述数据请求中的请求信息核验通过后，根据所述请求信息在预设的第一集群的数据湖中进行查询，得到所述请求信息对应的目标数据；根据所述目标数据在第二集群中生成数据视图表，所述第二集群为运行所述数据处理系统的集群；为所述用户配置操作所述数据视图表的权限，以使得所述用户操作所述数据视图表
。
应用本专利技术实施例提供的方法，通过查询用户所需的目标数据，然后根据目标数据建立跨集群的数据视图表，以由用户对数据视图表进行操作，使得用户无需将第一集群中的数据湖的数据全部迁移到第二集群即可完成对数据的分析处理，节约第二集群的数据存储空间
。
附图说明
[0037]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图
。
[0038]图1为本专利技术提供的一种数据处理方法的方法流程图；
[0039]图2为本专利技术提供的一种对数据请求中的请求信息进行核验的过程的流程图；
[0040]图3为本专利技术提供的一种得到请求信息对应的目标数据的过程的流程图；
[0041]图4为本专利技术提供的一种数据处理过程的流程图；
[0042]图5为本专利技术提供的一种创建数据视图表的过程的流程图；
[0043]图6为本专利技术提供的一种数据处理装置的结构示意图；
[0044]图7为本专利技术提供的一种电子设备的结构示意图
。
具体实施方式
[0045]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例
。
基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围
。
[0046]在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，其特征在于，应用于数据处理系统，所述方法包括：在接收到用户提交的数据请求的情况下，对所述数据请求中的请求信息进行核验；在对所述数据请求中的请求信息核验通过后，根据所述请求信息在预设的第一集群的数据湖中进行查询，得到所述请求信息对应的目标数据；根据所述目标数据在第二集群中生成数据视图表，所述第二集群为运行所述数据处理系统的集群；为所述用户配置操作所述数据视图表的权限，以使得所述用户操作所述数据视图表
。2.
根据权利1要求所述的方法，其特征在于，所述对所述数据请求中的请求信息进行核验，包括：将所述数据请求中的请求信息发往预设的审核终端；在接收到所述审核终端对所述请求信息的确认指令时，确定对所述请求信息核验通过；在接收到所述审核终端对所述请求信息的拒绝指令时，确定对所述请求信息核验不通过
。3.
根据权利1要求所述的方法，其特征在于，所述根据所述请求信息在预设的第一集群的数据湖中进行查询，得到所述请求信息对应的目标数据，包括：在所述第一集群的数据湖中确定与所述请求信息中的数据标识对应的数据；检测与所述请求信息中的数据标识对应的数据中是否包含敏感信息；在所述数据中包含敏感信息的情况下，利用预设的脱敏算法对所述数据中的敏感信息进行脱敏处理；在对所述数据中的敏感信息进行脱敏处理后，将所述数据确定为所述请求信息对应的目标数据
。4.
根据权利要求1所述的方法，其特征在于，所述为所述用户配置操作所述数据视图表的权限，包括：获取所述请求信息中所述用户的身份标识；利用所述身份标识查询预设的配置文件，获得所述用户的权限信息；根据所述权限信息为所述用户配置操作所述数据视图表的权...

【专利技术属性】
技术研发人员：丁锐，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：