基于大数据集群架构的数据处理系统、方法、设备及介质技术方案

本发明专利技术实施例提供了一种基于大数据集群架构的数据处理系统、方法、设备及介质，涉及大数据技术领域，其中，该系统包括：管理节点包括：任务接收模块，用于针对通过身份认证和权限检查的用户，接收所述用户输入的计算任务；任务划分模块，用于将所述计算任务中敏感数据的计算任务划分为第一计算任务；任务提交模块，用于向所述大数据集群架构中的计算节点发送第一运行请求，其中，所述第一运行请求用于请求在可信执行环境中运行所述第一计算任务；计算节点包括：第一任务运行模块，用于响应于所述第一运行请求，在所述可信执行环境中运行所述第一计算任务。该方案有利于提高运行敏感数据的计算任务的安全性。数据的计算任务的安全性。数据的计算任务的安全性。

【技术实现步骤摘要】
基于大数据集群架构的数据处理系统、方法、设备及介质


[0001]本专利技术涉及大数据
，特别涉及一种基于大数据集群架构的数据处理系统、方法、设备及介质。

技术介绍

[0002]随着互联网发展带来的数据规模的提升，大数据计算平台随之诞生且经历了飞速发展，从谷歌提出的GFS和开源的Hadoop，到后来的Spark、Hive、Presto等大数据计算框架，如今支撑着众多大数据场景的计算任务。这些大数据框架在数据规模提升到单机很难在可接受的时间内完成的计算场景中，可以将用户输入的计算任务分解到集群内的众多节点上以分布式的方式完成，汇总得到最后的结果。
[0003]这些大数据框架部署在可以扩展节点数量的集群上，同时配备了一定的安全措施，如Hadoop和Presto等框架的服务验证鉴权支持kerberos系统。如图1所示，应用服务作为客户端Client调用其他服务Service前，需要通过kerberos的密钥分发服务器KDC进行身份认证获取访问票据TGT(Ticket Getting Ticket)。客户端再用需要访问的服务名称(如HDFS本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据集群架构的数据处理系统，所述大数据集群架构包括管理节点和计算节点，其特征在于，所述系统包括：所述管理节点，包括：任务接收模块，用于针对通过身份认证和权限检查的用户，接收所述用户输入的计算任务；任务划分模块，用于将所述计算任务中敏感数据的计算任务划分为第一计算任务；任务提交模块，用于向所述大数据集群架构中的计算节点发送第一运行请求，其中，所述第一运行请求用于请求在可信执行环境中运行所述第一计算任务；所述计算节点，包括：第一任务运行模块，用于响应于所述第一运行请求，在所述可信执行环境中运行所述第一计算任务。2.如权利要求1所述的基于大数据集群架构的数据处理系统，其特征在于，所述任务划分模块，用于在所述计算任务中确定与自然人有关的每一条信息；确定每一条信息所属的自然人的数量，将所述数量小于预设阈值的每一条信息确定为敏感数据，并将与所述敏感数据有关的计算任务划分为所述第一计算任务。3.如权利要求1所述的基于大数据集群架构的数据处理系统，其特征在于，所述任务提交模块，用于在所述第一运行请求中添加所述可信执行环境的相关信息和待运行的程序命令后，向所述大数据集群架构中的计算节点发送所述第一运行请求；所述第一任务运行模块，用于响应于所述第一运行请求，采用可信执行环境虚拟机，根据所述可信执行环境的相关信息，构建所述可信执行环境，在所述可信执行环境中运行所述待运行的程序命令。4.如权利要求3所述的基于大数据集群架构的数据处理系统，其特征在于，所述计算节点，还包括：服务度量模块，用于通过服务度量服务判断所述可信执行环境虚拟机中可信执行环境的相关信息与所述可信执行环境的相关信息是否一致；所述第一任务运行模块，用于在所述可信执行环境虚拟机中可信执行环境的相关信息与所述可信执行环境的相关信息一致时，在所述可信执行环境中运行所述待运行的程序命令。5.如权利要求4所述的基于大数据集群架构的数据处理系统，其特征在于，所述服务度量模块，还用于在所述可信执行环境中运行所述待运行的程序命令的过程中，通过服务度量服务判断...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：北京瑞莱智慧科技有限公司，
类型：发明
国别省市：