数据处理方法及装置制造方法及图纸

本公开涉及一种数据处理方法及装置，所述方法应用于Spark中的驱动器，所述方法包括：接收到插入SQL语句时，对所述插入SQL语句进行解析，生成插入逻辑计划树；若所述插入逻辑计划树与加密规则匹配，则创建加密节点，并将所述加密节点插入到所述插入逻辑计划树的插入节点之前，得到加密逻辑计划树；将所述加密逻辑计划树转换为加密物理计划树，并将所述加密物理计划树发送至Spark中的执行器。通过在插入数据前对数据进行加密，根据本公开实施例的数据处理方法及装置能够在SparkSQL中实现数据加密功能。

【技术实现步骤摘要】
数据处理方法及装置
本公开涉及大数据
，尤其涉及一种数据处理方法及装置。
技术介绍
Spark是基于内存的分布式计算框架。Spark提供一站式数据分析能力，包括小批量流式处理、离线批处理、SQL(StructuredQueryLanguage，结构化查询语言)查询、数据挖掘等，用户可以在同一个应用中无缝结合使用这些能力。Spark提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量廉价硬件之上，形成集群。SparkSQL是一种基于Spark的分布式SQL引擎，是一个用来处理结构化数据的Spark组件，支持SQL语句，使得用户能够以SQL的方式快速方便的运行Spark计算任务。相关技术中，SparkSQL不具有对数据进行加密的功能，这样用户在使用SparkAPI或者SparkSQL操作数据时，无法保证敏感数据(例如联系方式、密码等信息)的安全性，当数据文件泄露时，用户敏感信息就会被泄露，降低了信息的安全性。
技术实现思路
有鉴于此，本公开提出了一种数据处理方法及装置，能够在SparkSQL中实现数据加密功能。根据本公开的第一方面，提供了本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法应用于Spark中的驱动器，所述方法包括：接收到插入SQL语句时，对所述插入SQL语句进行解析，生成插入逻辑计划树；若所述插入逻辑计划树与加密规则匹配，则创建加密节点，并将所述加密节点插入到所述插入逻辑计划树的插入节点之前，得到加密逻辑计划树；将所述加密逻辑计划树转换为加密物理计划树，并将所述加密物理计划树发送至Spark中的执行器。

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法应用于Spark中的驱动器，所述方法包括：接收到插入SQL语句时，对所述插入SQL语句进行解析，生成插入逻辑计划树；若所述插入逻辑计划树与加密规则匹配，则创建加密节点，并将所述加密节点插入到所述插入逻辑计划树的插入节点之前，得到加密逻辑计划树；将所述加密逻辑计划树转换为加密物理计划树，并将所述加密物理计划树发送至Spark中的执行器。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述插入SQL语句进行解析时，从所述插入SQL语句中获取插入表的标识；若所述插入表的标识对应的数据表的属性中包括加密类型信息和加密列信息，则确定所述插入逻辑计划树与所述加密规则匹配。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：在创建所述加密节点时，将所述加密类型信息和加密列信息作为类属性保存在所述加密节点中。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：接收到查询SQL语句时，对所述查询SQL语句进行解析，生成查询逻辑计划树；若所述查询逻辑计划树与解密规则匹配，则创建解密节点，并将所述解密节点插入到所述查询逻辑计划树的投影节点之前，得到解密逻辑计划树；将所述解密逻辑计划树转换为解密物理计划树，并将所述解密物理计划树发送至Spark中的执行器。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：在对所述查询SQL语句进行解析时，从所述查询SQL语句中获取查询表的标识；若所述查询表的标识对应的数据表的属性中包括加密类型信息和加密列信息，则确定所述查询逻辑计划树与所述解密规则匹配。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：在创建所述解密节点时，将所述加密类型信息和加密列信息，作为类属性保存在所述解密节点中。7.一种数据处理方法，其特征在于，所述方法应用于执行器，所述方法包括：接收到加密物理计划树时，通过RDD创...

【专利技术属性】
技术研发人员：史宁宁，户蕾蕾，杜威科，
申请(专利权)人：新华三大数据技术有限公司，
类型：发明
国别省市：河南,41