一种基于Trustzone的spark大数据检索方法和系统技术方案

本申请提供一种基于Trustzone的spark大数据检索方法和系统。该方法包括：在TA中添加鉴权，建立白名单；获取用户输入的SQL检索请求；将所述SQL检索请求生成的物理计划中的算子传入本地CA；在本地CA中处理不涉及到敏感数据的算子计算；在TrustedOS中处理涉及到敏感数据的算子计算。本申请将安全算子部署在Trustzone环境中，利用硬件级别的安全保护机制来保护spark处理敏感数据的隐私和安全，这样可以有效地防止恶意软件攻击和数据泄露，提高spark数据处理和分析的安全性和可靠性。高spark数据处理和分析的安全性和可靠性。高spark数据处理和分析的安全性和可靠性。

【技术实现步骤摘要】
一种基于Trustzone的spark大数据检索方法和系统


[0001]本申请涉及计算机应用技术，尤其涉及一种基于Trustzone的spark大数据检索方法和系统。

技术介绍

[0002]目前，随着每日海量数据的产生，用户对从大数据中提取有用信息的需求越来越多。spark大数据处理框架被广泛使用，但spark集群中的对隐私数据的计算安全问题却暂时没有有效保护手段。
[0003]Trustzone是ARM设计的一种硬件架构，在概念上将硬件和软件资源划分为安全和非安全两个世界。隐私数据在Trustzone中的安全世界中进行解密计算，外部世界无法获取隐私信息。

技术实现思路

[0004]针对现有技术的局限性，我们提出一种基于Trustzone的spark大数据检索方法、系统、设备及存储介质，能够较为高效且安全的实现spark对隐私数据的检索。
[0005]本申请的一方面，提供一种基于Trustzone的spark大数据检索方法，包括：
[0006]在TA中添加鉴权，建立白名单；
[0007]根据所述白名单，获取用户输入的SQL检索请求；
[0008]将所述SQL检索请求生成的物理计划中的算子传入本地CA；
[0009]在本地CA中处理不涉及到敏感数据的算子计算；
[0010]在TrustedOS中处理涉及到敏感数据的算子计算。
[0011]优选的，所述在TA中添加鉴权，建立白名单包括：
[0012]在TA源码中的接口内，添加权限，将本地CA的运行全路径和登录服务器的用户名信息加入白名单。
[0013]优选的，所述获取用户输入的SQL检索请求包括：
[0014]用户通过在白名单中的用户名信息登录服务器，提交SQL检索请求。
[0015]优选的，将所述SQL检索请求生成的物理计划中的算子传入本地CA包括：
[0016]提取优化后的物理计划中的算子信息，将算子对应的信息和数据序列化后传入本地CA。
[0017]优选的，所述在本地CA中处理不涉及到敏感数据的算子计算包括：
[0018]判断算子是否涉及到隐私数据；
[0019]将不涉及到敏感数据的算子和相关数据分离，在本地CA中进行计算。
[0020]优选的，所述在TrustedOS中处理涉及到敏感数据的算子计算包括：
[0021]在TrustedOS中重新实现算子TA的安全计算代码；
[0022]本地CA与TrustedOS建立通信，传输涉及到隐私数据的算子相关信息，在TrustedOS中采用安全计算方法计算所述算子，将计算结果返回spark。
[0023]本申请的另一方面，提供一种基于Trustzone的spark大数据检索系统，包括：
[0024]鉴权模块，用于在TA中添加鉴权，建立白名单；
[0025]请求获取模块，用于获取用户输入的SQL检索请求；
[0026]传输模块，用于将所述SQL检索请求生成的物理计划中的算子传入本地CA；
[0027]本地CA计算模块，用于在本地CA中处理不涉及到敏感数据的算子计算；
[0028]安全计算模块，在TrustedOS中处理涉及到敏感数据的算子计算。
[0029]优选的，所述鉴权模块具体用于：
[0030]在TA源码中的接口内，添加权限，将本地CA的运行全路径和登录服务器的用户名信息加入白名单。
[0031]优选的，所述请求获取模块具体用于：
[0032]用户通过在白名单中的用户名登录服务器，提交SQL检索请求。
[0033]优选的，所述传输模块具体用于：
[0034]提取优化后的物理计划中的算子信息，将算子对应的信息和数据序列化后传入本地CA。
[0035]优选的，所述本地CA计算模块具体用于：
[0036]判断算子是否涉及到隐私数据；
[0037]将不涉及到敏感数据的算子和相关数据分离，在本地CA中进行计算。
[0038]优选的，所述安全计算模块用于：
[0039]在TrustedOS中重新实现算子TA的安全计算代码；
[0040]本地CA与TrustedOS建立通信，传输涉及到隐私数据的算子相关信息，在TrustedOS中采用安全计算方法计算所述算子，将计算结果返回spark。
[0041]本申请的另一方面，提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如下所述的方法：
[0042]在TA中添加鉴权，建立白名单；
[0043]根据所述白名单，获取用户输入的SQL检索请求；
[0044]将所述SQL检索请求生成的物理计划中的算子传入本地CA；
[0045]在本地CA中处理不涉及到敏感数据的算子计算；
[0046]在TrustedOS中处理涉及到敏感数据的算子计算。
[0047]本申请的另一方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如下所述的方法：
[0048]在TA中添加鉴权，建立白名单；
[0049]根据所述白名单，获取用户输入的SQL检索请求；
[0050]将所述SQL检索请求生成的物理计划中的算子传入本地CA；
[0051]在本地CA中处理不涉及到敏感数据的算子计算；
[0052]在TrustedOS中处理涉及到敏感数据的算子计算。
[0053]本申请将安全算子部署在Trustzone环境中，利用硬件级别的安全保护机制来保护spark处理敏感数据的隐私和安全，这样可以有效地防止恶意软件攻击和数据泄露，提高spark数据处理和分析的安全性和可靠性。
附图说明
[0054]图1为本申请一实施例提供的一种基于Trustzone的spark大数据检索方法的流程示意图；
[0055]图2为本申请一实施例提供的一种异基于Trustzone的spark大数据检索系统的结构示意图；
[0056]图3为本申请一实施例提供的一种电子设备的实体结构示意图。
具体实施方式
[0057]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对具体实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动前提下，所获得的所有其他的实施例，都属于本申请保护的范围。
[0058]图1示出了本申请一实施例提供的一种基于Trustzone的spark大数据检索方法的流程示意图，如图1所示，本实施例的基于Trustzone的spark大数据检索方法如下所述。
[0059]步骤100，在TA中添加鉴权，建立白名单；
[0060]步骤200，获取用户输入的SQL检索请求；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Trustzone的spark大数据检索方法，其特征在于，包括如下步骤：在TA中添加鉴权，建立白名单；根据所述白名单，获取用户输入的SQL检索请求；将所述SQL检索请求生成的物理计划中的算子传入本地CA；在本地CA中处理不涉及到敏感数据的算子计算；在TrustedOS中处理涉及到敏感数据的算子计算。2.根据权利要求1所述的方法，其特征在于，在TA中添加鉴权，建立白名单包括：在TA源码中的接口内，添加权限，将本地CA的运行全路径和登录服务器的用户名信息加入白名单。3.根据权利要求1所述的方法，其特征在于，获取用户输入的SQL检索请求包括：用户通过在白名单中的用户名信息登录服务器，提交SQL检索请求。4.根据权利要求1所述的方法，其特征在于，将所述SQL检索请求生成的物理计划中的算子传入本地CA包括：提取优化后的物理计划中的算子信息，将算子对应的信息和数据序列化后传入本地CA。5.根据权利要求1所述的方法，其特征在于，在本地CA中处理不涉及到敏感数据的算子计算包括：判断算子是否涉及到隐私数据；将不涉及到敏感数据的算子和相关数据分离，在本地CA中处理不涉及到敏感数据的算子计算。6.根据权利要求1所述的方法，其特征在于，在TrustedOS中处理涉及到敏感数据的算子计算包括：在TrustedOS中重新实现算子TA的安全计算代码；本地CA与TrustedOS建立通信，传输涉及到隐私数据的算子相关信息，在TrustedOS中采用安全计算方法计算所述涉及到隐私数据的算子，将计算结果返回spark。7.一种基于Trustzone的spa...

【专利技术属性】
技术研发人员：汤善江，常婉晴，于策，孙超，肖健，
申请(专利权)人：天津大学，
类型：发明
国别省市：