数据处理方法、系统、引擎、设备及存储介质技术方案

本申请实施例提供数据处理方法、系统、引擎、设备及存储介质。该方法包括：对数据处理引擎中数据处理逻辑进行处理得到执行计划。执行计划中包含有多个基本算子。为了确保算子在执行数据计算过程的数据安全，根据基本算子与可信执行环境之间的调用关系，生成由可信算子组成的可信执行计划。进而，由可信算子调用可信执行环境，在可信执行环境中对待处理数据进行相应的数据处理。利用可信算子对可信执行环境调用，可信算子在可信执行环境执行计算，确保数据安全。以可信算子作为调用可信执行环境的基本单位，满足数据安全的同时，还能够有效降低对可信执行环境的调用次数，从而能够有效减轻数据处理引擎的工作负担，提高数据处理引擎的工作性能。的工作性能。的工作性能。

【技术实现步骤摘要】
数据处理方法、系统、引擎、设备及存储介质


[0001]本申请涉及计算机
，尤其涉及数据处理方法、系统、引擎、设备及存储介质。

技术介绍

[0002]随着计算机技术的快速发展，数据处理的安全问题越来越受到关注。
[0003]其中，可信执行环境技术的发展使得数据的全链路加密处理成为可能。在一些数据处理引擎中，为了确保数据安全也会调用可信执行环境，并在可信执行环境中进行相应的数据计算等数据处理工作。在进行数据处理过程中，若要调用可信执行环境，进而在可信执行环境中对待处理数据进行加解密处理，在调用及加解密过程中，会造成很大的系统开销。尤其是待处理数据量比较大的时候，严重影响数据处理效率。

技术实现思路

[0004]为解决或改善现有技术中存在的问题，本申请各实施例提供了数据处理方法、系统、引擎、设备及存储介质。
[0005]第一方面，在本申请的一个实施例中，提供了一种数据处理方法。该方法包括：
[0006]确定数据处理逻辑对应的执行计划；所述执行计划包含基本算子；
[0007]根据所述基本算子与可信执行环境之间的调用关系，生成由可信算子组成的可信执行计划；
[0008]基于所述可信执行计划中至少一个所述可信算子以及所述可信算子调用的可信执行环境，对接收到的待处理数据进行数据处理。
[0009]第二方面，在本申请的一个实施例中，提供了一种数据处理系统，所述系统包括：
[0010]客户端，用于向数据处理系统发送数据处理请求；
[0011]数据处理引擎，用于实现第一方面所述的一种数据处理方法。
[0012]第三方面，在本申请的一个实施例中，提供了一种数据处理引擎，所述引擎包括：执行计划生产模块、可信执行计划生产模块和数据处理模块；所述引擎用于实现第一方面所述的一种数据处理方法。
[0013]第四方面，在本申请的一个实施例中，提供了一种电子设备，包括存储器及处理器；其中，
[0014]所述存储器，用于存储程序；
[0015]所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于实现第一方面所述的一种数据处理方法。
[0016]第五方面，在本申请的一个实施例中，提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如第一方面所述的一种数据处理方法。
[0017]本申请实施例提供的技术方案，对数据处理引擎中预先的数据处理系统进行处
理，得到执行计划。其中，在执行计划中包含有多个基本算子。为了确保算子在执行数据计算过程的数据安全，需要根据基本算子与可信执行环境之间的调用关系，生成可信算子，以及由可信算子组成的可信执行计划。进而，由可信算子调用可信执行环境，在可信执行环境中对待处理数据进行相应的数据处理。通过上述方案，利用可信算子对可信执行环境进行调用，能够确保可信算子都在可信执行环境执行计算过程，确保数据安全。此外，以可信算子作为调用可信执行环境的基本单位，满足数据安全的同时，还能够有效降低对可信执行环境的调用次数，从而能够有效减轻数据处理引擎的工作负担，提高数据处理引擎的工作性能。
附图说明
[0018]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1为本申请实施例提供的数据处理方法的流程意图；
[0020]图2为本申请实施例举例说明的生成可信执行计划的过程示意图；
[0021]图3为本申请实施例举例说明的包含多种算子的可信执行计划的示意图；
[0022]图4为本申请实施例举例说明的融合可信算子执行计算处理的过程示意图；
[0023]图5为本申请实施例举例说明的可信算子执行计算处理的过程示意图；
[0024]图6为本申请实施例提供的多可信算子进行数据处理过程的示意图；
[0025]图7为本申请实施例提供的数据处理系统的结构示意图；
[0026]图8为本申请实施例提供的数据处理引擎的结构示意图；
[0027]图9为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0028]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
[0029]在本申请的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。此外，下文描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0030]随着数据库技术的快速发展，用户在使用数据库的时候，对数据库的安全需求越来越高。对于一些加密需求比较高的数据，可以采用全加密数据库从而实现对数据的传输、计算和存储等各个环节全面的加密保护效果。在实际应用中，虽然可以实现对用户数据库中的数据更加全面的安全保护，但是，若在可信执行环境中实现对数据的安全处理，会导致
数据处理引擎性能大打折扣，严重影响其正常工作效率。因此，需要一种能够提升数据处理引擎安全处理数据时工作性能的技术方案。在本申请技术方案中，具体工作过程，将在下述实施例中说明。
[0031]术语解释：
[0032]可信执行环境：(Trusted Execution Environment，TEE)，是处理器的一个安全区域，保证其内部加载的代码和数据的机密性和完整性能得到保护。它提供了一个隔离的执行空间安全区(Enclave)，在其中运行的受信任程序可以防止普通应用程序、操作系统(OS)甚至是虚拟机监督器(Hypervisor)的侵害。
[0033]数据计算引擎：一类专用或者通用的数据处理系统的统称，用户通常通过写SQL或者脚本进行调用，系统会完成任务逻辑的解析和任务的处理，以及数据的处理工作。
[0034]执行计划：数据处理引擎会把用户定义的一个任务转义为内部进行实际计算的一串任务流，这个任务流可能是一串简单的任务，也可能是一颗树，也可能是一个有向无环图。
[0035]算子：计算引擎中的执行计划的基本组成单位。例如，在数据库中有聚合、联接、过滤等算子，在AI系统中有矩阵乘法、矩阵转置等算子。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，应用于数据处理引擎，所述方法包括：确定数据处理逻辑对应的执行计划；所述执行计划包含基本算子；根据所述基本算子与可信执行环境之间的调用关系，生成由可信算子组成的可信执行计划；基于所述可信执行计划中至少一个所述可信算子以及所述可信算子调用的可信执行环境，对接收到的待处理数据进行数据处理。2.根据权利要求1所述的方法，所述根据所述基本算子与可信执行环境之间的调用关系，生成由可信算子组成的可信执行计划，包括：获取所述执行计划中包含的基本算子；基于所述基本算子与所述可信执行环境的调用关系，生成可信算子；根据所述可信算子以及算子依赖关系，生成所述可信执行计划。3.根据权利要求2所述的方法，基于所述基本算子与所述可信执行环境的调用关系，生成可信算子之后，还包括：基于所述可信算子之间的算子依赖关系和/或算子类型，判断所述可信算子是否允许融合；若允许融合，则生成融合可信算子。4.根据权利要求3所述的方法，所述基于所述可信算子以及算子依赖关系，生成所述可信执行计划，包括：基于所述可信算子与所述融合可信算子之间的算子依赖关系，和/或，基于所述可信算子与所述可信算子之间的算子依赖关系，和/或，基于所述融合可信算子与所述融合可信算子之间的算子依赖关系，生成所述可信执行计划。5.根据权利要求3所述的方法，所述基于所述可信执行计划中至少一个所述可信算子以及所述可信算子调用的可信执行环境，对接收到的待处理数据进行数据处理，包括：将所述待处理数据输入所述可信算子和/或所述融合可信算子；在所述可信算子和/或所述融合可信算子调用所述可信执行环境中对待处理数据进行安全处理，得到多个数据元或多行数据；利用所述可信算子和/或所述融合可信算子对所述多个数据元或多行数据进行数据处理，得到加密处理结果。6.根据权利要求5所述的方法，所述融合可信算子包括：第一可信算子和第二可信算子；在所述融合可信算子调用所述可信执行环境中对待处理数据进行安全处理，得到多个数据元或多行数据，包括：在所述可信执行环境中对所述待处理数据进行解密并解析处理，得到多个数据...

【专利技术属性】
技术研发人员：李飞飞，汪晟，曾祥栋，谢小龙，张焱山，陈吉强，
申请(专利权)人：阿里云计算有限公司，
类型：发明
国别省市：