【技术实现步骤摘要】
本专利技术涉及软件，具体涉及一种基于tee的可信数据分析集群调度方法、系统、终端及介质。
技术介绍
1、在当前的计算环境中，数据安全和处理效率是两个关键问题，尤其是在涉及大量敏感数据处理的场景中。随着云计算和分布式计算技术的快速发展，如何有效地在多个计算节点上调度和执行任务，同时确保数据的机密性和完整性，成为了一个迫切需要解决的挑战。多数任务调度系统仍然使用传统的调度算法，这些算法在处理大规模并行计算任务时，往往无法有效平衡负载，导致资源分配不均、响应时间延长。同时，对于涉及敏感信息的任务，现有技术往往不能提供足够的数据保护措施，使得数据在传输和处理过程中面临被窃取或滥用的风险。
2、传统的任务调度系统往往忽视了在并行处理过程中数据安全性的重要性，这在处理敏感或机密信息时尤为关键。此外，现有系统在分配任务时可能无法充分利用资源，导致计算能力的浪费和不必要的能源消耗。更重要的是，当涉及跨平台执行或在不同的执行环境中处理任务时，可能会遇到安全性问题。可信执行环境(tee)，其包括intel-sgx/tdx、amd-sev、arm trustzone等。tee实现代码无法被篡改、数据无法被外部获取这两个基本目标。它通过在处理器中创建一个安全的区域来执行代码和处理数据，确保了信息的机密性和完整性。然而，单纯依赖tee，在多节点并行计算场景下，仍然面临着调度效率低、资源利用不足、无法满足大规模计算需求的问题。机密计算技术允许数据在加密状态下被处理，从而保护了数据的隐私。尽管如此，当前的机密计算解决方案大多数集中在单一的计算任务
3、综上所述，现有的任务调度和数据安全保护技术在高效性、可扩展性以及安全性方面均存在局限。特别是在并行计算和敏感数据处理方面，迫切需要一种新的技术解决方案，以支持大规模、高效且安全的数据处理。
技术实现思路
1、针对现有技术中的缺陷，本专利技术提供的一种基于tee的可信数据分析集群调度方法、系统、终端及介质，能保证数据安全的前提下，有效地对计算任务进行调度，实现在多个计算节点上的并行执行。
2、第一方面，本专利技术实施例提供的一种基于tee的可信数据分析集群调度方法，包括以下步骤：
3、任务调度器定期检查和解析存在的订单，并从订单中选出优先的任务；
4、任务调度器将待执行任务拆分为若干个子任务，并对子任务进行分析确定子任务的执行顺序；
5、任务调度器根据执行顺序将子任务分发给各个计算节点进行执行；
6、计算节点计算完成后，将中间结果上传到分布式文件系统；
7、计算节点将控制信息报告给任务调度器；
8、任务调度器继续将剩余的子任务派发到计算节点执行，直到整个任务执行结束。
9、第二方面，本专利技术实施例提供的一种基于tee的可信数据分析集群调度系统，包括多个集群，每个集群包括一个任务调度器和若干个计算节点；
10、所述任务调度器用于定期检查和解析存在的任务订单，将待执行任务拆分为若干个子任务，并对子任务进行分析确定子任务的执行顺序，根据执行顺序将子任务分发给各个计算节点进行执行；
11、所述计算节点用于在计算完成后，将中间结果上传到分布式文件系统，将控制信息报告给任务调度器；
12、所述任务调度器还用于将剩余的子任务派发到计算节点执行，直到整个任务执行结束。
13、第三方面，本专利技术实施例提供的一种智能终端，包括处理器、输入设备、输出设备和存储器，所述处理器分别与输入设备、输出设备和存储器连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述实施例描述的方法。
14、第四方面，本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述实施例描述的方法。
15、本专利技术的有益效果：
16、本专利技术实施例提供的一种基于tee的可信数据分析集群调度方法，能够基于可信硬件，在保证数据隐私性和完整性的前提下，有效地对计算任务进行调度，实现在多个计算节点上的并行执行。通过结合可信执行环境和机密计算技术，该方法不仅能够保护数据不被未经授权的第三方访问，还能确保各个节点之间的安全通信，同时优化资源分配，提高整体的计算效率。
17、本专利技术实施例提供一种基于tee的可信数据分析集群调度系统、智能终端和介质，与上述一种基于tee的可信数据分析集群调度方法出于相同的专利技术构思，具有相同的有益效果。
本文档来自技高网...【技术保护点】
1.一种基于TEE的可信数据分析集群调度方法，其特征在于，包括以下步骤：
2.如权利要求1所述的方法，其特征在于，所述对子任务进行分析确定子任务的执行顺序的具体方法包括:
3.如权利要求2所述的方法，其特征在于，还包括：对于无依赖关系的子任务，任务调度器采用先进先出的原则将子任务分配到所有空闲节点。
4.如权利要求2所述的方法，其特征在于，所述任务图为有向无环图，所述任务图中描述了任务的执行流程。
5.一种基于TEE的可信数据分析集群调度系统，其特征在于，包括多个集群，每个集群包括一个任务调度器和若干个计算节点；
6.如权利要求5所述的系统，其特征在于，所述任务调度器包括子任务分析单元，所述子任务分析单元用于预先配置计算节点的最大任务并发量，分析数据提供方上传的任务图中各个子任务的执行实现期望和子任务之间的依赖关系，根据所述实现期望和依赖关系确定以优化最终输出任务的结束时间为目标设定子任务执行顺序。
7.如权利要求6所述的系统，其特征在于，所述子任务分析单元还用于对无依赖关系的子任务，采用先进先出的原则将子任
8.如权利要求6所述的系统，其特征在于，所述任务图为有向无环图，所述任务图中描述了任务的执行流程。
9.一种智能终端，包括处理器、输入设备、输出设备和存储器，所述处理器分别与输入设备、输出设备和存储器连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，其特征在于，所述处理器被配置用于调用所述程序指令，执行如权利要求1-4任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-4任一项所述的方法。
...【技术特征摘要】
1.一种基于tee的可信数据分析集群调度方法，其特征在于，包括以下步骤：
2.如权利要求1所述的方法，其特征在于，所述对子任务进行分析确定子任务的执行顺序的具体方法包括:
3.如权利要求2所述的方法，其特征在于，还包括：对于无依赖关系的子任务，任务调度器采用先进先出的原则将子任务分配到所有空闲节点。
4.如权利要求2所述的方法，其特征在于，所述任务图为有向无环图，所述任务图中描述了任务的执行流程。
5.一种基于tee的可信数据分析集群调度系统，其特征在于，包括多个集群，每个集群包括一个任务调度器和若干个计算节点；
6.如权利要求5所述的系统，其特征在于，所述任务调度器包括子任务分析单元，所述子任务分析单元用于预先配置计算节点的最大任务并发量，分析数据提供方上传的任务图中各个子任务的执行实现期望和子任务之间的依赖关系，根据所述实现...
【专利技术属性】
技术研发人员：高炜贺，范学鹏，汤载阳，王宸敏，曾驭龙，张金波，
申请(专利权)人：北京熠智科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。