模型保护方法及相关产品技术

本申请实施例公开了一种模型保护方法及相关产品，方法包括：确定AI应用对应的至少一个AI模型，AI模型包括非加密AI模型和加密AI模型；针对每一加密AI模型，在CPU的安全世界建立加密AI模型对应的虚拟机，在GNPU内建立加密AI模型对应的实例，并建立加密AI模型对应的虚拟机和实例之间的安全通道；针对至少一个非加密AI模型，在GNPU内建立至少一个非加密AI模型对应的实例，并在CPU的非安全世界和GNPU之间建立至少一个非加密AI模型与实例之间的普通通道。采用本申请实施例可以在通过GNPU多实例实现模型保护的情况下，有利于提高服务效率。有利于提高服务效率。有利于提高服务效率。

【技术实现步骤摘要】
模型保护方法及相关产品


[0001]本申请涉及模型保护
，具体涉及一种模型保护方法及相关产品。

技术介绍

[0002]数据在整个生命周期有三种状态：静态(At
‑
Rest)、传输中(In
‑
Transit)和使用中(In
‑
Use)。如果人工智能(Artificial Intelligence，AI)在使用中出现了主动或者被动的安全问题，后果是不堪设想的，所以AI安全是一个持久性的安全需求。其中，在对于AI模型的保护中，需要在数据的三种状态中使用。
[0003]对于在In
‑
Use状态下实现AI模型保护的技术中，一般会将应用以及应用依赖的基础软件部署在安全世界(Secure World)中，例如，对于指纹或者人脸解锁类AI应用的AI模型，可通过基于硬件的可信执行环境(Trusted Execution Environment，TEE)将任务部署到图形处理器(graphics processing unit，GPU)中。但是此时的GPU只能服务于安全世界，如果需要切换服务到非安全世界(Normal World)，需要对上下文保存和恢复，并对运行环境进行清理，效率较低。

技术实现思路

[0004]本申请实施例提供了一种模型保护方法及相关产品，可以利用GNPU的多实例化，重复利用GNPU的算力，实现同时为安全世界(Secure World)和非安全世界(Normal World)提供服务；在通过GNPU多实例实现模型保护的情况下，有利于提高服务效率。
[0005]第一方面，本申请实施例提供一种模型保护方法，应用于电子设备，所述电子设备包括中央处理器CPU和通用神经网络处理器GNPU，所述方法包括：
[0006]确定AI应用对应的至少一个AI模型，其中，所述AI模型应用于In
‑
use状态下，所述AI模型包括非加密AI模型和加密AI模型；
[0007]针对每一所述加密AI模型，在所述CPU的安全世界建立所述加密AI模型对应的虚拟机，在所述GNPU内建立所述加密AI模型对应的实例，并建立所述加密AI模型对应的虚拟机和所述实例之间的安全通道，其中，所述安全通道用于支持所述虚拟机和所述实例之间的数据交互；
[0008]针对至少一个所述非加密AI模型，在所述GNPU内建立所述至少一个非加密AI模型对应的实例，并在所述CPU的非安全世界和所述GNPU之间建立所述至少一个非加密AI模型与所述实例之间的普通通道，其中，所述普通通道用于支持所述至少一个非加密AI模型与所述实例之间的数据交互。
[0009]第二方面，本申请实施例提供一种模型保护装置，所述装置应用于电子设备，所述电子设备包括中央处理器CPU和通用神经网络处理器GNPU，所述装置包括：确定单元和建立单元，其中，
[0010]所述确定单元，用于确定AI应用对应的至少一个AI模型，其中，所述AI模型应用于In
‑
use状态下，所述AI模型包括非加密AI模型和加密AI模型；
[0011]所述建立单元，用于针对每一所述加密AI模型，在所述CPU的安全世界建立所述加密AI模型对应的虚拟机，在所述GNPU内建立所述加密AI模型对应的实例，并建立所述加密AI模型对应的虚拟机和所述实例之间的安全通道，其中，所述安全通道用于支持所述虚拟机和所述实例之间的数据交互；
[0012]所述建立单元，还用于针对至少一个所述非加密AI模型，在所述GNPU内建立所述至少一个非加密AI模型对应的实例，并在所述CPU的非安全世界和所述GNPU之间建立所述至少一个非加密AI模型与所述实例之间的普通通道，其中，所述普通通道用于支持所述至少一个非加密AI模型与所述实例之间的数据交互。
[0013]第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
[0014]第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
[0015]第五方面，本申请实施例提供了一种包含指令的计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
[0016]可以看出，本申请实施例中，确定AI应用对应的至少一个AI模型，其中，所述AI模型应用于In
‑
use状态下，所述AI模型包括非加密AI模型和加密AI模型；针对每一所述加密AI模型，在所述CPU的安全世界建立所述加密AI模型对应的虚拟机，在所述GNPU内建立所述加密AI模型对应的实例，并建立所述加密AI模型对应的虚拟机和所述实例之间的安全通道，其中，所述安全通道用于支持所述虚拟机和所述实例之间的数据交互；针对至少一个所述非加密AI模型，在所述GNPU内建立所述至少一个非加密AI模型对应的实例，并在所述CPU的非安全世界和所述GNPU之间建立所述至少一个非加密AI模型与所述实例之间的普通通道，其中，所述普通通道用于支持所述至少一个非加密AI模型与所述实例之间的数据交互。如此，可以通过本申请实施例实现对于不同的AI模型的部署，利用GNPU的多实例化，实现对于不同的AI模型的保护，同时重复利用GNPU的算力，为安全世界(Secure World)和非安全世界(Normal World)提供服务；在通过GNPU多实例实现模型保护的情况下，有利于提高服务效率。
附图说明
[0017]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1是本申请实施例提供的一种模型保护系统的结构示意图；
[0019]图2是本申请实施例提供的一种模型保护方法的流程示意图；
[0020]图3是本申请实施例提供的一种部署于CPU中的TEE的结构示意图；
[0021]图4A是本申请实施例提供的一种模型保护系统的结构示意图；
[0022]图4B是本申请实施例提供的一种模型保护系统的结构示意图；
[0023]图5是本申请实施例提供的一种电子设备的结构示意图；
[0024]图6A是本申请实施例提供的一种模型保护装置的功能单元组成框图；
[0025]图6B是本申请实施例提供的一种模型保护装置的功能单元组成框图。
具体实施方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型保护方法，应用于电子设备，其特征在于，所述电子设备包括中央处理器CPU和通用神经网络处理器GNPU，所述方法包括：确定AI应用对应的至少一个AI模型，其中，所述AI模型应用于In
‑
use状态下，所述AI模型包括非加密AI模型和加密AI模型；针对每一所述加密AI模型，在所述CPU的安全世界建立所述加密AI模型对应的虚拟机，在所述GNPU内建立所述加密AI模型对应的实例，并建立所述加密AI模型对应的虚拟机和所述实例之间的安全通道，其中，所述安全通道用于支持所述虚拟机和所述实例之间的数据交互；针对至少一个所述非加密AI模型，在所述GNPU内建立所述至少一个非加密AI模型对应的实例，并在所述CPU的非安全世界和所述GNPU之间建立所述至少一个非加密AI模型与所述实例之间的普通通道，其中，所述普通通道用于支持所述至少一个非加密AI模型与所述实例之间的数据交互。2.根据权利要求1所述的方法，其特征在于，所述加密AI模型对应的实例由所述CPU中的TEE管理，所述GNPU的GNPU驱动模块部署于所述TEE中。3.根据权利要求2所述的方法，其特征在于，所述在所述CPU的安全世界建立所述加密AI模型对应的虚拟机，在所述GNPU内建立所述加密AI模型对应的实例，并建立所述加密AI模型对应的虚拟机和所述实例之间的安全通道，包括：触发所述TEE，并在所述TEE中创建所述加密AI模型对应的虚拟机，并将所述加密AI模型部署到所述虚拟机中；在所述虚拟机中，对所述加密AI模型进行解密，得到解密以后的目标AI模型；通过所述GNPU驱动模块向所述GNPU发送资源申请请求；响应于所述资源申请请求，通过所述GNPU在所述GNPU内建立所述加密AI模型或所述目标AI模型的实例；获取所述加密AI模型对应的虚拟机与所述安全通道之间的密钥；根据所述密钥，创建所述加密AI模型对应的虚拟机与所述实例之间的安全通道。4.根据权利要求1所述的方法，其特征在于，所述非安全世界包括任务调度模块，所述方法还包括：针对多个所述非加密AI模型，通过所述任务调度模块，对所述多个非加密AI模型进行拓扑排序，得到拓扑排序表，并根据所述拓扑排序表，对所述多个非加密AI模型进行任务调度，并在每一所述非加密AI模型的任务调度...

【专利技术属性】
技术研发人员：李国良，林军，岳国庆，
申请(专利权)人：哲库科技上海有限公司，
类型：发明
国别省市：