用于改进神经网络模型机密性保护的方法及设备技术

一种用于改进神经网络模型机密性保护的方法，所述方法应用于设备，所述设备的操作系统包括框架和硬件抽象层，所述方法包括：在执行应用程序中的源模型之前，由所述设备的处理器通过运行与所述应用程序相关联的修改子程序来修改所述源模型以形成修改后的模型；以及使所述框架接受所述修改后的模型而不是所述源模型作为待执行的模型，所述框架指示所述硬件抽象层准备执行所述修改后的模型。通过利用本发明专利技术，可以更好地保护神经网络模型的机密性。性。性。

【技术实现步骤摘要】
用于改进神经网络模型机密性保护的方法及设备


[0001]本专利技术有关于改进神经网络(neural network)模型的机密性(confidentiality)保护的方法，且尤其有关于通过以下方式保护神经网络模型机密性的方法：在执行应用程序(Application，APP)中的源模型(source model)之前，将源模型修改为修改后的模型(modified model)，然后使应用程序和硬件抽象层(Hardware Abstraction Layer，HAL)之间的框架(framework)接受修改后的模型作为待执行的模型，因此源模型可以不暴露给框架。

技术介绍

[0002]基于神经网络模型的机器学习(machine learning)可以解决复杂和困难的问题，诸如数据回归(data regression)、时间序列预测(time-series prediction)、自然语言处理、人脸识别、对象分类和图像检测等，因此基于神经网络模型的机器学习变得越来越受欢迎和重要。神经网络模型可以通过操作和相关联的可学习参数(learnable parameter)对输入和输出之间的关系进行建模，然后由各种已知的输入-输出集合进行训练来计算每个可学习参数的值，比如通过调节(tune)各个可学习参数的值来拟合已知的输入-输出集合。在获得(学习、训练)各个可学习参数的值之后，可以执行所得到的经训练的神经网络模型来推断(预测)未知的输出，以响应于所给的输入。为了利用神经网络的问题解决能力，开发者可以在APP中包含经训练的神经网络模型，其中该APP可以部署在电子设备上以及在电子设备上执行，上述电子设备可诸如智能手机、便携式电脑、可穿戴设备、数码相机、摄像机、游戏机、智能消费电子、自动驾驶车辆或无人机等。
[0003]设计和训练神经网络模型涉及到许多知识、技巧、秘诀(knowhow)、努力和资源，因此所得到的经训练的神经网络模型，包括模型拓扑(model topology)(比如操作的数量(number of operations)、各个操作的类型以及操作之间如何相互连接))以及可学习参数学习得到的数值，均为开发者的重要知识产权，应该得到很好的保护。然而，当部署在设备上的APP中的经训练的神经网络模型将要执行时，经训练的神经网络模型会不期望地暴露给设备制造商(如自有品牌生产商(Own Branding&Manufacturing，OBM))。根据传统的神经网络模型处理流程，当APP启动并且初始化经训练的模型来将其准备好执行时，经训练的神经网络模型会暴露给在APP和HAL之间交互的框架(如Android神经网络框架)，因此该框架可以通过编译(compile)经训练的神经网络模型来指示HAL准备执行经训练的神经网络模型。因为设备制造商可以访问框架，因此能够违背开发者的意愿，通过转存(dump)框架的信息来抄袭经训练的神经网络模型。

技术实现思路

[0004]一种用于改进神经网络模型机密性保护的方法，所述方法应用于设备，所述设备的操作系统包括框架和硬件抽象层，所述方法包括：在执行应用程序中的源模型之前，由所述设备的处理器通过运行与所述应用程序相关联的修改子程序来修改所述源模型以形成
修改后的模型；以及使所述框架接受所述修改后的模型而不是所述源模型作为待执行的模型，所述框架指示所述硬件抽象层准备执行所述修改后的模型。
[0005]一种用于改进神经网络模型机密性保护的方法，所述方法应用于设备，所述设备的操作系统包括框架和硬件抽象层，所述方法包括：当所述框架指示所述硬件抽象层准备执行第二模型时，由所述设备的处理器使所述硬件抽象层准备执行与所述第二模型不同的第一模型。
[0006]一种用于改进神经网络模型机密性保护的方法，所述方法应用于设备，所述设备的操作系统包括框架和硬件抽象层，所述方法包括：当所述框架指示所述硬件抽象层准备执行第二模型时，如果所述第二模型包括一个或多个扩展操作，则由所述设备的处理器使所述硬件抽象层准备执行与所述第二模型不同的第一模型；否则使所述硬件抽象层准备执行所述第二模型。
[0007]通过利用本专利技术，可以更好地保护神经网络模型的机密性。
[0008]当结合附图来阅读本专利技术的具体实施方式时，本专利技术的若干目的、特征和优势将会更清楚。然而，本专利技术所采用的附图仅用于描述性的目的，不应被认为是限制性的。
附图说明
[0009]在阅读以下的具体实施方式和附图之后，本专利技术的上述目的和优势对于本领域技术人员而言将变得更为清楚。
[0010]图1例示根据本专利技术实施例的神经网络模型处理流程。
[0011]图2例示根据本专利技术实施例的将源模型修改为修改后的模型的示例。
具体实施方式
[0012]图1例示根据本专利技术实施例的神经网络模型处理流程200。流程200可以应用于电子设备10以改进经修改的神经网络模型(诸如源模型M1)的机密性保护。设备10可以包括处理器(比如中央处理器(Central Processing Unit，CPU))20，其中处理器20可以在操作系统(Operating System，OS)30下由一个或多个硬件设备(诸如HW 22a和22b)来运行APP。举例来讲，每个硬件设备可以是(或者可以包括)中央处理硬件、算术逻辑硬件(arithmetic logic hardware)、数字信号处理硬件、图形处理硬件和/或专用的人工智能处理硬件等。每个硬件设备可以包括集成在处理器20内的电路，和/或集成在除了处理器20之外的半导体芯片(未示出)内的电路。
[0013]为了将神经网络的推断/预测能力带给设备10，包含一个或多个经训练的源神经网络模型的APP 100(诸如图1中的模型M1)可以被部署(安装)到设备10的OS 30下。APP 100可以将模型M1设置为准备好执行，收集并向模型M1馈送(feed)输入，触发模型M1对上述输入进行执行以生成输出，演示(demonstrate)上述输出和/或根据上述输出来控制设备10。举例来讲，APP 100可以通过与OS 30的函数、服务和/或其他APP(未示出)进行交互以获得初步的输入数据，和/或与设备10的外围设备(peripheral)(未示出)进行交互以获得初步的输入数据，其中外围设备可诸如传感器、陀螺仪(gyroscope)、触摸板、键盘、麦克风和/或相机等。然后，APP 100可以可以根据模型M1的可接受输入格式来对初步的输入数据进行处理(比如量化(quantize)、归一化(normalize)、重新采样(resample)、抽象(abstract)、分
割(partition)、连接(concatenate)等)，以形成模型M1的输入。在基于上述输入执行模型M1而生成输出之后，APP 100可以根据该输出与OS 30的函数、服务和/或其他APP，和/或设备10的外围设备进行交互。举例来讲，APP 100可以通过设备10的扬声器(未示出)来回放(playback)该输出，在设备1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于改进神经网络模型机密性保护的方法，所述方法应用于设备，所述设备的操作系统包括框架和硬件抽象层，所述方法包括：在执行应用程序中的源模型之前，由所述设备的处理器通过运行与所述应用程序相关联的修改子程序来修改所述源模型以形成修改后的模型；以及使所述框架接受所述修改后的模型而不是所述源模型作为待执行的模型，所述框架指示所述硬件抽象层准备执行所述修改后的模型。2.如权利要求1所述的用于改进神经网络模型机密性保护的方法，其特征在于，所述方法还包括：当所述框架指示所述硬件抽象层准备执行所述修改后的模型时，通过运行所述硬件抽象层中的复原子程序来从所述修改后的模型中复原所述源模型。3.如权利要求2所述的用于改进神经网络模型机密性保护的方法，其特征在于，所述方法还包括：当所述框架请求所述硬件抽象层执行所述修改后的模型时，使所述硬件抽象层执行复原后的源模型。4.如权利要求1所述的用于改进神经网络模型机密性保护的方法，其特征在于，修改所述源模型以形成所述修改后的模型包括：生成复原信息，所述复原信息指示如何从所述修改后的模型中复原所述源模型；将所述复原信息封装在一个或多个附加操作数的子集中；向所述修改后的模型增加一个或多个扩展操作；以及向所述修改后的模型增加所述一个或多个附加操作数。5.如权利要求4所述的用于改进神经网络模型机密性保护的方法，其特征在于，生成所述复原信息包括：压缩和加密所述源模型以形成所述复原信息。6.如权利要求5所述的用于改进神经网络模型机密性保护的方法，其特征在于，所述方法还包括：当所述框架指示所述硬件抽象层准备执行所述修改后的模型时，通过以下操作从所述修改后的模型中复原所述源模型：从所述修改后的模型中取回所述复原信息；以及解密和解压缩所述复原信息以获得所述源模型。7.如权利要求4所述的用于改进神经网络模型机密性保护的方法，其特征在于，所述方法还包括：当所述框架指示所述硬件抽象层准备执行所述修改后的模型时，从所述修改后的模型中复原所述源模型；其中从所述修改后的模型中复原所述源模型包括：识别所述一个或多个扩展操作，并且相应地获得所述一个或多个附加操作数；以及从所述一个或多个附加操作数中取回所述复原信息，并且根据所述复原信息构造所述源模型。8.如权利要求4所述的用于改进神经网络模型机密性保护的方法，其特征在于，所述方法还包括：
将所述一个或多个附加操作数布置为所述一个或多个扩展操作的输入或输出。9.如权利要求4所述的用于改进神经网络模型机密性保护的方法，其特征在于，所述源模型包括：一个或多个原始操作；以及一个或多个操作输入操作数，分别是所述一个或多个原始操作的一个或多个输入，其中修改所述源模型以形成所述修改后的模型还包括：将所述一个或多个操作输入操作数重新布置为所述一个或多个扩展操作的第一子集的一个或多个输入。10.如权利要求9所述的用于改进神经网络模型机密性保护的方法，其特征在于，所述源模型还包括一个或多个模型输出操作数，分别是所述源模型的一个或多个输出，以及修改所述源模型以形成所述修改后的模型还包括：将所述一个或多个模型输出操作数重新布置为所述一个或多个扩展操作的所述第一子集的一个或多个输出。11.如权利要求9所述的用于改进神经网络模型机密性保护的方法，其特征在于，所...

【专利技术属性】
技术研发人员：杨逸民，杨家华，吕佳旻，谢政勋，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：