保护神经网络模型安全的方法及装置制造方法及图纸

本说明书实施例提供一种保护神经网络模型安全的方法，包括：获取神经网络模型，其中包括利用训练数据训练得到的多个网络层；针对其中任意的第一网络层，在固定其他网络层参数的情况下，利用上述训练数据对该第一网络层进行第一调参，得到第一微调模型；确定该第一微调模型对应预设性能指标的第一指标值，该预设性能指标的指标值取决于对应模型，在测试数据上的测试损失和在上述训练数据上的训练损失之间的相对大小；同理，利用训练数据和测试数据对该第一网络层进行第二调参，得到第二微调模型，并确定第二指标值；基于第一指标值和第二指标值的相对大小，确定第一网络层对应的信息敏感度，在其大于预定阈值的情况下，对第一网络层进行安全处理。

【技术实现步骤摘要】
保护神经网络模型安全的方法及装置
本说明书实施例涉及数据安全
，尤其涉及一种保护神经网络模型安全的方法及装置。
技术介绍
目前，利用大量数据训练神经网络，使得神经网络具有良好的预测效果，是业界的经典做法。神经网络会记住数据的特点，从而在预测时给出准确的预测结果。但是，当训练数据是用户个人信息等敏感或隐私数据时，训练出的神经网络携带大量敏感、隐私信息，如果直接将模型全部曝光，很容易被攻击者或者灰产通过模型攻击，窃取模型中携带的敏感信息。因此，需要一种方案，可以在保证模型预测性能的同时，实现对神经网络模型安全的保护，以防止敏感隐私信息的泄露。
技术实现思路
在本说明书描述的保护神经网络模型安全的方法及装置中，通过对训练好的模型中每一层携带的敏感信息进行测算，然后对携带较多敏感信息的网络层进行安全处理，可以提升预测效率、保证预测性能，并实现隐私保护。根据第一方面，提供一种保护神经网络模型安全的方法，包括：获取神经网络模型，其中包括利用训练数据训练得到的多个网络层；针对所述多个网络层中任意的第一网络层，在固定其他网络层参数的情况下，利用所述训练数据对所述第一网络层进行第一调参，得到与所述神经网络模型对应的第一微调模型；确定所述第一微调模型对应预设性能指标的第一指标值，所述预设性能指标的指标值取决于对应模型，在测试数据上的测试损失和在所述训练数据上的训练损失之间的相对大小；在固定所述其他网络层参数的情况下，利用所述训练数据和测试数据对所述第一网络层进行第二调参，得到与所述神经网络模型对应的第二微调模型；确定所述第二微调模型对应所述预设性能指标的第二指标值；基于所述第一指标值和所述第二指标值的相对大小，确定所述第一网络层对应的信息敏感度；在所述信息敏感度大于预定阈值的情况下，对所述第一网络层进行安全处理。在一个实施例中，确定所述第一微调模型对应预设性能指标的第一指标值，包括：确定所述第一微调模型在所述测试数据上的第一测试损失；确定所述第一微调模型在所述训练数据上的第一训练损失；基于所述第一测试损失和第一训练损失的差值，确定所述第一指标值。在一个实施例中，确定所述第一网络层对应的信息敏感度，包括：确定所述第一指标值和第二指标值的差值；将所述差值与所述第一指标值之间比值的绝对值，确定为所述信息敏感度；或，将所述差值与所述第二指标值之间比值的绝对值，确定为所述信息敏感度。在一个实施例中，对所述第一网络层进行安全处理，包括：将所述第一网络层部署到可信执行环境TEE。在一个具体的实施例中，在将所述第一网络层部署到可信执行环境TEE之后，所述方法还包括：响应于对所述神经网络模型的使用请求，获取待预测的目标样本；通过在所述第一网络层针对所述目标样本输出的原始数据中，添加用于实现差分隐私的噪声，得到所述第一网络层的最终输出数据，用于确定所述目标样本的预测结果。在一个实施例中，对第一网络层进行安全处理，包括：在所述第一网络层的网络参数中添加用于实现差分隐私的噪声，得到最终使用的网络参数。在一个实施例中，对所述第一网络层进行安全处理，包括：将经过所述第二调参后的第二网络层部署到可信执行环境TEE。根据第二方面，提供一种保护神经网络模型安全的装置，包括：模型获取单元，配置为获取神经网络模型，其中包括利用训练数据训练得到的多个网络层；第一调参单元，配置为针对所述多个网络层中任意的第一网络层，在固定其他网络层参数的情况下，利用所述训练数据对所述第一网络层进行第一调参，得到与所述神经网络模型对应的第一微调模型；第一值确定单元，配置为确定所述第一微调模型对应预设性能指标的第一指标值，所述预设性能指标的指标值取决于对应模型，在测试数据上的测试损失和在所述训练数据上的训练损失之间的相对大小；第二调参单元，配置为在固定所述其他网络层参数的情况下，利用所述训练数据和测试数据对所述第一网络层进行第二调参，得到与所述神经网络模型对应的第二微调模型；第二值确定单元，配置为确定所述第二微调模型对应所述预设性能指标的第二指标值；敏感度确定单元，配置为基于所述第一指标值和所述第二指标值的相对大小，确定所述第一网络层对应的信息敏感度；安全处理单元，配置为在所述信息敏感度大于预定阈值的情况下，对所述第一网络层进行安全处理。根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面所描述的方法。根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面所描述的方法。在本说明书实施例披露的保护神经网络模型的方法及装置中，通过对神经网络模型中各个网络层进行敏感信息测算，确定出多个网络层中的敏感层，然后仅需对敏感层进行安全处理。如此，可以保证模型的正常运行性能和效率，同时，实现对神经网络模型隐私安全的可靠保护，并有效减少对模型进行隐私保护产生的资源消耗。附图说明为了更清楚地说明本说明书披露的多个实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书披露的多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1示出根据一个实施例的保护神经网络模型安全的实施场景架构图；图2示出根据一个实施例的保护神经网络模型安全的方法流程图；图3示出根据一个实施例的保护神经网络模型安全的装置结构图。具体实施方式下面结合附图，对本说明书披露的多个实施例进行描述。如前所述，如果将训练好的神经网络模型全部曝光，很容易被攻击者或灰产通过模型攻击，窃取到模型中的敏感信息。比如说，攻击者在拿到神经网络模型后，可以通过对其进行可视化处理，推断出网络层中记住的统计特征，例如，假定神经网络模型用于决策是否向用户提供某项服务，其中某个网络层记住的特征可能是：若用户年龄大于52岁，则不提供借款服务，此时，攻击者可以通过修改用户年龄（如将54岁修改为48岁），使得非法用户能够使用借款服务。又比如说，攻击者拿到神经网络模型后，可以通过多次查询，观察神经网络模型某一层中输出数据的数据分布，从而推断出其中记住的敏感、隐私特征。因此，在将训练好的神经网络模型交付使用的同时，需要对保护神经网络模型的安全，从而防止神经网络模型中携带的敏感、隐私数据的泄露。在一种实施方式中，可以把训练好的模型全部部署到到可信执行环境TEE（TrustedExecutionEnvironment）中。然而，TEE内存有限，尤其是端上设备的内存更小（如16M），将整个模型当如到TEE中不太现实，即使全部部署到，TEE中计算速度较慢，也会对模型预测性能、时效产生较大的影响。基于以上，专利技术人提出一种保护神经网络模型安全的方法，通过对神经网络层中的每个网络层分别进行敏感信息测算，从而对携带敏感信息较多的层进行安全处理，进而提升预测效率，本文档来自技高网...

【技术保护点】
1.一种保护神经网络模型安全的方法，包括：/n获取神经网络模型，其中包括利用训练数据训练得到的多个网络层；/n针对所述多个网络层中任意的第一网络层，在固定其他网络层参数的情况下，利用所述训练数据对所述第一网络层进行第一调参，得到与所述神经网络模型对应的第一微调模型；/n确定所述第一微调模型对应预设性能指标的第一指标值，所述预设性能指标的指标值取决于对应模型，在测试数据上的测试损失和在所述训练数据上的训练损失之间的相对大小；/n在固定所述其他网络层参数的情况下，利用所述训练数据和测试数据对所述第一网络层进行第二调参，得到与所述神经网络模型对应的第二微调模型；/n确定所述第二微调模型对应所述预设性能指标的第二指标值；/n基于所述第一指标值和所述第二指标值的相对大小，确定所述第一网络层对应的信息敏感度；/n在所述信息敏感度大于预定阈值的情况下，对所述第一网络层进行安全处理。/n

【技术特征摘要】
1.一种保护神经网络模型安全的方法，包括：
获取神经网络模型，其中包括利用训练数据训练得到的多个网络层；
针对所述多个网络层中任意的第一网络层，在固定其他网络层参数的情况下，利用所述训练数据对所述第一网络层进行第一调参，得到与所述神经网络模型对应的第一微调模型；
确定所述第一微调模型对应预设性能指标的第一指标值，所述预设性能指标的指标值取决于对应模型，在测试数据上的测试损失和在所述训练数据上的训练损失之间的相对大小；
在固定所述其他网络层参数的情况下，利用所述训练数据和测试数据对所述第一网络层进行第二调参，得到与所述神经网络模型对应的第二微调模型；
确定所述第二微调模型对应所述预设性能指标的第二指标值；
基于所述第一指标值和所述第二指标值的相对大小，确定所述第一网络层对应的信息敏感度；
在所述信息敏感度大于预定阈值的情况下，对所述第一网络层进行安全处理。


2.根据权利要求1所述的方法，其中，确定所述第一微调模型对应预设性能指标的第一指标值，包括：
确定所述第一微调模型在所述测试数据上的第一测试损失；
确定所述第一微调模型在所述训练数据上的第一训练损失；
基于所述第一测试损失和第一训练损失的差值，确定所述第一指标值。


3.根据权利要求1所述的方法，其中，确定所述第一网络层对应的信息敏感度，包括：
确定所述第一指标值和第二指标值的差值；
将所述差值与所述第一指标值之间比值的绝对值，确定为所述信息敏感度；或，将所述差值与所述第二指标值之间比值的绝对值，确定为所述信息敏感度。


4.根据权利要求1所述的方法，其中，对所述第一网络层进行安全处理，包括：
将所述第一网络层部署到可信执行环境TEE。


5.根据权利要求4所述的方法，其中，在将所述第一网络层部署到可信执行环境TEE之后，所述方法还包括：
响应于对所述神经网络模型的使用请求，获取待预测的目标样本；
通过在所述第一网络层针对所述目标样本输出的原始数据中，添加用于实现差分隐私的噪声，得到所述第一网络层的最终输出数据，用于确定所述目标样本的预测结果。


6.根据权利要求1所述的方法，其中，对所述第一网络层进行安全处理，包括：
在所述第一网络层的网络参数中添加用于实现差分隐私的噪声，得到最终使用的网络参数。


7.根据权利要求1所述的方法，其中，对所述第一网络层进行安全处理，包括：
将经过所述第二调参的第二网络层部署到可信执行环境TEE。


8.一种保护神经网络模型安全的装置，包括：
模型获取单元，配置为获取神经网络模型，其中包括利用训练数据训练得到的多个网络层；
第一调参单元，配置为针对所述多个网络层中任意的第一...

【专利技术属性】
技术研发人员：王力，周俊，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33