一种无人工噪声的深度学习模型保护方法技术

本发明专利技术公开一种无人工噪声的深度学习模型保护方法，包括步骤1，接收用户查询请求后，获取所需的经过训练的神经网络模型参数П、Θ，用户神经网络模型参数使用集合П＝{π

A deep learning model protection method without artificial noise

The invention discloses a deep learning model protection method without artificial noise, which includes step 1: after receiving the user's query request, obtain the required trained neural network model parameters \u041f, \u03b8, and the user's neural network model parameters use the set \u041f = {\u03c0

【技术实现步骤摘要】
一种无人工噪声的深度学习模型保护方法
本专利技术涉及一种无人工噪声的深度学习模型保护方法，属于神经网络隐私安全

技术介绍
近年来，随着深度神经网络不断研究发展，神经网络被广泛应用于各个领域，许多机器学习服务通过发布神经网络模型为客户提供神经网络应用，而发布模型时对用户隐私数据的保护成为机器学习领域的研究热点之一。隐私保护方案主要分为三种：对抗性训练、安全计算、差分隐私训练。对抗性训练将任务模型与对抗模型同时用于训练神经网络，使得网络模型有效地防止数据泄露，但是它不能防止未知的数据攻击方式。安全计算方法使用密码学工具进行数据处理，巨大的计算量导致其实用性较差。目前主流的隐私保护方案使用差分隐私机制，将数据集附加额外的人工噪声，使得攻击者无法根据相邻数据集返回的结果获得个人隐私数据。但是由于噪声的存在，损失了一定程度的神经网络性能以及结果准确性。因此，需要针对深度学习模型发布，设计一种可行性高、结果可靠、安全的神经网络隐私保护机制。
技术实现思路
专利技术目的：针对现有技术中存在的神经网络性能和用户隐私保护之间不平衡的问题与不足，本专利技术提供一种无需附加人工噪声的深度学习模型保护方法，本方法具有较小的用户隐私泄露可能性以及较好的神经网络性能。技术方案：一种无人工噪声的深度学习模型保护方法，其特征在于，包括以下步骤：步骤1，接收用户查询请求后，获取所需的经过训练的神经网络模型参数П、Θ，用户神经网络模型参数使用集合П＝{π1，π2，π3，…，πM}表示，其中πi表示第i次训练相同神经网络所得的模型集；Θ表示神经网络经过迭代训练不同层数上所有参数的集合；步骤2，通过核密度估计法处理输入的参量数据Θ，得到参量的概率分布函数；步骤3，通过得分函数p(u，v)处理各个参量θ(u，v)的取值分值，所得的总分值大小P，表明取值可能性的大小；步骤4，返回取值可能性最大时的参量数值，所述参量数值即为用户查询请求的结果。本专利技术进一步限定的技术方案为：在步骤1中，用户查询神经网络参数模型参数包括查询模型最终参数和非交互式查询中间生成参数两种类型；当查询模型最终参数时，返回当迭代次数t＝T时神经网络的模型参数；当查询中间生成参数时，用户可查询迭代次数t∈[1，T]中的任意一种或多种，设置用户的查询序列为y＝{y1，y2，…，yQ}，yi＝(u，v，l，t)，表示Q次查询。本专利技术进一步限定的技术方案为：当用户发送查询模型最终参数请求时，具体包括以下步骤：步骤201，输入神经网络的模型集合П，参量数据集合Θ，以及得分函数p。u，v，l初始值均设置为1；步骤202，使用核密度估计算法得到的分布，表示训练中第t次迭代时第l层上位于(u，v)处的参数集合；步骤203，根据得分函数p(u，v)，计算最大得到分值时，返回所取的参量θ′(u，v)；步骤204，将θ′(u，v)添加到集合θgen中，表示生成过程的结果；步骤205，若1≤u≤W，1≤v≤H，重复步骤202至204；步骤206，若1≤l≤L，重复步骤202至205；步骤207，返回结果θgen；步骤208，过程结束。本专利技术进一步限定的技术方案为：当用户发送查询中间生成参数请求时，具体包括以下步骤：步骤301，输入神经网络的模型集П，参量集合Θ，得分函数p，查询序列y，设置i＝1；步骤302，u，v，l，t值均设置为yi对应参数值；步骤303，计算最大子序列NTI((u，v，l，t))，若小于等于e，跳转至步骤304，否则跳转至步骤307；步骤304，使用核密度估计算法KDE得到的分布；步骤305，根据得分函数p(u，v)，计算最大得到分值时，返回所取的参量步骤306，将添加到集合中，表示i次迭代的返回参数集合，跳转至步骤308；步骤307，集合参数设置为0；步骤308，i增加1，若1≤i≤Q，跳转至步骤302；步骤309，返回结果步骤310，过程结束。本专利技术进一步限定的技术方案为：在步骤303中，所述计算最大子序列函数NTI((u，v，l，t))，表示计算第i次查询序列时，所需之前中间变量结果的个数。本专利技术进一步限定的技术方案为：所述核密度估计的计算公式为：其中，b是估计量的平滑参数，φ是正态概率密度函数，M是训练相同神经网络所得模型集的总数；本专利技术进一步限定的技术方案为：所述得分函数的计算公式为：δ通常为一个较小的取值，用于衡量参数在区间内取值的可能性。所述神经网络模型的总分值计算公式为：有益效果：与现有技术相比，本专利技术所提供的一种无人工噪声的深度学习模型保护方法，基于简单统计法与差分隐私机制，通过概率分布与得分统计的方法，使请求模型参数的用户无法根据返回结果获取隐私数据，从而起到用户隐私保护的作用。本专利技术方法无需附加人工噪声即可实现用户隐私的保护，在保证神经网络训练准确性较高的前提下保证了足够小的隐私预算，是一种安全性和实用性都很高的深度神经网络模型保护方案，具有广泛的应用前景。附图说明图1为实施例1所述深度学习模型发布方案查询模型最终参数流程示意图。图2为实施例1所述深度学习模型发布方案查询模型中间参数流程示意图。图3为本专利技术实施例1所述深度学习模型发布方案功能结构示意图。具体实施方式下面结合附图和具体实施例，进一步阐明本专利技术。本专利技术实施例公开了一种无附加噪声的隐私保护的深度神经网络模型发布方法，本方法是基于简单统计法与差分隐私机制实现用户隐私的保护。通过概率分布与得分统计的方法，使请求模型参数的用户无法根据返回结果获取隐私数据，从而起到用户隐私保护的作用。当接收到用户查询请求后，方案将查询过程分成两部分：统计过程、生成过程。所述统计过程使用核密度估计法(KDE)，这是一种简单的经典统计方法，用于分布未知的参数估计。本方案通过核密度估计得到神经网络模型参数的分布函数，所得分布函数再经过生成过程处理。所述生成过程是一种基于指数机制的隐私参数生成过程，通过指数机制返回可能性最大时的参量数值，所得参量数值即是用户查询请求的结果。由于神经网络的层级结构，所述神经网络模型参量使用集合表示。П＝{π1，π2，π3，…，πM}中πi表示第i次训练相同神经网络所得的模型集。Θ表示神经网络经过迭代训练，不同层数上所有参数的集合，如表示训练中第t次迭代时第l层上位于(u，v)处的参数集合。使用所述的核密度估计法，处理输入的参量数据Θ，得到参量的分布。为了衡量参量取值的可能性，使用一种得分函数p(u，v)处理各个参量θ(u，v)，所得的总分值大小P，表明取值可能性的大小。用户查询神经网络模型参数可分为仅查询模型最终参数和非交互式查询中间生成参数两种类型。对于查询最终结果，需返回当迭代次数t＝T时神经网络本文档来自技高网...

【技术保护点】
1.一种无人工噪声的深度学习模型保护方法，其特征在于，包括以下步骤：/n步骤1，接收用户查询请求后，获取所需的经过训练的神经网络模型参数Π、Θ，用户神经网络模型参数使用集合Π＝{π

【技术特征摘要】
1.一种无人工噪声的深度学习模型保护方法，其特征在于，包括以下步骤：
步骤1，接收用户查询请求后，获取所需的经过训练的神经网络模型参数Π、Θ，用户神经网络模型参数使用集合Π＝{π1,π2,π3,…,πM}表示，其中πi表示第i次训练相同神经网络所得的模型集；Θ表示神经网络经过迭代训练不同层数上所有参数的集合；
步骤2，通过核密度估计法处理输入的参量数据Θ，得到参量的概率分布函数；
步骤3，通过得分函数p(u,v)处理各个参量θ(u,v)的取值分值，所得的总分值大小P，表明取值可能性的大小；
步骤4，返回取值可能性最大时的参量数值，所述参量数值即为用户查询请求的结果。


2.根据权利要求1所述的无人工噪声的深度学习模型保护方法，其特征在于：在步骤1中，用户查询神经网络参数模型参数包括查询模型最终参数和非交互式查询中间生成参数两种类型；
当查询模型最终参数时，返回当迭代次数t＝T时神经网络的模型参数；
当查询中间生成参数时，用户可查询迭代次数t∈[1,T]中的任意一种或多种，设置用户的查询序列为y＝{y1,y2,…,yQ},yi＝(u,v,l,t)，表示Q次查询。


3.根据权利要求2所述的无人工噪声的深度学习模型保护方法，其特征在于：当用户发送查询模型最终参数请求时，具体包括以下步骤：
步骤201，输入神经网络的模型集合Π，参量数据集合Θ，以及得分函数p。u,v,l初始值均设置为1；
步骤202，使用核密度估计算法得到的分布，表示训练中第t次迭代时第l层上位于(u,v)处的参数集合；
步骤203，根据得分函数p(u,v)，计算最大得到分值时，返回所取的参量θ′(u,v)；
步骤204，将θ′(u,v)添加到集合θgen中，表示生成过程的结果；
步骤205，若1≤u≤W,1≤v≤H，重复步骤202至204；
步骤206，若1≤l≤L，重复步骤20...

【专利技术属性】
技术研发人员：毛云龙，林宇，朱博宇，张渊，仲盛，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32