一种基于深度神经网络中间层的图像隐私保护方法技术

本发明专利技术涉及一种基于深度神经网络中间层的图像隐私保护方法，属于机器学习和图像处理技术领域。该方法包括：S1：选择深度神经网络需要添加噪声的一层神经元设定为当前中间层，计算当前中间层卷积核方差均值，并以当前中间层中最大卷积核方差均值的四分之一为阈值将卷积核分成两组；S2：对步骤S1分成的两组卷积核的输出特征图按不同的隐私预算随机去掉其矩形区域以保护图像隐私。本发明专利技术既能有效的从本地保护了用户的隐私防止不可信第三方或服务器造成的隐私泄露又兼顾了深度神经网络服务的质量，还能够根据用户对隐私敏感程度的不同自主调节对数据的保护程度，使用户获得适合自己的隐私保护程度以及服务质量。

【技术实现步骤摘要】
一种基于深度神经网络中间层的图像隐私保护方法
本专利技术属于机器学习和图像处理
，涉及一种基于深度神经网络中间层的图像隐私保护方法。
技术介绍
随着智能手机、智慧医疗工具以及IoT设备的普及，使得在移动设备上运行的机器学习服务如图像识别，语言翻译，健康监控等的需求量越来越大。由于深度神经网络在这些领域的突出表现，将其植入到移动终端中似乎是一个不错的解决办法。但移动设备的存储空间，计算能力或者电量供给很难满足深度神经网络的要求，因此工业上目前的解决方案是将大型的深度神经网络分成本地和云端两部分，计算量较小以及对算力要求不高的浅层神经网络部署在移动终端，剩下的较大神经网络部署在云端，这样既满足了移动设备对机器学习服务的需求，又解决的大型深度神经网络无法部署在移动终端上的问题。由于机器学习服务中对图像识别或处理的任务占比很大，这类服务大多要求用户上传图片，而图片中除了包含用户愿意上传的数据，还带有很多用户并不想发布到云端的敏感数据。这使得用户失去了对自己数据的控制，导致别有用心的攻击者或者服务提供方能够通过截取中间数据重建出用户上传的原始图像，得到用户的敏感信息，造成用户的隐私泄露。目前对这类隐私泄露问题提供的保护方法主要有两种：原始数据加噪，同态加密。原始数据加噪主要是在用户将数据输入到深度神经网络之前，对其添加服从某种分布的噪声以达到对数据的保护作用，这种保护方法操作简便，保护性较好，但会对深度神经网络的服务质量产生很大的影响，会大大降低用户体验。同态加密方法基于密码学实现对数据的保护，但其效率低、时间复杂度大，而且对运算的种类和运算的次数都有极为严格的要求，很难应用到计算次数多，计算复杂的深度神经网络之中。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于深度神经网络中间层的图像隐私保护方法，结合深度神经网络部署在移动终端的特点，分析本地部分神经网络卷积核的特征，将噪声按本地神经网络输出特征图所含信息的多少合理的添加其中，实现本地化的隐私保护。为达到上述目的，本专利技术提供如下技术方案：一种基于深度神经网络中间层的图像隐私保护方法，包括以下步骤：S1：选择深度神经网络需要添加噪声的一层神经元设定为当前中间层，计算深度神经网络当前中间层卷积核方差均值，并以当前中间层中最大卷积核方差均值的四分之一为阈值将卷积核分成两组；S2：对步骤S1分成的两组卷积核的输出特征图按不同的隐私预算随机去掉其矩形区域以保护图像隐私。进一步，所述步骤S1具体包括以下步骤：S11：对于当前中间层的第j个卷积核Kj，其尺寸为w×h×c，w和h分别是卷积核的长和宽，c表示卷积核的通道数；计算卷积核Kj的方差均值，其第i个通道的方差为i∈c，则卷积核Kj的方差均值S12：设置卷积核分组阈值λ＝ηmax/4，其中ηmax是当前中间层中卷积核方差均值的最大值；将当前中间层的卷积核按其卷积核方差均值超过λ的分成G1组，未超过λ的分成G2组。进一步，所述步骤S2具体包括以下步骤：S21：对于G1中每一个输出的特征图，生成与其同中心，尺寸为H-block_size+1且服从概率为ξ1的伯努利分布的0，1矩阵Mask1，其中H表示特征图的长宽，block_size为用户设定的遮挡块的尺寸，ξ1为用户设定的遮挡块生成概率；对于G2中每一个输出的特征图，按同样的尺寸生成服从概率为ξ2的伯努利分布的0，1矩阵Mask2，其中ξ2＝ξ1/4；S22：将Mask矩阵全1填充成和输出特征图尺寸相同的矩阵；以Mask矩阵中值为0的位置为中心将其周围长宽为block_size的矩形区域全置为0；S23：添加保护的输出特征图为f'＝f·Mask，其中f表示原始特征图。本专利技术的有益效果在于：本专利技术通过在深度神经网络中间层加入噪声的技术，保护用户的隐私同时保证了网络输出的准确率。隐私的保护程度是用户在本地可控的，最终用户将扰动后的数据上传给服务器完成深度神经网络后部分的计算，服务器计算出结果后返回给用户。本专利技术既能有效的从本地保护了用户的隐私防止不可信第三方或服务器造成的隐私泄露又兼顾了深度神经网络服务的质量，还能够根据用户对隐私敏感程度的不同自主调节对数据的保护程度，使用户获得适合自己的隐私保护程度以及服务质量。本专利技术的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本专利技术的实践中得到教导。本专利技术的目标和其他优点可以通过下面的说明书来实现和获得。附图说明为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作优选的详细描述，其中：图1为在深度神经网络中间层保护用户图像隐私机制的总体框架图；图2为Mask矩阵示意图；图3为加噪后上传到服务器的特征图。具体实施方式以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。请参阅图1～图3，本专利技术考虑一个用户需要向服务器上传图像信息来获得服务的场景，通过在用户上传到服务器的图像中添加噪声来保护用户图像中的隐私数据。本专利技术优选了一种在深度神经网络中间层特征图上进行扰动以保护用户图像隐私的保护算法，用户能够根据自己对图像隐私保护程度的不同要求去调整算法的保护强度以便获得更高的服务质量。在具体解释本专利技术实施例之前，先解释本实施例涉及的4个概念。(1)卷积神经网络是一类包含卷积计算其具有深度结构的前馈神经网络，是深度学习的代表算法之一。(2)深度卷积神经网络是在卷积神经网络的基础上，增加其深度使其具有更好的特征提取和高维拟合能力的一种神经网络。本专利技术为解决这类神经网络进行图像处理任务时存在的隐私泄露问题提供了一种对中间层特征图添加噪声的保护机制。(3)SSIM结构相似性，是一种衡量两幅图像相似度的指标。其取值范围在0到1之间，当两张图一模一样时，SSIM的值等于1。本专利技术用这个指标衡量中间层特征图所包含信息的多少。(4)0-1分布，指一次随机试验，结果只有两种，即一个随机变量的取值只有0和1。记为：0-1分布或B(1,p)，其中p表示一次伯努利实验中结果为正或为1的概率。一种基于深度神经网络中间层的图像隐私保护方法，用户在本地对其数据进行加噪保护，在该过程中用户能够控制隐私保护的强度，与此同时，还能够保证深度学习服务的服务质量。该模型一共分为部分，如图1所示，第一部分：选择深度神经网络需要添加噪声的一层神经元设定为当前中间层，计算当前中间层卷积核方差的平均值，并以当前层中最大卷积核方差均值本文档来自技高网...

【技术保护点】
1.一种基于深度神经网络中间层的图像隐私保护方法，其特征在于，该方法包括以下步骤：/nS1：选择深度神经网络需要添加噪声的一层神经元设定为当前中间层，计算当前中间层卷积核方差均值，并以当前中间层中最大卷积核方差均值的四分之一为阈值将卷积核分成两组；/nS2：对步骤S1分成的两组卷积核的输出特征图按不同的隐私预算随机去掉其矩形区域以保护图像隐私。/n

【技术特征摘要】
1.一种基于深度神经网络中间层的图像隐私保护方法，其特征在于，该方法包括以下步骤：
S1：选择深度神经网络需要添加噪声的一层神经元设定为当前中间层，计算当前中间层卷积核方差均值，并以当前中间层中最大卷积核方差均值的四分之一为阈值将卷积核分成两组；
S2：对步骤S1分成的两组卷积核的输出特征图按不同的隐私预算随机去掉其矩形区域以保护图像隐私。


2.根据权利要求1所述的图像隐私保护方法，其特征在于，所述步骤S1具体包括以下步骤：
S11：对于当前中间层的第j个卷积核Kj，其尺寸为w×h×c，w和h分别是卷积核的长和宽，c表示卷积核的通道数；计算卷积核Kj的方差均值，其第i个通道的方差为i∈c，则卷积核Kj的方差均值
S12：设置卷积核分组阈值λ＝ηmax/4，其中ηmax是当前中间层中卷积核方差均值的最大值；将当前中间层的卷积核按...

【专利技术属性】
技术研发人员：赵宏远，黄宏宇，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆;50