一种基于差分隐私和层级相关性传播的图像分类方法技术

本发明专利技术公开了一种基于差分隐私和层级相关性传播的图像分类方法，属于数据安全技术领域，其思路为：确定灰度图像数据集D，灰度图像数据集D包括m个灰度图像数据；计算灰度图像数据集D的相关性矩阵R和灰度图像数据集D的噪声平均相关性矩阵

【技术实现步骤摘要】
一种基于差分隐私和层级相关性传播的图像分类方法
本专利技术属于数据安全
，特别涉及一种基于差分隐私和层级相关性传播的图像分类方法。
技术介绍
随着人工智能在推荐系统中的广泛应用，其高效的信息过滤技术，使用户更高效的获得自己感兴趣的商品和信息，但推荐系统向用户推荐的同时，存在侵犯用户隐私的风险。一方面，用户可能担心推荐结果中包含太多内容，会泄露自己的隐私信息；另一方面，对推荐结果感兴趣的用户可能担心推荐内容中包含低俗信息，限制其技术改进的能力；因此，处理隐私数据通常需要考虑数据可用性与隐私保护之间的平衡。在整个大数据营销中，图像作为用户行为数据的重要组成部分，被广泛应用于各大电商网站，推荐系统通过模型分析模块提取图像的内容特征，例如颜色、纹理、形状等低级特征，PHOG、SIFT、CEDD等高级特征，然后对图像进行分类建模，计算与同一分类的库中图像的相似性，最终通过图像的相似性程度和相关匹配程度进行智能推荐；但是，当前基于图像数据的推荐系统并没有对数据进行隐私保护。
技术实现思路
针对上述现有技术中存在的隐私保护问题，本专利技术的目的在于提出一种基于差分隐私和层级相关性传播的图像分类方法，该种基于差分隐私和层级相关性传播的图像分类方法结合图像相关性及差分隐私技术设计一种隐私保护模型，基于卷积神经网络，通过训练多层网络来解决图像分类问题；在具体改进中，采用层级相关性传播(Layer-wiseRelevancePropagation,LRP)算法对神经网络中输入的图像特征数据与图像的分类结果之间的相关性进行量化，然后通过量化的相关性来确定对输入特征的隐私保护力度；通过这样的方式，使得图像在隐私保护的前提下，依然能够有较好的分类结果。本专利技术的主要思路：利用LRP算法计算得到每个输入特征的平均相关性，并为其添加拉普拉斯噪声，实现图像相关性的隐私保护；根据分配的隐私预算，为神经网络的训练过程添加差分隐私保护，具体表现在为神经网络构造差分隐私变换层用于对图像部分区域中的输入特征按照一定规则添加噪声，同时对神经网络的损失函数添加噪声处理；为了提升神经网络的收敛速度，采用Adam算法迭代更新模型参数并最终输出得到稳定的模型。为达到上述技术目的，本专利技术采用如下技术方案予以实现。一种基于差分隐私和层级相关性传播的图像分类方法，包括以下步骤：步骤1，确定灰度图像数据集D，所述灰度图像数据集D包括m个灰度图像数据和m个灰度图像数据对应的分类标签；然后基于层级相关性传播计算得到灰度图像数据集D的相关性矩阵R；步骤2，基于差分隐私以及根据灰度图像数据集D的相关性矩阵R，得到灰度图像数据集D的噪声平均相关性矩阵步骤3，将灰度图像数据集D划分为训练集D1与测试集D2，训练集D1包括个灰度图像数据，测试集D2包括个灰度图像数据，设定卷积神经网络包括num_conv个卷积层和num_FC个全连接层，使用θ表示卷积神经网络全部参数，θ＝{θConv,θFC}，θConv表示卷积神经网络num_conv个卷积层的参数，θFC表示卷积神经网络num_FC个全连接层的参数；初始化：令loop表示第loop次迭代，loop的初始值设为1，loop的最大值为预设值max_loop；对于第loop次迭代，1≤loop≤max_loop；步骤4，从训练集D1中确定第loop次迭代后的灰度图像数据集Dloop，进而得到第loop次迭代后的扰动批量数据步骤5，根据第loop次迭代后的扰动批量数据计算得到第loop次迭代后的交叉熵损失函数Lossloop，进而得到第loop次迭代后的扰动损失函数步骤6，根据第loop次迭代后的扰动损失函数计算得到第loop次迭代后一阶矩偏差修正结果和第loop次迭代后二阶矩偏差修正结果步骤7，如果loop<max_loop，则令loop的值加1，根据第loop-1次迭代后一阶矩偏差修正结果和第loop-1次迭代后二阶矩偏差修正结果计算loop次迭代后的卷积神经网络全部参数θloop，然后返回步骤4；直到得到第max_loop次迭代后的卷积神经网络全部参数θmax_loop，此时迭代停止，并将迭代停止时得到的第max_loop次迭代后的卷积神经网络全部参数θmax_loop，作为卷积神经网络最优参数表示卷积神经网络num_conv个卷积层的最优参数，表示卷积神经网络num_FC个全连接层的最优参数；将卷积神经网络num_conv个卷积层的最优参数和卷积神经网络num_FC个全连接层的最优参数作为一种基于差分隐私和层级相关性传播的图像分类结果。本专利技术的有益效果：本专利技术基于图像相关性，充分考虑到图像特征数据的重要特征，并根据这些重要程度自适应地扰动输入特征，对图像本身进行隐私保护；再者，扰动神经网络的损失函数来保护模型参数，对模型进行隐私保护；通过上述隐私保护步骤，使得图像在隐私保护的前提下，依然能够有较好的分类效果。附图说明下面结合附图和具体实施方式对本专利技术作进一步详细说明。图1是本专利技术的一种基于差分隐私和层级相关性传播的图像分类方法流程图；图2a是计算得到的的平均相关性示意图；图2b是经过噪声处理的平均相关性示意图图；图3a是原始图像示意图；图3b是经过噪声处理后的图像示意图；图4是本专利技术的一种基于差分隐私和层级相关性传播的图像分类方法在不同隐私预算下的模型分类准确率对比图。具体实施方式参照图1，为本专利技术的一种基于差分隐私和层级相关性传播的图像分类方法流程图；其中所述基于差分隐私和层级相关性传播的图像分类方法，包括以下步骤：步骤1：输入数据集，计算输入特征的相关性并累加求和。输入灰度图像数据集D，其中灰度图像数据集D包含第一部分和第二部分两部分内容，第一部分是m个灰度图像数据，每个灰度图像数据都为n×n维矩阵，且n×n维矩阵中每个元素分别代表一个输入特征；第二部分是m个灰度图像数据对应的分类标签，记分类标签数量为C，则C个分类标签是一个C维的one-hot向量。设置神经网络共有L层，分别用0,1,2,...,l,l+1,...,L-1表示，神经网络第0层表示输入层，第L-1层表示输出层，中间第1层至第L-2层都是隐藏层；神经网络第0层神经元总个数为|n×n|，第L-1层神经元总个数为C。神经网络连接权重用w表示，w＝{w(0,1),w(1,2),...,w(l,l+1),...,w(L-2,L-1)}，w(0,1)表示神经网络第0层和第1层的连接权重，w(l,l+1)表示神经网络第l层和第l+1层的连接权重，w(l，l+1)是一个行数为神经网络第l+1层神经元总个数、列数为神经网络第l层神经元总个数的权重矩阵；神经网络偏置项用b表示，b＝{b(1),b(2),...,b(l),...,b(L-1)}，b(1)表示神经网络第1层的偏置项，是一个维数为第1层神经元总个数的实数向量；b(l)表示神经网络第l层的偏置项，是一个维数为第l层神经元总个数的实数向量。基于上述神经网络，计算每个灰度图像数据的图像输入特征与分类结果的相关性并对其累加求和，进而得到灰度图像数据集D的相关性矩阵R，R是一个与每个灰度图像数据行数和列数均相同的矩阵，其每一维度上的相关性用Rrow,col表示，其中row和col表示位于灰度图像数据集本文档来自技高网...

【技术保护点】
1.一种基于差分隐私和层级相关性传播的图像分类方法，其特征在于，包括以下步骤：步骤1，确定灰度图像数据集D，所述灰度图像数据集D包括m个灰度图像数据和m个灰度图像数据对应的分类标签；然后基于层级相关性传播计算得到灰度图像数据集D的相关性矩阵R；步骤2，基于差分隐私以及根据灰度图像数据集D的相关性矩阵R，得到灰度图像数据集D的噪声平均相关性矩阵

【技术特征摘要】
1.一种基于差分隐私和层级相关性传播的图像分类方法，其特征在于，包括以下步骤：步骤1，确定灰度图像数据集D，所述灰度图像数据集D包括m个灰度图像数据和m个灰度图像数据对应的分类标签；然后基于层级相关性传播计算得到灰度图像数据集D的相关性矩阵R；步骤2，基于差分隐私以及根据灰度图像数据集D的相关性矩阵R，得到灰度图像数据集D的噪声平均相关性矩阵步骤3，将灰度图像数据集D划分为训练集D1与测试集D2，训练集D1包括个灰度图像数据，测试集D2包括个灰度图像数据，设定卷积神经网络包括num_conv个卷积层和num_FC个全连接层，使用θ表示卷积神经网络全部参数，θ＝{θConv,θFC}，θConv表示卷积神经网络num_conv个卷积层的参数，θFC表示卷积神经网络num_FC个全连接层的参数；初始化：令loop表示第loop次迭代，loop的初始值设为1，loop的最大值为预设值max_loop；对于第loop次迭代，1≤loop≤max_loop；步骤4，从训练集D1中确定第loop次迭代后的灰度图像数据集Dloop，进而得到第loop次迭代后的扰动批量数据步骤5，根据第loop次迭代后的扰动批量数据计算得到第loop次迭代后的交叉熵损失函数Lossloop，进而得到第loop次迭代后的扰动损失函数步骤6，根据第loop次迭代后的扰动损失函数计算得到第loop次迭代后一阶矩偏差修正结果和第loop次迭代后二阶矩偏差修正结果步骤7，如果loop<max_loop，则令loop的值加1，根据第loop-1次迭代后一阶矩偏差修正结果和第loop-1次迭代后二阶矩偏差修正结果计算loop次迭代后的卷积神经网络全部参数θloop，然后返回步骤4；直到得到第max_loop次迭代后的卷积神经网络全部参数θmax_loop，此时迭代停止，并将迭代停止时得到的第max_loop次迭代后的卷积神经网络全部参数θmax_loop，作为卷积神经网络最优参数表示卷积神经网络num_conv个卷积层的最优参数，表示卷积神经网络num_FC个全连接层的最优参数；将卷积神经网络num_conv个卷积层的最优参数和卷积神经网络num_FC个全连接层的最优参数作为一种基于差分隐私和层级相关性传播的图像分类结果。2.如权利要求1所述的一种基于差分隐私和层级相关性传播的图像分类方法，其特征在于，在步骤1中，所述m个灰度图像数据，每个灰度图像数据都为n×n维矩阵，且n×n维矩阵中每个元素分别代表一个输入特征；将所述m个灰度图像数据对应的分类标签，记分类标签数量为C；所述灰度图像数据集D的相关性矩阵R，其得到过程为：(1a)设置神经网络共有L层，分别用0,1,2,...,l,l+1,...,L-1表示，神经网络第0层表示输入层，第L-1层表示输出层，中间第1层至第L-2层都是隐藏层；神经网络第0层神经元总个数为|n×n|，第L-1层神经元总个数为C；(1b)计算神经网络第l'+1层第j个神经元的输入其中，j＝1,2,…,|l'+1|，i＝1,2,…,|l'|，|l'|表示神经网络第l'层神经元总个数，|l'+1|表示神经网络第l'+1层神经元总个数，l'＝0,1,2,…,L-2，表示神经网络第l'层第i个神经元的输出，若l'＝0，则表示神经网络第0层第i个神经元的输出；表示神经网络第l'层第i个神经元和第l'+1层第j个神经元的连接权重，表示神经网络第l'+1层第j个神经元的偏置项；f(·)表示激活函数，当l'+1＝L-1时，表示神经网络第L-1层第j个神经元的输出；(1c)令j的值分别取1至|l'+1|，重复执行(1b)，进而分别得到神经网络第l'+1层第1个神经元的输入至神经网络第l'+1层第|l'+1|个神经元的输入以及神经网络第l'+1层第1个神经元的输出至神经网络第l'+1层第|l'+1|个神经元的输出并分别记为神经网络第l'+1层的输入z(l'+1)和神经网络第l'+1层的输出x(l'+1)，然后将j的值初始化为1；(1d)令l'的值分别取0至L-2，重复执行(1b)和(1c)，进而分别得到神经网络第1层的输入z(1)至神经网络第L-1层的输入z(L-1)，以及神经网络第1层的输出x(1)至神经网络第L-1层的输出x(L-1)，然后将l'的值初始化为0；从灰度图像数据集D中读取第k个灰度图像数据，并在设置的神经网络上使用传统神经网络中的前向算法计算得到第k个灰度图像数据的C维输出量Outk；k＝1,2,…,m；(1e)计算神经网络第l”层第i'个神经元上的相关性其中，l”+1的初始值是L-1，l”的初始值为L-2，l”+1＝L-1,L-2,…,2,1，l”＝L-2,L-3,…,2,1,0；表示神经网络第l”层第i'个神经元上的相关性，i'＝1,2,…,|l”|，|l”|表示神经网络第l”层神经元总个数；表示神经网络第l”+1层第j”个神经元上的相关性，j”＝1,2,…,|l”+1|，|l”+1|表示神经网络第l”+1层神经元总个数；表示神经网络第l”+1层第j”个神经元的输入，表示神经网络第l”层第i'个神经元和第l”+1层第j”个神经元的连接权重，表示神经网络第l”层第i'个神经元的输出；基于层级相关性传播计算得到神经网络第0层的相关性r(0)，表示神经网络第0层第q个神经元的相关性，q＝1,2,…,|n×n|，|n×n|表示神经网络第0层神经元总个数；然后将神经网络第0层的相关性r(0)，作为第k个灰度图像数据相关性列向量；(1f)将第k个灰度图像数据相关性列向量转换为与第k个灰度图像数据同形状的相关性矩阵，记为第k个灰度图像数据的相关性矩阵Pk；(1g)令k的值分别取1至m，重复子步骤(1b)至(1f)，进而得到第1个灰度图像数据的相关性矩阵P1至第m个灰度图像数据的相关性矩阵Pm，并记为m个灰度图像数据的相关性矩阵P1,P2,P3,...,Pm；(1h)计算第row行、第col列上的相关性Rrow,col：其中，row＝1,2,…,n，col＝1,2,…,n，Pk,row,col表示第k个灰度图像数据的相关性矩阵Pk在第row行、第col列上的相关性；(1i)令col的值分别取1至n，重复执行(1h)，进而分别得到第row行、第1列上的相关性Rrow,1至第row行、第n列上的相关性Rrow,n，记为第row行上的相关性Rrow，然后将col的值初始化为1；(1j)令row的值分别取1至n，重复执行(1h)和(1i)，进而分别得到第1行上的相关性R1至第n行上的相关性Rn，记为灰度图像数据集D的相关性矩阵R。3.如权利要求2所述的一种基于差分隐私和层级相关性传播的图像分类方法，其特征在于，在步骤2中，所述灰度图像数据集D的噪声平均...

【专利技术属性】
技术研发人员：李蜀瑜，陈竑毓，李泽堃，
申请(专利权)人：陕西师范大学，
类型：发明
国别省市：陕西,61