一种基于卷积神经网络的加密图像分类方法及装置制造方法及图纸

本发明专利技术公开了一种基于卷积神经网络的加密图像分类方法，包括如下步骤：构建Inception结构的卷积神经网络ICNN；数据所有者将获取的图像数据集进行统一裁剪以获得新的图像数据集；采用新的图像数据集对卷积神经网络ICNN进行训练，得到卷积神经网络ICNN参数；数据所有者将卷积神经网络ICNN参数以安全数据外包的方式发送至非共谋的云服务器S1和云服务器S2；用户将待查询图像以安全数据外包的方式发送至云服务器S1和云服务器S2；云服务器S1和云服务器S2联合计算出分类向量，并将分类向量以安全数据外包方式返回给用户；用户根据分类向量判断出待查询图像所属类别；本发明专利技术在进行图像分类时能够对用户图像的隐私进行有效的保护。分类时能够对用户图像的隐私进行有效的保护。分类时能够对用户图像的隐私进行有效的保护。

【技术实现步骤摘要】
一种基于卷积神经网络的加密图像分类方法及装置


[0001]本专利技术涉及图像分类
，具体涉及一种基于卷积神经网络的加密图像分类方法。

技术介绍

[0002]现有的图像存储系统大多都是基于服务器或云服务器来存储图像的。云服务器可以利用机器学习技术自动分类云上的图像，提高了图像的分类准确性。目前主要的图像分类方法是使用卷积神经网络来进行的，但是要训练出一个好的用于图像分类的卷积神经网络模型就需要大量的图像数据。然而用户的图像数据往往包含了大量隐私数据，所以进行卷积神经网络模型训练时的海量图像数据交互必然会带来一定的隐私安全问题，图像分类服务提供方无论是在训练还是识别上都会接触用户信息，从而造成隐私泄露问题并带来巨大的危害。
[0003]对此，在已经公开的申请号为：202110288782.3，专利名称为：基于同态加密的卷积神经网络图像分类方法的中国专利技术专利中公开了一种基于同态加密的卷积神经网络图像分类方法，用于解决现有技术中存在的隐私信息容易泄露和无法抵抗共谋攻击的技术问题，实现步骤为：构建多方深度学习场景模型；参数服务器初始化加密参数；每个用户生成自己的公钥和私钥；参数服务器生成自己的公钥和私钥；辅助服务器生成自己的公钥和私钥，以及联合公钥；每个用户获取训练图像样本集和测试图像样本集；参数服务器构建卷积神经网络模型，并初始化训练参数；用户P获取梯度向量密文并上传；参数服务器对梯度密文向量进行聚合；参数服务器和辅助服务器对聚合梯度向量密文进行同态重加密；用户P 获取卷积神经网络模型的训练结果；每个用户获取图像分类结果。
[0004]该分类方法利用联合公钥同态加密并传输用户梯度数据，参数服务器可以利用同态加法特性在密文情况下对所有梯度数据进行聚合，并和辅助服务器共同完成同态重加密，降低了隐私信息泄露的几率，同时能够抵抗共谋攻击，提高安全性。

技术实现思路

[0005]本专利技术为了解决现有技术中图像分类过程无法保证用户图像隐私的安全性等技术问题，提出了一种基于卷积神经网络的加密图像分类方法，用以提高图像分类过程中用户图像隐私的安全性。
[0006]本专利技术为达到上述目的，采用如下技术方案：
[0007]一种基于卷积神经网络的加密图像分类方法，包括如下步骤：
[0008]构建Inception结构的卷积神经网络ICNN；
[0009]数据所有者将获取的图像数据集进行统一裁剪以获得新的图像数据集；
[0010]采用新的图像数据集对卷积神经网络ICNN进行训练，得到卷积神经网络 ICNN参数；
[0011]数据所有者将卷积神经网络ICNN参数以安全数据外包的方式发送至非共谋的云
服务器S1和云服务器S2；
[0012]用户将待查询图像以安全数据外包的方式发送至云服务器S1和云服务器S2；
[0013]云服务器S1和云服务器S2联合计算出分类向量，并将分类向量以安全数据外包方式返回给用户；
[0014]用户根据分类向量判断出待查询图像所属类别；
[0015]其中，
[0016]卷积神经网络ICNN参数包括：卷积核K＝{K1,K2,
……
K
L
}和共享偏置b＝ b1,b2,
……
b
L
}，L表示卷积层数；
[0017]所述安全数据外包的方式是基于Paillier加密算法和安全乘法协议SMP构建的数据安全外包方式，安全乘法协议SMP的输入函数是(E(A),E(B))，输出函数是E(A*B)；A、B分别表示安全乘法协议SMP的两个不同的给定值，E表示 Paillier加密算法中的加密操作；
[0018]云服务器S1和云服务器S2基于Paillier加密算法和安全乘法协议SMP构建的安全卷积函数SCVL、安全最大池化函数SMAP、安全激活函数SACT和安全分类函数SCT联合计算出分类向量；
[0019]其中，
[0020]安全卷积函数SCVL为
[0021][0022][0023]E(d)表示加密的待查询图像的四维矩阵；E(K)表示加密的卷积核，是四维矩阵；E(b)是加密的共享偏置，是一维向量；d表示待查询图像矩阵，表示在矩阵d内对应位置为(0,i+k1,j+k2,k)的具体数值；表示在卷积核K内对应位置为(k1,k2,k0,x)的具体数值；b
x
表示在共享偏置b内对应位置为(x)的具体数值；安全卷积函数SCVL的计算结果是一个四维矩阵；
[0024]安全最大池化函数SMAP为
[0025]SMAP(E(R))＝SMP(E(R
i,j
),E(MR
i,j
))＝E(R
i,j
*MRi,j)＝E(R
m
)
[0026]E(R)表示安全卷积函数SCVL的计算结果中r
×
r的邻域，是一个r
×
r维的矩阵；
[0027]安全激活函数SACT为
[0028]SACT(E(x))＝SMP(E(x
i,j
),E(t
i,j
))＝E(x
i,j
*t
i,j
)＝E(x
′
)
[0029]E(x)表示安全卷积函数SCVL的计算结果，即E(x)＝E(d*K+b)；x
i,j
表示在矩阵x内
对应位置为(i,j)的具体数值；t是记录矩阵，其中只有0和1两种数值，t
i,j
表示在矩阵t内对应位置为(i,j)的具体数值；
[0030]安全分类函数SCT为
[0031][0032]v是将计算安全激活函数SACT得到的结果矩阵展平为列向量的一维向量， E(v)是向量v的加密向量；E(w)是卷积神经网络中dense层的加密权重，是二维矩阵；E(b)是加密的偏置向量，是一维向量，安全分类函数SCT的计算结果是一维向量，即为分类向量。
[0033]本专利技术在Paillier加密算法和和安全乘法协议SMP的基础上，在卷积神经网络ICNN中构建安全卷积函数SCVL、安全最大池化函数SMAP、安全激活函数 SACT和安全分类函数SCT，云服务器S1和云服务器S2计算出分类向量，使得云服务器S1和云服务器S2在分类图像的过程中图像和卷积神经网络ICNN的参数都是以密文的形式展现，由此有效保证了图像和卷积神经网络ICNN模型的安全。
[0034]在上述技术方案的基础上，本专利技术还可以做如下改进。
[0035]作为本专利技术的一种优选技术方案，所述Inception结构的卷积神经网络ICNN 包括11个卷积层、4个池化层和1个全连接层，其中，11个卷积层中包括5个1
×
1的卷积层、3个3
×
3的卷积层、2个5
×
5的卷积层和1个7
×
7的卷积层，所述4个池化层包括1个2
×...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的加密图像分类方法，其特征在于：包括如下步骤：构建Inception结构的卷积神经网络ICNN；数据所有者将获取的图像数据集进行统一裁剪以获得新的图像数据集；采用新的图像数据集对卷积神经网络ICNN进行训练，得到卷积神经网络ICNN参数；数据所有者将卷积神经网络ICNN参数以安全数据外包的方式发送至非共谋的云服务器S1和云服务器S2；用户将待查询图像以安全数据外包的方式发送至云服务器S1和云服务器S2；云服务器S1和云服务器S2联合计算出分类向量，并将分类向量以安全数据外包方式返回给用户；用户根据分类向量判断出待查询图像所属类别；其中，卷积神经网络ICNN参数包括：卷积核K＝{K1，K2，......K
L
}和共享偏置b＝{b1，b2，......b
L
}，L表示卷积层数；所述安全数据外包的方式是基于Paillier加密算法和安全乘法协议SMP构建的数据安全外包方式，安全乘法协议SMP的输入函数是(E(A)，E(B))，输出函数是E(A*B)；A、B分别表示安全乘法协议SMP的两个不同的给定值，E表示Paillier加密算法中的加密操作；云服务器S1和云服务器S2基于Paillier加密算法和安全乘法协议SMP构建安全卷积函数SCVL、安全最大池化函数SMAP、安全激活函数SACT和安全分类函数SCF联合计算出分类向量；其中，安全卷积函数SCVL为为E(d)表示加密的待查询图像的四维矩阵；E(K)表示加密的卷积核，是四维矩阵；E(b)是加密的共享偏置，是一维向量；d表示待查询图像矩阵，表示在矩阵d内对应位置为(0，i+k1，j+k2，k)的具体数值；表示在卷积核K内对应位置为(k1，k2，k0，x)的具体数值；b
x
表示在共享偏置b内对应位置为(x)的具体数值；安全卷积函数SCVL的计算结果是一个四维矩阵；安全最大池化函数SMAP为SMAP(E(R))＝SMP(E(R
i，j
)，E(MR
i，j
))＝E(R
i，j
*MR
i，j
)＝E(R
m
)E(R)表示安全卷积函数SCVL的计算结果中r
×
r的邻域，是一个r
×
r维的矩阵；
安全激活函数SACT为SACT(E(x))＝SMP(E(x
i，j
)，E(t
i，j
))＝E(x
i，j
*t
i，j
)＝E(x
’
)E(x)表示安全卷积函数SCVL的计算结果，即E(x)＝E(d*K+b)；x
i，j
表示在矩阵x内对应位置为(i，j)的具体数值；t是记录矩阵，其中只有0和1两种数值，t
i，j
表示在矩阵t内对应位置为(i，j)的具体数值；安全分类函数SCT为v是将计算安全激活函数SACT得到的结果矩阵展平为列向量的一维向量，E(v)是向量v的加密向量；E(w)是卷积神经网络中dense层的加密权重，是二维矩阵；E(b)是加密的偏置向量，是一维向量，安全分类函数SCT的计算结果是一维向量，即为分类向量。2.根据权利要求1所述的一种基于卷积神经网络的加密图像分类方法，其特征在于：所述Inception结构的卷积神经网络ICNN包括11个卷积层、4个池化层和1个全连接层，其中，11个卷积层中包括5个1
×
1的卷积层、3个3
×
3的卷积层、2个5
×
5的卷积层和1个7
×
7的卷积层，所述4个池化层包括1个2
×
2的池化层和3个3
×
3的池化层，全连接层包括连接层、flatten层和dense层。3.根据权利要求1所述的一种基于卷积神经网络的加密图像分类方法，其特征在于：所述数据所有者将卷积神经网络ICNN参数以安全数据外包的方式发送至非共谋的云服务器S1和云服务器S2的过程为：数据所有者计算K
’
i
＝K
i
*M
i
，b
’
i
＝b
i
+r
i
，并将K
’
i
和b
’
i
计算结果发送给云服务器S2，云服务器S2计算E(M
i
)，E(N
‑
r
i
)，并将计算结果发送给云服务器S1，云服务器S1计算E(b
i
)＝E(b
’
i
)*E(N
‑
r
i
)；其中，K
i
表示第i层卷积层的卷积核，M
i
是对应于K
i
随机产生的矩阵；K
’
i
加了随机矩阵M
i
后的卷积核；b
i
是第i层卷积层的共享偏置，r
i
是对应于b
i
随机产生的数值，b
’
i
是加了随机数r
i
后的共享偏置；SMP表示安全乘法协议，表示随机矩阵M
i
的逆矩阵。4.根据权利要求1所述的一种基于卷积神经网络的加密图像分类方法，其特征在于：用户将待查询图像以安全数据外包的方式发送至云服务器S1和云服务器S2的过程为：用户计算d
’
i
＝d
i
*M
i
，并将d

【专利技术属性】
技术研发人员：郑啸，方晨晨，王权鑫，刘欢，
申请(专利权)人：合肥综合性国家科学中心人工智能研究院安徽省人工智能实验室，
类型：发明
国别省市：