一种基于神经网络的加密域图像超分辨率重建方法及系统技术方案

本发明专利技术公开一种基于神经网络的加密域图像超分辨率重建方法及系统，涉及图像超分辨率重建的技术领域，将训练好的超分辨神经网络模型封装于图像超分辨率重建执行服务器中。隐私服务器生成公钥和私钥，并将公钥发送至图像超分辨率重建执行服务器，客户端对图像数据进行编码加密并发送给图像超分辨率重建执行服务器。图像超分辨率重建执行服务器利用模型在加密域中对加密图像进行超分辨率重建，将超分辨率重建结果发送给客户端，客户端进行解密得到图像超分辨率重建结果。在保证隐私安全性的同时，服务端图像重建质量不仅显著提高，客户端的图像拥有者可进行多张低分辨率图像重建，降低了单位加密图像超分辨率重建时间开销。低了单位加密图像超分辨率重建时间开销。低了单位加密图像超分辨率重建时间开销。

【技术实现步骤摘要】
一种基于神经网络的加密域图像超分辨率重建方法及系统


[0001]本专利技术涉及加密域图像超分辨率重建
，更具体地，涉及一种基于神经网络的加密域图像超分辨率重建方法及系统。

技术介绍

[0002]在实际生活中，图像超分辨率重建具有广泛的应用场景，如医学成像、改进的遥感图像和安防监控等领域。近年来，随着深度学习的广泛应用，图像超分辨率重建算法也得到了快速发展，图像重建的质量和效率越来越好。
[0003]图像超分辨率重建是计算机视觉的重要课题之一，传统的算法包括基于插值的方法主要有双线性插值、双三次插值等。这些方法利用低分辨率图像周围的像素信息来恢复高分辨率图像中的像素值。基于深度学习的方法也有着许多研究。生成性对抗网络通过生成器和判别器的相互对抗，使得生成的超分辨率图像在视觉上更加符合人眼的感受。上述方法虽然有着很好的效果和运行效率，但都是在明文域中进行的，并不能保证图像数据的隐私安全。在云计算的场景下进行图像超分辨率重建可能会引起隐私泄露的问题。从数据收集环节来看，用户将需要进行超分辨图像重构的低分辨率图像数据等隐私资源存放在客户端上，在云环境下进行图像超分辨率重建的过程中，客户端将隐私资源传送至云服务器上，在这个过程中，由于目前传输的数据均为未加密数据，因此，用户的隐私数据往往由云服务器或主动或被动地泄露，而这种隐私数据泄露所带来的潜在的安全风险十分严重，可能会被人用于获利，更甚者被犯罪分子捕获，并用于非法活动。
[0004]基于明文域中的图像数据处理方案，结合现有的加密域信号处理技术，已经有许多加密域图像数据处理方案。Tanwar等人使用秘密图像分享方案实现了加密域中的双三次插值算法，取得了显著更好的效果，并具有较好的鲁棒性。Chen等人结合Paillier方案和混淆电路实现了加密域中的自适应阈值决策算法，并提出了隐私保护的图像边缘检测方案。CKKS作为最流行的全同态加密系统之一，在基于同态加密的图像处理中得到广泛运用。隐私数据拥有者通过公钥对图像数据加密，然后传输至服务器，服务器在密文域下进行图像处理，并传输至隐私数据拥有者进行解密，最后对解密出的数据进行解码得到结果。在此方法下，服务器不需要使用私钥即可进行加密域神经网络的运算，而图像拥有者通过安全通道接收到的私钥解密结果，非法敌手无法获取私钥，使图像在处理过程中的隐私安全性得到了保障。但一方面该文章中利用同态加密占用的计算资源大，单位加密图像超分辨率重建时间开销大；另一方面，加密域图像超分辨率重建技术缺乏基于神经网络的方案，生成图像质量较差，难以满足用户要求。

技术实现思路

[0005]本专利技术的首要目的是提供一种基于神经网络的加密域图像超分辨率重建方法，解决现有加密域中的图像超分辨率重建方法在图像重建过程中的时间开销大，重建质量较差问题。
[0006]本专利技术的进一步目的是提供一种基于神经网络的加密域图像超分辨率重建系统。
[0007]为解决上述技术问题，本专利技术的技术方案如下：
[0008]一种基于神经网络的加密域图像超分辨率重建方法，包括以下步骤：
[0009]S1：收集图像数据，将所述图像数据划分为训练集和测试集；
[0010]S2：构建超分辨神经网络模型，所述超分辨神经网络模型用于对输入图像进行超分辨率重建，利用所述训练集训练所述超分辨神经网络模型，利用所述测试集测试所述超分辨神经网络的性能，得到最终的超分辨神经网络模型，将最终的超分辨神经网络模型封装于图像超分辨率重建执行服务器中；
[0011]S3：利用隐私服务器生成公钥pk和私钥sk，将公钥pk和私钥sk均发送至客户端，将公钥pk发送给所述图像超分辨率执行服务器；
[0012]S4：客户端利用公钥pk对待重建低分辨率图像进行数据编码加密，然后将加密后的图像数据和目标像素的规格发给所述图像超分辨率执行服务器；
[0013]S5：所述图像超分辨率执行服务器根据所述目标像素的规格对所述加密后的图像数据进行双三插值，得到密文编码，再利用所述最终的超分辨神经网络模型对密文编码在加密域中进行超分辨率重建，得到高分辨率图像对应的密文；
[0014]S6：所述图像超分辨率执行服务器将所述高分辨率图像对应的密文发给客户端，客户端利用私钥sk解密后，获得图像超分辨率重建的结果。
[0015]优选地，步骤S1中收集的图像数据为高分辨率图像，包括多种场景和风格，涵盖的场景和风格较为广泛，每种场景由若干张图像构成。
[0016]优选地，步骤S2中利用所述训练集训练所述超分辨神经网络模型前，对训练集中的图像数据进行图像增强处理，并对图像数据采用双三插值的方法得到低分辨率图像。
[0017]优选地，所述对图像数据采用双三插值的方法得到低分辨率图像，具体为：
[0018]令图像数据大小为m
×
n，低分辨率图像的大小为m
′
×
n
′
，P(X,Y)是低分辨率图像中像素点(X,Y)的像素值，对像素点(X,Y)在图像数据中对应的像素点(,y)最近的16个像素点像素加权平均得到像素点(X,Y)的像素值，对于像素点(X,Y)，其在图像数据中对应的像素点(,y)为：
[0019][0020]构造BiCubic函数，表示为：
[0021][0022]对于图像数据中像素点(,y)附近的像素点(i,j)，像素值为a(i,j)，用像素点(i,j)与像素点(,y)在行与列上的距离分别计算一次BiCubic函数，得到两个权重值，两个权重之积则为点(i,j)的最终权重值W
a(i,j)
，最终像素值P(X,Y)为：
[0023][0024]对低分辨率图像中所有像素点进行一次该过程可得到插值后的图像。
[0025]优选地，步骤S2中所述超分辨神经网络模型包括卷积网络单元以及残差单元，图像数据通过卷积网络单元输出为残差输入，残差结构通过将输入图像域残差输入相加得到网络的最终输出，卷积网络单元包含九个卷积块，前八个卷积块由一个卷积层和一个激活层构成，最后一个卷积块仅包含一个卷积层，卷积网络单元中的卷积层使用了HEAR方案中，结合Rotate运算实现的特殊同态，所述残差网络单元通过将输入图像与残差层输入相加得到网络的最终输入，网络最终的输出是一张与输入图像大小一致的高分辨率图像，激活层的激活函数为PReLU函数，表达式为：
[0026]PEReLU(x)＝x3+x2+x+H
[0027]x为输入神经网络模型的数据，E、F、G和H均为系数。
[0028]优选地，在训练所述超分辨神经网络模型时，将训练集的图像数据作为超分辨神经网络模型的输入，将训练集的图像数据利用双三次插值算法放大不同倍数，作为原始图像的不同放大倍数高分辨率图像重建输出，损失函数采用交叉熵，通过梯度下降法训练。
[0029]优选地，步骤S4中客户端利用公钥pk对待重建低分辨率图像进行数据编码加密，具体为：
[0030]设待重建低分辨率图像的大小为m...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的加密域图像超分辨率重建方法，其特征在于，包括以下步骤：S1：收集图像数据，将所述图像数据划分为训练集和测试集；S2：构建超分辨神经网络模型，所述超分辨神经网络模型用于对输入图像进行超分辨率重建，利用所述训练集训练所述超分辨神经网络模型，利用所述测试集测试所述超分辨神经网络的性能，得到最终的超分辨神经网络模型，将最终的超分辨神经网络模型封装于图像超分辨率重建执行服务器中；S3：利用隐私服务器生成公钥pk和私钥sk，将公钥pk和私钥sk均发送至客户端，将公钥pk发送给所述图像超分辨率执行服务器；S4：客户端利用公钥pk对待重建低分辨率图像进行数据编码加密，然后将加密后的图像数据和目标像素的规格发给所述图像超分辨率执行服务器；S5：所述图像超分辨率执行服务器根据所述目标像素的规格对所述加密后的图像数据进行双三插值，得到密文编码，再利用所述最终的超分辨神经网络模型对密文编码在加密域中进行超分辨率重建，得到高分辨率图像对应的密文；S6：所述图像超分辨率执行服务器将所述高分辨率图像对应的密文发给客户端，客户端利用私钥sk解密后，获得图像超分辨率重建的结果。2.根据权利要求1所述的基于神经网络的加密域图像超分辨率重建方法，其特征在于，步骤S1中收集的图像数据为高分辨率图像，包括多种场景和风格，每种场景由若干张图像构成。3.根据权利要求1所述的基于神经网络的加密域图像超分辨率重建方法，其特征在于，步骤S2中利用所述训练集训练所述超分辨神经网络模型前，对训练集中的图像数据进行图像增强处理，并对图像数据采用双三插值的方法得到低分辨率图像。4.根据权利要求3所述的基于神经网络的加密域图像超分辨率重建方法，其特征在于，所述对图像数据采用双三插值的方法得到低分辨率图像，具体为：令图像数据大小为m
×
n，低分辨率图像的大小为m
′
×
n
′
，P(X,Y)是低分辨率图像中像素点(X,Y)的像素值，对像素点(X,Y)在图像数据中对应的像素点(,y)最近的16个像素点像素加权平均得到像素点(X,Y)的像素值，对于像素点(X,Y)，其在图像数据中对应的像素点(,y)为：构造BiCubic函数，表示为：对于图像数据中像素点(,y)附近的像素点(i,j)，像素值为a(i,j)，用像素点(i,j)与像素点(,y)在行与列上的距离分别计算一次BiCubic函数，得到两个权重值，两个权重之积则为点(i,j)的最终权重值W
a(i,j)
，最终像素值P(X,Y)为：
对低分辨率图像中所有像素点进行一次该过程可得到插值后的图像。5.根据权利要求4所述的基于神经网络的加密域图像超分辨率重建方法，其特征在于，步骤S2中所述超分辨神经网络模型包括卷积网络单元以及残差单元，图像数据通过卷积网络单元输出为残差输入，残差结构通过将输入图像域残差输入相加得到网络的最终输出，卷积网络单元包含九个卷积块，前八个卷积块由一个卷积层和一个激活层构成，最后一个卷积块仅包含一个卷积层，卷积网络单元中的卷积层使用了HEAR方案中，结合Rotate运算实现的特殊同态，所述残差网络单元通过将输入图像与残差层输入相加得到网络的最终输入，网络最终的输出是一张与输入图像大小一致的高分...

【专利技术属性】
技术研发人员：郑培嘉，陈静怡，曾惠聪，蔡志威，
申请(专利权)人：中山大学，
类型：发明
国别省市：