【技术实现步骤摘要】
本专利技术涉及一种人脸图像复原方法、系统、存储介质及设备，属于图像处理。
技术介绍
1、随着科学技术的不断发展以及社会生活水平的不断提高，越来越多的成像设备被专利技术使用，如智能手机、照相机、监视器、无人机等，随着设备的普及现代通信技术的迭代，图像以及视频数据呈指数式增强。特别在微博、短视频等社交平台中存在大量以人为图像或视频主题的数据，此外在使用人脸识别识、手机相册中的人脸搜索、无人机以及监视器中对行人跟踪以及人脸识别等应用层出不穷。然而由于以下可能存在的情况：成像设备的不稳定性，如对焦失败、相机抖动；成像环境因素，如低光照、高曝光、拍摄对象运动；网络传输状况，如压缩、缩放、编解码格式等，会导致图像存在各种类型以及不同程度的退化，如模糊、噪声等，特别在面对人脸图像时，复杂的退化不仅降低观赏效果，其次在面对需要高精度人脸图像，如：门禁、支付、公安等场景时会造成严重的后果。
2、于是，人脸图像复原旨在从退化的人脸图像中恢复出清晰的人脸图像，以进行之后的工作，如：人脸检测与识别。相比较于自然图像复原，人脸图像通常具有与其不同的特征，其不仅包含视觉感知的细节，也包含个体五官特征以及身份信息，因为人脸图像是一种具有高度结构化的信息表示。
3、目前，人脸复原方法主要可以分为三类：基于几何先验的方法、基于参考的方法、基于生成先验的方法；上述方法大部分都利用了卷积网络，但是基于传统卷积操作难以捕捉以及学习结构化信息，从而导致人脸复原精度较差。
技术实现思路
1、本专利技术
2、为了解决上述技术问题，本专利技术所采用的技术方案是：
3、一种人脸图像复原方法，包括，
4、获取待复原的人脸图像；
5、将待复原的人脸图像输入预先训练的复原模型，获得复原后的人脸图像；其中，复原模型包括编码器、结构化的人脸图生成模块、自适应邻接矩阵生成器、人脸图卷积网络和解码器；编码器，根据待复原的人脸图像，生成人脸图像特征；自适应邻接矩阵生成器，根据人脸图像特征，生成表示人脸图像特征块连接关系的邻接矩阵；结构化的人脸图生成模块，将人脸图像特征块作为节点、将邻接矩阵作为节点连接关系，生成结构化的人脸图；人脸图卷积网络，根据结构化的人脸图，生成复原后的人脸特征图；解码器，根据人脸特征图，生成复原后的人脸图像。
6、编码器包括6个残差卷积模块与5个2倍下采样模块，在编码器中，残差卷积模块与2倍下采样模块交替串联；解码器包括6个残差卷积模块与5个2倍上采样模块，在解码器中，残差卷积模块与2倍上采样模块交替串联。
7、自适应邻接矩阵生成器包括依次串联的3个残差卷积模块与1个全连接层。
8、人脸图卷积网络包括依次串联的8个人脸图卷积模块；人脸图卷积模块包括依次串联的1个卷积层以及2个残差图卷积模块。
9、训练时，复原模型的损失函数为：
10、l＝ll1+λswlsw+λfacestructlfacestruct
11、式中，l为复原模型的损失函数值，ll1、lsw、lfacestruct分别为l1损失值、小世界模型损失值、以及人脸结构损失值，lfacestruct中考虑了人脸对称以及聚集的特性，λsw、λfacestruct分别为lsw、lfacestruct的权重。
12、lfacestruct的公式为：
13、
14、式中，len为邻接矩阵表示的节点个数，参数start＝winsize//2，参数end＝len-winsize//2，//表示取整除，winsize为控制变量，m[][]表示邻接矩阵中的元素，n为节点标号。
15、一种人脸图像复原系统，包括，
16、图像获取模块，获取待复原的人脸图像；
17、复原模块，将待复原的人脸图像输入预先训练的复原模型，获得复原后的人脸图像；其中，复原模型包括编码器、结构化的人脸图生成模块、自适应邻接矩阵生成器、人脸图卷积网络和解码器；编码器，根据待复原的人脸图像，生成人脸图像特征；自适应邻接矩阵生成器，根据人脸图像特征，生成表示人脸图像特征块连接关系的邻接矩阵；结构化的人脸图生成模块，将人脸图像特征块作为节点、将邻接矩阵作为节点连接关系，生成结构化的人脸图；人脸图卷积网络，根据结构化的人脸图，生成复原后的人脸特征图；解码器，根据人脸特征图，生成复原后的人脸图像。
18、复原模块中，复原模型训练时的损失函数为：
19、l＝ll1+λswlsw+λfacestructlfacestruct
20、式中，l为复原模型的损失函数值，ll1、lsw、lfacestruct分别为l1损失值、小世界模型损失值、以及人脸结构损失值，lfacestruct中考虑了人脸对称以及聚集的特性，λsw、λfacestruct分别为lsw、lfacestruct的权重。
21、一种计算机可读存储介质，存储一个或多个程序，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行人脸图像复原方法。
22、一种计算设备，包括一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行人脸图像复原方法的指令。
23、本专利技术所达到的有益效果：本专利技术采用的复原模型，从人脸结构化信息出发，根据待复原的人脸图像的特征生成结构化的人脸图，通过结构化的人脸图和解码器进行人脸图复原，可改善基于传统卷积操作难以捕捉以及学习结构化信息的问题，提升人脸复原的数值精度以及丰富可视化效果。
本文档来自技高网...【技术保护点】
1.一种人脸图像复原方法，其特征在于：包括，
2.根据权利要求1所述的人脸图像复原方法，其特征在于：编码器包括6个残差卷积模块与5个2倍下采样模块，在编码器中，残差卷积模块与2倍下采样模块交替串联；解码器包括6个残差卷积模块与5个2倍上采样模块，在解码器中，残差卷积模块与2倍上采样模块交替串联。
3.根据权利要求1所述的人脸图像复原方法，其特征在于：自适应邻接矩阵生成器包括依次串联的3个残差卷积模块与1个全连接层。
4.根据权利要求1所述的人脸图像复原方法，其特征在于：人脸图卷积网络包括依次串联的8个人脸图卷积模块；人脸图卷积模块包括依次串联的1个卷积层以及2个残差图卷积模块。
5.根据权利要求1所述的人脸图像复原方法，其特征在于：训练时，复原模型的损失函数为：
6.根据权利要求5所述的人脸图像复原方法，其特征在于：LFacestruct的公式为：
7.一种人脸图像复原系统，其特征在于：包括，
8.根据权利要求7所述的人脸图像复原方法，其特征在于：复原模块中，复原模型训练时的损失函数为：
<...【技术特征摘要】
1.一种人脸图像复原方法，其特征在于：包括，
2.根据权利要求1所述的人脸图像复原方法，其特征在于：编码器包括6个残差卷积模块与5个2倍下采样模块，在编码器中，残差卷积模块与2倍下采样模块交替串联；解码器包括6个残差卷积模块与5个2倍上采样模块，在解码器中，残差卷积模块与2倍上采样模块交替串联。
3.根据权利要求1所述的人脸图像复原方法，其特征在于：自适应邻接矩阵生成器包括依次串联的3个残差卷积模块与1个全连接层。
4.根据权利要求1所述的人脸图像复原方法，其特征在于：人脸图卷积网络包括依次串联的8个人脸图卷积模块；人脸图卷积模块包括依次串联的1个卷积层以及2个残差图卷积...
【专利技术属性】
技术研发人员：张登银，严伟丹，周超，英俊豪，冯莹莹，刘艺，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。