基于对称一致性的卷积神经网络的人脸图像填充系统技术方案

基于对称一致性的卷积神经网络的人脸图像填充系统，属于图像填充技术领域，解决了现有基于卷积神经网络的人脸图像填充系统因无法保证所填充人脸的对称一致性而填充效果差的问题。所述人脸图像填充系统：光流网络将部分遮挡人脸图像及其水平翻转图像作为输入，将得到的光流向量作为使该水平翻转图像变形的绝对坐标，并通过双线性插值的方式使该水平翻转图像变形为形变翻转图。光照网络将部分遮挡人脸图像及其水平翻转图像作为输入，并通过得到的光照纠正系数来纠正形变翻转图的光照分布。对称缺失像素填充子系统将光照分布纠正后的形变翻转图及其对应的剩余遮挡模板作为其输入，输出缺失像素填充后的人脸图像。

Face Image Filling System Based on Convolutional Neural Network with Symmetric Consistency

Face image filling system based on symmetrical consistency of convolutional neural network belongs to the field of image filling technology. It solves the problem that the existing face image filling system based on convolutional neural network can not guarantee the symmetrical consistency of the filled face and the filling effect is poor. The face image filling system: The optical flow network takes part of the occluded face image and its horizontal flip image as input, takes the amount of optical flow obtained as the absolute coordinate to deform the horizontal flip image, and transforms the horizontal flip image into a deformable flip image by bilinear interpolation. The illumination network takes part of the occluded face image and its horizontal flip image as input, and corrects the illumination distribution of the deformed flip image by obtaining the illumination correction coefficient. The symmetrical missing pixel filling subsystem takes the deformed flip map corrected by illumination distribution and the corresponding remaining occlusion template as its input, and outputs the face image filled with missing pixels.

【技术实现步骤摘要】
基于对称一致性的卷积神经网络的人脸图像填充系统
本专利技术涉及一种人脸图像填充系统，属于图像填充

技术介绍
人脸图像填充旨在从一幅部分遮挡的人脸图像填充出未遮挡的人脸图像，其主要用于对受损的人脸图像进行复原或者去除部分遮挡的人脸图像中的遮挡物。针对部分遮挡的人脸图像，填充出高质量的人脸图像，一直以来都是图形图像处理领域研究的热点与难点。近年来，为了获得更好的人脸图像填充效果，有学者尝试将卷积神经网络应用于人脸图像填充领域，通过基于卷积神经网络的编码器和解码器来对部分遮挡人脸图像中的缺失像素进行填充，并结合使用不同的损失约束，例如感知损失、分割损失以及局部判别损失等。然而，现有基于卷积神经网络的人脸图像填充系统并未考虑到人脸图像固有的对称信息，即左右脸对称性。例如当人脸图像中的部分左脸像素缺失时，可以采用与左脸缺失像素对称的右脸像素对左脸缺失像素进行填充，又例如通过对部分遮挡人脸图像进行约束填充的方式来保证左右脸对称性。由此可知，现有基于卷积神经网络的人脸图像填充系统的填充效果有待进一步提高。
技术实现思路
本专利技术为解决现有基于卷积神经网络的人脸图像填充系统因无法保证所填充人脸的对称一致性而填充效果差的问题，提出了一种基于对称一致性的卷积神经网络的人脸图像填充系统。本专利技术所述的基于对称一致性的卷积神经网络的人脸图像填充系统，用于对部分遮挡的人脸图像进行填充以得到未遮挡的人脸图像，部分遮挡的人脸图像的缺失像素包括对称缺失像素和非对称缺失像素；对于对称缺失像素，与该像素相对于人脸正中线呈轴对称的像素为缺失状态；对于非对称缺失像素，与该像素相对于人脸正中线呈轴对称的像素为未缺失状态；所述人脸图像填充系统包括非对称缺失像素填充子系统和对称缺失像素填充子系统，二者均基于卷积神经网络来实现；非对称缺失像素填充子系统包括光流网络和光照网络；光流网络将部分遮挡人脸图像和部分遮挡人脸图像的水平翻转图像作为其输入，将得到的光流向量作为使该水平翻转图像变形的绝对坐标，并通过双线性插值的方式使该水平翻转图像变形，得到形变翻转图；光照网络将部分遮挡人脸图像和部分遮挡人脸图像的水平翻转图像作为其输入，并通过得到的光照纠正系数来纠正形变翻转图的光照分布，光照分布纠正后的形变翻转图为非对称缺失像素填充后的部分遮挡人脸图像；对称缺失像素填充子系统将非对称缺失像素填充后的部分遮挡人脸图像和该图像对应的剩余遮挡模板作为其输入，输出缺失像素填充后的人脸图像。本专利技术所述的基于对称一致性的卷积神经网络的人脸图像填充系统，在现有基于卷积神经网络的人脸图像填充系统的基础上，引入了由光流网络和光照网络构成的非对称缺失像素填充子系统。光流网络将部分遮挡人脸图像和部分遮挡人脸图像的水平翻转图像作为其输入，将得到的光流向量作为使该水平翻转图像变形的绝对坐标，并通过双线性插值的方式使该水平翻转图像变形，得到形变翻转图。形变翻转图中的人脸与部分遮挡人脸图像中的人脸的姿态和表情相同。光照网络同样将部分遮挡人脸图像和部分遮挡人脸图像的水平翻转图像作为其输入，并通过得到的光照纠正系数来纠正形变翻转图的光照分布。形变翻转图与光照纠正系数相乘后，其人脸光照分布与部分遮挡人脸图像的人脸光照分布一致。本专利技术的对称缺失像素填充子系统将光照分布纠正后的形变翻转图与其对应的剩余遮挡模板作为其输入，输出缺失像素填充后的人脸图像。本专利技术所述的基于对称一致性的卷积神经网络的人脸图像填充系统，通过光流网络来构建部分遮挡人脸图像中左右脸之间的像素关联，并采用与非对称缺失像素左右对称的非缺失像素对非对称缺失像素进行填充，以实现对部分遮挡人脸图像的初步填充。通过光照网络建立部分遮挡人脸图像中左右脸之间的光照纠正系数，并采用光照纠正系数对初步填充人脸图像的光照分布进行纠正，使其光照分布与部分遮挡人脸图像的光照分布一致。这种考虑人脸图像固有对称信息的填充方式能够为人脸图像填充提供符合身份的结构信息。因此，与现有基于卷积神经网络的人脸图像填充系统相比，本专利技术所述的基于对称一致性的卷积神经网络的人脸图像填充系统能够保证所填充人脸的对称一致性，填充效果更好。附图说明在下文中将基于实施例并参考附图来对本专利技术所述的基于对称一致性的卷积神经网络的人脸图像填充系统进行更详细的描述，其中：图1为实施例提及的非对称缺失像素填充子系统的填充流程图；图2为实施例提及的光流网络的网络结构图；图3为实施例提及的光照网络的网络结构图；图4为实施例提及的训练网络通过重建损失来约束对称缺失像素填充子系统学习的流程图；图5为实施例所述的基于对称一致性的卷积神经网络的人脸图像填充系统对于真实遮挡人脸图像的填充效果图。具体实施方式下面将结合附图对本专利技术所述的基于对称一致性的卷积神经网络的人脸图像填充系统作进一步说明。实施例：下面结合图1至图5详细地说明本实施例。本实施例所述的基于对称一致性的卷积神经网络的人脸图像填充系统，用于对部分遮挡的人脸图像进行填充以得到未遮挡的人脸图像，部分遮挡的人脸图像的缺失像素包括对称缺失像素和非对称缺失像素；对于对称缺失像素，与该像素相对于人脸正中线呈轴对称的像素为缺失状态；对于非对称缺失像素，与该像素相对于人脸正中线呈轴对称的像素为未缺失状态；所述人脸图像填充系统包括非对称缺失像素填充子系统和对称缺失像素填充子系统，二者均基于卷积神经网络来实现；非对称缺失像素填充子系统包括光流网络和光照网络；光流网络将部分遮挡人脸图像和部分遮挡人脸图像的水平翻转图像作为其输入，将得到的光流向量作为使该水平翻转图像变形的绝对坐标，并通过双线性插值的方式使该水平翻转图像变形，得到形变翻转图；光照网络将部分遮挡人脸图像和部分遮挡人脸图像的水平翻转图像作为其输入，并通过得到的光照纠正系数来纠正形变翻转图的光照分布，光照分布纠正后的形变翻转图为非对称缺失像素填充后的部分遮挡人脸图像；对称缺失像素填充子系统将非对称缺失像素填充后的部分遮挡人脸图像和该图像对应的剩余遮挡模板作为其输入，输出缺失像素填充后的人脸图像。在本实施例中，光流网络包括光流编码器和光流解码器，光流编码器包括N1个卷积层，光流解码器包括N1个反卷积层；光照网络包括光照编码器和光照解码器，光照编码器包括N2个卷积层，光照解码器包括N2个反卷积层；对称缺失像素填充子系统包括重建编码器和重建解码器，重建编码器包括N3个卷积层，重建解码器包括N3个反卷积层；N1、N2和N3均大于或等于2。在本实施例中，N1＝8；光流编码器包括卷积层C1～卷积层C8；卷积层C1用于对部分遮挡人脸图像与其水平翻转图像的串联特征依次进行第一卷积操作和第一激活操作；卷积层C2用于对卷积层C1的输出依次进行第二卷积操作、归一化操作和第二激活操作；卷积层C3用于对卷积层C2的输出依次进行第三卷积操作、块归一化操作和第三激活操作；卷积层C4用于对卷积层C3的输出依次进行第四卷积操作、块归一化操作和第四激活操作；卷积层C5用于对卷积层C4的输出依次进行第五卷积操作、块归一化操作和第五激活操作；卷积层C6用于对卷积层C5的输出依次进行第六卷积操作、块归一化操作和第六激活操作；卷积层C7用于对卷积层C6的输出依次进行第七卷积操作、块归一化操作和第七激活操作；卷积层C8用于对卷积层C7的输出依次本文档来自技高网...

【技术保护点】
1.基于对称一致性的卷积神经网络的人脸图像填充系统，用于对部分遮挡的人脸图像进行填充以得到未遮挡的人脸图像，其特征在于，部分遮挡的人脸图像的缺失像素包括对称缺失像素和非对称缺失像素；对于对称缺失像素，与该像素相对于人脸正中线呈轴对称的像素为缺失状态；对于非对称缺失像素，与该像素相对于人脸正中线呈轴对称的像素为未缺失状态；所述人脸图像填充系统包括非对称缺失像素填充子系统和对称缺失像素填充子系统，二者均基于卷积神经网络来实现；非对称缺失像素填充子系统包括光流网络和光照网络；光流网络将部分遮挡人脸图像和部分遮挡人脸图像的水平翻转图像作为其输入，将得到的光流向量作为使该水平翻转图像变形的绝对坐标，并通过双线性插值的方式使该水平翻转图像变形，得到形变翻转图；光照网络将部分遮挡人脸图像和部分遮挡人脸图像的水平翻转图像作为其输入，并通过得到的光照纠正系数来纠正形变翻转图的光照分布，光照分布纠正后的形变翻转图为非对称缺失像素填充后的部分遮挡人脸图像；对称缺失像素填充子系统将非对称缺失像素填充后的部分遮挡人脸图像和该图像对应的剩余遮挡模板作为其输入，输出缺失像素填充后的人脸图像。

【技术特征摘要】
1.基于对称一致性的卷积神经网络的人脸图像填充系统，用于对部分遮挡的人脸图像进行填充以得到未遮挡的人脸图像，其特征在于，部分遮挡的人脸图像的缺失像素包括对称缺失像素和非对称缺失像素；对于对称缺失像素，与该像素相对于人脸正中线呈轴对称的像素为缺失状态；对于非对称缺失像素，与该像素相对于人脸正中线呈轴对称的像素为未缺失状态；所述人脸图像填充系统包括非对称缺失像素填充子系统和对称缺失像素填充子系统，二者均基于卷积神经网络来实现；非对称缺失像素填充子系统包括光流网络和光照网络；光流网络将部分遮挡人脸图像和部分遮挡人脸图像的水平翻转图像作为其输入，将得到的光流向量作为使该水平翻转图像变形的绝对坐标，并通过双线性插值的方式使该水平翻转图像变形，得到形变翻转图；光照网络将部分遮挡人脸图像和部分遮挡人脸图像的水平翻转图像作为其输入，并通过得到的光照纠正系数来纠正形变翻转图的光照分布，光照分布纠正后的形变翻转图为非对称缺失像素填充后的部分遮挡人脸图像；对称缺失像素填充子系统将非对称缺失像素填充后的部分遮挡人脸图像和该图像对应的剩余遮挡模板作为其输入，输出缺失像素填充后的人脸图像。2.如权利要求1所述的基于对称一致性的卷积神经网络的人脸图像填充系统，其特征在于，光流网络包括光流编码器和光流解码器，光流编码器包括N1个卷积层，光流解码器包括N1个反卷积层；光照网络包括光照编码器和光照解码器，光照编码器包括N2个卷积层，光照解码器包括N2个反卷积层；对称缺失像素填充子系统包括重建编码器和重建解码器，重建编码器包括N3个卷积层，重建解码器包括N3个反卷积层；N1、N2和N3均大于或等于2。3.如权利要求2所述的基于对称一致性的卷积神经网络的人脸图像填充系统，其特征在于，N1＝8；光流编码器包括卷积层C1～卷积层C8；卷积层C1用于对部分遮挡人脸图像与其水平翻转图像的串联特征依次进行第一卷积操作和第一激活操作；卷积层C2用于对卷积层C1的输出依次进行第二卷积操作、归一化操作和第二激活操作；卷积层C3用于对卷积层C2的输出依次进行第三卷积操作、块归一化操作和第三激活操作；卷积层C4用于对卷积层C3的输出依次进行第四卷积操作、块归一化操作和第四激活操作；卷积层C5用于对卷积层C4的输出依次进行第五卷积操作、块归一化操作和第五激活操作；卷积层C6用于对卷积层C5的输出依次进行第六卷积操作、块归一化操作和第六激活操作；卷积层C7用于对卷积层C6的输出依次进行第七卷积操作、块归一化操作和第七激活操作；卷积层C8用于对卷积层C7的输出依次进行第八卷积操作和第八激活操作；光流解码器包括反卷积层D1～反卷积层D8；反卷积层D1用于对卷积层C8的输出依次进行第一反卷积操作、块归一化操作和第九激活操作；反卷积层D2用于对反卷积层D1的输出依次进行第二反卷积操作、块归一化操作和第十激活操作；反卷积层D3用于对反卷积层D2的输出依次进行第三反卷积操作、块归一化操作和第十一激活操作；反卷积层D4用于对反卷积层D3的输出依次进行第四反卷积操作、块归一化操作和第十二激活操作；反卷积层D5用于对反卷积层D4的输出依次进行第五反卷积操作、块归一化操作和第十三激活操作；反卷积层D6用于对反卷积层D5的输出依次进行第六反卷积操作、块归一化操作和第十四激活操作；反卷积层D7用于对反卷积层D6的输出依次进行第七反卷积操作、块归一化操作和第十五激活操作；反卷积层D8用于对反卷积层D7的输出依次进行第八反卷积操作、第十六激活操作和双线性插值操作；反卷积层D8的输出为形变翻转图；第一卷积操作为64个4*4、步长为2的卷积操作；第二卷积操作为128个4*4、步长为2的卷积操作；第三卷积操作为256个4*4、步长为2的卷积操作；第四卷积操作为512个4*4、步长为2的卷积操作；第五卷积操作至第八卷积操作均为1024个4*4、步长为2的卷积操作；第一反卷积操作至第三反卷积操作均为1024个4*4、步长为2的反卷积操作；第四反卷积操作为512个4*4、步长为2的反卷积操作；第五反卷积操作为256个4*4、步长为2的反卷积操作；第六反卷积操作为128个4*4、步长为2的反卷积操作；第七反卷积操作为64个4*4、步长为2的反卷积操作；第八反卷积操作为2个4*4、步长为2的反卷积操作；第一激活操作至第七激活操作均采用LReLU函数，第八激活操作至第十五激活操作均采用ReLU函数，第十六激活操作采用Tanh函数。4.如权利要求3所述的基于对称一致性的卷积神经网络的人脸图像填充系统，其特征在于，N2＝8；光照编码器包括卷积层C9～卷积层C16；卷积层C9用于对部分遮挡人脸图像与其水平翻转图像的串联特征依次进行第九卷积操作和第十七激活操作；卷积层C10用于对卷积层C9的输出依次进行第十卷积操作、块归一化操作和第十八激活操作；卷积层C11用于对卷积层C10的输出依次进行第十一卷积操作、块归一化操作和第十九激活操作；卷积层C12用于对卷积层C11的输出依次进行第十二卷积操作、块归一化操作和第二十激活操作；卷积层C13用于对卷积层C12的输出依次进行第十三卷积操作、块归一化操作和第二十一激活操作；卷积层C14用于对卷积层C13的输出依次进行第十四卷积操作、块归一化操作和第二十二激活操作；卷积层C15用于对卷积层C14的输出依次进行第十五卷积操作、块归一化操作和第二十三激活操作；卷积层C16用于对卷积层C15的输出依次进行第十六卷积操作和第二十四激活操作；光照解码器包括反卷积层D9～反卷积层D16；反卷积层D9用于对卷积层C16的输出依次进行第九反卷积操作、块归一化操作和第二十五激活操作；反卷积层D10用于对反卷积层D9的输出依次进行第十反卷积操作、块归一化操作和第二十六激活操作；反卷积层D11用于对反卷积层D10的输出依次进行第十一反卷积操作、块归一化操作和第二十七激活操作；反卷积层D12用于对反卷积层D11的输出依次进行第十二反卷积操作、块归一化操作和第二十八激活操作；反卷积层D13用于对反卷积层D12的输出依次进行第十三反卷积操作、块归一化操作和第二十九激活操作；反卷积层D14用于对反卷积层D13的输出依次进行第十四反卷积操作、块归一化操作和第三十激活操作；反卷积层D15用于对反卷积层D14的输出依次进行第十五反卷积操作、块归一化操作和第三十一激活操作；反卷积层D16用于对反卷积层D15的输出进行第十六反卷积操作；反卷积层D16的输出为光照纠正系数；第九卷积操作为64个4*4、步长为2的卷积操作；第十卷积操作为128个4*4、步长为2的卷积操作；第十一卷积操作为256个4*4、步长为2的卷积操作；第十二卷积操作为512个4*4、步长为2的卷积操作；第十三卷积操作至第十六卷积操作均为1024个4*4、步长为2的卷积操作；第九反卷积操作至第十一反卷积操作均为1024个4*4、步长为2的反卷积操作；第十二反卷积操作为512个4*4、步长为2的反卷积操作；第十三反卷积操作为256个4*4、步长为2的反卷积操作；第十四反卷积操作为128个4*4、步长为2的反卷积操作；第十五反卷积操作为64个4*4、步长为2的反卷积操作；第十六反卷积操作为2个4*4、步长为2的反卷积操作；第十七激活操作至第二十三激活操作均采用LReLU函数，第二十四激活操作至第三十一激活操作均采用ReLU函数。5.如权利要求4所述的基于对称一致性的卷积神经网络的人脸图像填充系统，其特征在于，N3＝8；重建编码器包括卷积层C17～卷积层C24；卷积层C17用于对非对称缺失像素填充后的部分遮挡人脸图像与其对应的剩余遮挡模板的串联特征依次进行第十七卷积操作和第三十二激活操作；卷积层C18用于对卷积层C17的输出依次进行第十八卷积操作、块归一化操作和第三十三激活操作；卷积层C19用于对卷积层C18的输出依次进行第十九卷积操作、块归一化操作和第三十四激活操作；卷积层C20用于对卷积层C19的输出依次进行第二十卷积操作、块归一化操作和第三十五激活操作；卷积层C21用于对卷积层C20的输出依次进行第二十一卷积操作、块归一化操作和第三十六激活操作；卷积层C22用于对卷积层C21的输出依次进行第二十二卷积操作、块归一化操作和第三十七激活操作；...

【专利技术属性】
技术研发人员：左旺孟，李晓明，刘铭，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江,23