一种基于CNN的保持表情信息的人脸转移方法技术

本发明专利技术公开了一种基于CNN的保持表情信息的人脸转移方法。该方法通过结合人脸识别网络和表情识别网络达到保存特征信息的脸部转换效果，可以把图片A的人脸转移到另外一张图片B人脸上，在转换的过程中，仍然保持图片B的表情信息和其余的非人脸信息。它解决了两个核心技术问题，一是人脸合成的过程中合成部分与原图部分不和谐的问题；第二个是合成部分和原图部分合成之后人脸信息丢失的问题，包括识别信息和表情信息丢失。实施本发明专利技术实施例，可以增加人们生活中对图像处理的需求，使得在人脸处理上又多一样应用；同时，能够使“拍照不适人群”通过图像合成的方式生成更多自己的图片。

A face transfer method based on CNN to maintain facial expression information

The invention discloses a face transferring method based on CNN to maintain facial expression information. This method can transfer the face of picture A to another picture B by combining face recognition network and expression recognition network. In the process of transformation, the expression information of picture B and other non-face information can be maintained. It solves two key technical problems, one is the incongruity between the synthetic part and the original part in the process of face synthesis, the other is the loss of face information after the synthesis of the synthetic part and the original part, including the loss of recognition information and expression information. Implementing the embodiment of the present invention can increase the demand for image processing in people's lives, so that more and more face processing applications can be made; at the same time, it is possible to make the \photographic discomfort group\ generate more pictures of their own through image synthesis.

【技术实现步骤摘要】
一种基于CNN的保持表情信息的人脸转移方法
本专利技术涉及计算机视觉和人工智能领域，具体涉及一种基于CNN的保持表情信息的人脸转移方法。
技术介绍
上世纪80年代Hinton和Rumelhart等人奠定和推广了用来训练多层神经网络的反向传播算法(back-propagation)，神经网络再次迎来了春天。通过反向传播算法，人们可以通过计算机巨量的计算之后，将计算机的学习过程进一步提高到以往的学习算法所不能企及的高度。DeepLearning是多伦多大学GeoffreyHinton教授提出的概念。由于传统的多层感知机很容易陷入局部最小，直接用反向传播算法(BackPropagation)求取的分类效果并不如意，原因一是特征是手工的，二就是局部最小问题。而DeepLearning引入了概率图模型里的生成模型，他可以直接自动的从训练集里提取所需要的特征，典型的模型为有限制玻尔兹曼机(RestrictedBoltzmannMachines，简称RBM)，自动提取的特征解决了手工特征考虑不周的因素，而且很好的初始化了神经网络权重，接着可以采用反向传播算法进行分类，实验得出了很好的效果。CNN是一种针对图像而特别专利技术的一种网络结构，它基于图像具有强烈位置相关性这样一个先验知识，通过对图像局部提取特征来提高网络的性能。上世纪80年代，LeCun利用BP算法来训练多层神经网络用于识别手写邮政编码，在这项工作中，首先用到了卷积核的概念。而真正代表CNN的被广泛认知的标志工作则是LeCun在1998年提出的LeNet。2012年，Hinton的学生AlexKrizhevsky用GPU训练了一个DeepLearning模型，一举摘下了视觉领域竞赛ILSVRC2012的桂冠，在百万量级的ImageNet数据集合上，效果大幅度超过传统的方法，从传统的70％多提升到80％多。从此，DeepLearning一发不可收，ILSVRC的最好成绩每年都不断被DeepLearning刷新。至此，CNN正式成为计算机视觉的各个领域第一工具。图像生成和风格转移是计算机视觉的一个热门主题，其目标是将一张图的风格应用到另外一张图上。在神经网络之前，图像风格迁移的程序有一个共同的思路：分析某一种风格的图像，给那一种风格建立一个数学或者统计模型，再改变要做迁移的图像让它能更好的符合建立的模型。这样做出来效果尚可，但有一个很大的缺点：一个程序基本只能做某一种风格或者某一个场景。因此基于传统风格迁移研究的实际应用非常有限。2015年，Gatys发表了两篇论文将传统的风格转移工作完全转移到了CNN网络中，从此风格转移的算法就以CNN网络为主。人脸修复是计算机图像处理上热门的话题。在日常生活中，拍照是我们最常见的生活方式。对于脸部的美化要求，就催生人脸修复的研究。传统的人脸修复是基于图像学或者信号学的算法。通常是采用一些滤波器进行卷积操作，对图像做平滑以达到去掉一些噪声和斑点的作用。2015年，PatrickPerez提出的PoissonBlending算法让图像修复和融合结果更佳的自然。随后，在2017年，YijunLi小组发表的GenerativeFaceCompletion论文提出了使用CNN的算法做人脸修复，其效果能够直接修补人脸中缺失的区域，而不仅仅是对噪声点的填补。人脸转移是建立在风格转移和人脸修复的基础上新提出的方向，利用CNN神经网络的优秀特性，使得两张图片的人脸转移变得可能。人脸转移方法主要有：FaceU软件基于人脸特征点的面部转移技术。FaceU的面部技术是基于脸部特征点提取和图像拼接融合完成的，具体步骤为：1)人脸检测，检测到人脸的具体位置；2)人脸特征点提取，提取到人脸的关键特征点，比如脸部轮廓和五官等；3)人脸分割，把人脸区域分割出来；4)人脸区域互换，将两个人的人脸区域调换；5)图像融合，将调换后的两张人脸和图像其余位置融合。基于特征点的面部转移的缺点在于：1、身份辨认信息丢失。在脸部交换后，由于跟原图的融合存在大小上的差异，从而交换后的人脸并不像一个人，或者，从人脸识别的技术的角度上，合成后的人与原来的人不是同一个人。2、表情信息同时转移，由于是整个面部的简单拼接，因此表情会随着脸部同时转移到第二张图上，并非单纯的信息特征转移。
技术实现思路
本专利技术的目的是克服现有方法的不足，提出了一种基于CNN的保持表情信息的人脸转移方法。本专利技术解决两个核心技术问题，一是人脸合成的过程中合成部分与原图部分不和谐的问题；第二个是合成部分和原图部分合成之后人脸信息丢失的问题，包括识别信息和表情信息丢失。为了解决上述问题，本专利技术提出了一种基于CNN的保持表情信息的人脸转移方法，所述方法包括：从网络以及人脸数据库中获取人脸图片，以及对人脸图片的表情分类的标记信息，组成照片库；从照片库中选取两张照片作为一组样本，图片A作为身份信息图，图片B作为表情信息图；将较高像素图片下采样到较低像素图片的大小，使二者等大小；使用AdaBoost算法对图A和图B进行人脸区域检测与分割；将图A和图B的人脸区域组合成组合通道，作为输入数据输入到生成式CNN网络中，通过前向传播生成一张合成人脸；将合成人脸与图B非人脸区域进行泊松融合；将合成人脸与图A人脸区域输入到FaceNet神经网络中，得到识别信息的损失L1；将合成人脸与图B人脸区域输入到深度ConvNets中求出表情特征信息损失L2；结合L1和L2的损失值，对生成式CNN网络进行反向传播，更新网络权重；最后重复训练生成式CNN网络。优选地，所述人脸区域组合成组合通道作为输入数据输入到生成式CNN网络，该网络具体包括：编码器：编码器是一个特征提取以及下采样的过程。它分为卷积层和池化层。卷积核是一个n乘n的权重矩阵，它对图片中的感受野进行抽象，即对该区域的像素求线性和，并且通过ReLU激活函数得到该感受野的激活值。池化层是对一块区域进行下采样的过程，网络中全部采用2倍下采样，该方法具有位置不变的性质。编码器采用4个卷积层加一层全连接层，每一层卷积层后都会接一个下采样的池化层。从第1层到第4层的维度分别是(100，256，256，3)，(100，128，128，24)，(100，64，64，64)，(100，32，32，128)卷积核的大小为3乘3，维度与神经网络的维度一致。全连接层是把第四层的4维序列展开成2维，维度为(100，131072)。在连接全连接网络之后，为drop-out层。该层作用在于训练时每一次前向传播都忽略掉部分连接参数，使得每一次训练时网络的数据流都不同，但又不改变网络的特征提取方向，从而避免网络过拟合。同时，由于训练时参数变少，可以节省部分计算资源。解码器：解码器有上采样和反卷积的过程，上采样的过程采用插值法，通过获取低像素相邻的像素获得线性值。反卷积的过程就是正向卷积的镜像。本专利技术可以增加人们生活中对图像处理的需求，使得在人脸处理上又多一样应用；同时，能够使“拍照不适人群”通过图像合成的方式生成更多自己的图片。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普本文档来自技高网...

【技术保护点】
1.一种基于CNN的保持表情信息的人脸转移方法，其特征在于，所述方法包括：从网络以及人脸数据库中获取人脸图片，以及对人脸图片的表情分类的标记信息，组成照片库；从照片库中选取两张照片作为一组样本，图片A作为身份信息图，图片B作为表情信息图；将较高像素图片下采样到较低像素图片的大小，使二者等大小；使用AdaBoost算法对图A和图B进行人脸区域检测与分割；将图A和图B的人脸区域组合成组合通道，作为输入数据输入到生成式CNN网络中，通过前向传播生成一张合成人脸；将合成人脸与图B非人脸区域进行泊松融合；将合成人脸与图A人脸区域输入到FaceNet神经网络中，得到识别信息的损失L1；将合成人脸与图B人脸区域输入到深度ConvNets中求出表情特征信息损失L2；结合L1和L2的损失值，对生成式CNN网络进行反向传播，更新网络权重；最后重复训练生成式CNN网络。

【技术特征摘要】
1.一种基于CNN的保持表情信息的人脸转移方法，其特征在于，所述方法包括：从网络以及人脸数据库中获取人脸图片，以及对人脸图片的表情分类的标记信息，组成照片库；从照片库中选取两张照片作为一组样本，图片A作为身份信息图，图片B作为表情信息图；将较高像素图片下采样到较低像素图片的大小，使二者等大小；使用AdaBoost算法对图A和图B进行人脸区域检测与分割；将图A和图B的人脸区域组合成组合通道，作为输入数据输入到生成式CNN网络中，通过前向传播生成一张合成人脸；将合成人脸与图B非人脸区域进行泊松融合；将合成人脸与图A人脸区域输入到FaceNet神经网络中，得到识别信息的损失L1；将合成人脸与图B人脸区域输入到深度ConvNets中求出表情特征信息损失L2；结合L1和L2的损失值，对生成式CNN网络进行反向传播，更新网络权重；最后重复训练生成式CNN网络。2.如权利要求1所述的一种基于CNN的保持表情信息的人脸转移方法，其特征在于，所述人脸区域组合成组合通道作为输入数据输入到生成式CNN网络，该网络具体包括：编码器：编码器是一个特征提取以及下采样的过...

【专利技术属性】
技术研发人员：曾坤，潘文优，陈湘萍，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44