一种基于空间约束的人脸图像风格化方法技术

本发明专利技术公开了一种基于空间约束的人脸图像风格化方法，该方法包括如下步骤，首先，将输入的风格图像和原始图像进行归一化，通过特征编码器提取人脸的多层深度特征图，并通过人脸建模网络提取人脸空间特征点；然后，在深度特征图的每一层，利用人脸空间特征点的空间约束和普氏变换，执行特征块匹配方法，获得从风格图像到原始图像的映射；将映射后的风格图像与原始图像进行特征融合得到新的深度特征图，通过预先训练的特征解码器，最终获得风格化的原始图像。本发明专利技术属于计算机视觉领域，充分利用了人脸的空间对应关系，设计出快速的特征块匹配方法，能有效提升人脸图像风格化的速度和准确性。

A Face Image Stylization Method Based on Spatial Constraints

The invention discloses a facial image stylization method based on spatial constraints, which includes the following steps: firstly, the input style image and the original image are normalized, the multi-layer depth feature map of the face is extracted by the feature encoder, and the feature points of the face space are extracted by the face modeling network; secondly, in each layer of the depth feature map, the face space is utilized. Spatial constraints of feature points and Pu's transformation are used to implement feature block matching method to obtain the mapping from the style image to the original image; the mapping style image is fused with the original image to get a new depth feature map, and the stylized original image is finally obtained through the pre-trained feature decoder. The invention belongs to the field of computer vision, makes full use of the spatial correspondence of the face and designs a fast feature block matching method, which can effectively improve the speed and accuracy of face image stylization.

【技术实现步骤摘要】
一种基于空间约束的人脸图像风格化方法
本专利技术属于计算机视觉与图像处理领域，尤其涉及一种基于空间约束的人脸图像风格化方法。
技术介绍
人脸图像风格迁移是一种图像处理方法，对输入图像进行预处理、分析编码、特征融合和解码可以将给定的风格特征作用到原始人脸图像，从而得到风格化的人脸图像。以往的风格迁移方法需要耗费大量的计算资源用于在风格图像和参考图像之间求解数值优化问题，近年出现了一些快速风格迁移方法，这些方法多是基于大量的同类型风格图像进行长时间训练，提取出特定的风格模型再将其渲染在参考图像上，这种类型的方法只能对图像整体的颜色纹理特征进行无差别的迁移，不具备语义级别的风格迁移能力。到目前为止，能够实现快速、准确、语义级别的任意风格迁移方法还没有出现。
技术实现思路
专利技术目的：针对以上现有技术存在的问题，本专利技术提出一种基于空间约束的人脸图像风格化方法，该方法旨在基于图像中的人脸空间特征点对应关系，在语义信息的指导下逐步进行快速准确的特征匹配与融合，从而实现快速的人脸图像风格化。技术方案：为实现本专利技术的目的，本专利技术所采用的技术方案是：一种基于空间约束的人脸图像风格化方法，该方法包括以下步骤：(1)对风格图像a、原始人脸图像b进行裁剪；(2)通过神经网络提取风格图像a、原始人脸图像b的人脸多层深度特征图以及人脸空间特征点；(3)根据神经网络最后一层的输出特征图，对人脸五官区域执行空间约束的特征块匹配；(4)根据特征块匹配结果，计算从风格图像a到原始人脸图像b的局部映射矩阵；(5)根据上述局部映射矩阵，将映射作用于整张图像；(6)将映射后的风格特征图与原始人脸特征图像融合，并将融合后的特征图放大到上一层尺寸；(7)返回上一层，迭代执行步骤(3)-(6)，得到风格化的人脸图像。进一步的，步骤(1)中，输入的风格图像、原始人脸图像进行裁剪，方法如下：给定两张风格不同的人脸图像，选取其中一张为风格图像，另外一张为将要执行风格化的原始图像，对输入的风格图像和原始图像进行裁剪获得人脸矩形图像，而且图像宽度和高度范围为200-600像素之间。进一步的，步骤(2)中，通过神经网络提取人脸的多层深度特征图以及人脸空间特征点，方法如下：(2.1)删除VGG19模型最后三层全连接层，保存VGG19前五层，设计和构造了用于人脸特征编码网络；(2.2)每层N中均包含卷积层、激活层、池化层，N＝1,2,3,4,5；(2.2)卷积层中，采用3*3的卷积核对上一层的输出执行卷积操作，卷积层用于提取图像的局部特征以及放大图像维度，各个大层经过卷积层后，维度分别为32、64、128、256、512；(2.3)激活层中，采用分段线性函数，将卷积层的输出归一化到指定范围内；(2.4)池化层中，通过2*2的最大值滤波器，使得图像长宽减小到原来的一半，各个层经过池化层后，尺寸分别为原图的1/1、1/2、1/4、1/8、1/16；(2.5)将五层按照串联形式首尾相连，就得到了用于特征提取的人脸特征编码网络；(2.6)采用五层中的池化层的输出作为深度特征图；(2.7)根据人脸特征点检测方法获取风格图像以及原始图像的3D人脸空间特征点。进一步的，步骤(3)中，对人脸五官区域执行空间约束的特征块匹配，获得从风格图到原始人脸图像的局部映射矩阵，方法如下：(3.1)将风格图像以及原始图像的3D人脸空间特征点空间坐标相连，分割出五官区域；(3.2)将风格图像a、原始图像b在本层的深度特征图分割为多个3*3的矩形特征块pa、pb；(3.2)定义从pa到pb的映射函数为即特征块pa是风格图像a的特征图中中与pb最相似特征块；(3.3)在原始图像b的人脸五官区域，为每一个特征块pb随机分配一个处于相同五官区域的特征块pa，即假设与pb最相似特征块是pa，即初始化映射函数为(3.4)在初始值的基础之上，搜索与特征块pb最相似的特征块pa，令Na(p)为风格图像a五官区域的所有特征块，Nb(p)为原始图像b五官区域的所有特征块，为原始图像b中特征块pb的特征值，在Na(p)中，找到能够使得下列能量函数最小的特征块pa的位置：pa∈Na(p)，pb∈Nb(p)上式最小，也即说明pa是与特征块pb最为相似的特征块，即pa与pb相互匹配，每次比较时，遍历当前匹配到的特征块pa周围的8个相邻的特征块pa1～pa8，依次计算他们的能量函数，如果找到更相似的特征块pai，就更新现在的匹配结果，将当前的pa设定为pai进一步的，步骤(4)中，获得从风格图到原始人脸图像的局部映射矩阵，方法如下：(4.1)求解局部特征块集合的重心：在局部特征匹配中得到了N对两两匹配的特征块集合，他们的的坐标集合记为{Pa,Pb}，分别求取这些坐标的均值得到质心的坐标{Ca,Cb}，令N(p)为风格图像a五官区域的所有特征块，N为这些特征块的总对数，Pa表示特征块的位置；则质心坐标的计算方式为，把所有五官区域的特征块的坐标相加，然后除以总个数N，即如下式：(4.2)求解局部特征块集合的标准差：在深度特征域，分别计算风格图像b和原始人脸图像a匹配完毕的所有特征块{Pa,Pb}坐标的标准差{Sa,Sb}，计算方法为，将所有五官区域的特征块位置减去质心位置，得到的差平方后相加，最后除以总个数N，即如下式：(4.3)SVD分解：直接应用Eigen矩阵运算库自带的奇异值分解函数对进行奇异值分解，得到三个矩阵U,S,Vt；U是由左奇异向量矩阵，S是对角线上的元素都为奇异值的矩阵,Vt是由右奇异向量矩阵；(4.4)计算旋转矩阵：将上面求得的矩阵U,Vt相乘后转置，得到旋转矩阵；即如下式：R＝(U*Vt)T(4.5)计算仿射矩阵：根据如下公式获得仿射矩阵M：M代表了从pa到pb的位置映射，pb∈Nb(p)，pa∈Na(p)也即风格图像a到原始图像b的特征图映射矩阵。进一步的，步骤(5)中，根据上述局部映射矩阵，将映射作用于整张图像，方法如下：将上一步计算得到的仿射矩阵M与所有尚未匹配的特征块pb的坐标相乘，结果作为剩余未匹配特征块的初始匹配值，令Mb(p)为图b中所有尚未匹配特征块集合，则即如下式：pb∈Mb(p)同样执行与步骤(3.4)中相同的迭代搜索策略，即每次遍历pb周围的8个相邻的特征块pa1～pa8，依次计算他们的能量函数，如果找到更相似的特征块pai，就更新现在的匹配结果，将当前的pa设定为pai，在深度特征域，按照映射函数将风格图a的所有特征块映射到原始人脸b中。进一步的，步骤(6)中，映射后的风格特征图与人脸特征图像融合，方法如下：(6.1)映射后的风格特征图与人脸特征图像融合，将两者按照如下公式加权相加：上式中，为第L层风格特征的权重，为第L层原始人脸特征的权重，不同层的上述权重值可以根据实际需要设置不同的值；表示将特征图中所有的特征块进行位置映射后得到的新的特征图，也即映射后的风格特征图；为原始人脸特征图；(6.2)将上述相加结果经过反卷积操作放大一倍，恢复到与上一层深度特征图相同的尺寸，反卷积放大得到的深度特征图记为进一步的，步骤(7)中，返回上一层，迭代执行步骤(3)-(6)，得到风格化的人脸图像，方法如下：(7.1)在网络第L层，将风格图像的特征图与原始人脸的特征图进行特征匹配和融合，并进行卷本文档来自技高网...

【技术保护点】
1.一种基于空间约束的人脸图像风格化方法，其特征在于，该方法包括以下步骤：(1)对风格图像a、原始人脸图像b进行裁剪；(2)通过神经网络提取风格图像a、原始人脸图像b的人脸多层深度特征图以及人脸空间特征点；(3)根据神经网络最后一层的输出特征图，对人脸五官区域执行空间约束的特征块匹配；(4)根据特征块匹配结果，计算从风格图像a到原始人脸图像b的局部映射矩阵；(5)根据上述局部映射矩阵，将映射作用于整张图像；(6)将映射后的风格特征图与原始人脸特征图像融合，并将融合后的特征图放大到上一层尺寸；(7)返回上一层，迭代执行步骤(3)‑(6)，得到风格化的人脸图像。

【技术特征摘要】
1.一种基于空间约束的人脸图像风格化方法，其特征在于，该方法包括以下步骤：(1)对风格图像a、原始人脸图像b进行裁剪；(2)通过神经网络提取风格图像a、原始人脸图像b的人脸多层深度特征图以及人脸空间特征点；(3)根据神经网络最后一层的输出特征图，对人脸五官区域执行空间约束的特征块匹配；(4)根据特征块匹配结果，计算从风格图像a到原始人脸图像b的局部映射矩阵；(5)根据上述局部映射矩阵，将映射作用于整张图像；(6)将映射后的风格特征图与原始人脸特征图像融合，并将融合后的特征图放大到上一层尺寸；(7)返回上一层，迭代执行步骤(3)-(6)，得到风格化的人脸图像。2.根据权利要求1所述的一种基于空间约束的人脸图像风格化方法，其特征在于，步骤(1)中，对风格图像a、原始人脸图像b进行裁剪，方法如下：给定两张风格不同的人脸图像，选取其中一张为风格图像，另外一张为将要执行风格化的原始人脸图像，对输入的风格图像和原始图像进行裁剪获得矩形人脸图像，而且图像宽度和高度范围为200-600像素之间。3.根据权利要求2所述的一种基于空间约束的人脸图像风格化方法，其特征在于，步骤(2)中，通过神经网络提取风格图像a、原始人脸图像b的人脸多层深度特征图以及人脸空间特征点，方法如下：(2.1)删除VGG19模型最后三层全连接层，保存VGG19模型前五层，设计和构造人脸特征编码网络；(2.2)每层N中均包含卷积层、激活层、池化层，N＝1，2，3，4，5；(2.2)卷积层，采用3*3的卷积核对上一层的输出执行卷积操作，卷积层用于提取图像的局部特征以及放大图像维度，各个层经过卷积层后，维度分别为32、64、128、256、512；(2.3)激活层，采用分段线性函数，将卷积层的输出归一化到指定范围内；(2.4)池化层，通过2*2的最大值滤波器，使得图像长宽减小到原来的一半，各个层经过池化层后，尺寸分别为原图的1/1、1/2、1/4、1/8、1/16；(2.5)将五层按照串联形式首尾相连，得到用于特征提取的人脸特征编码网络；(2.6)采用五层中的各层的池化层输出作为深度特征图；(2.7)根据人脸特征点检测方法获取风格图像a以及原始图像b的3D人脸空间特征点。4.根据权利要求3所述的一种基于空间约束的人脸图像风格化方法，其特征在于，步骤(3)中，根据神经网络最后一层的输出特征图，对人脸五官区域执行空间约束的特征块匹配，方法如下：(3.1)将风格图像a以及原始图像b的3D人脸空间特征点空间坐标相连，分割出五官区域；(3.2)将风格图像a、原始图像b在最后一层的深度特征图分割为多个3*3的矩形特征块pa、pb；(3.2)定义从pa到pb的映射函数为即特征块pa是风格图像a的特征图中与pb最相似特征块；(3.3)在原始图像b的人脸五官区域，为每一个特征块pb随机分配一个处于相同五官区域的特征块pa，即假设与pb最相似特征块是pa，即初始化映射函数为(3.4)在初始值的基础之上，搜索与特征块pb最相似的特征块pa，令Na(p)为风格图像a五官区域的所有特征块，Nb(p)为原始图像b五官区域的所有特征块，为风格图像a中特征块pa的特征值，为原始图像b中特征块pb的特征值，在Na(p)中，找到能够使得下列能量函数最小的特征块pa：pa∈Na(p)，pb∈Nb(p)上式最小，也即说明pa是与特征块pb最为相似的特征块，即pa与pb相互匹配，每次比较时，遍历当前匹配到的特征块pa周围的8个相邻的特征块pa1～pa8，依次计算他们的能量函数，如果找到更相似的特征块pai，就更新现在的匹配结果，即将...

【专利技术属性】
技术研发人员：郑程耀，夏思宇，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32