基于多特征检索和形变的人体发型生成方法技术

基于多特征检索和形变的人体发型生成方法，包括：获取发型掩膜；识别人脸的特征点，和发型数据库中的匹配；将图像和标准人脸对齐，得到相应的头发区域；计算所述头发区域和发型数据库中所有正面人脸的头发掩膜的闵氏距离；并在从小到大排序后赋予相应的权重；训练深度学习网络，检测不同尺度下头发基础块的发型；取出最相似的头发图片。本发明专利技术利用单张正面人脸照片，通过检索数据库在大型的三维发型数据库检索与照片最相似的三维头发模型，避免手动建模，提高了效率，保证了较高的逼真度。

【技术实现步骤摘要】
基于多特征检索和形变的人体发型生成方法
本专利技术涉及三维图像领域，具体地说是一种基于多特征检索和形变的人体发型生成方法。
技术介绍
头发模型的生成属于三维头部重建技术，是虚拟人物形象中的重要部分，是虚拟人最重要的特征之一。通常，头像的通常分为面部和头发两个部分。对于头发重建技术，目前广泛采用的方式是：以一张正面照和一张侧面照作为信息来源，提取人物正面、侧面的面部和头发特征点，生成三维头部模型，根据头发特征点生成二维头部纹理，映射到三维头部模型上，根据头发区域特征点，用昆氏曲面进行头发区域的拟合，将昆氏曲面形变，并进行纹理贴图。而基于单张照片进行建模，一般从三维人脸数据库中提取有用的先验知识，然后去推测照片中人脸所对应的三维模型。以及：WO2016/CN107121号文件公开了一种用户头发模型的重建方法、装置及终端，包括：获取被重建用户的人脸正视图像；确定其头发区域图像；将头发区域与发型数据库中的三维3D头发模型进行匹配，得到与所述头发区域图像最接近的3D头发模型；将与所述头发区域最接近的3D头发模型确定为被重建用户的3D头发模型。CN201680025609.1号中国专利申请涉及一种三维头发建模方法及装置，包括：确定待创建头发的3D头部模型以及预设的参考头部模型之间的第一坐标变换关系，以及确定3D头部模型与预设的3D头发模板之间的第二坐标变换关系，基于第一坐标变换关系以及第二坐标变换关系将3D头部模型与3D头发模板进行配准；3D头发模板和参考头部模型相匹配；检测到配准后的3D头发模板存在错误区域时，使用径向基函数RBF对3D头发模板的错误区域中的头发进行形变，以矫正错误区域；错误区域包括3D头发模板中未完全遮挡3D头部模型的头皮层区域或者3D头发模板中的发根区域遮挡3D头部模型的非头皮层区域。CN201310312500.4号中国专利涉及一种三维头像自动生成方法，包括：三维人脸库；收集三维发型库；对输入的正面人脸照片，使用人脸检测算法检测人脸，并使用主动形状模型定位人脸正面特征点；基于三维人脸库、输入的人脸照片和人脸特征点坐标，用形变模型方法生成三维人脸模型；对输入的正面人脸照片，用基于马尔科夫随机场的头发方法分割头发；根据头发分割结果，提取头发纹理；获得最终匹配的头发模型；将人脸模型与头发模型合成。避免手工添加发型，提高效率，能够保证较高的逼真度。CN201410161576.6公开了一种虚拟人头发生成的装置，包括：获取单元获取人脸正面照；第一确定单元根据所述获取的所述人脸正面照，确定三维头部模型，并确定头发模板的适配值；第二确定单元根据所述第一确定单元确定的所述头发模板的适配值，在预置的头发模板标准适配值和标准头发模板的描述信息的对应关系中，确定所述头发模板的适配值对应的标准头发模板的描述信息；生成单元根据所述第二确定单元确定的所述标准头发模板的描述信息和所述第一确定单元确定的所述三维头部模型，得到适用于所述三维头部模型的专属头发模板。在重建照片上人物头发时，只需要一张人物正面照，而且不需要采集头发特征点。
技术实现思路
本专利技术为解决现有的问题，旨在提供一种基于多特征检索和形变的人体发型生成方法。为了达到上述目的，本专利技术采用的技术方案包括如下步骤：1)基于单张图片的发型自动分割得到其对应的发型掩膜。2)使用人脸特征点识别算法，识别出输入图片人脸的特征点，并且根据这些特征点和发型数据库的标准人脸的特征点进行匹配，求出对应的翘曲函数。3)使用得到的翘曲函数，将输入图片的人脸和标准人脸对齐，从而得到相应对齐的头发区域。4)为了得到形状区域的相似性，将对齐后的待检索头发的掩膜与发型库中所有发型的正面的掩膜计算相应的闵可夫斯基距离，把得到的距离从小到大排序后赋予相应的权重。5)为了保留头发的细节特征，通过霍斯道夫距离对于头发的细节相似度进行计算，重复4)的步骤进行赋权。结合4)的权重对于匹配的发型进行排序，取出前十位最相似的发型。6)计算十个最相似头发的流向场，与待检测发型做匹配运算，得出五个更为相似的发型。7)训练深度学习网络，检测不同尺度下头发基础块的发型，这里分为直发，卷发，小卷发，编发四种基本发型。然后对待检测头发图片与五个候选头发做多尺度下的直方图匹配，获得不同的匹配得分。按照几个个距离的权重混合，得到了发型数据库每一种发型的不相似得分，将这些得分排序、取出最小的分数，即为所需要的头发模型。步骤三中，输入人脸的特征点与标准的人脸的特征点匹配对齐，即求解一个二维的仿射变换：上式中，s是缩放比例，θ是旋转角度，t代表平移的位移，其中R是一个正交矩阵。步骤四中，首先基于闵可夫斯基距离，对发型掩膜进行检索；然后，针对显著特征，进行权重叠加；其次，基于霍斯道夫距离的对发型再次检索；最后，基于头发流向信息的发型检索。步骤四中，定义待检索发型的掩膜为H，发型数据库中的一个发型的掩膜为Bi。相对应的闵氏距离则为:k为把掩膜拉成一位向量后的下标。P为闵氏距离的参数，这里可以取p为2。通过以上公式，可以用当前输入发型与数据库中所有的发型做闵氏距离的比较，最后从小到大排序，得到发型库相应发型的分数排名向量M。步骤四中，对于发型的非常显著的特征，赋予相应更高的权重；对于检索到的所有候选发型，会基于额头部分25％的权重增加；设定在标准头部刘海区域为L，在通过人脸对齐之后，在输入照片的的L区域，和标准头部L区域做比对——不一致的地方，权重按照1.25倍增加；将这些显著性区域和之前的闵科夫斯基距离相加，排序，得到改进的闵科夫斯基距离向量M2。步骤四中，定义待检索的发型掩膜为H，发型库的标准发型为B。相对应的霍斯道夫距离为：其中，sup代表上确界，inf代表下确界；通过以上公式对于当前输入发型与数据库中所有的发型作闵氏距离的比较，最后从小到大排序得到相应的排名向量H。步骤四中，用基于梯度的方法求取头发的流向场；对于输入的发型照片I，首先求取头发的横向梯度：dx(i，j)＝[I(i+1，j)-I(i-1，j)]/2再求取头发的纵向梯度：dy(i，j)＝[I(i，j+1)-I(i，j-1)]/2那么头发的流向场C满足：[Cx，Cy]·[dx，dy]T＝0带入可求得流向场C；将C的相似度作为衡量标准加入到排序中，得到排序向量L。步骤五中，基于头发卷基础块的发型识别与匹配：利用标注好的不同类型的头发数据利用深度学习网络构建模型训练得到头发网络；将输入头发通过高斯金字塔采样出不同不同尺度的输入图像和发型库中的标准图像；通过对头发部分做超像素分割，再对这些头发块做一致性拉升，得到大小相同的小片；将小片导入头发网络中。步骤六中，基于多特征融合的检索，即对于M2、H和L，分别赋权重a∶b∶c，将三个向量融合得到综合排序向量F：F＝aM2+bH+cL将F从小到大排序，选出前N位作为候选发型；在这N个候选发型中，对头发卷直相似程度进行排序，选出排位最靠前的作为最后检索的候选结果。和现有技术相比，本专利技术利用单张正面人脸照片，通过检索数据库在大型的三维发型数据库检索与照片最相似的三维头发模型，避免手动建模，提高了效率；并且对于检索到的模型进行一定程度的变形，使得生成的三维发型和输入图片尽可能的相似，保证了较高的逼真度。附图说明图1为掩膜获取的操本文档来自技高网...

【技术保护点】
1.一种基于多特征检索和形变的人体发型生成方法，其特征在于包括如下步骤：步骤一，获取单张正面人脸图像中的发型掩膜；步骤二，识别人脸的特征点，和发型数据库中的人脸进行匹配；步骤三，将图像和标准人脸对齐，得到相应的头发区域；步骤四，计算所述头发区域和发型数据库中所有正面人脸的头发掩膜的闵氏距离；并在从小到大排序后赋予相应的权重；步骤五，计算若干最相似头发的流向场，与待检测发型做匹配运算；步骤六，训练深度学习网络，检测不同尺度下头发基础块的发型；对待检测头发图片与若干候选头发做多尺度下的直方图匹配，获得不同的匹配得分；最后，取出最相似的头发图片。

【技术特征摘要】
1.一种基于多特征检索和形变的人体发型生成方法，其特征在于包括如下步骤：步骤一，获取单张正面人脸图像中的发型掩膜；步骤二，识别人脸的特征点，和发型数据库中的人脸进行匹配；步骤三，将图像和标准人脸对齐，得到相应的头发区域；步骤四，计算所述头发区域和发型数据库中所有正面人脸的头发掩膜的闵氏距离；并在从小到大排序后赋予相应的权重；步骤五，计算若干最相似头发的流向场，与待检测发型做匹配运算；步骤六，训练深度学习网络，检测不同尺度下头发基础块的发型；对待检测头发图片与若干候选头发做多尺度下的直方图匹配，获得不同的匹配得分；最后，取出最相似的头发图片。2.根据权利要求1所述的一种基于多特征检索和形变的人体发型生成方法，其特征在于：通过霍氏距离对头发的细节相似度进行计算，重复步骤四的步骤进行赋权；结合步骤四的权重对于匹配的发型进行排序，取出前十位最相似的发型。3.根据权利要求1或2所述的一种基于多特征检索和形变的人体发型生成方法，其特征在于：步骤三中，输入人脸的特征点与标准的人脸的特征点匹配对齐，即求解一个二维的仿射变换：上式中，s是缩放比例，θ是旋转角度，t代表平移的位移，其中R是一个正交矩阵。4.根据权利要求2所述的一种基于多特征检索和形变的人体发型生成方法，其特征在于：步骤四中，首先基于闵氏距离，对发型掩膜进行检索；然后，针对显著特征，进行权重叠加；其次，基于霍斯道夫距离的对发型再次检索；最后，基于头发流向信息的发型检索。5.根据权利要求4所述的一种基于多特征检索和形变的人体发型生成方法，其特征在于：步骤四中，定义待检索发型的掩膜为H，发型数据库中的一个发型的掩膜为Bi。相对应的闵氏距离则为:k为把掩膜拉成一位向量后的下标。P为闵氏距离的参数，这里可以取p为2。通过以上公式，可以用当前输入发型与数据库中所有的发型做闵氏距离的比较，最后从小到大排序，得到发型库相应发型的分数排名向量M。6.根据权利要求5所述的一种基于多特征检索和形变的人体发型生成方法，其特征在于：步骤四中，对于发型的非常显著的特征，赋予相应更高的权重...

【专利技术属性】
技术研发人员：蒋琪雷，马原曦，张迎梁，
申请(专利权)人：叠境数字科技上海有限公司，
类型：发明
国别省市：上海,31