面向移动端的虚拟试衣的人体模型脸部分区域建模方法技术

本发明专利技术公开了一种面向移动端虚拟试衣的人体模型脸部分区域建模方法。将人体模型的脸部点云降维渲染为二维图像，检测定位二维人脸界标。根据参考点对，将二维图像界标迁移到三维点云界标，并恢复z值，扩充人体模型的人脸区域界标。基于稀疏三维界标位置和整体性形状约束，对人脸人体模型进行非匹配弱刚性局部配准。使用连接层迭代界标位置，根据整体性形状惩罚人脸模型。切割人体模型的头部区域去除配准干涉，将边界点对作为贝塞尔曲线端点，在配准形成的缺失区域填充插值点并网格化。根据格栅化边界和法向量生成填充环，完成合并拼接。本发明专利技术适用于面向移动端虚拟试衣的三维人体重建，提供了身材参考和脸部认同感，有助于虚拟试衣的进一步推广。

【技术实现步骤摘要】
面向移动端的虚拟试衣的人体模型脸部分区域建模方法
本专利技术属于计算机视觉
，具体地涉及一种面向移动端虚拟试衣的人体模型脸部分区域建模方法。
技术介绍
随着移动互联网的发展和电商的繁荣，在线的虚拟试衣为消费者和商家降低了时间和经济成本，消费者通过移动端提交人体和人脸特征信息，搭配挑选的服装，实现快捷方便的个性化虚拟试衣。其中，二维图像人体特征的获取和三维人体模型的重建模型是虚拟试衣的前提，精确的人体形状估计又是三维人体重建的基础，丰富的脸部细节表达则能增强重建人体模型的真实性。目前研究存在的缺点是，基于统计人体模型的三维人体重建无法捕捉二维图像中的面部特征，重建的模型面部形状和表情为中性，且缺少面部纹理，其模型仅能为虚拟试衣提供身材参考；基于统计人脸模型的三维人脸重建，重建的范围最大仅能延伸到耳部和颈部，缺少真实的人体支撑，仅能增加消费者对虚拟试衣模型的认同感；将面部特征集成到统计人体模型面临数据集缺失的问题，相对于仅具有清晰的人体结构或者面部特征，同时具备两者的二维图像数据集相对缺失；目前的三维人脸界标定位算法由于缺少足够的三维人脸训练集，算法的鲁棒性和计算速度有待提升；非刚性配准在人脸方面的应用依赖于刚度集等初始值的选择，无法鲁棒的应对存在缺失结构和结构不匹配的情形。
技术实现思路
针对现有技术中存在的问题，本专利技术提出了一种面向移动端的虚拟试衣的人体模型脸部分区域建模方法，对三维人体和人脸模型进行局部非匹配弱刚性配准，移除两者的干涉区域，缝合插值生成填充环，生成具有细致面部特征和精准人体形状的三维人体模型，其能够精准的表达人体形状和人脸特征，为虚拟试衣提供身材参考和人脸认同。为实现上述目的，本专利技术采用的技术方案是：一种面向移动端虚拟试衣的人体模型脸部分区域建模方法，具体包括如下步骤：(1)消费者在移动端分别提交真实人体图像和真实人脸图像，将所述人体图像经三维人体重建模块处理后生成三维人体模型，将所述人脸图像经人脸重建模块处理生成三维人脸模型；(2)将步骤(1)获得的三维人体模型的脸部区域进行渲染降维检测，得到二维渲染人体图像，构建三维人体模型中人脸区域与二维渲染人体图像的参考点对，根据所述参考点对求解两者坐标变换，实现在三维人体模型的脸部区域扩充三维点云界标；对齐扩充的三维点云界标，约束惩罚整体性形状，对三维人体模型与三维人脸模型进行局部非匹配弱刚性配准；(3)将三维人体模型的头部区域切割，移除脸部区域，获取切割后三维人体模型与三维人脸模型的匹配边界点对。在三维人体模型头部区域切割形成的空白区域进行贝塞尔曲线插值，并三角网格化插值点生成拓扑结构，基于格栅化边界和面片法向量，删除生成拓扑结构的鼓面结构以构建填充环，组合填充环、切割的三维人体模型和三维人脸模型生成具有真实人脸的三维人体模型。进一步地，步骤(2)具体包含以下子步骤：(2.1)在人体模型正交投影过程中，保持相机的z轴与三维人体模型的z轴平行，同时，满足所述三维人体模型的前景颜色与背景颜色的灰度差超过0.6，渲染生成二维人体图像；分割裁切二维人体图像的脸部区域，利用人脸目标检测，提取所述二维人体图像的脸部区域界标；(2.2)三维人体模型的点云三维直角坐标系被降维为二维直角坐标系其中，O1为原点，为二维直角坐标系的x轴基向量，为二维直角坐标系的y轴基向量，将降维的二维直角坐标系与二维人体图像的直角坐标系I2进行转换，具体为：选取降维的二维直角坐标系与二维人体图像的直角坐标系I2对应的左耳点对右耳点对和头点对作为参考点，以鼻点作为生成对应参考点的基准点，为二维人体图像的二维界标，为筛选出三维人体模型脸部区域ΩH-head中z值的最大点；遍历比较二维人体图像的的像素浮点灰度值N＝0.3R+0.59G+0.11B，其中，R为红色通道值，G为绿色通道值，B为蓝色通道值，为与同x值的左侧像素突变点，为与同x值的右侧像素突变点，为与同y值的上边像素突变点；再以为基准点，根据三维人脸模型上的坐标值筛选误差位于δ范围内的点，取筛选点云中的极值即为三维人体模型点云的参考点(2.3)在完成二维人体图像的直角坐标系I2到降维二维直角坐标系转换后，在头部区域ΩH-head中寻找距离二维界标的多义最近点，选择深度位于前半头范围的最近点作为脸部区域扩充的三维点云界标；(2.4)求解从三维人脸模型的直角坐标系I3到三维人体模型的直角坐标系I1的变换α2＝f(A,b,C)＝C(Αα3+b)，其中，α3为三维人脸模型中的界标，α2为三维人体模型的界标，A为第一配准系数，b为第二配准系数，C为对角矩阵；该变换实现对人脸模型的旋转、平移和整体性形状缩放，变换顺序具体如下：对齐三维人体模型的脸部区域和人脸模型的三维点云界标，迭代优化第一配准系数A和第二配准系数b，当三维点云界标间的距离误差梯度小于设定阈值或者达到最大迭代步数时，停止优化迭代；之后根据约束人脸的宽度缩放系数和约束人脸的高度缩放系数惩罚头部区域，完成三维人体模型与三维人脸模型的局部非匹配弱刚性配准。进一步地，步骤(3)具体包含以下子步骤：(3.1)在完成三维人体模型与三维人脸模型的局部非匹配弱刚性配准后，根据三维人体模型点云的z值移除脸部区域的点云，并对切割后三维人体模型的三角网格结构进行更新；切割的人体模型与配准后人脸模型间仍存在区域空缺ΩF-bound，以切割后的三维人体模型和三维人脸模型的边界点对作为插值曲线的首末端，利用点云插值填充空缺区域；对于切割后的三维人体模型，三维人体模型的边界点集ΩH-bound为删除三角面片包含的顶点集ΩH-fcp与删除的顶点集ΩH-face的差集；对于变换后的人脸模型，根据每个顶点所构成三角面片的数量判定三维人脸模型的边界点集ΩF-bound；将三维人脸模型的边界点集ΩF-bound与三维人体模型的边界点集ΩH-bound进行边界点配对，对于三维人脸模型的边界点集中的每个点Pfi，取对应配对点集即为稠密边界点集中的每个点寻找稀疏边界点集中与该点距离最小的前n个对应点；(3.2)以边界点对{(Pfi,Phk)}作为插值曲线的首末端点，基于三维贝塞尔曲线，通过添加控制点方式在空白区域生成插值点；选取头部区域ΩH-head中所有顶点的质心作为相对坐标系的原点，通过变半径插值方式生成控制点，计算Pfi和Phk与坐标轴<ex,ey,ez〉构成的角度差，计算Pfi和Phk与构成的半径差，并在两者角度差二分之一处插入控制点Pc，并调整α控制贝塞尔曲线的形状；贝塞尔曲线在u∈[0,1]等间隔取值，得到配准后空白区域的插值顶点集{P(u)}，其中，u为插值参数；(3.3)对插值顶点集{P(u)}和边界点对{(Pfi,Phk)}进行三角网格化处理，取三维德劳内剖分最外层的边界构成三维凸包面集{Fch}；鼓面仍可能干涉人脸模型原有的拓扑结构，将三维人脸模型的边界点集ΩF-bound格栅化以拟合逼近生成人脸不规则外形，将ΩF-bound的y值范围细分为等间隔Δy的区间{[y0,y1],[y1,y2],...,[yn本文档来自技高网...

【技术保护点】
1.一种面向移动端虚拟试衣的人体模型脸部分区域建模方法，其特征在于：具体包括如下步骤：/n(1)消费者在移动端分别提交真实人体图像和真实人脸图像，将所述人体图像经三维人体重建模块处理后生成三维人体模型，将所述人脸图像经人脸重建模块处理生成三维人脸模型；/n(2)将步骤(1)获得的三维人体模型的脸部区域进行渲染降维检测，得到二维渲染人体图像，构建三维人体模型中人脸区域与二维渲染人体图像的参考点对，根据所述参考点对求解两者坐标变换，实现在三维人体模型的脸部区域扩充三维点云界标；对齐扩充的三维点云界标，约束惩罚整体性形状，对三维人体模型与三维人脸模型进行局部非匹配弱刚性配准；/n(3)将三维人体模型的头部区域进行切割，移除脸部区域，获取切割后三维人体模型与三维人脸模型的匹配边界点对，在三维人体模型头部区域切割形成的空白区域进行贝塞尔曲线插值，并三角网格化插值点生成拓扑结构，基于格栅化边界和面片法向量，删除生成拓扑结构的鼓面结构以构建填充环，组合填充环、切割的三维人体模型和三维人脸模型生成具有真实人脸的三维人体模型。/n

【技术特征摘要】
1.一种面向移动端虚拟试衣的人体模型脸部分区域建模方法，其特征在于：具体包括如下步骤：
(1)消费者在移动端分别提交真实人体图像和真实人脸图像，将所述人体图像经三维人体重建模块处理后生成三维人体模型，将所述人脸图像经人脸重建模块处理生成三维人脸模型；
(2)将步骤(1)获得的三维人体模型的脸部区域进行渲染降维检测，得到二维渲染人体图像，构建三维人体模型中人脸区域与二维渲染人体图像的参考点对，根据所述参考点对求解两者坐标变换，实现在三维人体模型的脸部区域扩充三维点云界标；对齐扩充的三维点云界标，约束惩罚整体性形状，对三维人体模型与三维人脸模型进行局部非匹配弱刚性配准；
(3)将三维人体模型的头部区域进行切割，移除脸部区域，获取切割后三维人体模型与三维人脸模型的匹配边界点对，在三维人体模型头部区域切割形成的空白区域进行贝塞尔曲线插值，并三角网格化插值点生成拓扑结构，基于格栅化边界和面片法向量，删除生成拓扑结构的鼓面结构以构建填充环，组合填充环、切割的三维人体模型和三维人脸模型生成具有真实人脸的三维人体模型。


2.根据权利要求1所述面向移动端虚拟试衣的人体脸部分区域建模方法，其特征在于：步骤(2)包括如下子步骤：
(2.1)在人体模型正交投影过程中，保持相机的z轴与三维人体模型的z轴平行，同时，满足所述三维人体模型的前景颜色与背景颜色的灰度差超过0.6，渲染生成二维人体图像；分割裁切二维人体图像的脸部区域，利用人脸目标检测，提取所述二维人体图像的脸部区域界标；
(2.2)三维人体模型的点云三维直角坐标系被降维为二维直角坐标系其中，O1为原点，为二维直角坐标系的x轴基向量，为二维直角坐标系的y轴基向量，将降维的二维直角坐标系与二维人体图像的直角坐标系I2进行转换，具体为：选取降维的二维直角坐标系与二维人体图像的直角坐标系I2对应的左耳点对右耳点对和头点对作为参考点，以鼻点作为生成对应参考点的基准点，为二维人体图像的二维界标，为筛选出三维人体模型脸部区域ΩH-head中z值的最大点；遍历比较二维人体图像的的像素浮点灰度值N＝0.3R+0.59G+0.11B，其中，R为红色通道值，G为绿色通道值，B为蓝色通道值，为与同x值的左侧像素突变点，为与同x值的右侧像素突变点，为与同y值的上边像素突变点；再以为基准点，根据三维人脸模型上的坐标值筛选误差位于δ范围内的点，取筛选点云中的极值即为三维人体模型点云的参考点
(2.3)在完成二维人体图像的直角坐标系I2到降维二维直角坐标系转换后，在头部区域ΩH-head中寻找距离二维界标的多义最近点，选择深度位于前半头范围的最近点作为脸部区域扩充的三维点云界标；
(2.4)求解从三维人脸模型的直角坐标系I3到三维人体模型的直角坐标系I1的变换α2＝f(A,b,C)＝C(Αα3+b)，其中，α3为三维人脸模型中的界标，α2为三维人体模型的界标，A为第一配准系数，b为第二配准系数，C为对角矩阵；该变换实现对人脸模型的旋转、平移和整体性形状缩放，变换顺序具体如下：对齐...

【专利技术属性】
技术研发人员：裘乐淼，房乃玉，张树有，王阳，王自立，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33