一种基于方向场和螺旋线匹配的单幅图像头发重建方法技术

本发明专利技术公开了一种基于方向场和螺旋线匹配的单幅图像头发重建方法，分为4个阶段：第1阶段从输入的单幅图像出发，首先通过用户交互分割图像，利用得到的脸部区域重建出头部模型；第2阶段利用头发区域得到可靠的头发方向场信息，然后生成二维发丝段头发模型；第3阶段，根据第2阶段的结果对二维发丝进行螺旋线模型匹配，结合重建出的头部模型估计出发丝的深度值；第4阶段，利用二维发丝段头发模型和其对应的深度值，得到初始的可见区域三维头发模型，利用头发数据库得到背部不可见区域的头发模型，然后通过三维方向场重新生长得到稠密完整的头发模型。本发明专利技术能重建出与原图像十分形似的头发模型，且具有交互简便，易于用户操作等特点。

Single image hair reconstruction method based on directional field and helical line matching

The invention discloses a field matching direction and spiral line based on single image reconstruction method of hair, is divided into 4 stages: the first stage from a single image input of the first through the user interactive image segmentation using facial region reconstruction by the head model; the second stage use the hair area to get reliable information field direction of hair then, to generate two-dimensional hair hair model; the third stage, to match the helix model of two-dimensional hair according to the second stage of the results, combined with the head model is reconstructed to estimate the depth value of hair; the fourth stage, the use of two-dimensional hair hair model segment and its corresponding depth value, visible region 3D hair model initial. The use of hair database back hair model in the visible area, and then through the 3D orientation field re growth of dense full head Hair model. The invention can reconstruct the hair model which is very similar to the original image, and has the advantages of simple interaction and easy operation by users.

【技术实现步骤摘要】
一种基于方向场和螺旋线匹配的单幅图像头发重建方法
本专利技术属于计算机视觉与计算机图形图像处理领域，具体地说是一种基于方向场和螺旋线匹配的单幅图像头发重建方法，主要用于游戏、影视动画及虚拟现实等领域。
技术介绍
在计算机图形学中，对虚拟人物的三维建模，一直是研究者的一个重要的课题。无论是虚拟现实，电影特效，视频游戏或是其他计算机图形学、视觉相关的领域，视觉真实的人物建模技术都有广泛的应用。而头发则是人物的一个重要特征，头发的形态因人而异，有时甚至是区别不同人的重要标志。同时，构成头发的发丝非常多，头发的造型、运动及其光学特性都十分复杂，真实感的头发建模成为了计算机图形学的一个研究热点和难点。对特定形态的头发模型的几何建模一直是一件繁琐的工作。目前，大部分头发模型仍然依靠艺术家利用交互工具手工进行三维头发造型与建模的工作。近年来，不断开始有研究者尝试用自动化的方法，从图像数据中重建出与真实头发相近似的模型。然而目前基于图像的三维头发重建方法集中在基于多视点采集图像的建模，需要搭建复杂的采集环境，无法应用到实验室以外的环境。仅有的一些基于单幅图像的头发建模方法结果并不理想，所能建模的发型也比较有限且无法保证头发生长的均匀性和发丝深度的可靠性。
技术实现思路
本专利技术要解决的技术问题为：克服现有技术的不足，提供一种基于方向场和螺旋线匹配的单幅图像头发重建方法，该方法既能重建出外观与原图像十分相似的头发模型，又能保证发丝生长和深度信息的可靠性，具有较高的实用价值。本专利技术解决上述技术问题所采用的技术方案是：基于方向场和螺旋线匹配的单幅图像头发重建方法，其包括以下步骤：步骤(1)、基于用户的简单交互利用图像分割方法将图像分割为头发、脸部、身体和背景四大部分。然后利用脸部区域图像采用ASM方法自动标定人脸特征点，基于这些特征点与PCA降维后的三维头部模型数据库，通过最小二乘优化估算头部的变换参数来拟合头部三维模型。步骤(2)、对头发区域，采用方向滤波算子求解二维方向场及对应的置信图，基于此生长得到一系列稀疏的二维发丝曲线。步骤(3)、结合步骤(1)得到的三维头部模型和步骤(2)得到的二维发丝曲线，根据头发轮廓区域的深度连续性和二维发丝与螺旋线模型的映射关系进行能量优化，求解步骤(2)中得到的所有二维发丝的深度信息，并从原始输入图像中采样得到所有发丝顶点的RGB值。步骤(4)、在得到的三维头发模型基础上，在头发数据库中查找与之相似的头发模型来得到头部后面不可见区域的头发模型，并对两者做融合处理，使头发模型更加平滑。基于这些三维发丝通过插值生成足够稠密的能够包围头部的三维发丝集合作为最终重建出的头发模型，可以利用该头发模型来完善发型数据库，同时可以进行三维发型编辑、发型替换等应用操作。本专利技术与现有技术相比的优点在于：(1)、本专利技术在生成二维发丝段头发模型中，通过置信度迭代优化得到可靠的二维方向场，这样保证得到的二维发丝段头发模型与原始图像形态上的相似性。(2)、本专利技术在求解发丝深度值的过程中，通过结合生长出的二维发丝和螺旋线模型的映射关系得到可靠的发丝深度值，使得构建的头发模型更加真实。(3)、本专利技术从可见区域得到的头发模型出发，采用数据驱动的方法得到不可见头发区域的头发模型，通过两者平滑结合得到更加完整真实的头发模型。附图说明图1是本专利技术一种基于方向场和螺旋线匹配的单幅图像头发建模方法流程图；图2是本专利技术中用户交互对图像进行分割和结果示意图；图3是本专利技术中从二维发丝映射得到三维螺旋线模型的示意图；图4是本专利技术中针对不同发型得到的三维头发模型结果图。具体实施方式下面结合附图对本专利技术实施例进行详细的描述。本专利技术的实施过程主要分成四个步骤：图像分割与头部模型重建、二维发丝生长、三维发丝深度值求解、模型融合及生成。步骤(1)、图像分割与头部模型重建基于用户的简单交互利用图像分割方法将图像分割为头发、脸部、身体和背景四大部分。然后利用脸部区域图像采用ASM方法自动标定人脸特征点，基于这些特征点与PCA降维后的三维头部模型数据库，通过最小二乘优化估算头部的变换参数来拟合头部三维模型。步骤(2)、二维发丝生长对头发区域，采用Gabor核函数对头发区域进行滤波操作得到二维方向场及对应的置信图，通过迭代计算得到干净可靠的二维方向场。然后将得到的稀疏二维方向场转换为对应单独发丝结构的曲线几何的集合，由此得到一系列的二维发丝曲线。步骤(3)、三维发丝深度值求解结合步骤(1)得到的三维头部模型和步骤(2)得到的二维发丝曲线，根据头发轮廓区域的深度连续性和二维发丝与螺旋线模型的映射关系进行能量优化，求解步骤(2)中得到的所有二维发丝的深度信息，并从原始输入图像中采样得到所有发丝顶点的RGB值。其主要步骤为：3.1给定输入的单幅图像，我们的目标是重建出发丝级别的三维头发模型。在得到二维发丝段以后，我们通过最小化结合基本深度信息和三维螺旋线模型的能量函数来得到深度图d。其中，Eb，Eh分别代表基本深度和螺旋线匹配深度的能量项，λb，λh是与之对应的权重值，分别表示像素p的深度值，基本深度值和螺旋线匹配的深度值。3.2我们将步骤(1)重建的三维脸部区域的深度作为基本形状Ωf，将背景的深度设置为头部中心线的深度。我们通过用户根据头发边界线画出的头发轮廓区域得到头发区域的基本深度信息Ωh，这样头发的基本深度信息可以通过以下公式求解。其中，dp表示像素p的深度值，表示背景区域的深度值，表示头发边界区域的梯度值，n表示头发轮廓区域Ωh的法线。3.3分段螺旋线模型可以很好的表示一根头发的集合信息，为了估计头发丝S的深度信息，我们首先用一个2维投影螺旋线模型去拟合发丝S，然后利用上述基本的深度值重建出真实的三维螺旋线。将每条发丝都拟合到一个对应的二维螺旋线模型上。对于给定的发丝二维坐标p，切线方向然后利用下述能量方程进行求解。其中，p表示点p的二维坐标，是点p的切线，H*(tp)，分别表示螺旋线模型的二维坐标和对应的切线值，wr||tp||2是用来平滑过拟合的正则项。3.4为了从投影的二维投影中得出重建的三维螺旋线模型，我们仍然需要求解出相对投影平面的旋转角φ和沿着投影轴平移向量dz。当三维螺旋线模型投影到二维平面上时，φ可以表示为模型的凹凸情况。这样三维螺旋线模型的深度部分可以表示为d(H*(t))＝cos(φ)(acos(t)+bsin(t))+csin(φ)t+mz(4)其中，H*(t)表示螺旋线模型，φ表示相对投影平面的旋转角，mz表示螺旋线模型沿着投影轴的平移量。3.5我们利用基本的深度值dp求解上述d(H*(t))，沿着二维螺旋线模型依次采样每个像素点(tp,dp)的深度值，最小化能量方程(5)得到φ和dz的最优解。其中，d(H*(tp))表示p位置螺旋线模型对应的深度值，dp表示p位置头发模型对应的深度值。将求解出的最优化参数带入公式(4)中得到三维螺旋线模型的深度值我们将这些估计出的连续三维螺旋线模型深度值作为公式(1)中的Eh代入能量方程求解得到最终深度图d。步骤(4)、模型融合及生成在得到的三维头发模型基础上，在头发数据库中查找与之相似的头发模型来得到头部后面不可见区域的头发模型，并对两者做融合处理，使头发模型更加平滑。基于这些三维发丝本文档来自技高网...

【技术保护点】
一种基于方向场和螺旋线匹配的单幅图像头发重建方法，其特征在于包括以下步骤：步骤(1)、基于用户的简单交互利用图像分割方法将图像分割为头发、脸部、身体和背景四大部分，然后利用脸部区域图像采用ASM方法自动标定人脸特征点，基于这些特征点与PCA降维后的三维头部模型数据库，通过最小二乘优化估算头部的变换参数来拟合头部三维模型；步骤(2)、对头发区域，采用方向滤波算子求解二维方向场及对应的置信图，基于此生长得到一系列稀疏的二维发丝曲线；步骤(3)、结合步骤(1)得到的三维头部模型和步骤(2)得到的二维发丝曲线，根据头发轮廓区域的深度连续性和二维发丝与螺旋线模型的映射关系进行能量优化，求解步骤(2)中得到的所有二维发丝的深度信息，并从原始输入图像中采样得到所有发丝顶点的RGB值；步骤(4)、在得到的三维头发模型基础上，在头发数据库中查找与之相似的头发模型来得到头部后面不可见区域的头发模型，并对两者做融合处理，使头发模型更加平滑，基于这些三维发丝通过插值生成足够稠密的能够包围头部的三维发丝集合作为最终重建出的头发模型，可以利用该头发模型来完善发型数据库，同时可以进行三维发型编辑与发型替换应用操作。

【技术特征摘要】
1.一种基于方向场和螺旋线匹配的单幅图像头发重建方法，其特征在于包括以下步骤：步骤(1)、基于用户的简单交互利用图像分割方法将图像分割为头发、脸部、身体和背景四大部分，然后利用脸部区域图像采用ASM方法自动标定人脸特征点，基于这些特征点与PCA降维后的三维头部模型数据库，通过最小二乘优化估算头部的变换参数来拟合头部三维模型；步骤(2)、对头发区域，采用方向滤波算子求解二维方向场及对应的置信图，基于此生长得到一系列稀疏的二维发丝曲线；步骤(3)、结合步骤(1)得到的三维头部模型和步骤(2)得到的二维...

【专利技术属性】
技术研发人员：齐越，丁志鹏，包永堂，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11