一种带有骨骼信息的人脸重构方法和系统技术方案

本发明专利技术提供一种带有骨骼信息的人脸重构方法和系统，该系统包括预处理模块和刷新模块，预处理模块遍历带有骨骼信息的头部模型的顶点坐标，将所述带有骨骼信息的头部模型与标准头部模型进行坐标顶点对的一一比较，高于所述阈值的顶点为拼接变化点，并记录所述拼接变化点的索引值，刷新模块对人脸进行扫描，得到扫描人脸的顶点信息，然后根据顶点信息与人脸的特征点的变化函数对所述带有骨骼信息的头部模型的顶点信息进行刷新，所刷新的顶点不包括所述拼接变化点，只刷新除了所述拼接变化点之外的顶点的三维信息，从而得到带有骨骼信息的扫描人脸模型。本发明专利技术提供的带有骨骼信息的人脸重构方法和系统，快速构建出带有躯干骨骼信息的人脸模型，为用户提供更加真实而快捷的体验。

Face reconstruction method and system with skeleton information

The invention provides a skeleton information face reconstruction method and system, the system includes pre-processing module and refresh module, head model preprocessing module with vertex coordinates traverse the skeleton information, head model and standard head model with skeletal information are one of the vertex coordinates is higher than the threshold the vertex mosaic change point, and recording the changes of the splicing index value, refresh module to scan the face, the face can be scanned and then refresh the vertex information, according to the head model function feature point vertex information and face with information on the skeletal vertex information, the vertex refresh does not include the mosaic change point, three-dimensional information only in addition to refresh the splicing change point vertex, so as to obtain information with bone scan Facial model. The invention provides a face reconstruction method and system with skeleton information, and rapidly constructs a face model with trunk skeleton information to provide more real and quick experience for users.

【技术实现步骤摘要】
一种带有骨骼信息的人脸重构方法和系统
本专利技术属于计算机视觉领域，具体涉及一种带有骨骼信息的人脸重构方法和系统。
技术介绍
三维重建是计算机视觉、计算机图像和计算机图形学的领域，也是重要的图形学图像学交叉点，而针对于人脸的三维重建更是在人脸识别、个性定制化游戏、虚拟现实和安全部门的等领域拥有广泛的应用。然而人脸具有独一无二性和多变性，这也就给人脸重建的研究带来了挑战。近期，随着立体成像器件如三维扫描仪的快速发展，三维人脸重建技术越来越成为计算机视觉、人工智能、虚拟现实等前沿领域的热点内容。在虚拟现实中，用户可以根据自己的喜好，更换虚拟角色的造型，如发型、服饰、表情、场景等，每个用户都希望获得一个符合自己容貌，身材等特征的三维数字化的化身，而三维扫描技术可以生成数字化的化身并进入到三维场景中进行沉浸式交互体验。三维扫描是集光、机、电和计算机技术于一体的高新技术，主要用于对物体空间外形和结构及色彩进行扫描，以获得物体表面的空间坐标，利用三维扫描的技术可以快速的获得人脸的三维模型。真实感人脸动画是在三维人脸模型上实时地模拟真实人脸的各种表情和动作。然而扫描生成的人脸三维模型只有几何信息和颜色信息，而不具备动画信息。为了获得扫描人脸的动画信息，需要根据扫描人脸对标准人脸进行重建。现有技术是首先建立一个标准头部模型，然后通过扫描仪扫描得到人脸信息，然后将扫描的头部信息与标准头部模型进行融合，但是融合后的头部模型并没有含有躯干的骨骼信息，还需要对融合后的头部模型与躯干模型进行拼接。然而，头部与躯干交汇处会因为个体的差异，比如颈部的粗细等原因，导致头部和躯干无法直接贴合，这就需要在头部和躯干拼接后，工作人员对拼接后的模型进行手工再处理，比如对头部模型的颈部进行拉伸或者压缩使其完全贴合。这种处理的方法需要花费时间对每个头部模型的颈部和躯干连接的部分进行手动调整，耗费人力物力，导致人脸重建的效率不高。
技术实现思路
本专利技术提出了一种带有骨骼信息的人脸重构的方法和系统，克服了现有人脸重建技术中的局限性。本专利技术建立的标准模型中既含有躯干信息，也含有标准头部模型。在此后对扫描的人脸坐标信息进行刷新时，标准头部模型与带有骨骼的躯干模型进行拼接发生改变的顶点信息，在人脸重建的过程中保持不变，从而直接构建出带有躯干骨骼信息的人脸模型，提高了效率，为用户提供更加真实而快捷的体验。附图说明图1为本专利技术中基于带有骨骼信息的人脸重构的总体流程图；图2为本专利技术一实施例中人脸特征点的标记位置示意图；图3为本专利技术中带有骨骼信息的人脸重构系统框架图；图4是标准头部模型；图5是带有骨骼信息的扫描人脸模型。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。本专利技术方法涉及到三维重建、三维形变等技术，可直接用于从扫描的人脸图象中重建完整、精确和真实的带有躯干骨骼信息的人脸三维模型，进而用于人脸识别、个性定制化游戏、虚拟现实等。图1是按照本专利技术的实施例基于带有骨骼信息的人脸重构的流程。101.建立带有骨骼信息的头部模型。人脸特征点定位的目的是在人脸检测的基础上，进一步确定脸部特征点(眼睛、眉毛、鼻子、嘴巴、脸部外轮廓)的位置。基于特点的人脸定位的基本思路是：人脸的纹理特征和各个特征点之间的位置约束结合。在人脸重建中，每个特征点的改变，会引起人脸模型上多个顶点三维坐标的改变。如图2所示，本专利技术用到的三维扫描仪是基于76个特征点对人脸进行扫描得到人脸的顶点三维信息。根据动作捕捉器的人体骨骼定义，创建对应的骨骼点并设定好骨骼与骨骼之间的关系。通过调节标准头部模型在拼接区域处的坐标信息，使所述标准头部模型与所述躯干模型无缝连接，从而得到所述带有骨骼信息的头部模型，所述带有骨骼信息的头部模型在拼接前后保持其顶点的数据和拓扑关系不变，这样使用骨骼就可以操纵角色模型。设定每一段骨骼控制角色模型哪一部分三维点集。由动作捕捉器(如微软的kinect)实时的获取真人的躯干以及颈部的运动参数，实现对骨骼进行识别和跟踪。标准头部模型的顶点信息是由多个人脸模型的顶点信息相加取平均值得到，并分析不同人脸中具有区分性的顶点信息，分析包括对标准头部模型的顶点信息进行降维处理，将多个人脸模型的顶点信息与标准头部模型的顶点信息做差，基于差值进行分析，得到对区分不同人脸模型起到重要作用的坐标信息。102.查找由于头部和躯干进行拼接产生的变化点。通过设置比较的阈值，遍历骨骼信息的头部模型的顶点信息，将带有骨骼信息的头部模型与标准头部模型进行坐标顶点对的一一比较，高于所述阈值的顶点即为拼接变化点，并记录所述拼接变化点的索引信息。103.分析头部模型顶点与特征点的变化函数，并根据变化函数对标准头部模型进行刷新。对人脸进行扫描，得到扫描人头的顶点信息。根据多个头部模型生成标准头部模型，分析得到刷新的头部模型的顶点信息与特征点的变化函数。头部模型的顶点信息与特征点的变化函数为：其中X是头部模型刷新的三维信息，Y是已有的扫描人头模型的三维信息，m是已有的人头模型个数，W是针对真实人头模型的动态权重，a是对多个头部模型分析所得到的静态权重，所述根据顶点信息与特征点的变化函数对所述拼接后的头部模型的顶点信息进行刷新，所以只要求解出W就可以算出真实的头部模型。将扫描摄像头可以得到人脸的n个特征点(V1,V2......Vn)，进行坐标变换M可以映射到扫描标准模型的坐标系下的特征点：Xn＝MVn(2)将公式(2)代入公式(1)，可以得到：将扫描头部模型的n个特征点的坐标信息代入到公式(3)中就可以求出W，将求出的W代入公式(1)，就可以得到扫描人脸模型刷新的坐标信息。根据得到的扫描人脸模型刷新的坐标信息对带有骨骼信息的头部模型的顶点信息进行刷新，所刷新的顶点不包括步骤102所得的拼接变化点，仅刷新除了所述拼接变化点之外的顶点的三维信息，从而得到带有骨骼信息的扫描人脸模型。104.对人头模型和躯干的拼接部分进行平滑处理。对刷新后带有骨骼信息的扫描人脸模型的头部和躯干的拼接区域设置一个曲线网格，基于曲线网格对所述拼接区域进行平滑处理，提高带有骨骼信息的扫描人脸模型的视觉效果。在初始化阶段，即步骤101和步骤102完成之后，当用户使用时，只需经过上述人脸重构系统的步骤102和步骤103，用户即可获得一个符合自己容貌特征，并能随用户的动作而做出相应动作的三维数字化的化身。如图3所示本专利技术的系统模块框架，包括预处理模块，刷新模块。所述预处理模块包括比较模块，记录模块，标准头部模型获取模块，三维建模模块；所述刷新模块中包括扫描模块，头部更新模块，加速模块，平滑处理模块。标准头部模型获取模块将多个人脸模型的顶点信息相加取平均值得到所述标准头部模型。如图4是标准头部模型。三维建模模块将标准头部模型与躯干模型进行拼接得到带有骨骼信息的头部模型，三维建模模块通过调节标准头部模型在拼接区域处的坐标信息，使所述标准头部模型与所述躯干模型无缝连接，所述带有骨骼信息的头部模型在拼接前后保持其顶点的数据和拓扑关系本文档来自技高网...

【技术保护点】
一种带有骨骼信息的人脸重构方法，包括：(1)预处理阶段：设置比较的阈值，遍历带有骨骼信息的头部模型的顶点坐标，将所述带有骨骼信息的头部模型与标准头部模型进行坐标顶点对的一一比较，高于所述阈值的顶点为拼接变化点，并记录所述拼接变化点的索引值；(2)刷新阶段：对人脸进行扫描，得到扫描人脸的顶点信息，然后根据顶点信息与人脸的特征点的变化函数对所述带有骨骼信息的头部模型的顶点信息进行刷新，所刷新的顶点不包括所述拼接变化点，只刷新除了所述拼接变化点之外的顶点的三维信息，从而得到带有骨骼信息的扫描人脸模型。

【技术特征摘要】
1.一种带有骨骼信息的人脸重构方法，包括：(1)预处理阶段：设置比较的阈值，遍历带有骨骼信息的头部模型的顶点坐标，将所述带有骨骼信息的头部模型与标准头部模型进行坐标顶点对的一一比较，高于所述阈值的顶点为拼接变化点，并记录所述拼接变化点的索引值；(2)刷新阶段：对人脸进行扫描，得到扫描人脸的顶点信息，然后根据顶点信息与人脸的特征点的变化函数对所述带有骨骼信息的头部模型的顶点信息进行刷新，所刷新的顶点不包括所述拼接变化点，只刷新除了所述拼接变化点之外的顶点的三维信息，从而得到带有骨骼信息的扫描人脸模型。2.如权利要求1所述的方法，其特征在于：为了提高头部模型三维点刷新的效率，在所述标准头部模型上设置基准点，仅刷新垂直坐标值低于所述基准点的垂直坐标以下的顶点坐标的数据。3.如权利要求1所述的方法，其特征在于：所述带有骨骼信息的头部模型是由标准头部模型与躯干模型进行拼接而成，所述带有骨骼信息的头部模型在拼接前后保持其顶点的数据和拓扑关系不变。4.如权利要求1所述的方法，其特征在于：对带有骨骼信息的扫描人脸模型的头部和躯干的拼接区域设置一个曲线网格，基于曲线网格对所述拼接区域进行平滑处理。5.一种带有骨骼信息的人脸重构系统，包括预处理模块和刷新模块，其特征在于：所述预处理模块包括比较模块和记录模块...

【专利技术属性】
技术研发人员：朱峰华，
申请(专利权)人：北京太阳花互动科技有限公司，
类型：发明
国别省市：北京,11