一种包含尺度信息的人脸三维重建方法及系统技术方案

技术编号:19905615 阅读:58 留言:0更新日期:2018-12-26 03:35
本发明专利技术涉及计算机视觉技术领域,实施例具体公开一种包含尺度信息的人脸三维重建方法及系统。本发明专利技术提供的人脸三维重建方法及系统,通过获取目标人脸的N个三维特征点,将目标人脸的N个三维特征点进行深度学习,获得目标人脸点云模型;获取目标人脸的目标人脸三维点云;再将目标人脸点云模型与目标人脸三维点云进行配准,从而获得最终目标人脸三维点云。解决了现有的三维重建方法不能重建具有尺度信息和表面信息的人脸三维模型的问题,获得了一个没有变形且拥有表面细节的人脸三维重建结果,实现了人脸三维模型更广阔的应用。

【技术实现步骤摘要】
一种包含尺度信息的人脸三维重建方法及系统
本专利技术涉及计算机视觉
,具体涉及一种包含尺度信息的人脸三维重建方法及系统。
技术介绍
传统的三维重建方法有:光度立体,结构光,双目视觉,TOF等等。光度立体视觉可以看成是一种三维表面重建方法,由它得到的物体表面细节非常丰富,还原度高,但是传统的光度立体视觉在整体上由于模型不精确性而存在偏差,并且存在尺度变化而无法直接用于三维测量,所重建出来的三维模型可能发生变形。结构光和TOF等算法结果也比较精确,但是都依赖于一些要求高的设备,应用场景是比较受限制的。双目立体视觉得到的重建结果有具体的尺度信息,但是噪声较大,算法不是很鲁棒。所以,依照前面所述的三维重建方法得到的重建结果都各有各的局限性。目前,越来越多的领域需要对人脸进行三维重建,以获得人脸三维立体模型的尺度信息和表面信息,因此,如何获得一个没有变形且拥有表面细节的人脸三维重建结果是目前亟待解决的问题。
技术实现思路
有鉴于此,本申请提供一种结合人脸特征点和人脸三维点云的方案,能够克服上述缺点,获得一个具有尺度信息和表面细节信息的人脸三维模型。为解决以上技术问题,本专利技术提供的技术方案是一种包含尺度信息的人脸三维重建方法,包括:获取目标人脸的N个三维特征点;将所述目标人脸的N个三维特征点进行深度学习,获得目标人脸点云模型;获取目标人脸的目标人脸三维点云;将所述目标人脸点云模型与所述目标人脸三维点云进行配准,获得最终目标人脸三维点云;其中N为大于1的正整数。优选地,所述获取目标人脸的N个三维特征点的方法,包括:获取目标人脸的双目二维图像左图和双目二维图像右图;从所述双目二维图像左图和所述双目二维图像右图中各提取出一组目标人脸的N个二维特征点;根据所述提取出的两组目标人脸的N个二维特征点,采用双目立体匹配算法计算出目标人脸的N个三维特征点的坐标。优选地,所述获取目标人脸的目标人脸三维点云的方法,包括:采用光度立体视觉方法获取目标人脸的目标人脸三维点云。优选地,所述将所述目标人脸点云模型与所述目标人脸三维点云进行配准,获得最终目标人脸三维点云的方法,包括:将所述目标人脸点云模型设为基准模型;将所述目标人脸三维点云配准到所述目标人脸点云模型上。优选地,所述将所述目标人脸三维点云配准到所述目标人脸点云模型上的方法,包括:构造所述目标人脸点云模型与所述目标人脸三维点云的点云点能量函数;通过最优化算法求解所述点云点能量函数,获得最终目标人脸三维点云。优选地,所述点云点能量函数包括保真项和正则约束项。本专利技术还提供一种包含尺度信息的人脸三维重建系统,包括:目标人脸三维特征点获取模块,用于获取目标人脸的N个三维特征点;深度学习模块,用于将目标人脸的N个三维特征点进行深度学习,获得目标人脸点云模型;目标人脸三维点云获取模块,用于获取目标人脸的目标人脸三维点云;配准模块,用于将目标人脸点云模型与目标人脸三维点云进行配准,获得最终目标人脸三维点云。优选地,所述目标人脸三维特征点获取模块包括:目标人脸二维图像获取组件,用于获取目标人脸的双目二维图像左图和双目二维图像右图;目标人脸二维特征点提取组件,用于从双目二维图像左图和双目二维图像右图中各提取出一组目标人脸的N个二维特征点;计算组件,用于根据提取出的两组目标人脸的N个二维特征点,采用双目立体匹配算法计算出目标人脸的N个三维特征点的坐标。优选地,所述配准模块包括:基准单元,用于将目标人脸点云模型设为基准模型;配准单元,用于将目标人脸三维点云配准到目标人脸点云模型上。优选地,所述配准单元包括:构造组件,用于构造目标人脸点云模型与目标人脸三维点云的点云点能量函数;求解组件,用于通过最优化算法求解点云点能量函数,获得最终目标人脸三维点云。本申请与现有技术相比,其有益效果详细说明如下:本专利技术实施例提供的包含尺度信息的人脸三维重建方法及系统,通过获取目标人脸的N个三维特征点,将目标人脸的N个三维特征点进行深度学习,获得目标人脸点云模型;获取目标人脸的目标人脸三维点云;再将目标人脸点云模型与目标人脸三维点云进行配准,从而获得最终目标人脸三维点云。解决了现有的三维重建方法不能重建具有尺度信息和表面信息的人脸三维模型的问题,获得了一个没有变形且拥有表面细节的人脸三维重建结果,实现了人脸三维模型更广阔的应用。附图说明图1为本专利技术实施例包含尺度信息的人脸三维重建方法流程示意图;图2为本专利技术实施例获取目标人脸的N个三维特征点的方法流程示意图;图3为本专利技术实施例将目标人脸点云模型与目标人脸三维点云进行配准的方法流程示意图;图4为本专利技术实施例将目标人脸三维点云配准到目标人脸点云模型上的方法流程示意图;图5为本专利技术另一实施例五包含尺度信息的人脸三维重建系统的结构示意图。具体实施方式为了使本领域的技术人员更好地理解本专利技术的技术方案,下面结合附图和具体实施例对本专利技术作进一步的详细说明。如图1所示,本专利技术实施例提供了一种包含尺度信息的人脸三维重建方法,该方法包括:S11:获取目标人脸的N个三维特征点;S12:将目标人脸的N个三维特征点进行深度学习,获得目标人脸点云模型;S13:获取目标人脸的目标人脸三维点云;S14:将目标人脸点云模型与目标人脸三维点云进行配准,获得最终目标人脸三维点云;其中N为大于1的正整数。需要说明的是,步骤S11中,获取目标人脸的N个三维特征点的方法,可以通过硬件设备、软件方法或者硬件设备与软件方法相结合的方式获取。例如可以通过人脸特征点定位装置或者人脸特征点检测装置获取目标人脸的N个三维特征点的坐标;也可以从不同角度的目标人脸二维图像中提取出目标人脸的N个二维特征点,再计算出目标人脸的N个三维特征点的坐标;还可以通过相机拍摄不同角度的目标人脸二维图像,从目标人脸二维图像中提取出目标人脸的N个二维特征点,再计算出目标人脸的N个三维特征点的坐标。其中,从目标人脸二维图像中提取出N个二维特征点的方法可以采用现有的人脸特征点提取模型进行提取。其中,目标人脸的特征点的个数N,是根据我们的应用需要选择的。例如当我们做人脸对齐的时候,我们可能选择眼睛鼻子嘴巴五六个特征点就可以,当我们做人脸三维重建,就需要选择更多的人脸特征点,即要选择包含更多数量的人脸特征点的人脸特征点提取模型。这里我们用于提取目标人脸二维图像的N个二维特征点的模型,可以采用其他数据库的现有模型。现有的人脸特征点提取模型有包括30多个人脸特征点的模型,也有包括68个人脸特征点的模型,还有包括78个人脸特征点模型,以及包括83个人脸特征点的模型。该实施例中由于我们需要通过人脸特征点配准后来调整,所以可以选择人脸特征点个数稍多一些的模型。为了获得效果更好的人脸三维建模结果,该实施例可以采用包含68个人脸特征点的人脸特征点提取模型,N为68,即从目标人脸二维图像中提取出目标人脸图像的68个二维特征点。通过从不同角度拍摄的目标人脸二维图像中提取出68个二维特征点,计算出目标人脸的68个三维特征点的坐标。优选的方法,如图2所示,步骤S11中,获取目标人脸的N个三维特征点的方法,包括:S111:获取目标人脸的双目二维图像左图和双目二维图像右图;S112:从双目二维图像左图和双目二维图像右图中各提取出一组目标人脸的N个二维特征点;S113:根据本文档来自技高网...

【技术保护点】
1.一种包含尺度信息的人脸三维重建方法,其特征在于,包括:获取目标人脸的N个三维特征点;将所述目标人脸的N个三维特征点进行深度学习,获得目标人脸点云模型;获取目标人脸的目标人脸三维点云;将所述目标人脸点云模型与所述目标人脸三维点云进行配准,获得最终目标人脸三维点云;其中N为大于1的正整数。

【技术特征摘要】
1.一种包含尺度信息的人脸三维重建方法,其特征在于,包括:获取目标人脸的N个三维特征点;将所述目标人脸的N个三维特征点进行深度学习,获得目标人脸点云模型;获取目标人脸的目标人脸三维点云;将所述目标人脸点云模型与所述目标人脸三维点云进行配准,获得最终目标人脸三维点云;其中N为大于1的正整数。2.根据权利要求1所述的包含尺度信息的人脸三维重建方法,其特征在于,所述获取目标人脸的N个三维特征点的方法,包括:获取目标人脸的双目二维图像左图和双目二维图像右图;从所述双目二维图像左图和所述双目二维图像右图中各提取出一组目标人脸的N个二维特征点;根据所述提取出的两组目标人脸的N个二维特征点,采用双目立体匹配算法计算出目标人脸的N个三维特征点的坐标。3.根据权利要求1所述的包含尺度信息的人脸三维重建方法,其特征在于,所述获取目标人脸的目标人脸三维点云的方法,包括:采用光度立体视觉方法获取目标人脸的目标人脸三维点云。4.根据权利要求1所述的包含尺度信息的人脸三维重建方法,其特征在于,所述将所述目标人脸点云模型与所述目标人脸三维点云进行配准,获得最终目标人脸三维点云的方法,包括:将所述目标人脸点云模型设为基准模型;将所述目标人脸三维点云配准到所述目标人脸点云模型上。5.根据权利要求4所述的包含尺度信息的人脸三维重建方法,其特征在于,所述将所述目标人脸三维点云配准到所述目标人脸点云模型上的方法,包括:构造所述目标人脸点云模型与所述目标人脸三维点云的点云点能量函数;通过最优化算法求解所述点云点能量函数,获得最...

【专利技术属性】
技术研发人员:晁志超王时丽
申请(专利权)人:成都通甲优博科技有限责任公司
类型:发明
国别省市:四川,51

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1