基于双路成像及运动恢复结构的身体部位3D建模方法技术

本发明专利技术提供基于双路成像及运动恢复结构的身体部位3D建模方法，涉及人体建模技术领域。该基于双路成像及运动恢复结构的身体部位3D建模方法，包括以下步骤：步骤一、图片采集：对身体部位进行定位处理；步骤二、特征提取、表示及匹配：使用的是最著名的特征检测方法SIFT算法，关键思想是，在某种程度上，可以使用SIFT不变性来处理图像采集过程中视点发生变化时发生的图像变换。通过使用单个相机就可以实现，并且无需依赖相机预先校准，考虑到生成模型的稳健性，我们使用双目相机拍摄7组图片作为后续算法的输入，使3D人脸建模既快速且稳定，除了对人脸进行3D重建外，亦可实现对胸部、臀部、身体局部部位的3D建模应用。身体局部部位的3D建模应用。身体局部部位的3D建模应用。

【技术实现步骤摘要】
基于双路成像及运动恢复结构的身体部位3D建模方法


[0001]本专利技术涉及人体建模
，具体为基于双路成像及运动恢复结构的身体部位3D建模方法。

技术介绍

[0002]人脸的三维结构信息用于各种领域，包括面部重建、面部识别和面部跟踪等方面。3D人脸模型的医学应用包括准确识别患者特征(例如年龄、性别和种族背景)的能力，以及检测和监测与疾病和状况相关的面部特征变化的能力。此外，3D面部模型可用于模拟面部手术，甚至创建虚拟医疗培训师。
[0003]在过去几年，国内外研究者提出来许多人脸三维重建的方法，从原理上主要分为主动式和被动式这两大类方法。主动式方法是通过传感器主动地向人脸照射信号，然后依靠解析返回的信号来获得人脸的三维信息，如使用结构光扫描仪等。这类方法能够获得精度较高的人脸三维结构数据，但是需要使用价格昂贵的硬件设备同时，使得此方法具有造价高、不灵活等诸多限制。被动式方法不需要额外的装置，只需要利用相机直接对物体成像即可。根据参与重建的相机视角个数，可以分为双目(两个相机视角)和多目(>2个相机视角)两种情形。这类方法成本低，使用灵活。
[0004]运动恢复结构(Structure from Motion)是一种3D建模方法，并且是目前三维重建比较主流的方法之一。这种技术属于被动式的方法，可以帮助了解输入图像提供的所有观察结果背后的几何关系，并推断刚性场景结构(3D稀疏点云)、姿态(位置和方向)和所有相机的内部校准，并最终产生3D模型。另外在多视图下，可以不需要预先校准相机，而是通过自校准从输入图像中提取相机内外参数。
[0005]常规的基于主动式的结构光扫描尽管速度和精度非常高，但结构光系统造价比较昂贵，不易普及。而另一方面，常规的基于被动式的运动恢复结构需要大量的图片，模型生成的速度比较慢。

技术实现思路

[0006]针对现有技术的不足，本专利技术提供了基于双路成像及运动恢复结构的身体部位3D建模方法，解决了常规的基于主动式的结构光扫描尽管速度和精度非常高，但结构光系统造价比较昂贵，不易普及。而另一方面，常规的基于被动式的运动恢复结构需要大量的图片，模型生成的速度比较慢的问题。
[0007]为实现以上目的，本专利技术通过以下技术方案予以实现：基于双路成像及运动恢复结构的身体部位3D建模方法，包括以下步骤：
[0008]步骤一、图片采集：对身体部位进行定位处理；
[0009]步骤二、特征提取、表示及匹配：使用的是最著名的特征检测方法SIFT算法，关键思想是，在某种程度上，可以使用SIFT不变性来处理图像采集过程中视点发生变化时发生的图像变换；
[0010]步骤三、运动恢复结构：将图像对之间的所有特征匹配融合到轨道中；
[0011]步骤四、深度图：对于所有已被运动恢复结构方法解析的相机，我们想要检索每个像素的深度值，采用半全局匹配(SGM)方法获取深度图；
[0012]步骤五、表面重建：此步骤的目标是创建对象的密集几何表面表示；
[0013]步骤六、纹理贴图：该步骤对纹理创建UV图并投影纹理。
[0014]优选的，所述步骤一中，使用主体装置拍摄七组双目图片，定位点如下：额头点，鼻尖点，左嘴角点，右嘴角点，下巴中心点，左下颌点，右下颌点。
[0015]优选的，所述步骤二中，SIFT使用所谓的高斯差异(DOG)计算拉普拉斯表示的尺度空间最大值，拉普拉斯表示是图像的基于特定图像能量的表示，这些最大值对应于兴趣点，然后它为这些最大值中的每一个采样一个正方形图像块，其原点是最大值，x方向是原点处的主要梯度。
[0016]优选的，所述步骤三中，每个轨道都应该代表空间中的一个点，并且可以从多个相机中看到，在轨道的这一步，它仍然包含许多异常值，在这种匹配融合过程中，删除不连贯的轨道，增量算法必须选择最佳的初始图像对象。
[0017]优选的，所述步骤三中，同时相机之间的角度也应该足够大，以提供可靠的几何信息，然后计算这两个图像之间的基本矩阵，并认为第一个是坐标系的原点，知道了前两个相机的位姿，将相应的2D特征三角化为3D点。
[0018]优选的，所述步骤三中，选择所有与已经在3D中重建的特征有足够关联的图像，该算法称为下一个最佳视图选择，基于这些2D
‑
3D关联，它执行这些新相机中的每一个的切除，切除是RANSAC框架中的Perspective
‑
n
‑
Point算法(PnP)，用于查找验证大多数特征关联的相机位姿，在每个相机上，执行非线性最小化以细化姿势。
[0019]优选的，所述步骤五中，首先，我们将所有深度图融合到一个全局八叉树中，其中兼容的深度值被合并到八叉树单元中。
[0020]优选的，所述步骤五中，然后执行3D Delaunay四面体化。
[0021]优选的，所述步骤五中，然后完成一个复杂的投票程序来计算单元格的权重和连接单元格的小平面的权重，Graph Cut Max
‑
Flow用于最佳地切割体积，这个切口代表提取的网格表面，我们过滤表面的不好的单元，最终在网格上应用拉普拉斯过滤以去除局部伪像。
[0022]优选的，所述主体包括相机、透镜、镜面和拍摄对象，所述相机后侧设置有透镜，所述透镜一侧设置有多个镜面，所述相机前侧设置有拍摄对象。
[0023]本专利技术提供了基于双路成像及运动恢复结构的身体部位3D建模方法。具备以下有益效果：
[0024]本专利技术通过使用单个相机就可以实现，并且无需依赖相机预先校准，考虑到生成模型的稳健性，我们使用双目相机拍摄7组图片作为后续算法的输入，使3D人脸建模既快速且稳定，除了对人脸进行3D重建外，亦可实现对胸部、臀部、身体局部部位的3D建模应用。
附图说明
[0025]图1为本专利技术的流程图；
[0026]图2为本专利技术的主体结构示意图。
[0027]其中，1、相机；2、透镜；3、镜面；4、拍摄对象。
具体实施方式
[0028]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0029]实施例：
[0030]参阅附图1，本专利技术实施例提供基于双路成像及运动恢复结构的身体部位3D建模方法，包括以下步骤：
[0031]步骤一、图片采集：对身体部位进行定位处理；
[0032]步骤二、特征提取、表示及匹配：使用的是最著名的特征检测方法SIFT(尺度不变特征变换)算法，关键思想是，在某种程度上，可以使用SIFT不变性来处理图像采集过程中视点发生变化时发生的图像变换，此步骤的目的是提取独特的像素对，这些像素对在某种程度上对图像采集过程中相机视点的变化保持不变；
[0033]步骤三、运动恢本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于双路成像及运动恢复结构的身体部位3D建模方法，其特征在于，包括以下步骤：步骤一、图片采集：对身体部位进行定位处理；步骤二、特征提取、表示及匹配：使用的是最著名的特征检测方法SIFT算法，关键思想是，在某种程度上，可以使用SIFT不变性来处理图像采集过程中视点发生变化时发生的图像变换；步骤三、运动恢复结构：将图像对之间的所有特征匹配融合到轨道中；步骤四、深度图：对于所有已被运动恢复结构方法解析的相机，我们想要检索每个像素的深度值，采用半全局匹配(SGM)方法获取深度图；步骤五、表面重建：此步骤的目标是创建对象的密集几何表面表示；步骤六、纹理贴图：该步骤对纹理创建UV图并投影纹理。2.根据权利要求1所述的基于双路成像及运动恢复结构的身体部位3D建模方法，其特征在于，所述步骤一中，使用主体装置拍摄七组双目图片，定位点如下：额头点，鼻尖点，左嘴角点，右嘴角点，下巴中心点，左下颌点，右下颌点。3.根据权利要求1所述的基于双路成像及运动恢复结构的身体部位3D建模方法，其特征在于，所述步骤二中，SIFT使用所谓的高斯差异(DOG)计算拉普拉斯表示的尺度空间最大值，拉普拉斯表示是图像的基于特定图像能量的表示，这些最大值对应于兴趣点，然后它为这些最大值中的每一个采样一个正方形图像块，其原点是最大值，x方向是原点处的主要梯度。4.根据权利要求1所述的基于双路成像及运动恢复结构的身体部位3D建模方法，其特征在于，所述步骤三中，每个轨道都应该代表空间中的一个点，并且可以从多个相机中看到，在轨道的这一步，它仍然包含许多异常值，在这种匹配融合过程中，删除不连贯的轨道，增量算法必须选择最佳的初始图像对象。5.根据权利要求1所述的基于双路成像及运动恢复结构的身体部位3D建模方法，其特征在于，所述步...

【专利技术属性】
技术研发人员：朱冬林，马维民，
申请(专利权)人：上海麦色医疗科技有限公司，
类型：发明
国别省市：