目标物体的多视影像全局密集匹配三维重建方法及装置制造方法及图纸

本申请实施例提供一种目标物体的多视影像全局密集匹配三维重建方法以及装置，该目标物体的多视影像全局密集匹配三维重建方法包括：构建全局能量函数，其中，所述全局能量函数与目标物体先验模型约束、物方点的一致性约束、相邻物方点的深度平滑约束、物方点的分类代价、相邻物方点的类别一致性约束和相邻物方点的深度一致性约束中的至少一个相关；根据所述全局能量函数生成目标物体的三维模型，完成所述目标物体的三维模型重建。本申请的一些实施例通过构建包括各种约束和一致性的全局能量函数，至少能够结合目标类别来完成三维模型重建，在提升三维模型构建的精度的同时还提升了自动化程度。了自动化程度。了自动化程度。

【技术实现步骤摘要】
目标物体的多视影像全局密集匹配三维重建方法及装置


[0001]本申请涉及三维重建领域，具体而言本申请实施例涉及一种目标物体的多视影像全局密集匹配三维重建方法以及装置。

技术介绍

[0002]基于多视立体影像的目标物体三维重建是从多张具有重叠度的影像中，恢复物体的三维模型。这需要在光束法区域网平差获取影像精确的内外方位元素后，进行多视影像间逐像元的密集匹配，并生成高精度的三维点云。密集匹配是三维重建的关键技术环节，它能够恢复每个像素的深度信息，是一个能量优化的过程。密集匹配结果的正确性和可靠性，直接关系到目标物体三维重建的质量。
[0003]传统的多视影像密集匹配和三维重建方法，难以重建非朗伯体(即入射光线在物体表面的反射存在差异，不为漫反射，不满足像方一致性约束)的三维模型。在复杂物体表面，存在大量的弱纹理区域、重复纹理区域等匹配困难区域，传统密集匹配方法获得的点云存在大量误点、精度不高且存在不完整区域。
[0004]传统的非全局优化的密集匹配方法仅仅能实现目标的几何建模，造成目前的匹配还停留低级视觉处理层次，因此如何提升匹配效果并最终提升三维重建结果的准确性成了亟待解决的技术问题。

技术实现思路

[0005]本申请实施例的目的在于提供一种目标物体的多视影像全局密集匹配三维重建以及装置，通过本申请的一些实施例能够自动剔除背景点云，直接输出目标的三维模型，并获得准确的模型语义信息，能够避免后续人工对重建模型的判读解译，提高模型三维重建的自动化程度。
[0006]第一方面，本申请的一些实施例提供一种目标物体的多视影像全局密集匹配三维重建方法，所述多视影像全局密集匹配三维重建方法包括：构建全局能量函数，其中，所述全局能量函数与目标物体先验模型约束、物方点的一致性约束、相邻物方点的深度平滑约束、物方点的分类代价、相邻物方点的类别一致性约束和相邻物方点的深度一致性约束中的至少一个相关；根据所述全局能量函数进行影像逐像素的密集匹配生成匹配三维点云，并根据所述匹配三维点云构建所述目标物体的三维模型，完成所述目标物体的三维模型重建。
[0007]本申请的一些实施例通过构建包括各种约束和一致性的全局能量函数至少能够结合目标类别来完成三维模型重建，在提升三维模型构建的精度的同时还提升了自动化程度。
[0008]在一些实施例中，所述根据所述全局能量函数进行影像逐像素的密集匹配生成匹配三维点云并根据所述匹配三维点云构建所述目标物体的三维模型，完成所述目标物体的三维模型重建，包括：根据所述全局能量函数获得目标表面模型和目标类别的最优解，同步
实现目标物体的语义分割和三维重建。
[0009]本申请的一些实施例通过求解全局能量函数可以同时获取目标物体的语义分割和三维重建，满足更多场合的数据需求，提升了技术方案的通用性。
[0010]在一些实施例中，在所述构建全局能量函数之前，所述三维重建方法还包括：获取所述目标物体的初始三维表面模型；将获取的所述目标物体的先验模型和所述初始三维表面模型进行配准，得到配准三维表面模型；根据所述配准三维表面模型定义点云的深度集合和分类目录；根据所述深度集合和所述分类目录，获取物方空间中所述物方点的一致性约束、所述相邻物方点的深度平滑约束、所述物方点的影像分类代价、所述物方点的类别一致性约束、所述邻物方点的深度一致性约束和所述目标对象重建模型上物方点的梯度。
[0011]本申请的一些实施例提供了一种获取深度集合和分类目录，并根据这些变量获取约束条件和一致性条件的参量，使得本申请一些实施例可以构建出更优的全局能量函数。
[0012]在一些实施例中，所述构建全局能量函数，包括：以物方空间中每个点的深度和类别作为变量，根据所述目标物体先验模型约束、所述物方点的一致性约束、所述相邻物方点的深度平滑约束、所述物方点的分类代价、所述物方点的类别一致性约束和所述相邻物方点的深度一致性约束，共同构建所述全局能量函数。
[0013]本申请的一些实施例通过确定两类变量和多类约束条件等来构建全局能量函数，够将三维重建和模式识别问题统一起来，即在数学上，三维重建和模式识别均属于labelling问题，即为每个点分配一个label，以满足全局能量函数最小。对于三维重建应用来说，label是每个点的深度；而对于目标识别来说，label是每个点的种类(如：目标物体和背景)。将二者统一起来，可同时得到最优的文物三维重建结果和目标识别结果。
[0014]在一些实施例中，所述全局能量函数的计算公式为：
[0015]E(D,L)＝E
unary_d
(D)+E
binary_d
(D)+E
unary_l
(L)+E
binary_l
(L)
[0016]+E
c
(D,L)+E
priori
(G(D))
[0017]其中，E
unary_d
(D)为以所述深度集合D为未知数的数据项；E
unary_d
(L)为以所述类别集合L为未知数的数据项；E
binary_d
(D)表示以所述深度集合D为未知数的平滑项；E
binary_l
(L)表示以所述类别集合L为未知数的平滑项；E
c
(D,L)表示未知数D和L之间的相互影响项；E
priori
(G(D))表示根据所述先验模型计算的深度梯度约束项。
[0018]本申请的一些实施例提供了一种全局能量函数的公式，使得全局能量函数的值的计算更加客观准确。
[0019]在一些实施例中，所述根据所述配准三维表面模型定义点云的深度集合和分类目录，包括：在物方空间初始点云中，为每个物方点分配2个标记Label，分别为深度和类别，其中，深度表示模型的几何形状，类别表示模型所属的种类，定义D为所有点的深度集合，定义L为所有点的类别集合。
[0020]本申请的一些实施例提供一种获取深度集合和类别集合的方法。
[0021]在一些实施中，所述先验模型是通过如下原则得到的：依据同一类物体表面是连续光滑的，深度信息是连续光滑的，而在不同类物体之间的衔接处存在深度的突变，构建所述目标物体的先验模型。
[0022]本申请的一些实施例通过同一类物体表面的特征属性和不同类物体之间的突变特征来构建目标物体的先验模型，提升得到的先验模型能更加准确的反应同类物体的共性
和不同物体之间的差异性。
[0023]第二方面，本申请的一些实施例提供一种目标物体的多视影像全局密集匹配三维重建装置，所述多视影像全局密集匹配三维重建装置包括：全局能量函数构建模块，被配置为构建全局能量函数，其中，所述全局能量函数与目标物体先验模型约束、物方点的一致性约束、相邻物方点的深度平滑约束、相邻物方点的类别一致性约束和相邻物方点的深度一致性约束中的至少一个相关；三维模型重建模块，被配置为根据所述全局能量函数进行影像逐像素的密集匹本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标物体的多视影像全局密集匹配三维重建方法，其特征在于，所述多视影像全局密集匹配三维重建方法包括：构建全局能量函数，其中，所述全局能量函数与目标物体先验模型约束、物方点的一致性约束、相邻物方点的深度平滑约束、物方点的分类代价、相邻物方点的类别一致性约束和相邻物方点的深度一致性约束中的至少一个相关；根据所述全局能量函数进行影像逐像素的密集匹配生成匹配三维点云，并根据所述匹配三维点云构建所述目标物体的三维模型，完成所述目标物体的三维模型重建。2.如权利要求1所述的多视影像全局密集匹配三维重建方法，其特征在于，所述根据所述全局能量函数进行影像逐像素的密集匹配生成匹配三维点云并根据所述匹配三维点云构建所述目标物体的三维模型，包括：根据所述全局能量函数获得目标表面模型和目标类别的最优解，同步实现目标物体的语义分割和三维重建。3.如权利要求1所述的多视影像全局密集匹配三维重建方法，其特征在于，在所述构建全局能量函数之前，所述三维重建方法还包括：获取所述目标物体的初始三维表面模型；将获取的所述目标物体的先验模型和所述初始三维表面模型进行配准，得到配准三维表面模型；根据所述配准三维表面模型定义点云的深度集合和分类目录；根据所述深度集合和所述分类目录，获取物方空间中所述物方点的一致性约束、所述相邻物方点的深度平滑约束、所述物方点的影像分类代价、所述物方点的类别一致性约束、所述邻物方点的深度一致性约束和所述目标对象重建模型上物方点的梯度。4.如权利要求3所述的多视影像全局密集匹配三维重建方法，其特征在于，所述构建全局能量函数，包括：以物方空间中每个点的深度和类别作为变量，根据所述目标物体先验模型约束、所述物方点的一致性约束、所述相邻物方点的深度平滑约束、所述物方点的分类代价、所述物方点的类别一致性约束和所述相邻物方点的深度一致性约束，共同构建所述全局能量函数。5.如权利要求4所述的多视影像全局密集匹配三维重建方法，其特征在于，所述全局能量函数的计算公式为：其中，E
unary_d
(D)为以深度集合D为未知数的数据项；E
unary_d
(L)...

【专利技术属性】
技术研发人员：胡堃，阮军，曹峻松，余湛，逄悦，喻夏琼，
申请(专利权)人：北京智创华科半导体研究院有限公司，
类型：发明
国别省市：