基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端技术

本发明专利技术公开了基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端，属于三维场景重建技术领域，方法包括获取图像的包围框信息，根据图像的包围框信息结合相机内参计算三维空间中的视锥体范围，并根据视锥体范围对待重建的扫描场景进行裁剪；在裁剪后的扫描场景进行模型检索、模型对齐处理，得到与裁剪后的扫描场景模型匹配的对象模型；预测所有与裁剪后的扫描场景模型匹配的第一对象模型的位置姿态参数，根据位置姿态参数使第一对象模型替换扫描场景中的对应点云，实现三维场景的重建。本发明专利技术在裁剪后的扫描场景进行模型检索、模型对齐处理，减小了模型检索、模型对齐的计算量，加快了三维场景重建的计算速度，三维场景重建效率高。场景重建效率高。场景重建效率高。

【技术实现步骤摘要】
基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端


[0001]本专利技术涉及三维场景重建
，尤其涉及基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端。

技术介绍

[0002]随着消费者级别的深度传感器的普及(如Microsoft Kinect、Intel Real Sense、Google Tango等)，基于深度信息的三维场景重建技术也取得了长足发展，如A.Dai等人(A.Dai,M.Nieβner,M.S.Izadi,and C.Theobalt,"Bundlefusion:Real
‑
time globally consistent 3d reconstruction using on
‑
the
‑
fly surface reintegration,"ACM Transactions on Graphics(ToG),vol.36,no.3,p.24,2017)实现了面向实时场景重建的Bundle Fusion等。同时，三维场景重建生成的大型标注数据集(A.Dai,A.X.Chang,M.Savva,M.Halber,T.Funkhouser,and M.Nieβner,"Scannet:Richly
‑
annotated 3d reconstructions of indoor scenes,"in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2017,pp.5828
‑
5839)在三维对象识别和三维语义分割等深度学习领域也得到了广泛应用。尽管如此，由于传感器精度、扫描模式等因素的影响，生成的扫描模型往往是有噪声且不完整的。与人工建模相比，三维场景重建生成的扫描模型还难以达到应用标准。
[0003]解决上述问题的一种方案是Avetisyan等人(Avetisyan,Armen,et al."Scan2cad:Learning cad model alignment in rgb
‑
d scans."Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2019)的模型对齐：即根据输入的场景扫描模型，从预先建立的对象模型数据库中自动检索出匹配的模型对象，并将其与输入的扫描模型进行对齐和替换。用这种方式替换场景中的所有对象，就可以获得一个平滑、简洁的场景表示，从而满足虚拟现实、增强现实、建筑设计等多个领域的应用需求。然而，该方法还存在以下缺陷：(1)对于对象模型数据库中的每个对象都要进行一次模型检索，并在整个场景扫描中进行模型对齐，效率很低。(2)模型检索过程中只考虑了三维场景扫描的几何信息，而没有考虑颜色信息，限制了模型检索的准确度。

技术实现思路

[0004]本专利技术的目的在于克服现有三维场景重建过程中模型检索效率低的问题，提供基于二维目标检测和模型对齐的三维场景重建方法。
[0005]本专利技术的目的是通过以下技术方案来实现的：基于二维目标检测和模型对齐的三维场景重建方法，所述方法包括：
[0006]获取图像的包围框信息，根据图像的包围框信息结合相机内参计算三维空间中的视锥体范围，并根据视锥体范围对待重建的扫描场景进行裁剪；
[0007]在裁剪后的扫描场景进行模型检索、模型对齐处理，得到与裁剪后的扫描场景模
型匹配的对象模型；
[0008]预测所有与裁剪后的扫描场景模型匹配的第一对象模型的位置姿态参数，根据位置姿态参数使第一对象模型替换扫描场景中的对应点云，实现三维场景的重建。
[0009]作为一选项，所述方法还包括：
[0010]获取图像的对象类型，并根据对象类型从对象模型数据库获取类型匹配的对象模型；
[0011]将类型匹配的对象模型、剪裁后的扫描场景进行模型检索，判断对象模型与剪裁后的扫描场景模型是否匹配，若是，将相互匹配的对象模型与剪裁后的扫描场景模型进行对齐处理。
[0012]作为一选项，所述图像具体为具有深度信息的RGB
‑
D图像。
[0013]作为一选项，所述根据图像的包围框信息结合相机内参计算三维空间中的视锥体范围具体包括：根据相机的视场范围构建视锥体投影矩阵进而确定三维空间中的视锥体范围，视锥体投影矩阵的计算公式为：
[0014][0015]其中，FOV表示相机的视场范围，R表示视锥体的宽高比，N，F分别表示视锥体的近平面距离以及远平面距离。
[0016]作为一选项，所述根据视锥体范围对待重建的扫描场景进行裁剪具体包括：
[0017]将对象模型顶点的齐次坐标[x,y,z,w]经视锥体投影矩阵变换后，将对象模型顶点的齐次坐标的x,y,z分量与变换后的w分量进行比较，进而判断对象模型顶点是否处于视锥体内部。
[0018]作为一选项，所述将齐次坐标的x,y,z分量与变换后的w分量进行比较具体为：
[0019]‑
w≤x≤w
[0020]‑
w≤y≤w
[0021]‑
w≤z≤w
[0022]若对象模型顶点的齐次坐标的x,y,z分量满足上式条件，则对象模型顶点处于视锥体内部，反之，对象模型顶点处于视锥体外部。
[0023]作为一选项，所述将相互匹配的对象模型与剪裁后的扫描场景模型进行对齐处理具体包括：
[0024]将裁剪后的扫描场景进行三维语义分割，得到对象模型在扫描场景中的平均坐标；
[0025]根据对象模型的平均坐标、裁剪后的扫描场景的顶点坐标回归预测对象模型的平均坐标与真实坐标的偏移量，得到对象模型的真实坐标；
[0026]将对象模型的真实坐标与语义分割后的对象模型进行包围盒预测处理，得到对象模型在场景中的位置姿态参数。
[0027]作为一选项，所述将相互匹配的对象模型与剪裁后的扫描场景模型进行对齐处理
的损失函数计算公式为：
[0028]L＝L
seg
+λ(L
c1
+L
c2
+L
s
+L
h
+γL
corner
)
[0029]L
seg
表示三维语义分割的损失函数，L
c1
、L
c2
分别表示回归预测处理、包围盒预测处理的中心坐标偏移损失函数，L
s
、L
h
分别表示包围盒预测处理的包围盒大小损失函数与朝向损失函数，λ、γ分别表示用于控制各个损失函数权重的超参数；L
corner
表示包围盒预测处理、真实包围盒的八个对应角点之间的距离之和。
[0030]需要进一步说明的是，上述方法各选项对应的技术特征可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于二维目标检测和模型对齐的三维场景重建方法，其特征在于：所述方法包括：获取图像的包围框信息，根据图像的包围框信息结合相机内参计算三维空间中的视锥体范围，并根据视锥体范围对待重建的扫描场景进行裁剪；在裁剪后的扫描场景进行模型检索、模型对齐处理，得到与裁剪后的扫描场景模型匹配的对象模型；预测所有与裁剪后的扫描场景模型匹配的第一对象模型的位置姿态参数，根据位置姿态参数使第一对象模型替换扫描场景中的对应点云，实现三维场景的重建。2.根据权利要求1所述的基于二维目标检测和模型对齐的三维场景重建方法，其特征在于：所述方法还包括：获取图像的对象类型，并根据对象类型从对象模型数据库获取类型匹配的对象模型；将类型匹配的对象模型、剪裁后的扫描场景进行模型检索，判断对象模型与剪裁后的扫描场景模型是否匹配，若是，将相互匹配的对象模型与剪裁后的扫描场景模型进行对齐处理。3.根据权利要求2所述的基于二维目标检测和模型对齐的三维场景重建方法，其特征在于：所述图像具体为具有深度信息的RGB
‑
D图像。4.根据权利要求1所述的基于二维目标检测和模型对齐的三维场景重建方法，其特征在于：所述根据图像的包围框信息结合相机内参计算三维空间中的视锥体范围，具体包括：根据相机的视场范围构建视锥体投影矩阵进而确定三维空间中的视锥体范围，视锥体投影矩阵的计算公式为：其中，FOV表示相机的视场范围，R表示视锥体的宽高比，N，F分别表示视锥体的近平面距离以及远平面距离。5.根据权利要求4所述的基于二维目标检测和模型对齐的三维场景重建方法，其特征在于：所述根据视锥体范围对待重建的扫描场景进行裁剪，具体包括：将对象模型顶点的齐次坐标[x,y,z,w]经视锥体投影矩阵变换后，将对象模型顶点的齐次坐标的x,y,z分量与变换后的w分量进行比较，进而判断对象模型顶点是否处于视锥体内部。6.根据权利要求5所述的基于二维目标检测和模型对齐的三维场景重建方法，其特征在于：所述将齐次坐标的x,y,z分量与变换后的w分量进行比较，具体为：
‑
w≤x≤w
‑
w≤y≤w
‑
w≤z≤w若对象模型顶点的...

【专利技术属性】
技术研发人员：匡平，李祖宁，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：