本公开实施例公开了一种场景三维重建方法和装置、电子设备和存储介质，其中，该方法包括：对目标场景的场景图像进行图像分割，基于所述图像分割的结果，确定目标对象和所述目标对象的附属边框；从所述目标场景的原始点云数据中过滤到所述目标对象的原始点云数据，得到所述目标场景的剩余点云数据；基于所述附属边框的位置信息对所述目标对象进行点云数据填充，得到所述目标对象的填充点云数据；基于所述剩余点云数据和所述填充点云数据对所述目标场景进行三维重建，得到所述目标场景的三维模型。本公开实施例可以得到目标场景准确的三维模型。维模型。维模型。
【技术实现步骤摘要】
场景三维重建方法和装置、电子设备和存储介质
[0001]本公开涉及物体三维重建
，尤其是一种场景三维重建方法和装置、电子设备和存储介质。
技术介绍
[0002]玻璃材质的物体难以被激光或结构光传感器正确捕捉到，有时采集不到深度信息或者采集到错误的深度信息，在缺少原始数据的情况下，难以直接对玻璃材质物体进行三维重建。
[0003]对包括有玻璃材质的物体进行场景三维重建的相关技术中，可以将玻璃材质的物体与其他物体一同重建，但经常会出现杂乱噪声污染整个场景。也可以将玻璃材质的物体直接去掉，不对将玻璃材质的物体进行重建恢复，这样得到的三维模型虽然保证了重建出来的部分是正确的，但整个场景的模型不够完整。
技术实现思路
[0004]本公开实施例提供一种场景三维重建方法和装置、电子设备和存储介质，以解决上述问题。
[0005]本公开实施例的第一方面，提供一种场景三维重建方法，包括：
[0006]对目标场景的场景图像进行图像分割，基于所述图像分割的结果，确定目标对象和所述目标对象的附属边框，其中，所述目标对象为所述目标场景中具有目标材质且具有所述附属边框的对象；
[0007]从所述目标场景的原始点云数据中过滤到所述目标对象的原始点云数据，得到所述目标场景的剩余点云数据；
[0008]基于所述附属边框的位置信息对所述目标对象进行点云数据填充，得到所述目标对象的填充点云数据；
[0009]基于所述剩余点云数据和所述填充点云数据对所述目标场景进行三维重建，得到所述目标场景的三维模型。
[0010]在本公开的一个实施例中，所述对目标场景的场景图像进行图像分割，基于所述图像分割的结果，确定目标对象和所述目标对象的附属边框，包括：
[0011]基于所述目标场景的全景图进行图像识别，得到所述目标场景的多个对象的掩膜，其中，所述多个对象包括所述目标对象和所述附属边框；
[0012]基于所述多个对象的掩膜对所述目标场景的全景图进行图像分割，确定所述目标对象和所述附属边框。
[0013]在本公开的一个实施例中，在所述基于所述目标场景的全景图进行图像识别，得到所述目标场景的多个对象的掩膜之前，还包括：
[0014]基于彩色相机对所述目标场景拍摄的彩色图像序列进行图像融合得到所述目标场景的全景图，或基于全景相机得到所述目标场景的全景图。
[0015]在本公开的一个实施例中，在所述从所述目标场景的原始点云数据中过滤掉所述目标对象的原始点云数据，得到所述目标场景的剩余点云数据之前，还包括：
[0016]基于深度相机对所述目标场景拍摄的深度图像序列，确定所述目标场景的点云数据序列；
[0017]基于相机位姿序列对所述目标场景的点云数据序列进行点云融合处理，得到所述目标场景的原始点云数据，其中，所述深度图像序列和所述相机位姿序列一一对应。
[0018]在本公开的一个实施例中，所述基于所述附属边框的位置信息对所述目标对象进行点云数据填充，得到所述目标对象的填充点云数据，包括：
[0019]从所述目标场景的原始点云数据中获取所述附属边框的原始点云数据，基于所述附属边框的原始点云数据，确定所述附属边框的轮廓位置；
[0020]基于所述附属边框的轮廓位置，以及所述附属边框与所述目标对象之间的相对位置关系，确定所述目标对象的点云填充位置；
[0021]基于所述点云填充位置对所述目标对象进行点云数据填充，得到所述填充点云数据。
[0022]在本公开的一个实施例中，所述基于所述附属边框的轮廓位置，以及所述附属边框与所述目标对象之间的相对位置关系，确定所述目标对象的点云填充位置，包括：
[0023]基于所述附属边框的轮廓位置和所述附属边框在法向方向上的宽度，沿所述附属边框的法向方向收缩预设宽度，确定所述目标对象的点云填充位置。
[0024]在本公开的一个实施例中，所述相对位置关系是预设的或基于所述场景图像确定的。
[0025]本公开实施例的第二方面，提供一种场景三维重建装置，包括：
[0026]图像分割模块，用于对目标场景的场景图像进行图像分割，基于所述图像分割的结果，确定目标对象和所述目标对象的附属边框，其中，所述目标对象为所述目标场景中具有目标材质且具有所述附属边框的对象；
[0027]点云过滤模块，用于从所述目标场景的原始点云数据中过滤到所述目标对象的原始点云数据，得到所述目标场景的剩余点云数据；
[0028]点云填充模块，用于基于所述附属边框的位置信息对所述目标对象进行点云数据填充，得到所述目标对象的填充点云数据；
[0029]三维重建模块，用于基于所述剩余点云数据和所述填充点云数据对所述目标场景进行三维重建，得到所述目标场景的三维模型。
[0030]在本公开的一个实施例中，所述图像分割模块用于基于所述目标场景的全景图进行图像识别，得到所述目标场景的多个对象的掩膜，其中，所述多个对象包括所述目标对象和所述附属边框；所述图像分割模块还用于基于所述多个对象的掩膜对所述目标场景的全景图进行图像分割，确定所述目标对象和所述附属边框。
[0031]在本公开的一个实施例中，所述场景三维重建装置还包括：
[0032]全景图获取模块，用于基于彩色相机对所述目标场景拍摄的彩色图像序列进行图像融合得到所述目标场景的全景图，或基于全景相机得到所述目标场景的全景图。
[0033]在本公开的一个实施例中，所述场景三维重建装置还包括：
[0034]原始点云数据获取模块，用于基于深度相机对所述目标场景拍摄的深度图像序
列，确定所述目标场景的点云数据序列，并基于相机位姿序列对所述目标场景的点云数据序列进行点云融合处理，得到所述目标场景的原始点云数据，其中，所述深度图像序列和所述相机位姿序列一一对应。
[0035]在本公开的一个实施例中，所述点云填充模块用于从所述目标场景的原始点云数据中获取所述附属边框的原始点云数据，基于所述附属边框的原始点云数据，确定所述附属边框的轮廓位置；所述点云填充模块还用于基于所述附属边框的轮廓位置，以及所述附属边框与所述目标对象之间的相对位置关系，确定所述目标对象的点云填充位置；所述点云填充模块还用于基于所述点云填充位置对所述目标对象进行点云数据填充，得到所述填充点云数据。
[0036]在本公开的一个实施例中，所述点云填充模块用于基于所述附属边框的轮廓位置和所述附属边框在法向方向上的宽度，沿所述附属边框的法向方向收缩预设宽度，确定所述目标对象的点云填充位置。
[0037]在本公开的一个实施例中，所述相对位置关系是预设的或基于所述场景图像确定的。
[0038]本公开实施例的第三方面，提供一种电子设备，包括：
[0039]存储器，用于存储计算机程序；
[0040]处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述第一方面所述的场景三维重建方法。
[0041本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种场景三维重建方法，其特征在于，包括：对目标场景的场景图像进行图像分割，基于所述图像分割的结果，确定目标对象和所述目标对象的附属边框，其中，所述目标对象为所述目标场景中具有目标材质且具有所述附属边框的对象；从所述目标场景的原始点云数据中过滤到所述目标对象的原始点云数据，得到所述目标场景的剩余点云数据；基于所述附属边框的位置信息对所述目标对象进行点云数据填充，得到所述目标对象的填充点云数据；基于所述剩余点云数据和所述填充点云数据对所述目标场景进行三维重建，得到所述目标场景的三维模型。2.根据权利要求1所述的方法，其特征在于，所述对目标场景的场景图像进行图像分割，基于所述图像分割的结果，确定目标对象和所述目标对象的附属边框，包括：基于所述目标场景的全景图进行图像识别，得到所述目标场景的多个对象的掩膜，其中，所述多个对象包括所述目标对象和所述附属边框；基于所述多个对象的掩膜对所述目标场景的全景图进行图像分割，确定所述目标对象和所述附属边框。3.根据权利要求2所述的方法，其特征在于，在所述基于所述目标场景的全景图进行图像识别，得到所述目标场景的多个对象的掩膜之前，还包括：基于彩色相机对所述目标场景拍摄的彩色图像序列进行图像融合得到所述目标场景的全景图，或基于全景相机得到所述目标场景的全景图。4.根据权利要求1所述的方法，其特征在于，在所述从所述目标场景的原始点云数据中过滤掉所述目标对象的原始点云数据，得到所述目标场景的剩余点云数据之前，还包括：基于深度相机对所述目标场景拍摄的深度图像序列，确定所述目标场景的点云数据序列；基于相机位姿序列对所述目标场景的点云数据序列进行点云融合处理，得到所述目标场景的原始点云数据，其中，所述深度图像序列和所述相机位姿序列一一对应。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述基于所述附属边框的位置信息对所述目标对象进行点云数据填充，得到所述目标对象的填充点云数据，包括：...
【专利技术属性】
技术研发人员：李伟，谢独放，胡洋，
申请(专利权)人：如你所视北京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。