场景三维重建的动态对象处理方法、系统、设备及介质技术方案

本申请涉及一种场景三维重建的动态对象处理方法、系统、设备介质，其方法包括：获取目标拍摄场景的拍摄数据，所述拍摄数据包括彩色图像集和深度图像集；基于所述彩色图像集和深度图像集，重建目标拍摄场景的目标三维模型；将所述查询帧图像以及所述目标三维模型中与所述查询帧图像对应位置的子图，分别按照预测分辨率进行投影，并将投影结果进行比较，以识别出目标动态点集，将所述目标动态点集从所述目标三维模型中删除，以更新所述目标三维模型。本申请能够有效消除了动态对象的影响，提高了图像模型的精准度。高了图像模型的精准度。高了图像模型的精准度。

【技术实现步骤摘要】
场景三维重建的动态对象处理方法、系统、设备及介质


[0001]本申请涉及图像处理
，尤其是涉及一种场景三维重建的动态对象处理方法、系统、设备及介质。

技术介绍

[0002]目前，随着现代化城市建设发展，越来越多大型建筑耸起，而三维重建技术广泛应用于建筑物的场景建模中。现有的三维重建过程中，常常有游客等动态物体，这会对三维重建的效果造成影响，并且无法保证每次三维重建过程中，目标场景都没有动态物体存在。因此，本专利技术人认为针对场景建模过程中动态对象的问题还需要进一步研究。

技术实现思路

[0003]有鉴于此，本申请提供一种场景三维重建的动态对象处理方法、系统、设备及介质，用以解决现有三维重建过程中如何消除动态对象的技术问题。
[0004]为了解决上述问题，第一方面，本申请提供一种场景三维重建的动态对象处理方法，所述方法包括：
[0005]获取目标拍摄场景的拍摄数据，所述拍摄数据包括彩色图像集和深度图像集；
[0006]基于所述彩色图像集和深度图像集，重建目标拍摄场景的目标三维模型；
[0007]获取目标拍摄场景的查询帧图像；
[0008]将所述查询帧图像以及所述目标三维模型中与所述查询帧图像对应位置的子图，分别按照预测分辨率进行投影，并将投影结果进行比较，以识别出目标动态点集，将所述目标动态点集从所述目标三维模型中删除，以更新所述目标三维模型。
[0009]可选的，所述彩色图像集包括每一帧的RGB图像，所述深度图像集包括每一帧的深度图像；则基于所述彩色图像集和深度图像集，重建目标拍摄场景的目标三维模型，包括：
[0010]将每一帧的深度图像中所有像素坐标从相机坐标系转换到场景坐标系下，得到每一帧的点云数据，并根据每一帧的点云数据，确定多分辨率的深度图金字塔；
[0011]针对当前帧的点云数据和相邻前一帧的点云数据，根据相邻前一帧的点云数据和对应的RGB图像，并利用截断符号距离函数，构建全局空间模型；
[0012]根据所述全局空间模型，并利用光线投射法，确定所述相邻前一帧的预测数据；
[0013]根据当前帧的点云数据和相邻前一帧的预测数据，并利用迭代最近点算法，确定当前帧的初始相机位姿；
[0014]根据当前帧的初始相机位姿，并利用多分辨率的深度图金字塔，逐级计算出当前帧的目标相机位姿；
[0015]基于帧与模型融合的方式以及当前帧的目标相机位姿，将当前帧的深度图像融入到所述全局空间模型中，以更新全局空间模型；
[0016]根据更新后的全局空间模型，并利用光线投射法，确定出目标三维模型。
[0017]可选的，所述获取目标拍摄场景的查询帧图像，包括：
[0018]从预设的查询集中随机获取目标拍摄场景的查询帧图像，所述查询集表示在相机坐标系下的单个帧图像的集合。
[0019]可选的，将所述查询帧图像以及所述目标三维模型中与所述查询帧图像对应位置的子图，分别按照预测分辨率进行投影，并将投影结果进行比较，以识别出目标动态点集，包括：
[0020]将所述查询帧图像以及所述目标三维模型中与所述查询帧图像对应位置的子图，分别按照预设分辨率进行投影，得到查询帧图像的深度图像和目标三维模型中对应位置的子图的深度图像；
[0021]根据查询帧图像的深度图像和目标三维模型中对应位置的子图的深度图像，利用像素相减法，确定像素差矩阵；
[0022]根据所述像素差矩阵，判断像素差矩阵中的单个像素差是否超过预设阈值，若是，则将像素差超过预设阈值对应的像素点的集合作为初始动态点集；
[0023]对将所述查询帧图像以及所述目标三维模型中与所述查询帧图像对应位置的子图，进行迭代投影处理，以优化所述初始动态点集，得到目标动态点集。
[0024]可选的，对将所述查询帧图像以及所述目标三维模型中与所述查询帧图像对应位置的子图，进行迭代投影处理，以优化所述初始动态点集，得到目标动态点集，包括：
[0025]按照预设分辨率逐步降低的方式，将所述查询帧图像以及所述目标三维模型中与所述查询帧图像对应位置的子图进行迭代投影，以优化所述初始动态点集，得到目标动态点集。
[0026]可选的，所述迭代最近点算法的代价函数采用点到平面的距离度量方式；所述预测数据包括预测点云数据、预测点云各点的法向量以及相邻前一帧时的相机位姿；根据当前帧的点云数据和相邻前一帧的预测数据，并利用迭代最近点算法，确定当前帧的初始相机位姿，包括：
[0027]根据代价函数最小原则，计算当前帧的点云和相邻前一帧的点云之间的最优变换矩阵并作为当前帧的相机位姿，所述代价函数具体如下：
[0028][0029]其中，T
g，k
为当前帧的点云和相邻前一帧的点云之间的变换矩阵，E(T
g，k
)为代价函数，Ω
k(u)≠null
表示像素点u存在，为当前第k帧深度图像上像素u对应的空间点坐标；为第k
‑
1帧深度图像上像素u对应的预测点的空间坐标，为第k
‑
1帧深度图像上像素u对应的预测点的法向量，右上标T表示矩阵的转置。
[0030]可选的，所述构建全局空间模型中每个体素的信息包括截断符号距离值和RGB信息。
[0031]第二方面，本申请提供一种场景三维重建的动态对象处理系统，所述系统包括：
[0032]第一获取模块，用于获取目标拍摄场景的拍摄数据，所述拍摄数据包括彩色图像集和深度图像集；
[0033]重建模块，用于基于所述彩色图像集和深度图像集，重建目标拍摄场景的目标三
维模型；
[0034]第二获取模块，用于获取目标拍摄场景的查询帧图像；
[0035]动态处理模块，用于将所述查询帧图像以及所述目标三维模型中与所述查询帧图像对应位置的子图，分别按照预测分辨率进行投影，并将投影结果进行比较，以识别出目标动态点集，将所述目标动态点集从所述目标三维模型中删除，以更新所述目标三维模型。
[0036]第三方面，本申请提供的一种计算机设备，采用如下的技术方案：
[0037]一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述场景三维重建的动态对象处理方法的步骤。
[0038]第四方面，本申请提供的一种计算机可读存储介质，采用如下的技术方案：
[0039]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述场景三维重建的动态对象处理方法的步骤。
[0040]采用上述实施例的有益效果是：根据对目标拍摄场景拍摄的彩色图像集和深度图像集，重建目标拍摄场景的目标三维模型，从而便于全面对目标拍摄场景的动静态对象进行识别；根据目标拍摄场景的查询帧图像和目标三维模型中对应子图分别进行投影并比较，从而便于识别出目标动态点集，并将目标动态点集从目标三维模型中删本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种场景三维重建的动态对象处理方法，其特征在于，所述方法包括：获取目标拍摄场景的拍摄数据，所述拍摄数据包括彩色图像集和深度图像集；基于所述彩色图像集和深度图像集，重建目标拍摄场景的目标三维模型；获取目标拍摄场景的查询帧图像；将所述查询帧图像以及所述目标三维模型中与所述查询帧图像对应位置的子图，分别按照预测分辨率进行投影，并将投影结果进行比较，以识别出目标动态点集，将所述目标动态点集从所述目标三维模型中删除，以更新所述目标三维模型。2.根据权利要求1所述的场景三维重建的动态对象处理方法，其特征在于，所述彩色图像集包括每一帧的RGB图像，所述深度图像集包括每一帧的深度图像；则基于所述彩色图像集和深度图像集，重建目标拍摄场景的目标三维模型，包括：将每一帧的深度图像中所有像素坐标从相机坐标系转换到场景坐标系下，得到每一帧的点云数据，并根据每一帧的点云数据，确定多分辨率的深度图金字塔；针对当前帧的点云数据和相邻前一帧的点云数据，根据相邻前一帧的点云数据和对应的RGB图像，并利用截断符号距离函数，构建全局空间模型；根据所述全局空间模型，并利用光线投射法，确定所述相邻前一帧的预测数据；根据当前帧的点云数据和相邻前一帧的预测数据，并利用迭代最近点算法，确定当前帧的初始相机位姿；根据当前帧的初始相机位姿，并利用多分辨率的深度图金字塔，逐级计算出当前帧的目标相机位姿；基于帧与模型融合的方式以及当前帧的目标相机位姿，将当前帧的深度图像融入到所述全局空间模型中，以更新全局空间模型；根据更新后的全局空间模型，并利用光线投射法，确定出目标三维模型。3.根据权利要求1所述的场景三维重建的动态对象处理方法，其特征在于，所述获取目标拍摄场景的查询帧图像，包括：从预设的查询集中随机获取目标拍摄场景的查询帧图像，所述查询集表示在相机坐标系下的单个帧图像的集合。4.根据权利要求1所述的场景三维重建的动态对象处理方法，其特征在于，将所述查询帧图像以及所述目标三维模型中与所述查询帧图像对应位置的子图，分别按照预测分辨率进行投影，并将投影结果进行比较，以识别出目标动态点集，包括：将所述查询帧图像以及所述目标三维模型中与所述查询帧图像对应位置的子图，分别按照预设分辨率进行投影，得到查询帧图像的深度图像和目标三维模型中对应位置的子图的深度图像；根据查询帧图像的深度图像和目标三维模型中对应位置的子图的深度图像，利用像素相减法，确定像素差矩阵；根据所述像素差矩阵，判断像素差矩阵中的单个像素差是否超过预设阈值，若是，则将像素差超过预设阈值对应的像素点的集合作为初始动态点集；对将所述查询帧图像以及所述目标三维模型中与所述查询帧图像对应位置的子图，进行迭代投影处理，以优化所述初始动态点集，得到目标...

【专利技术属性】
技术研发人员：熊彪，李安琪，武睿祺，纪元，王汝婷，吴俊豪，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：