本发明专利技术实施例公开了一种三维场景重建方法、装置、设备和存储介质，包括：获取目标区域的、具有共视区域的多张图像；基于预设的三维场景重建算法对图像进行三维场景重建获得目标区域的第一三维场景；根据拍摄图像的相机的GPS数据将第一三维场景变换为世界坐标系下的第二三维场景；以GPS数据为约束来对第二三维场景进行优化得到目标区域的最终三维场景；本发明专利技术实施例避免了仅基于视觉图像重建三维场景和全程使用GPS数据约束造成重建后三维场景准确度低的问题，既使用GPS数据为约束，又避免全程使用GPS数据为约束带入GPS数据的误差，提高了三维场景的准确度，且三维场景对齐到世界坐标系。坐标系。坐标系。
【技术实现步骤摘要】
一种三维场景重建方法、装置、电子设备和存储介质
[0001]本专利技术实施例涉及视觉图像处理
，尤其涉及一种三维场景重建方法、三维场景重建装置、设备和存储介质。
技术介绍
[0002]在无人机领域中，可通过无人机获取测绘区域的多张航拍图像，通过多张航拍图像重建测绘区域的三维场景，以通过该三维场景为其他业务提供诸如导航、航线规划、避障等服务器。
[0003]目前，常用的三维场景重建采用SFM(Structure from Motion，运动恢复结构)算法，对具有共视区域的多张图像，SFM算法利用特征匹配和几何估计等方式重建出稀疏三维点云，SFM算法后需要做全局优化，以减少点云的重投影误差，另外，为了得到真实世界坐标系下的三维场景，通常会在全局优化过程中加入GPS数据约束。
[0004]目前的三维场景重建方法，如果SFM算法后直接做全局优化，造成SFM算法中仅依靠视觉信息重建，难以恢复出三维场景的尺度，该三维场景也没有对齐到世界坐标系上的绝对位置，如果直接在全局优化中增加GPS数据约束，则会造成优化过程全程依赖GPS数据，在GPS数据存在一定误差的情况下，导致全局优化失败。因此，目前三维场景重建过程中存在GPS数据约束不当，无法获得准确的三维场景的问题。
技术实现思路
[0005]本专利技术提供了一种三维场景重建方法、三维场景重建装置、设备和存储介质，以解决三维场景重建存在GPS数据约束不当，无法获得准确的三维场景的问题。
[0006]第一方面，本专利技术实施例提供了一种三维场景重建方法，包括：
[0007]获取目标区域的、具有共视区域的多张图像，所述图像具有拍摄所述图像的相机的GPS数据；
[0008]基于预设的三维场景重建算法对所述图像进行三维场景重建获得所述目标区域的第一三维场景；
[0009]根据所述GPS数据将所述第一三维场景变换为世界坐标系下的第二三维场景；
[0010]以所述GPS数据为约束来对所述第二三维场景进行优化得到所述目标区域的最终三维场景。
[0011]可选地，所述基于预设的三维场景重建算法对所述图像进行三维场景重建获得所述目标区域的第一三维场景，包括：
[0012]利用运动恢复结构SFM算法对所述图像进行三维场景重建得到初始三维点云数据和所述相机的初始位姿数据；
[0013]对所述初始位姿数据和所述初始三维点云数据进行光束法平差优化得到第一三维场景，所述第一三维场景包括第一三维点云数据、所述相机的第一位姿数据和第一相机内参。
[0014]可选地，所述对所述初始位姿数据和所述初始三维点云数据进行光束法平差优化得到第一三维场景，包括：
[0015]获取所述相机的初始相机内参；
[0016]基于所述光束法平差优化算法，采用所述初始相机内参、所述初始位姿数据以及所述初始三维点云数据建立第一重投影误差函数；
[0017]对所述第一重投影误差函数求最小值得到第一相机内参、第一位姿数据以及第一三维点云数据以作为第一三维场景；
[0018]其中，所述初始相机内参包括所述相机的初始中心参数、初始畸变参数和初始焦距。
[0019]所述第一相机内参包括相机的第一中心参数和第一畸变参数。
[0020]可选地，所述根据所述GPS数据将所述第一三维场景变换为世界坐标系下的第二三维场景，包括：
[0021]采用所述第一位姿数据和所述GPS数据计算所述第一三维场景到世界坐标系的相似变换；
[0022]采用所述相似变换对所述第一位姿数据和所述第一三维点云数据进行变换得到的第二位姿数据和第二三维点云数据，以作为世界坐标系下的第二三维场景。
[0023]可选地，所述以所述GPS数据为约束来对所述第二三维场景进行优化得到第三三维场景，包括：
[0024]采用所述GPS数据和所述第二位姿数据建立GPS损失函数；
[0025]基于所述光束法平差优化算法，采用所述第二三维场景中的第二位姿数据、第二三维点云数据以及第二相机内参建立第二重投影误差函数，所述第二相机内参包括初始相机焦距，以及所述第一相机内参的相机第一中心参数和第一畸变参数；
[0026]计算所述GPS损失函数和所述第二重投影误差函数的和值；
[0027]对所述和值求最小值得到第三位姿数据、第三三维点云数据和第三相机内参以作为所述目标区域的最终三维场景。
[0028]可选地，所述采用所述GPS数据和所述第二位姿数据建立GPS损失函数，包括：
[0029]获取所述相机拍摄每张图像时的GPS测量精度；
[0030]采用所述GPS测量精度和第一重投影误差值计算每张图像的惩罚对角矩阵；
[0031]采用预设GPS数据权值、所述GPS数据、所述第二位姿数据以及所述惩罚对角矩阵建立GPS损失函数。
[0032]可选地，在以所述GPS数据为约束来对所述第二三维场景进行优化得到第三三维场景之前，还包括：
[0033]获取每张图像的地面控制点GCP数据；
[0034]所述以所述GPS数据为约束来对所述第二三维场景进行优化得到所述目标区域的最终三维场景，包括：
[0035]以所述GPS数据和所述地面控制点GCP数据为约束来对所述第二三维场景进行优化得到所述目标区域的最终三维场景。
[0036]可选地，在以所述GPS数据为约束来对所述第二三维场景进行优化得到所述目标区域的最终三维场景之后，还包括：
[0037]获取每张图像的地面控制点GCP数据；
[0038]以所述GPS数据和所述地面控制点GCP数据为约束来对所述最终三维场景进行优化得到第三三维场景。
[0039]第二方面，本专利技术实施例提供了一种三维场景重建装置，包括：
[0040]图像获取模块，用于获取目标区域的、具有共视区域的多张图像，所述图像具有拍摄所述图像的相机的GPS数据；
[0041]三维场景重建模块，用于基于预设的三维场景重建算法对所述图像进行三维场景重建获得所述目标区域的第一三维场景；
[0042]坐标转换模块，用于根据所述GPS数据将所述第一三维场景变换为世界坐标系下的第二三维场景；
[0043]三维场景优化模块，用于以所述GPS数据为约束来对所述第二三维场景进行优化得到所述目标区域的最终三维场景。
[0044]可选地，所述三维场景重建模块包括：
[0045]SFM算法子模块，用于利用运动恢复结构SFM算法对所述图像进行三维场景重建得到初始三维点云数据和所述相机的初始位姿数据；
[0046]第一优化子模块，用于对所述初始位姿数据和所述初始三维点云数据进行光束法平差优化得到第一三维场景，所述第一三维场景包括第一三维点云数据、所述相机的第一位姿数据和第一相机内参。
[0047]可选地，所述第一优化子模块包括：
[0048]相机内参获取单元，用于获取所述相机的初始相机内参；
[0049]第一重投影误差本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种三维场景重建方法，其特征在于，包括：获取目标区域的、具有共视区域的多张图像，所述图像具有拍摄所述图像的相机的GPS数据；基于预设的三维场景重建算法对所述图像进行三维场景重建获得所述目标区域的第一三维场景；根据所述GPS数据将所述第一三维场景变换为世界坐标系下的第二三维场景；以所述GPS数据为约束来对所述第二三维场景进行优化得到所述目标区域的最终三维场景。2.根据权利要求1所述的方法，其特征在于，所述基于预设的三维场景重建算法对所述图像进行三维场景重建获得所述目标区域的第一三维场景，包括：利用运动恢复结构SFM算法对所述图像进行三维场景重建得到初始三维点云数据和所述相机的初始位姿数据；对所述初始位姿数据和所述初始三维点云数据进行光束法平差优化得到第一三维场景，所述第一三维场景包括第一三维点云数据、所述相机的第一位姿数据和第一相机内参。3.根据权利要求2所述的方法，其特征在于，所述对所述初始位姿数据和所述初始三维点云数据进行光束法平差优化得到第一三维场景，包括：获取所述相机的初始相机内参；基于所述光束法平差优化算法，采用所述初始相机内参、所述初始位姿数据以及所述初始三维点云数据建立第一重投影误差函数；对所述第一重投影误差函数求最小值得到第一相机内参、第一位姿数据以及第一三维点云数据以作为第一三维场景；其中，所述初始相机内参包括所述相机的初始中心参数、初始畸变参数和初始焦距；所述第一相机内参包括所述相机的第一中心参数和第一畸变参数。4.根据权利要求3所述的方法，其特征在于，所述根据所述GPS数据将所述第一三维场景变换为世界坐标系下的第二三维场景，包括：采用所述第一位姿数据和所述GPS数据计算所述第一三维场景到世界坐标系的相似变换；采用所述相似变换对所述第一位姿数据和所述第一三维点云数据进行变换得到的第二位姿数据和第二三维点云数据，以作为世界坐标系下的第二三维场景。5.根据权利要求4所述的方法，其特征在于，所述以所述GPS数据为约束来对所述第二三维场景进行优化得到所述目标区域的最终三维场景，包括：采用所述GPS数据和所述第二位姿数据建立GPS损失函数；基于所述光束法平差优化算法，采用所述第二三维场景中的第二位姿数据、第二三维点云数据以及第二相机内参建立第二重投影误差函数，所述第二相机内参包括初始相机焦距，以及所述第一相机内参的相机第一中心参数和第...
【专利技术属性】
技术研发人员：邓杭，
申请(专利权)人：广州极飞科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。