相机位姿优化方法、装置、电子设备和计算机可读介质制造方法及图纸

本发明专利技术提供了一种相机位姿优化方法、装置、电子设备和计算机可读介质，涉及图像处理的技术领域，包括获取目标摄像机拍摄的待处理关键帧；对待处理关键帧进行语义分割，得到语义分割结果，语义分割结果中包括至少一个分割区域和每个分割区域的类别信息；结合全局地图中的历史语义路标标记，在全局地图中为待处理关键帧中的目标对象建立语义路标标记，并对各个语义路标标记进行更新，以更新各个语义路标标记所属的地图点；利用更新之后的语义路标标记优化目标摄像机的位姿信息，本发明专利技术缓解了现有的视觉同步定位与地图构建系统在进行相机位姿的优化时，优化效果较差的技术问题。

Camera pose optimization methods, devices, electronic devices and computer readable media

The invention provides a camera pose optimization method, device, electronic equipment and computer readable medium, which relates to the technical field of image processing, including acquiring the key frames to be processed captured by the target camera, semantically segmenting the processed key frames, and obtaining the semantically segmented results. The semantically segmented results include at least one segmented area and the category information of each segmented area. Combining the historical and semantic landmark markers in the global map, the semantic landmark markers are established for the target objects in the key frames to be processed in the global map, and each semantic landmark marker is updated to update the map points to which each semantic landmark belongs; the position and pose information of the target camera is optimized by using the updated semantic landmark markers, which alleviates the existing vision. Synchronized positioning and map building system is a technical problem with poor optimization effect in the optimization of camera position and posture.

【技术实现步骤摘要】
相机位姿优化方法、装置、电子设备和计算机可读介质
本专利技术涉及图像处理的
，尤其是涉及一种相机位姿优化方法、装置、电子设备和计算机可读介质。
技术介绍
在目前的视觉同步定位与地图构建系统中，研究员通常采用视觉里程计，利用前后图像帧之间的匹配估计相机运动，并利用重投影误差来优化相机位姿。在这一过程中，算法的准确率受到了多方面的制约。例如，由于前后图像帧之间的匹配完全依赖于特征点的对应，假如特征点在图像的不同区域产生了大的响应值，此时，很难将不同帧进行配准。另外，在实际处理中，室外环境的光照变化范围通常较大，这将会大大影响图像特征的提取与图片的匹配，昏暗灯光(例如，夜晚、雪景)等情况甚至导致特征点数量的急剧减少，无法提供鲁棒的优化措施。再者，由于相机运动由前后图像帧相对位置确定，每一帧位姿估计都依赖于前一图像帧的位置，因此，假如在某个位置的运动估计产生误差，该错误信息将在系统中一直传递，并不断累计，最终可能导致轨迹的漂移。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种相机位姿优化方法、装置、电子设备和计算机可读介质，以缓解了现有的视觉同步定位与地图构建系统在进行相机位姿的优化时，优化效果较差的技术问题。第一方面，本专利技术实施例提供了一种相机位姿优化方法，包括：获取目标摄像机拍摄的待处理关键帧；对所述待处理关键帧进行语义分割，得到语义分割结果，所述语义分割结果中包括至少一个分割区域和每个分割区域的类别信息；结合全局地图中的历史语义路标标记，在所述全局地图中为所述待处理关键帧中的目标对象建立语义路标标记，并对各个所述语义路标标记进行更新，以更新各个所述语义路标标记所属的地图点；利用更新之后的语义路标标记优化所述目标摄像机的位姿信息。进一步地，对所述待处理关键帧进行语义分割，得到语义分割结果包括：通过语义分割模型对所述待处理关键帧进行语义分割，得到至少一个分割区域，并将所述至少一个分割区域作为所述语义分割结果，其中，每个分割区域对应所述待处理关键帧中的一个目标对象。进一步地，对各个所述语义路标标记进行更新包括：更新所述全局地图中地图点的属性信息，得到更新之后的地图点，其中，更新属性信息包括：地图点所属分割区域的类别信息和类别置信度，以及地图点所对应的语义路标标记的标识信息；利用所述更新之后的地图点对各个语义路标标记进行更新。进一步地，所述待处理关键帧中包括多个特征点；更新所述全局地图中地图点的属性信息包括：在所述待处理关键帧中确定与所述地图点相对应的特征点，得到目标特征点；利用所述目标特征点的类别信息更新所述全局地图中目标地图点的类别信息，其中，所述目标地图点为所述全局地图中与所述目标特征点相对应的地图点，所述目标特征点的类别信息包括：目标特征点所属分割区域的类别信息和类别置信度。进一步地，利用所述更新之后的地图点对各个语义路标标记进行更新包括：若所述更新之后的地图点位于分割区域内，且所述更新之后的地图点所属于所述待处理关键帧中目标语义路标标记，则将所述更新之后的地图点融合至所述目标语义路标标记；其中，所述更新之后的地图点与所述目标语义路标标记在三维空间中维护的三维中心点的距离小于预设距离，所述三维中心点与所述更新之后的地图点位于所述待处理关键帧的同一分割区域内，且所述更新之后的地图点的类别信息与所述目标语义路标标记的类别信息相同。进一步地，利用所述更新之后的地图点对各个语义路标标记进行更新还包括：若所述更新之后的地图点位于所述分割区域内，且所述更新之后的地图点不属于所述待处理关键帧中的语义路标标记，则为所述更新之后的地图点创建新的语义路标标记，并将新创建的语义路标标记存储在所述全局地图对应的数据库中。进一步地，利用更新之后的语义路标标记优化所述目标摄像机的位姿信息包括：利用公式优化所述目标摄像机的位姿信息，其中，DT为距离变换函数，x表示地图点在待处理关键帧上的对应投影点，s表示所述待处理关键帧的语义分割结果，z为观测值，l为中间变量，X为优化之后的目标摄像机的位姿信息，λ为置信度因子，gradient表示初始位置距离图谱上的梯度，vector表示向量，所述初始位置为所述全局地图中地图点投影的初始位置，π(x,l)表示观测值在所述全局地图中的投影位置。进一步地，所述方法还包括：利用三维距离信息和/或类别信息对所述待处理关键帧中的语义路标标记进行更新，以删除所述语义路标标记中的外部地图点，其中，所述三维距离信息为所述语义路标标记内地图点之间的三维距离，所述类别信息为所述语义路标标记内地图点的类别信息。进一步地，结合全局地图中的历史语义路标标记，在所述全局地图中为所述待处理关键帧中的目标对象建立语义路标标记包括：将所述全局地图中的历史语义路标标记映射到所述待处理关键帧中，以确定与所述待处理关键帧中的每个第一目标对象相对应的语义路标标记，并将所述相对应的语义路标标记确定为所述第一目标对象的语义路标标记。进一步地，所述方法还包括：若所述待处理关键帧中的第二目标对象未映射到对应的语义路标标记，则为所述第二目标对象构建对应的语义路标标记。第二方面，本专利技术实施例提供了一种相机位姿优化装置，包括：获取单元，用于获取目标摄像机拍摄的待处理关键帧；语义分割单元，用于对所述待处理关键帧进行语义分割，得到语义分割结果，所述语义分割结果中包括至少一个分割区域和每个分割区域的类别信息；建立单元，用于结合全局地图中的历史语义路标标记，在所述全局地图中为所述待处理关键帧中的目标对象建立语义路标标记，并对各个所述语义路标标记进行更新，以更新各个所述语义路标标记所属的地图点；优化单元，用于利用更新之后的语义路标标记优化所述目标摄像机的位姿信息。第三方面，本专利技术实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的方法。第四方面，本专利技术实施例提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面中任一项所述的方法。在本专利技术实施例中，首先，获取目标摄像机拍摄的待处理关键帧，然后，对待处理关键帧进行语义分割，得到语义分割结果，之后，结合全局地图中的历史语义路标标记，在全局地图中为待处理关键帧中的目标对象建立语义路标标记，并对各个语义路标标记进行更新，以更新各个语义路标标记所属的地图点，最后，利用更新之后的语义路标标记优化目标摄像机的位姿信息。采用本实施例所提供的上述所描述的相机位姿的优化方法，不依赖于视频流前后帧之间的关联，且不会受到外界环境因素的影响，因而，本实施例所提供的相机位姿优化进而缓解了现有的视觉同步定位与地图构建系统在进行相机位姿的优化时，优化效果较差的技术问题，从而达到了提高相机位姿优化的优化效果的目的。本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方本文档来自技高网...

【技术保护点】
1.一种相机位姿优化方法，其特征在于，包括：获取目标摄像机拍摄的待处理关键帧；对所述待处理关键帧进行语义分割，得到语义分割结果，所述语义分割结果中包括至少一个分割区域和每个分割区域的类别信息；结合全局地图中的历史语义路标标记，在所述全局地图中为所述待处理关键帧中的目标对象建立语义路标标记，并对各个所述语义路标标记进行更新，以更新各个所述语义路标标记所属的地图点；利用更新之后的语义路标标记优化所述目标摄像机的位姿信息。

【技术特征摘要】
1.一种相机位姿优化方法，其特征在于，包括：获取目标摄像机拍摄的待处理关键帧；对所述待处理关键帧进行语义分割，得到语义分割结果，所述语义分割结果中包括至少一个分割区域和每个分割区域的类别信息；结合全局地图中的历史语义路标标记，在所述全局地图中为所述待处理关键帧中的目标对象建立语义路标标记，并对各个所述语义路标标记进行更新，以更新各个所述语义路标标记所属的地图点；利用更新之后的语义路标标记优化所述目标摄像机的位姿信息。2.根据权利要求1所述的方法，其特征在于，对所述待处理关键帧进行语义分割，得到语义分割结果包括：通过语义分割模型对所述待处理关键帧进行语义分割，得到至少一个分割区域，并将所述至少一个分割区域作为所述语义分割结果，其中，每个分割区域对应所述待处理关键帧中的一个目标对象。3.根据权利要求1所述的方法，其特征在于，对各个所述语义路标标记进行更新包括：更新所述全局地图中地图点的属性信息，得到更新之后的地图点，其中，更新属性信息包括：地图点所属分割区域的类别信息和类别置信度，以及地图点所对应的语义路标标记的标识信息；利用所述更新之后的地图点对各个语义路标标记进行更新。4.根据权利要求3所述的方法，其特征在于，所述待处理关键帧中包括多个特征点；更新所述全局地图中地图点的属性信息包括：在所述待处理关键帧中确定与所述地图点相对应的特征点，得到目标特征点；利用所述目标特征点的类别信息更新所述全局地图中目标地图点的类别信息，其中，所述目标地图点为所述全局地图中与所述目标特征点相对应的地图点，所述目标特征点的类别信息包括：目标特征点所属分割区域的类别信息和类别置信度。5.根据权利要求3所述的方法，其特征在于，利用所述更新之后的地图点对各个语义路标标记进行更新包括：若所述更新之后的地图点位于分割区域内，且所述更新之后的地图点所属于所述待处理关键帧中的目标语义路标标记，则将所述更新之后的地图点融合至所述目标语义路标标记；其中，所述更新之后的地图点与所述目标语义路标标记在三维空间中维护的三维中心点的距离小于预设距离，所述三维中心点与所述更新之后的地图点位于所述待处理关键帧的同一分割区域内，且所述更新之后的地图点的类别信息与所述目标语义路标标记的类别信息相同。6.根据权利要求3所述的方法，其特征在于，利用所述更新之后的地图点对各个语义路标标记进行更新还包括：若所述更新之后的地图点位于所述分割区域内，且所述更新之后的地图点不属于所述待处理关键帧中的语义路标标记，则为所述更新之后的地图点创建新的语义路标标记，并将新创...

【专利技术属性】
技术研发人员：史桀绮，
申请(专利权)人：北京旷视科技有限公司，
类型：发明
国别省市：北京,11