地图构建方法、位姿确定方法及相关装置、设备制造方法及图纸

本申请公开了一种地图构建方法、位姿确定方法及相关装置、设备，方法包括：获取对目标环境拍摄得到的若干组目标图像对，其中，每组目标图像对包含两张场景图像；基于若干组目标图像对，确定各组目标图像对中两张场景图像之间的位姿变化；利用位姿变化以及场景图像的参考定位信息，得到目标环境中的若干地图点的位置信息，其中，参考定位信息是利用预设定位方式对场景图像定位得到的，地图点是目标环境中与若干组目标图像对中的图像点对应的空间点。上述方案，能够提高地图点的位置精度。能够提高地图点的位置精度。能够提高地图点的位置精度。

【技术实现步骤摘要】
地图构建方法、位姿确定方法及相关装置、设备


[0001]本申请涉及图像处理
，特别是涉及一种地图构建方法、位姿确定方法及相关装置、设备。

技术介绍

[0002]在计算机视觉
，三维重建是指根据单视图或者多视图的图像重建三维信息的过程。在该领域中，运动恢复结构(Structure from motion，SFM)是一种通过分析图像序列得到相机参数并进行三维重建的技术，该技术具有广泛的应用，例如可以应用于增强现实、机器人和自动驾驶等领域。
[0003]目前，在利用SFM技术进行三维重建时，存在着重建的地图点的位置不够准确的问题，导致很多时候无法直接使用利用SFM技术构建的地图，这极大的限制了SFM技术在三维重建的进一步应用。
[0004]因此，如何改进SFM技术以提高得到的地图点的位置精度，具有重要的意义。

技术实现思路

[0005]本申请至少提供一种地图构建方法、位姿确定方法及相关装置、设备。
[0006]本申请第一方面提供了一种地图构建方法，方法包括：获取对目标环境拍摄得到的若干组目标图像对，其中，每组目标图像对包含两张场景图像；基于若干组目标图像对，确定各组目标图像对中两张场景图像之间的位姿变化；利用位姿变化以及场景图像的参考定位信息，得到目标环境中的若干地图点的位置信息，其中，参考定位信息是利用预设定位方式对场景图像定位得到的，地图点是目标环境中与若干组目标图像对中的图像点对应的空间点。
[0007]因此，通过利用场景图像的参考定位信息来得到目标环境中的若干地图点的位置信息，可以利用参考定位信息来得到地图点的位置信息，实现了利用参考定位信息和目标图像对的位姿变化共同得到地图点的位置信息，有助于提高地图点的位置精度。
[0008]其中，上述的位姿变化包括第一旋转变化，上述的利用位姿变化以及场景图像的参考定位信息，得到目标环境中的若干地图点的位置信息，包括：利用位姿变化，确定各场景图像的目标位姿，其中，目标位姿包括目标旋转和目标平移；利用目标位姿，确定目标环境中的若干地图点的位置信息；其中，目标旋转、目标平移和地图点的位置信息中的至少一者还利用参考定位信息确定的。
[0009]因此，通过设置目标旋转、目标平移和地图点的位置信息中的至少一者还利用参考定位信息确定的，实现了利用参考定位信息来进行地图构建，有助于提高地图点的位置精度。
[0010]其中，上述的利用位姿变化，确定各场景图像的目标位姿，包括：初始化若干组目标图像对中的场景图像的候选旋转；利用第一优化因子对候选旋转进行优化，得到各场景图像经优化的候选旋转，其中，第一优化因子包括第一旋转变化，或者包括第一旋转变化和
参考定位信息中场景图像的参考旋转；将场景图像经优化的候选旋转作为场景图像的目标旋转；或者迭代执行利用第一优化因子对候选旋转进行优化，得到各场景图像经优化的候选旋转，在满足预设迭代条件后，将场景图像当前经优化的候选旋转作为场景图像的目标旋转。
[0011]因此，通过获取第一优化因子，可以实现对场景图像的候选旋转进行优化。另外，在第一优化因子包括参考定位信息中场景图像的参考旋转时，通过利用第一优化因子对场景图像的候选旋转进行优化，实现了利用参考定位信息优化得到场景图像的候选旋转，有助于提高得到的目标旋转的准确度。
[0012]其中，上述的利用第一优化因子对候选旋转进行优化，得到各场景图像经优化的候选旋转，包括：基于第一旋转变化和当前候选旋转，确定各组目标图像对的旋转变化偏移量，其中，旋转变化偏移量表示第一旋转变化与第二旋转变化之间的偏移量，第二旋转变化是利用目标图像对的当前候选旋转确定的；利用旋转变化偏移量确定旋转修正量，或者利用旋转变化偏移量以及各场景图像的参考旋转偏移量，确定旋转修正量，其中，场景图像的参考旋转偏移量表示场景图像的当前候选旋转与场景图像的参考旋转之间的偏移量；利用场景图像的旋转修正量与当前候选旋转，得到场景图像经优化的候选旋转。
[0013]因此，通过获取目标图像对的旋转变化偏移量以及各场景图像的参考旋转偏移量，以此可以通过优化的方法确定旋转修正量，进而能够对场景图像的候选旋转进行优化，实现了利用参考定位信息优化得到场景图像的候选旋转，有助于提高得到的候选旋转的准确度。
[0014]其中，上述的利用位姿变化，确定各场景图像的目标位姿，包括：初始化场景图像的目标平移；利用第二优化因子，对各场景图像的目标平移进行优化，其中，第二优化因子包括以下至少一者：各组目标图像对的相对相机中心的位移方向、各地图点在各场景图像中对应的图像点的特征射线方向、参考定位信息中各场景图像的参考平移。
[0015]因此，通过利用第二优化因子，能够对各场景图像的目标平移进行优化。另外，在第二优化因子包括参考定位信息中各场景图像的参考平移时，实现了利用参考定位信息优化得到场景图像的目标平移，有助于提高得到的目标平移的准确度。
[0016]其中，上述的利用第二优化因子，对各场景图像的目标平移进行优化，包括：利用各组目标图像对的位移方向差异、各地图点在各场景图像的射线方向差异、各场景图像的平移差异，建立第二优化方程，求解得到各场景图像经优化的目标平移；其中，目标图像对的位移方向差异为目标图像对的相对相机中心的位移方向与参考位移方向之间的差异，参考位移方向是利用目标图像对的场景图像的当前目标平移得到的；地图点在场景图像的射线方向差异为地图点在场景图像中对应的特征射线方向与参考射线方向之间的差异，参考射线方向是利用场景图像的当前目标平移和地图点的当前位置确定的；场景图像的平移差异为场景图像的当前目标平移与场景图像的参考平移之间的差异。
[0017]因此，通过建立第二优化方程，实现了利用参考定位信息优化得到场景图像的目标平移，有助于提高得到的目标平移的准确度。
[0018]其中，上述的第二优化方程使得：各组目标图像对的位移方向差异、各地图点在各场景图像的射线方向差异、各场景图像的平移差异的加权结果满足预设优化条件。
[0019]因此，通过使得第二优化方程的各组目标图像对的位移方向差异、各地图点在各
场景图像的射线方向差异、各场景图像的平移差异的加权结果满足预设优化条件，可以实现利用参考定位信息优化得到场景图像的目标平移，有助于提高得到的目标平移的准确度。
[0020]其中，上述的位姿变化还包括平移变化，目标图像对的位移变化为从目标图像对中的第一场景图像平移至目标图像对中的第二场景图像产生的变化，在利用第二优化因子，对各场景图像的目标平移进行优化之前，方法还包括：利用目标图像对中的第一场景图像的目标旋转、以及目标图像对的位移变化，得到目标图像对的相对相机中心的位移方向；
[0021]因此，通过利用目标图像对中的第一场景图像的目标旋转、以及目标图像对的位移变化，以此能够得到目标图像对的相对相机中心的位移方向。
[0022]在利用第二优化因子，对各场景图像的目标平移进行优化之前，方法还包括：利用场景图像的目标旋转、以及地图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种地图构建方法，其特征在于，包括：获取对目标环境拍摄得到的若干组目标图像对，其中，每组所述目标图像对包含两张场景图像；基于所述若干组目标图像对，确定各组所述目标图像对中两张场景图像之间的位姿变化；利用所述位姿变化以及所述场景图像的参考定位信息，得到所述目标环境中的若干地图点的位置信息，其中，所述参考定位信息是利用预设定位方式对所述场景图像定位得到的，所述地图点是所述目标环境中与所述若干组目标图像对中的图像点对应的空间点。2.根据权利要求1所述的方法，其特征在于，所述利用所述位姿变化以及所述场景图像的参考定位信息，得到所述目标环境中的若干地图点的位置信息，包括：利用所述位姿变化，确定各所述场景图像的目标位姿，其中，所述目标位姿包括目标旋转和目标平移；利用所述目标位姿，确定所述目标环境中与所述场景图像对应的若干地图点的位置信息；其中，所述目标旋转、目标平移和所述地图点的位置信息中的至少一者还利用所述参考定位信息确定的。3.根据权利要求2所述的方法，其特征在于，所述位姿变化包括第一旋转变化；所述利用所述位姿变化，确定各所述场景图像的目标位姿，包括：初始化所述若干组目标图像对中的所述场景图像的候选旋转；利用第一优化因子对所述候选旋转进行优化，得到各所述场景图像经优化的候选旋转，其中，所述第一优化因子包括所述第一旋转变化，或者包括所述第一旋转变化和所述参考定位信息中所述场景图像的参考旋转；将所述场景图像经优化的候选旋转作为所述场景图像的目标旋转；或者迭代执行所述利用第一优化因子对所述候选旋转进行优化，得到各所述场景图像经优化的候选旋转，在满足预设迭代条件后，将所述场景图像当前经优化的候选旋转作为所述场景图像的目标旋转。4.根据权利要求3所述的方法，其特征在于，所述利用第一优化因子对所述候选旋转进行优化，得到各所述场景图像经优化的候选旋转，包括：基于所述第一旋转变化和当前所述候选旋转，确定各所述目标图像对的旋转变化偏移量，其中，所述旋转变化偏移量表示第一旋转变化与第二旋转变化之间的偏移量，所述第二旋转变化是利用所述目标图像对的当前所述候选旋转确定的；利用所述旋转变化偏移量确定旋转修正量，或者利用所述旋转变化偏移量以及各所述场景图像的参考旋转偏移量，确定旋转修正量，其中，所述场景图像的参考旋转偏移量表示所述场景图像的当前所述候选旋转与所述场景图像的参考旋转之间的偏移量；利用所述场景图像的旋转修正量与当前所述候选旋转，得到所述场景图像经优化的所述候选旋转。5.根据权利要求2至4任一项所述的方法，其特征在于，所述利用所述位姿变化，确定各所述场景图像的目标位姿，包括：初始化所述场景图像的目标平移；
利用第二优化因子，对各所述场景图像的目标平移进行优化，其中，所述第二优化因子包括以下至少一者：各所述目标图像对的相对相机中心的位移方向、各地图点在各所述场景图像中对应的图像点的特征射线方向、所述参考定位信息中各所述场景图像的参考平移。6.根据权利要求5所述的方法，其特征在于，所述利用第二优化因子，对各所述场景图像的目标平移进行优化，包括：利用各所述目标图像对的位移方向差异、各所述地图点在各所述场景图像的射线方向差异、各所述场景图像的平移差异，建立第二优化方程，求解得到各所述场景图像经优化的目标平移；其中，所述目标图像对的位移方向差异为所述目标图像对的所述相对相机中心的位移方向与参考位移方向之间的差异，所述参考位移方向是利用所述目标图像对的场景图像的当前所述目标平移得到的；所述地图点在所述场景图像的射线方向差异为所述地图点在所述场景图像中对应的所述特征射线方向与参考射线方向之间的差异，所述参考射线方向是利用所述场景图像的当前所述目标平移和所述地图点的当前位置确定的；所述场景图像的平移差异为所述场景图像的当前所述目标平移与所述场景图像的所述参考平移之间的差异。7.根据权利要求6所述的方法，其特征在于，所述第二优化方程使得：各所述目标图像对的位移方向差异、各所述地图点在各所述场景图像的射线方向差异、各所述场景图像的平移差异的加权结果满足预设优化条件。8.根据权利要求5至7任一项所述的方法，其特征在于，所述位姿变化还包括平移变化，目标图像对的位移变化为从所述目标图像对中的第一场景图像平移至所述目标图像对中的第二场景图像产生的变化；在所述利用第二优化因子，对各所述场景图像的目标平移进行优化之前，所述方法还包括：利用所述目标图像对中的所述第一场景图像的目标旋转、以及所述目标图像对的所述位移变化，得到所述目标图像对的相对相机中心的位移方向；和/或，利用所述场景图像的目标旋转、以及所述地图点在所述场景图像中对应的图像点的位置信息，得到所述地图点在所述场景图像中对应的图像点的特征射线方向。9.根据权利要求2至8任一项所述的方法，其特征在于，所述利用所述目标位姿，确定所述目标环境中与所述场景图像对应的若干地图点的位置信息，包括：利用所述目标位姿，得到所述若干地图点的位置信息；利用第三优化因子，对所述若干地图点的位置信息进行优化，以得到所述若干个所述地图点经优化的位置信息，其中，所述第三优化因子包括以下至少一者：各所述地图点在各所述场景图像中的投影点误差、所述参考定位信息中各所述场景图像的参考旋转、所述参考定位信息中各所述场景图像的参考平移。10.根据权利要求9所述的方法，其特征在于，所述利用第三优化因子，对所述若干地图点的位置信息进行优化，包括：利用所述地图点在各所述场景图像中的投影点误差、各所述场景图像的所述目标旋转与所述参考旋转之间的差异、各所述场景图像的所述目标平移与所述参考...

【专利技术属性】
技术研发人员：孙瀚，周立阳，姜翰青，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：