定位方法和装置、设备及存储介质制造方法及图纸

本申请公开了一种定位方法和装置、设备及存储介质。该定位方法包括：获取设备拍摄的当前图像帧；依据当前图像帧与第一历史图像帧之间的相对位置关系，确定当前图像帧的初始位姿；利用点面约束模型对初始位姿进行优化得到优化后的位姿，并将优化后的位姿确定为设备的视觉定位结果；其中，点面约束模型是利用当前图像帧同第二历史图像帧之间的二维匹配特征点对，与结构化平面之间的关联关系构建的。上述方案，能够提高设备的定位精度。

【技术实现步骤摘要】
定位方法和装置、设备及存储介质
本申请涉及定位
，特别是涉及一种定位方法和装置、设备及存储介质。
技术介绍
视觉定位技术在很多领域中都起着很重要的作用，例如在无人驾驶、机器人等等领域。其中，在视觉定位技术中，很多时候会利用结构化平面来优化对设备的定位结果。结构化平面指的是根据构建的三维点建立的三维平面。一般使用结构化平面对设备的定位结果进行优化的方式是基于构建的三维点以及结构化平面的关系优化定位结果，三维点的精度将直接影响对设备的优化结果，若三维点精度不高，则会导致结构化平面对定位结果优化的精度不高。
技术实现思路
本申请至少提供一种定位方法和装置、设备及存储介质。本申请提供了一种定位方法，包括：获取设备拍摄的当前图像帧；依据当前图像帧与第一历史图像帧之间的相对位置关系，确定当前图像帧的初始位姿；利用点面约束模型对初始位姿进行优化得到优化后的位姿，并将优化后的位姿确定为设备的视觉定位结果；其中，点面约束模型是利用当前图像帧同第二历史图像帧之间的二维匹配特征点对，与结构化平面之间的关联关系构建的。因此，通过当前图像帧同第二历史图像帧之间的二维特征点对，与结构化平面之间的关联关系构建点面约束模型，并通过该点面约束模型对设备的初始位姿进行优化，以使得点面约束模型中不包括三维点参数，从而在利用点面约束模型对初始位姿进行优化的过程中，不受三维点精度的影响，进而提高了设备的定位精度。其中，结构化平面是利用设备拍摄的当前图像帧及当前图像帧以前的各历史图像帧构建得到的；利用点面约束模型对初始位姿进行优化得到优化后的位姿之前，包括：获取当前图像帧与第二历史图像帧中与结构化平面之间具有关联关系的二维匹配特征点对；依据当前图像帧和第二历史图像帧在世界坐标系下的第一位置参数、二维匹配特征点对的二维坐标以及结构化平面的第二位置参数，构建点面约束模型。因此，通过使用当前图像帧和第二历史图像帧在世界坐标系下的第一位置参数、二维匹配特征点对的二维坐标以及结构化平面的第二位置参数，构建点面约束模型，无需利用三维点构建点面约束模型，从而在利用点面约束模型对初始位姿进行优化的过程中，不受三维点精度的影响，进而提高了设备的定位精度。其中，点面约束模型包括点面优化方程，点面优化方程包括第一项和第二项，第一项和第二项分别位于点面优化方程的等号的两边；第一位置参数包括旋转矩阵和平移矩阵，第二位置参数包括方向矩阵以及距离矩阵；利用点面约束模型对初始位姿进行优化得到优化后的位姿，包括：依据当前图像帧和第二历史图像帧的旋转矩阵和平移矩阵、结构化平面的方向矩阵以及距离矩阵、二维匹配特征点对中位于第二历史图像帧中的特征点的二维坐标，确定当前图像帧中与第二历史图像帧中的特征点对应的匹配特征点的预测坐标，其中，预测坐标作为第一项；调整点面优化方程中的预设参数，以使第一项与第二项相等，其中，第二项为匹配特征点的二维坐标，预设参数包括当前图像帧的初始位姿。因此，通过构建二维特征点与结构化平面之间的关联关系，对包含当前图像帧初始位姿的预设参数进行优化，能够提高对设备的定位精度。其中，利用点面约束模型对初始位姿进行优化得到优化后的位姿，并将优化后的位姿确定为设备的视觉定位结果的步骤，包括：响应于第二历史图像帧为当前图像帧的上一历史图像帧，对第二历史图像帧的位姿、当前图像帧的位姿以及结构化平面进行优化，得到设备在两个时刻的视觉定位结果；响应于第二历史图像帧不为当前图像帧的上一历史图像帧，对当前图像帧的位姿以及结构化平面进行优化，得到设备在当前时刻的视觉定位结果。因此，在第二历史图像为当前图像帧的上一历史图像帧的情况下，不仅能够对当前图像帧的位姿进行优化，还能对第二历史图像帧的位姿进行优化，从而提高各时刻设备的定位结果的精度。其中，获取当前图像帧与第二历史图像帧中与结构化平面之间具有关联关系的二维匹配特征点对之前，包括：对当前图像帧进行三角剖分以得到对应的二维网格组，其中，二维网格组中的顶点为当前图像帧中的二维特征点；将二维网格组投影到世界坐标系下，得到对应的三维网格组，其中，三维网格组中的顶点为当前图像帧中的二维特征点对应的三维点；获取三维网格组中满足预设条件的第一三维网格以生成结构化平面。因此，通过对当前图像帧进行三角剖分得到二维网格组，并利用二维网格组得到三维网格组，然后获取三维网格组中满足预设条件的三维网格生成结构化平面，并非任意两个三维网格之间都能生成结构化平面，使得构建的结构化平面的精度更高。其中，三维网格组中包括若干个三维网格；获取三维网格组中满足预设条件的第一三维网格以生成结构化平面，包括：将与当前图像帧的距离小于或等于第一预设距离的三维网格作为候选三维网格；选取候选三维网格之间，方向之差小于或等于第一预设差值和/或距离之差小于或等于第二预设差值的候选三维网格，作为第一三维网格。因此，通过设置第二预设差值和第一预设距离挑选三维网格生成结构化平面，能够提高结构化平面的准确度。其中，获取当前图像帧与第二历史图像帧中与结构化平面之间具有关联关系的二维匹配特征点对，包括：获取三维网格组中与结构化平面具备关联关系的第二三维网格；确定当前图像帧和第二历史图像帧中与第二三维网格对应的若干组第一二维匹配特征点对，第一二维匹配特征点对与结构化平面之间具备关联关系。因此，通过构建三维网格与结构化平面的关联关系，确定二维特征点对于结构化平面之间的关联关系，相对于构建三维点与结构化平面之间的关联关系而言，能够减少错误关联关系构建的几率。其中，获取三维网格组中与结构化平面具备关联关系的第二三维网格，包括：获取三维网格组中所有三维网格的各顶点与结构化平面之间的第一距离；选取所有顶点与结构化平面之间的第一距离均小于或等于第二预设距离的三维网格作为第二三维网格；或选取所有顶点与结构化平面之间的第一距离小于或等于第二预设距离，且所有顶点组成的平面与结构化平面平行的三维网格作为第二三维网格。因此，通过选择与结构化平面的距离小于第二预设距离的三维网格，然后构建该三维网格与结构化平面之间的关联关系，能够提高关联关系的准确度。其中，获取三维网格组中与结构化平面具备关联关系的第二三维网格之前，包括：从结构化平面中选择满足第二预设条件的第一结构化平面，第二预设条件包括与当前图像帧之间的距离小于或等于第三预设距离阈值；获取三维网格组中与结构化平面具备关联关系的第二三维网格，包括：获取三维网格组中与第一结构化平面具备关联关系的第二三维网格。因此，通过从结构化平面中选择满足第二预设条件的结构化平面，能够减少构建关联关系过程中设备的计算量。其中，利用点面约束模型对初始位姿进行优化得到优化后的位姿，包括：将点面约束模型与重投影约束模型、IMU约束模型中的至少一个融合，得到融合约束模型；利用融合约束模型对初始位姿进行优化，得到优化后的位姿。因此，通过构建融合约束模型对设备的当前图像帧的位姿进行优化，能够提高对设备的定位精度。本申请提供了一种定位装置，包括：图像获本文档来自技高网...

【技术保护点】
1.一种定位方法，其特征在于，包括：/n获取设备拍摄的当前图像帧；/n依据所述当前图像帧与第一历史图像帧之间的相对位置关系，确定所述当前图像帧的初始位姿；/n利用点面约束模型对所述初始位姿进行优化得到优化后的位姿，并将优化后的位姿确定为所述设备的视觉定位结果；/n其中，所述点面约束模型是利用所述当前图像帧同第二历史图像帧之间的二维匹配特征点对，与结构化平面之间的关联关系构建的。/n

【技术特征摘要】
1.一种定位方法，其特征在于，包括：
获取设备拍摄的当前图像帧；
依据所述当前图像帧与第一历史图像帧之间的相对位置关系，确定所述当前图像帧的初始位姿；
利用点面约束模型对所述初始位姿进行优化得到优化后的位姿，并将优化后的位姿确定为所述设备的视觉定位结果；
其中，所述点面约束模型是利用所述当前图像帧同第二历史图像帧之间的二维匹配特征点对，与结构化平面之间的关联关系构建的。


2.根据权利要求1所述的方法，其特征在于，所述结构化平面是利用设备拍摄的所述当前图像帧及所述当前图像帧以前的各历史图像帧构建得到的；
所述利用点面约束模型对所述初始位姿进行优化得到优化后的位姿之前，包括：
获取所述当前图像帧与所述第二历史图像帧中与所述结构化平面之间具有关联关系的二维匹配特征点对；
依据所述当前图像帧和所述第二历史图像帧在世界坐标系下的第一位置参数、所述二维匹配特征点对的二维坐标以及所述结构化平面的第二位置参数，构建所述点面约束模型。


3.根据权利要求2所述的方法，其特征在于，所述点面约束模型包括点面优化方程，所述点面优化方程包括第一项和第二项，所述第一项和第二项分别位于所述点面优化方程的等号的两边；所述第一位置参数包括旋转矩阵和平移矩阵，所述第二位置参数包括方向矩阵以及距离矩阵；
所述利用点面约束模型对所述初始位姿进行优化得到优化后的位姿，包括：
依据所述当前图像帧和所述第二历史图像帧的旋转矩阵和平移矩阵、所述结构化平面的方向矩阵以及距离矩阵、所述二维匹配特征点对中位于所述第二历史图像帧中的特征点的二维坐标，确定所述当前图像帧中与所述第二历史图像帧中的特征点对应的匹配特征点的预测坐标，其中，所述预测坐标作为所述第一项；
调整所述点面优化方程中的预设参数，以使所述第一项与所述第二项相等，其中，所述第二项为所述匹配特征点的二维坐标，所述预设参数包括所述当前图像帧的初始位姿。


4.根据权利要求2所述的方法，其特征在于，所述利用点面约束模型对所述初始位姿进行优化得到优化后的位姿，并将优化后的位姿确定为所述设备的视觉定位结果的步骤，包括：
响应于所述第二历史图像帧为所述当前图像帧的上一历史图像帧，对所述第二历史图像帧的位姿、所述当前图像帧的位姿以及所述结构化平面进行优化，得到所述设备在两个时刻的视觉定位结果；
响应于所述第二历史图像帧不为所述当前图像帧的上一历史图像帧，对所述当前图像帧的位姿以及所述结构化平面进行优化，得到所述设备在当前时刻的视觉定位结果。


5.根据权利要求2所述的方法，其特征在于，所述获取所述当前图像帧与所述第二历史图像帧中与所述结构化平面之间具有关联关系的二维匹配特征点对之前，包括：
对所述当前图像帧进行三角剖分以得到对应的二维网格组，其中，所述二维网格组中的顶点为所述当前图像帧中的二维特征点；
将所述二维网格组投影到世界坐标系下，得到对应的三维网格组，其中，所述三维网格组中的顶点为所述当前图像帧中的二维特征点对应的三维点；
获取所述三维网格组中满足预设条件的第一三维网格以生成所述结构化平面。


6.根据权利要求5...

【专利技术属性】
技术研发人员：王帅，陈丹鹏，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：浙江;33