视觉定位方法及相关装置、设备和存储介质制造方法及图纸

本申请公开了一种视觉定位方法及相关装置、设备和存储介质，其中，方法包括：将目标空间点的位置调整至参考平面上，以将世界坐标系的预设平面调整为参考平面，其中，目标空间点对应于第一图像帧中的第一特征点，目标空间点用于定义世界坐标系的预设平面；基于调整后的目标空间点、以及第一图像帧和第二图像帧中的图像信息，得到第二图像帧在调整后的世界坐标系中的第二位姿，其中，第一图像帧和第二图像帧是由设备的拍摄装置先后对目标平面拍摄得到的。上述方案，能够实现准确的定位。能够实现准确的定位。能够实现准确的定位。

【技术实现步骤摘要】
视觉定位方法及相关装置、设备和存储介质


[0001]本申请涉及人工智能
，特别是涉及一种视觉定位方法及相关装置、设备和存储介质。

技术介绍

[0002]增强现实(Augmented Reality，AR)、虚拟现实(Virtual Reality，VR)等计算机视觉技术是当前的热点技术，通过相机作为输入设备，并利用图像算法处理，可以数字化周围环境，从而获取与真实环境进行交互的使用体验。视觉定位是AR技术、VR技术的一个重要应用。通过获取设备拍摄的图像，可以获得设备的位姿。
[0003]然而，在现有的视觉定位技术中，可以利用对目标平面如水平面拍摄得到的图像，来获得在由目标平面构建的世界坐标系中的位姿。然而，基于目标平面的实际放置情况，或者是设备的位姿的计算误差等因素的影响，可能会导致世界坐标系与真实情况不一致，这往往会导致获得的位姿不准确。
[0004]因此，如何得到提高设备位姿的准确度，对于提高视觉定位技术地进一步应用，具有非常重要的意义。

技术实现思路

[0005]本申请提供一种视觉定位方法及相关装置、设备和存储介质。
[0006]本申请第一方面提供了一种视觉定位方法，包括：将目标空间点的位置调整至参考平面上，以将世界坐标系的预设平面调整为参考平面，其中，目标空间点对应于第一图像帧中的第一特征点，目标空间点用于定义世界坐标系的预设平面；基于调整后的目标空间点、以及第一图像帧和第二图像帧中的图像信息，得到第二图像帧在调整后的世界坐标系中的第二位姿，其中，第一图像帧和第二图像帧是由设备的拍摄装置先后对目标平面拍摄得到的。
[0007]因此，通过将目标空间点的位置调整至参考平面上，可以使得基于调整后的目标空间点所定义的世界坐标系的预设平面是与参考平面重合的，由此调整后的世界坐标系符合实际空间情况，以此校正了世界坐标系，进而得到准确的第二位姿，实现对设备的准确定位。
[0008]其中，在执行将目标空间点的位置调整至参考平面上之前，视觉定位方法还包括：获取第一图像帧在世界坐标系中的第一位姿；上述的将目标空间点的位置调整至参考平面上，包括：将第一位姿中的姿态更新为参考姿态，得到更新第一位姿，其中，参考姿态是拍摄装置相对于参考平面的姿态；基于更新第一位姿、第一图像帧的第一特征点确定目标空间点在参考平面上的位置，以作为调整后的目标空间点的位置。
[0009]因此，通过将第一位姿中的姿态更新为参考姿态，使得可以将目标空间点的位置调整至参考平面上，以此可以利用该调整后的目标空间点以及后续图像帧，来实现对终端的准确定位。
[0010]其中，在执行将目标空间点的位置调整至参考平面上之前，视觉定位方法还包括：基于第一图像帧在世界坐标系中的第一位姿，检测世界坐标系的预设平面是否为参考平面；响应于预设平面不为参考平面，执行将目标空间点的位置调整至参考平面上。
[0011]因此，通过利用第一图像帧在世界坐标系中的第一位姿来检测世界坐标系的预设平面是否为参考平面，可以确定建立的世界坐标系是否需要校正。
[0012]其中，上述的基于第一图像帧在世界坐标系中的第一位姿，检测世界坐标系的预设平面是否为参考平面，包括：检测第一位姿中的姿态与参考姿态之间的差异是否在预设范围内，其中，参考姿态是相对于参考平面的姿态，第一位姿中的姿态是相对于预设平面的姿态；响应于差异在预设范围内，确定预设平面不为参考平面。
[0013]因此，通过判断参考姿态与第一位姿的姿态的差异，可以确定预设平面是否为参考平面，以此确定当前世界坐标系是否需要校正。
[0014]其中，上述的方法还包括以下步骤，以获得参考姿态：获取设备的传感装置在参考时刻检测得到的参考姿态，其中，参考时刻与第一图像帧的拍摄时刻之间的差值不超过预设时间差。
[0015]因此，通过利用传感装置获取参考姿态，可以快速获取参考姿态，加快本申请视觉定位方法的运行速度。
[0016]其中，上述的目标平面为定位辅助图像所在的平面，第一位姿是基于定位辅助图像确定的。
[0017]因此，通过利用定位辅助图像与第一图像帧进行配准，进而可获得第一图像帧的第一位姿。
[0018]其中，上述的方法还包括以下步骤，以获得第一位姿：基于第一图像帧与定位辅助图像之间的第一匹配点对，确定第一图像帧与定位辅助图像之间的第一变换参数，利用第一变换参数得到第一位姿；或者，基于第一图像帧与第三图像帧之间的第二匹配点对，确定第一图像帧和第三图像帧之间的第二变换参数，利用第二变换参数和第三图像帧与定位辅助图像之间的第三变换参数，得到第一位姿，其中，第三图像帧为拍摄装置在第一图像帧之前拍摄得到的。
[0019]因此，通过获得第一图像帧与定位辅助图像之间的第一变换参数，或者通过获得第二变换参数和第三变换参数，能够实现获得第一位姿。
[0020]其中，上述调整后的目标空间点是基于第一图像帧的第一特征点得到的；基于调整后的目标空间点、以及第一图像帧和第二图像帧中的图像信息，得到第二图像帧在世界坐标系中的第二位姿，包括：基于调整后的目标空间点在第二图像帧上投影的第二特征点与第一特征点之间的像素值差异，确定第二位姿。
[0021]因此，通过计算第二特征点与第一特征点之间的像素值差异，实现得到第二图像帧的第二位姿。
[0022]其中，上述的基于调整后的目标空间点在第二图像帧上投影的第二特征点与第一特征点之间的像素值差异，确定第二位姿，包括：获取至少一个候选位姿，并基于每个候选位姿和调整后的目标空间点确定与候选位姿对应的第二特征点，基于第二特征点与第一特征点之间的像素值差异，选择一候选位姿作为第二位姿。
[0023]因此，通过获取至少一个候选位姿，并确定候选位姿对应的像素值差异，通过比较
各候选位姿对应的像素差异，从候选位姿中选出第二图像帧的第二位姿，由此可以得到更加准确的第二图像帧的第二位姿。
[0024]其中，上述的至少一个候选位姿是基于更新第一位姿确定的，更新第一位姿是利用参考姿态对第一图像帧在调整前的世界坐标系中的第一位姿进行更新得到，参考姿态是拍摄装置相对于参考平面的姿态；和/或，基于第三二特征点与第一特征点之间的像素值差异，选择候选位姿作为第二位姿，包括：选择像素值差异满足预设要求的第三二特征点所对应的候选位姿，作为第二位姿。
[0025]因此，通过筛选满足预设要求的候选位姿，可以获得相对准确的第二位姿。
[0026]其中，上述的预设平面为世界坐标中的水平面，参考平面为参考水平面。
[0027]因此，通过利用参考水平面确定世界坐标系的水平面，能够使得获得的第二位姿更加准确。
[0028]本申请第二方面提供了一种视觉定位装置，包括：调整模块和位姿确定模块；其中，调整模块用于将目标空间点的位置调整至参考平面上，以将世界坐标系的预设平面调整为参考平面，其中，目标空间点对应于第一图像帧中的第一特征点，目标空间点用于定义世界坐标系的预设平面；位姿确定模块用于基于调整后的目标空间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉定位方法，其特征在于，包括：将目标空间点的位置调整至参考平面上，以将世界坐标系的预设平面调整为所述参考平面，其中，所述目标空间点对应于第一图像帧中的第一特征点，所述目标空间点用于定义所述世界坐标系的预设平面；基于调整后的所述目标空间点、以及所述第一图像帧和第二图像帧中的图像信息，得到所述第二图像帧在调整后的世界坐标系中的第二位姿，其中，所述第一图像帧和第二图像帧是由设备的拍摄装置先后对目标平面拍摄得到的。2.根据权利要求1所述的方法，其特征在于，在所述将所述目标空间点的位置调整至所述参考平面上之前，所述方法还包括：获取所述第一图像帧在世界坐标系中的第一位姿；所述将所述目标空间点的位置调整至所述参考平面上，包括：将所述第一位姿中的姿态更新为所述参考姿态，得到更新第一位姿，其中，所述参考姿态是所述拍摄装置相对于参考平面的姿态；基于所述更新第一位姿、所述第一图像帧的第一特征点确定所述目标空间点在所述参考平面上的位置，以作为所述调整后的目标空间点的位置。3.根据权利要求1所述的方法，其特征在于，在所述将目标空间点的位置调整至参考平面上之前，所述方法还包括：基于第一图像帧在世界坐标系中的第一位姿，检测所述世界坐标系的预设平面是否为所述参考平面；响应于所述预设平面不为所述参考平面，执行所述将目标空间点的位置调整至参考平面上。4.根据权利要求3所述的方法，其特征在于，所述基于第一图像帧在世界坐标系中的第一位姿，检测所述世界坐标系的预设平面是否为参考平面，包括：检测所述第一位姿中的姿态与参考姿态之间的差异是否在预设范围内，其中，所述参考姿态是相对于参考平面的姿态，所述第一位姿中的姿态是相对于所述预设平面的姿态；响应于差异不在预设范围内，确定所述预设平面不为所述参考平面。5.根据权利要求2或4所述的方法，其特征在于，所述方法还包括以下步骤，以获得所述参考姿态：获取所述设备的传感装置在参考时刻检测得到的所述参考姿态，其中，所述参考时刻与所述第一图像帧的拍摄时刻之间的差值不超过预设时间差。6.根据权利要求2至5任一项所述的方法，其特征在于，所述目标平面为定位辅助图像所在的平面，所述第一位姿是基于所述定位辅助图像确定的。7.根据权利要求6所述的方法，其特征在于，所述方法还包括以下步骤，以获得所述第一位姿：基于所述第一图像帧与所述定位辅助图像之间的第一匹配点对，确定所述第一图像帧与定位辅助图像之间的第一变换参数，利用所述第一变换参数得到所述第一位姿；或者，基于所述第一图像帧与第三图像帧之间的第二匹配点对，确定所述第一图像帧和第三图像帧之间的...

【专利技术属性】
技术研发人员：王求元，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：