相机姿态追踪过程的重定位方法、装置及存储介质制造方法及图纸

本申请公开了一种相机姿态追踪过程的重定位方法、装置及存储介质，属于增强显示领域。所述方法包括：获取所述多个标记图像中第i个标记图像之后采集的当前图像；当所述当前图像符合重定位条件时，获取所述多个标记图像中的第一个标记图像的初始特征点和初始位姿参数；将所述当前图像相对于所述第一个标记图像进行特征点追踪，得到目标特征点；根据所述初始特征点和所述目标特征点，计算所述相机从所述第一相机姿态改变至目标相机姿态时的位姿变化量；根据所述初始位姿参数和所述位姿变化量，重定位得到目标位姿参数。本申请能够在连续多个标记图像进行追踪的Anchor‑SLAM算法中实现重定位，从而减少了追踪过程中断的可能性。

Repositioning method, device and storage medium for camera attitude tracking process

The present application discloses a relocation method, device and storage medium for camera attitude tracking process, belonging to the field of enhanced display. The method comprises: acquiring a current image after acquiring the first labeled image of the plurality of labeled images; acquiring an initial feature point and an initial pose parameter of the first labeled image of the plurality of labeled images when the current image meets the relocation condition; and relative the current image to the first labeled image According to the initial feature point and the target feature point, the position and attitude changes of the camera when the attitude of the first camera is changed to that of the target camera are calculated, and the position and attitude parameters of the target are repositioned according to the initial pose parameters and the position and attitude changes. . The application can realize relocation in the Arnchor_SLAM algorithm for tracking multiple labeled images in succession, thereby reducing the possibility of interruption in the tracking process.

【技术实现步骤摘要】
相机姿态追踪过程的重定位方法、装置及存储介质
本申请实施例涉及增强显示领域，特别涉及一种相机姿态追踪过程的重定位方法、装置及存储介质。
技术介绍
视觉SLAM(simultaneousLocalizationandmapping，同时定位与地图构建)是指搭载相机的主体，在没有环境先验信息的情况下，于运动过程中建立环境的模型，同时估计自己的运动的技术。SLAM可以应用在AR(AugmentedReality，增强显示)领域、机器人领域和无人驾驶领域中。以单目视觉SLAM为例，通常将相机采集的第一帧图像作为标记图像(Anchor)。在相机后续采集到当前图像时，设备对当前图像与标记图像之间共同具有的特征点进行追踪，根据当前图像与标记图像之间的特征点位置变化计算得到相机在现实世界中的位姿变化。但某些场景下会发生当前图像中的特征点丢失(Lost)，无法继续追踪的情况。此时，需要使用SLAM重定位方法对当前图像进行重定位。但是在AR(AugmentedReality，增强现实)领域进行相机姿态追踪时，比如使用手机拍摄桌面进行AR游戏的场景，由于AR使用场景存在其场景特殊性，直接使用相关技术中的S本文档来自技高网...

【技术保护点】
1.一种相机姿态追踪过程的重定位方法，其特征在于，应用于具有相机的设备中，所述设备用于按序执行多个标记图像的相机姿态追踪，所述方法包括：获取所述多个标记图像中第i个标记图像之后采集的当前图像，i为大于1的整数；当所述当前图像符合重定位条件时，获取所述多个标记图像中的第一个标记图像的初始特征点和初始位姿参数，所述初始位姿参数用于指示所述相机采集所述第一个标记图像时的相机姿态；将所述当前图像相对于所述第一个标记图像进行特征点追踪，得到与所述初始特征点匹配的目标特征点；根据所述初始特征点和所述目标特征点，计算所述相机从所述第一相机姿态改变至目标相机姿态时的位姿变化量，所述目标相机姿态是所述相机在采集...

【技术特征摘要】
1.一种相机姿态追踪过程的重定位方法，其特征在于，应用于具有相机的设备中，所述设备用于按序执行多个标记图像的相机姿态追踪，所述方法包括：获取所述多个标记图像中第i个标记图像之后采集的当前图像，i为大于1的整数；当所述当前图像符合重定位条件时，获取所述多个标记图像中的第一个标记图像的初始特征点和初始位姿参数，所述初始位姿参数用于指示所述相机采集所述第一个标记图像时的相机姿态；将所述当前图像相对于所述第一个标记图像进行特征点追踪，得到与所述初始特征点匹配的目标特征点；根据所述初始特征点和所述目标特征点，计算所述相机从所述第一相机姿态改变至目标相机姿态时的位姿变化量，所述目标相机姿态是所述相机在采集所述当前图像时的相机姿态；根据所述初始位姿参数和所述位姿变化量，重定位得到所述目标相机姿态对应的目标位姿参数。2.根据权利要求1所述的方法，其特征在于，所述设备中还设置有惯性测量单元IMU；所述将所述当前图像相对于所述第一标记图像进行特征点追踪，得到与所述初始特征点匹配的目标特征点，包括:对所述当前图像提取候选特征点；通过所述IMU获取所述相机采集所述当前图像时的参考位姿变化量；根据所述参考位姿变化量将所述第一个标记图像中的所述初始特征点进行旋转平移投影，得到所述当前图像中与所述初始特征点对应的投影特征点；在以所述投影特征点为中心的第一范围内，从所述候选特征点中搜索与所述初始特征点匹配的目标特征点。3.根据权利要求2所述的方法，其特征在于，所述根据所述参考位姿变化量将所述第一个标记图像中的所述初始特征点进行旋转平移投影，得到所述当前图像中与所述初始特征点对应的投影特征点，包括：获取所述第一个标记图像中的所述初始特征点的二维坐标；对所述初始特征点的二维坐标进行反投影，得到所述初始特征点在三维空间中的第一三维坐标Xborn；将所述第一三维坐标Xborn通过如下公式进行三维旋转平移，得到所述初始特征点在所述当前图像上对应的第二三维坐标Xcurrent；Xcurrent＝R*Xborn+T；将所述第二三维坐标Xcurrent投影至所述当前图像，得到所述投影特征点在所述当前图像中的二维坐标；其中，R是所述参考位姿变化量中的旋转矩阵，T是所述参考位姿变化量中的位移参数。4.根据权利要求2所述的方法，其特征在于，所述以所述投影特征点为中心的第一范围内，搜索与所述初始特征点匹配的目标特征点之后，还包括：当搜索到的所述目标特征点数量少于预设阈值时，在以所述投影特征点为中心的第二范围内，重新搜索与所述初始特征点匹配的目标特征点；其中，所述第二范围大于所述第一范围。5.根据权利要求1至4任一所述的方法，其特征在于，所述方法还包括：获取所述第一个标记图像对应的n个尺度不同的金字塔图像，n为大于1的整数；对每个所述金字塔图像提取所述初始特征点，并记录所述初始特征点在所述金字塔图像缩放至原始尺寸时的二维坐标。6.根据权利要求1至4任一所述的方法，其特征在于，所述根据所述初始特征点和所述目标特征点，计算所述相机从所述第一相机姿态改变至目标相机姿态时的位姿变化量，包括：根据所述初始特征点和所述目标特征点计算所述相机在相机姿态改变过程时的单应性矩阵；对所述单应性矩阵进行分解，得到所述相机从所述第一相机姿态改变至目标相机姿态时的位姿变化量Rrelocalize和Trelocalize。7.根据权利要求1至4任一所述的方法，其特征在于，所述根据所述初始位姿参数和所述位姿变化量，重定位得到所述目标相机姿态对应的目标位姿参数之后，还包括：将所述当前图像确定为第i+1个标记图像；将后续采集的图像相对于所述第i+1...

【专利技术属性】
技术研发人员：林祥凯，凌永根，暴林超，刘威，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44