XR相机位姿确定方法、装置、设备和存储介质制造方法及图纸

本发明专利技术实施例公开了一种XR相机位姿确定方法、装置、设备和存储介质，其中，方法包括：间隔预设时长对目标XR相机的拍摄图像帧进行采样，得到采样图像帧；针对每一个当前采样图像帧，确定当前采样图像帧与相邻的前一采样图像帧的关键像素点之间的像素位置对应关系，并根据像素位置对应关系确定当前相机位姿信息；将前一采样图像帧与相邻的前一拍摄图像帧的图像位姿进行对比，并根据图像位姿对比结果确定前一采样图像帧对应的前一相机位姿信息；将当前相机位姿信息与前一相机位姿信息进行融合，得到目标相机位姿。本发明专利技术实施例的技术方案可以提高基于低算力平台确定XR相机位姿的精度，为用户带来良好的使用体验。为用户带来良好的使用体验。为用户带来良好的使用体验。

【技术实现步骤摘要】
XR相机位姿确定方法、装置、设备和存储介质


[0001]本专利技术实施例涉及虚拟现实
，尤其涉及一种XR相机位姿确定方法、装置、设备和存储介质。

技术介绍

[0002]扩展现实(Extended Reality，简称XR)，是指通过计算机将真实与虚拟相结合，打造一个可人机交互的虚拟环境，这也是AR、VR、MR等多种技术的统称。通过将三者的视觉交互技术相融合，为体验者带来虚拟世界与现实世界之间无缝转换的“沉浸感”。现有的XR相机位姿确定技术在低算力平台下，难以保持较好的相机位姿跟踪精度，严重影响用户的使用体验。

技术实现思路

[0003]本专利技术实施例提供了一种XR相机位姿确定方法、装置、设备和存储介质，可以在低算力平台下，提高XR相机位姿确定的精度。
[0004]第一方面，本专利技术实施例提供了一种XR相机位姿确定方法，该方法包括：
[0005]间隔预设时长对目标XR相机的拍摄图像帧进行采样，得到采样图像帧；
[0006]针对每一个当前采样图像帧，确定所述当前采样图像帧与相邻的前一采样图像帧的关键像素点之间的像素位置对应关系，并根据所述像素位置对应关系确定当前相机位姿信息；
[0007]将所述前一采样图像帧与相邻的前一拍摄图像帧的图像位姿进行对比，并根据图像位姿对比结果确定所述前一采样图像帧对应的前一相机位姿信息；
[0008]将所述当前相机位姿信息与所述前一相机位姿信息进行融合，得到目标相机位姿。
[0009]第二方面，本专利技术实施例提供了一种XR相机位姿确定装置，该装置包括：
[0010]采样图像帧获取模块，用于间隔预设时长对目标XR相机的拍摄图像帧进行采样，得到采样图像帧；
[0011]当前相机位姿信息确定模块，用于针对每一个当前采样图像帧，确定所述当前采样图像帧与相邻的前一采样图像帧的关键像素点之间的像素位置对应关系，并根据所述像素位置对应关系确定当前相机位姿信息；
[0012]前一相机位姿信息确定模块，用于将所述前一采样图像帧与相邻的前一拍摄图像帧的图像位姿进行对比，并根据图像位姿对比结果确定所述前一采样图像帧对应的前一相机位姿信息；
[0013]相机位姿确定模块，用于将所述当前相机位姿信息与所述前一相机位姿信息进行融合，得到目标相机位姿。
[0014]第三方面，本专利技术实施例提供了一种计算机设备，该计算机设备包括：
[0015]一个或多个处理器；
[0016]存储器，用于存储一个或多个程序；
[0017]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现任一实施例所述的XR相机位姿确定方法。
[0018]第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的XR相机位姿确定方法。
[0019]本专利技术实施例所提供的技术方案，通过间隔预设时长对目标XR相机的拍摄图像帧进行采样，得到采样图像帧；针对每一个当前采样图像帧，确定所述当前采样图像帧与相邻的前一采样图像帧的关键像素点之间的像素位置对应关系，并根据所述像素位置对应关系确定当前相机位姿信息；将所述前一采样图像帧与相邻的前一拍摄图像帧的图像位姿进行对比，并根据图像位姿对比结果确定所述前一采样图像帧对应的前一相机位姿信息；将所述当前相机位姿信息与所述前一相机位姿信息进行融合，得到目标相机位姿。本专利技术实施例的技术方案解决了现有技术基于低算力平台确定XR相机位姿的精度不足的问题，可以提高基于低算力平台确定XR相机位姿的精度，为用户带来良好的使用体验。
附图说明
[0020]图1是本专利技术实施例提供的一种XR相机位姿确定方法流程图；
[0021]图2是本专利技术实施例提供的一种XR相机位姿确定方法流程图；
[0022]图3是本专利技术实施例提供的一种基于关键图像帧进行XR相机位姿确定的工作流程图；
[0023]图4是本专利技术实施例提供的一种进行XR相机位姿确定的工作流程图；
[0024]图5是本专利技术实施例提供的一种XR相机位姿确定装置的结构示意图；
[0025]图6是本专利技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
[0026]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0027]图1是本专利技术实施例提供的一种XR相机位姿确定方法流程图，本专利技术实施例可适用于对XR相机中的虚拟地图进行拓展的场景中，该方法可以由XR相机位姿确定装置执行，该装置可以由软件和/或硬件的方式来实现。
[0028]如图1所示，XR相机位姿确定方法包括以下步骤：
[0029]S110、间隔预设时长对目标XR相机的拍摄图像帧进行采样，得到采样图像帧。
[0030]其中，目标XR相机可以是用于拍摄图像帧的XR相机，XR设备可以基于目标XR相机拍摄的图像帧确定XR相机的位姿，进而进行虚拟地图的拓展。拍摄图像帧可以是目标XR相机按照预设的拍摄频率拍摄的图像帧。在低算力平台下，XR设备可以通过对拍摄图像帧进行初步的简单计算确定XR相机的位姿，但是经过初步计算得到的XR相机位姿的准确度不足。为了能够提高XR相机位姿的准确度且不引入过多的计算量，可以对间隔预设时长对目标XR相机的拍摄图像帧进行采样，对部分的拍摄图像帧进行较为复杂的相机位姿计算，再
将经过复杂计算得到的更为准确的相机位姿优化当前相机位姿。
[0031]具体的，预设时长可以是预设的对目标XR相机的拍摄图像帧进行采样的时间周期。采样图像帧也即经过采样处理筛选出的拍摄图像帧。其中，预设时长可以大于目标XR相机的拍摄周期。示例性的，当拍摄周期为Δt时，预设时长t可以为(Δt，3Δt]中的随机值。
[0032]S120、针对每一个当前采样图像帧，确定所述当前采样图像帧与相邻的前一采样图像帧的关键像素点之间的像素位置对应关系，并根据所述像素位置对应关系确定当前相机位姿信息。
[0033]其中，当前采样图像帧可以是正在进行处理的采样图像帧。前一采样图像帧可以是与当前采样图像帧相邻的前一张采样图像帧。像素位置对应关系可以是同一关键像素点在不同图像帧中的位置对应关系。像素位置对应关系可以通过当前采样图像帧与相邻的前一采样图像帧的关键像素点之间的相似性进行确定。当前相机位姿信息可以是当前采样图像帧对应的相机位姿的信息。当前相机位姿信息可以通过像素位置对应关系进行确定，具体的，可以基于预设相机位姿确定算法对像素位置对应关系进行分析，得到当前相机位姿信息。
[0034]S130、将所述前一采样图像帧与相邻的前一拍摄图像帧的图像位姿进行对比，并根据图像位姿对比结果确定所述前一采样图像帧本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种XR相机位姿确定方法，其特征在于，所述方法包括：间隔预设时长对目标XR相机的拍摄图像帧进行采样，得到采样图像帧；针对每一个当前采样图像帧，确定所述当前采样图像帧与相邻的前一采样图像帧的关键像素点之间的像素位置对应关系，并根据所述像素位置对应关系确定当前相机位姿信息；将所述前一采样图像帧与相邻的前一拍摄图像帧的图像位姿进行对比，并根据图像位姿对比结果确定所述前一采样图像帧对应的前一相机位姿信息；将所述当前相机位姿信息与所述前一相机位姿信息进行融合，得到目标相机位姿。2.根据权利要求1所述的方法，其特征在于，所述确定所述当前采样图像帧与相邻的前一采样图像帧的关键像素点之间的像素位置对应关系，包括：提取所述前一采样图像帧和所述当前采样图像帧中的关键像素点，并根据所述关键像素点的灰度值比较结果确定所述前一采样图像帧和所述当前采样图像帧的描述子；计算所述前一采样图像帧和所述当前采样图像帧中各描述子的汉明距离并进行对比，并根据汉明距离对比结果确定所述像素位置对应关系。3.根据权利要求2所述的方法，其特征在于，所述提取所述前一采样图像帧和所述当前采样图像帧中的关键像素点，包括：分别获取所述前一采样图像帧和所述当前采样图像帧中每一个图像像素点的预设半径范围内的图像像素点的灰度值；当所述预设半径范围内有预设数量比例的图像像素点的灰度值在预设参考灰度区间内时，将对应的图像像素点作为所述关键像素点。4.根据权利要求3所述的方法，其特征在于，所述根据所述关键像素点的灰度值比较结果确定所述采样图像帧的描述子，包括：在所述关键像素点对应的像素点选取区域内选取预设数量的随机图像像素点对；将全部所述随机图像像素点对中的两个图像像素点的灰度值比较结果记作所述采样图像帧的描述子。5.根据权利要求1所述的方法，其特征在于，所述将所述前一采样图像帧与相邻的前一拍摄图像帧的图像位姿进行对比，并根据图像位姿对比结果确定所述前一采样图像帧对应的前一相机位姿信息，包括：计算所述前一采样图像帧中关键像素点与所述前一采样图像帧的质心组成的边相对于预设图像帧主方向的旋转角度；将所述前一采样图像帧与相邻的前一拍摄图像帧进行图像运动估计对比，得到图...

【专利技术属性】
技术研发人员：郑国强，马学健，何风行，张佳宁，
申请(专利权)人：苏州端云创新科技有限公司，
类型：发明
国别省市：