基于计算机视觉跟踪和传感器跟踪的跟踪方法和跟踪系统技术方案

本发明专利技术公开了一种基于计算机视觉跟踪和传感器跟踪的跟踪方法和跟踪系统，所述跟踪方法包括以下步骤：S1、对真实场景进行拍摄；S2、通过计算机视觉跟踪算法计算真实场景中标识图片的位置参数；S3、通过传感器跟踪算法获取设备的旋转参数；S4、由位置参数和旋转参数得出完整的三维姿态参数；S5、根据用户交互更新三维姿态参数。本发明专利技术通过计算机视觉跟踪和传感器跟踪相结合的方式，在提升稳定性的同时减少跟踪算法对标识图片和拍摄环境的依赖，从而产生更好的用户体验。

【技术实现步骤摘要】

本专利技术涉及增强现实
，特别涉及一种基于计算机视觉跟踪和传感器跟踪的跟踪方法和跟踪系统。
技术介绍
计算机视觉跟踪技术通过分析视频图像获取匹配的特征信息，在增强现实领域拥有广泛的应用。然而，计算机视觉跟踪技术受限于标识图片且易受光照、材质等因素影响，无法给予用户很好的体验。随着智能手机和平板电脑的广泛使用，三轴陀螺仪和加速度传感器被迅速普及，三轴陀螺仪和加速度传感器能够脱离图像实现跟踪，鲁棒性较好。然而，由于误差积累问题的存在，三轴陀螺仪和加速度传感器只能对旋转姿态实现稳定跟踪，不能对平移姿态实现稳定跟踪。因此，鉴于上述技术问题，有必要提供一种基于计算机视觉跟踪和传感器跟踪的跟踪方法和跟踪系统。
技术实现思路
针对现有技术的不足，本专利技术的主要目的在于提供一种基于计算机视觉跟踪和传感器跟踪的跟踪方法和跟踪系统。本专利技术通过计算机视觉跟踪和传感器跟踪相结合的方式，在提升稳定性的同时减少跟踪算法对标识图片和拍摄环境的依赖，从而产生更好的用户体验。为实现前述专利技术目的，本专利技术采用的技术方案包括：一种基于计算机视觉跟踪和传感器跟踪的跟踪方法，所述跟踪方法包括以下步骤：S1、对真实场景进行拍摄；S2、通过计算机视觉跟踪算法计算真实场景中标识图片的位置参数；S3、通过传感器跟踪算法获取设备的旋转参数；S4、由位置参数和旋转参数得出完整的三维姿态参数；S5、根据用户交互更新三维姿态参数。作为本专利技术的进一步改进，所述三维姿态参数用于描述真实和/虚拟物体的三维姿态。作为本专利技术的进一步改进，所述位置参数为真实和/或虚拟物体在三维空间中的位置信息，所述旋转参数为真实和/或虚拟物体在当前位置的旋转信息。作为本专利技术的进一步改进，所述旋转参数为四元数、欧拉角、旋转矩阵中任意一种或多种的组合。作为本专利技术的进一步改进，所述步骤S2包括：计算机视觉跟踪算法获取真实场景的图像，并分析真实场景图像是否包含标识图片；如果真实场景的图像包含标识图片，则计算机视觉跟踪算法跟踪成功，计算机视觉跟踪算法计算并返回标识图片的三维姿态位置参数；否则计算机视觉跟踪算法跟踪失败，返回一个标志位表示真实场景的图像不包含标识图片。作为本专利技术的进一步改进，所述步骤S5还包括：用户通过交互操作控制虚拟物体，调整虚拟物体的大小和/或三维姿态。作为本专利技术的进一步改进，所述步骤S2中计算机视觉跟踪算法跟踪成功时，用户可以通过交互操作对虚拟物体进行缩放，但不可以通过交互操作对虚拟物体进行平移和/或旋转。作为本专利技术的进一步改进，所述步骤S2中计算机视觉跟踪算法跟踪成功时，用户既可以通过交互操作对虚拟物体进行缩放，也可以通过交互操作对虚拟物体进行平移和/或旋转。作为本专利技术的进一步改进，所述步骤S2中，如果计算机视觉跟踪算法能够从真实场景中检测到标识图片，则虚拟物体三维姿态的位置参数设为标识图片的位置参数。作为本专利技术的进一步改进，所述步骤S2中，如果计算机视觉跟踪算法不能从真实场景中检测到标识图片，则虚拟物体三维姿态的位置参数设置为跟踪失败前一帧标识图片的位置参数、或其他便于用户浏览和/或交互的任意位置参数。作为本专利技术的进一步改进，所述旋转参数从三轴陀螺仪的输出结果直接获取和/或从加速度传感器输出的重力加速度间接获取。作为本专利技术的进一步改进，所述设备包括手持设备和/或可穿戴设备。作为本专利技术的进一步改进，所述手持设备包括智能手机和/或平板电脑；所述可穿戴设备包括智能眼镜和/或智能手表。相应地，一种基于计算机视觉跟踪和传感器跟踪的跟踪系统，所述跟踪系统包括：图像采集模块，用于采集真实场景的图像；计算机视觉跟踪模块，用于通过计算机视觉跟踪算法跟踪标识图片；传感器跟踪模块，用于通过传感器跟踪算法跟踪设备的旋转姿态；姿态整合模块，用于计算机视觉跟踪结果和传感器跟踪结果的整合；交互模块，用于实现用户对虚拟场景的交互；混合场景渲染模块，用于虚实混合场景的渲染。作为本专利技术的进一步改进，所述图像采集模块用于实时采集和/或缓存真实场景的图像序列。作为本专利技术的进一步改进，所述计算机视觉跟踪模块用于从真实场景的图像中识别增强现实标识图片，并从真实场景的图像序列中跟踪增强现实标识图片的位置参数；计算机视觉跟踪模块以图像采集模块输出的真实场景图像序列为输入，对图像序列中的每一帧图像输出识别和/或跟踪结果。作为本专利技术的进一步改进，所述传感器跟踪模块用于获取设备的三维旋转姿态，传感器跟踪模块输出图像采集模块图像序列中每一帧图像对应的设备三维旋转姿态。作为本专利技术的进一步改进，所述姿态整合模块用于生成虚拟场景的三维姿态参数，姿态整合模块的输入由三部分构成：一是计算机视觉跟踪模块输出的位置参数；二是传感器跟踪模块输出的旋转参数；三是计算机视觉跟踪模块跟踪失败时的位置参数，姿态整合模块将以上三部分输入整合，输出虚拟场景的三维姿态参数。作为本专利技术的进一步改进，所述交互模块用于用户通过交互操作修改虚拟场景的三维姿态参数，交互模块输入姿态整合模块输出的三维姿态参数和用户的交互操作参数，输出虚拟场景交互后的最终三维姿态参数。作为本专利技术的进一步改进，所述混合场景渲染模块用于虚实混合场景的最终渲染和展示，混合场景渲染模块的输入是交互模块的输出，输出是更新三维姿态参数后的重绘结果。作为本专利技术的进一步改进，所述图像序列至少包含连续两帧和/或邻近两帧的真实场景图像。作为本专利技术的进一步改进，所述交互模块的交互类型包括缩放、平移和旋转中任意一种或多种的组合。本专利技术具有以下有益效果：1、基于已经普及的硬件设备实现，不依赖于专有硬件，硬件成本和普及门槛低；2、能够基于标识图片，实现对真实物理世界的快速检索；3、基于标识图片完成快速检索后，检索出内容的浏览和交互不再依赖标识图片，人机界面更加友善。附图说明图1是本专利技术基于计算机视觉跟踪和传感器跟踪的跟踪方法的流程图；图2是本专利技术基于计算机视觉跟踪和传感器跟踪的跟踪系统的模块示意图；图3是本专利技术一具体实施例中基于计算机视觉跟踪和传感器跟踪的跟踪方法的流程图。具体实施方式以下将结合附图所示的具体实施方式对本申请进行详细描述。但这些实施方式并不限制本申请，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本申请的保护范围内。参图1所示，本专利技术公开了一种基于计算机视觉跟踪和传感器跟踪的跟踪方法，该跟踪方法包括以下步骤：S1、对真实场景进行拍摄；S2、通过计算机视觉跟踪算法计算真实场景中标识图片的位置参数，该位置参数为真实和/或虚拟物体在三维空间中的位置信息；S3、通过传感器跟踪算法获取设备的旋转参数，该旋转参数为真实和/或虚拟物体在当前位置的旋转信息，优选地，旋转参数为四元数、欧拉角、旋转矩阵中任意一种或多种的组合；S4、由位置参数和旋转参数得出完整的三维姿态参数，该三维姿态参数用于描述真实和/虚拟物体的三维姿态；S5、根据用户交互更新三维姿态参数。具体地，步骤S2包括：计算机视觉跟踪算法获取真实场景的图像，并分析真实场景图像是否包含标识图片；如果真实场景的图像包含标识图片，则计算机视觉跟踪算法跟踪成功，计算机视觉跟踪算法计算并返回标识图片的三维姿态位置参数；否则计算机视觉跟踪算法跟踪失败，返回一个标志位表示真实场景的图像不包含标识本文档来自技高网...

【技术保护点】
一种基于计算机视觉跟踪和传感器跟踪的跟踪方法，其特征在于，所述跟踪方法包括以下步骤：S1、对真实场景进行拍摄；S2、通过计算机视觉跟踪算法计算真实场景中标识图片的位置参数；S3、通过传感器跟踪算法获取设备的旋转参数；S4、由位置参数和旋转参数得出完整的三维姿态参数；S5、根据用户交互更新三维姿态参数。

【技术特征摘要】
2015.10.26 CN 20151070225191.一种基于计算机视觉跟踪和传感器跟踪的跟踪方法，其特征在于，所述跟踪方法包括以下步骤：S1、对真实场景进行拍摄；S2、通过计算机视觉跟踪算法计算真实场景中标识图片的位置参数；S3、通过传感器跟踪算法获取设备的旋转参数；S4、由位置参数和旋转参数得出完整的三维姿态参数；S5、根据用户交互更新三维姿态参数。2.根据权利要求1所述的基于计算机视觉跟踪和传感器跟踪的跟踪方法，其特征在于，所述三维姿态参数用于描述真实和/虚拟物体的三维姿态。3.根据权利要求2所述的基于计算机视觉跟踪和传感器跟踪的跟踪方法，其特征在于，所述位置参数为真实和/或虚拟物体在三维空间中的位置信息，所述旋转参数为真实和/或虚拟物体在当前位置的旋转信息。4.根据权利要求3所述的基于计算机视觉跟踪和传感器跟踪的跟踪方法，其特征在于，所述旋转参数为四元数、欧拉角、旋转矩阵中任意一种或多种的组合。5.根据权利要求2所述的基于计算机视觉跟踪和传感器跟踪的跟踪方法，其特征在于，所述步骤S2包括：计算机视觉跟踪算法获取真实场景的图像，并分析真实场景图像是否包含标识图片；如果真实场景的图像包含标识图片，则计算机视觉跟踪算法跟踪成功，计算机视觉跟踪算法计算并返回标识图片的三维姿态位置参数；否则计算机视觉跟踪算法跟踪失败，返回一个标志位表示真实场景的图像不包含标识图片。6.根据权利要求5所述的基于计算机视觉跟踪和传感器跟踪的跟踪方法，其特征在于，所述步骤S5还包括：用户通过交互操作控制虚拟物体，调整虚拟物体的大小和/或三维姿态。7.根据权利要求6所述的基于计算机视觉跟踪和传感器跟踪的跟踪方法，其特征在于，所述步骤S2中计算机视觉跟踪算法跟踪成功时，用户可以通过交互操作对虚拟物体进行缩放，但不可以通过交互操作对虚拟物体进行平移和/或旋转。8.根据权利要求6所述的基于计算机视觉跟踪和传感器跟踪的跟踪方法，其特征在于，所述步骤S2中计算机视觉跟踪算法跟踪成功时，用户既可以通过交互操作对虚拟物体进行缩放，也可以通过交互操作对虚拟物体进行平移和/或旋转。9.根据权利要求5所述的基于计算机视觉跟踪和传感器跟踪的跟踪方法，其特征在于，所述步骤S2中，如果计算机视觉跟踪算法能够从真实场景中检测到标识图片，则虚拟物体三维姿态的位置参数设为标识图片的位置参数。10.根据权利要求5所述的基于计算机视觉跟踪和传感器跟踪的跟踪方法，其特征在于，所述步骤S2中，如果计算机视觉跟踪算法不能从真实场景中检测到标识图片，则虚拟物体三维姿态的位置参数设置为跟踪失败前一帧标识图片的位置参数、或其他便于用户浏览和/或交互的任意位置参数。11.根据权利要求1所述的基于计算机视觉跟踪和传感器跟踪的跟踪方法，其特征在于，所述旋转参数从三轴陀螺仪的输出结果直接获取和/或从加速度传...

【专利技术属性】
技术研发人员：周志颖，
申请(专利权)人：苏州梦想人软件科技有限公司，
类型：发明
国别省市：江苏;32