场景提取方法、物体定位方法及其系统技术方案

公开了场景提取方法、物体定位方法及其系统。所公开的场景提取方法，包括：捕获现实场景的第一图像；提取出所述第一图像中的多个第一特征，所述多个第一特征的每个具有第一位置；捕获所述现实场景的第二图像，提取出所述第二场景中的多个第二特征；所述多个第二特征的每个具有第二位置；基于运动信息，利用所述多个第一位置，估计所述多个第一特征的每个的第一估计位置；选择第二位置位于第一估计位置附近的第二特征作为所述现实场景的场景特征。

【技术实现步骤摘要】

本专利技术涉及虚拟现实技术。特别地，本专利技术涉及基于视频捕捉设备提取场景特征，确定场景中物体的位姿的方法及其系统。
技术介绍
浸入式虚拟现实系统综合了计算机图形技术、广角立体显示技术、传感跟踪技术、分布式计算、人工智能等技术的最新成果，通过计算机模拟生成一个虚拟的世界，并呈现在用户眼前，为用户提供逼真的视听感受，使得用户全身心地沉浸在虚拟世界当中。当用户看到的和听到的一切都有如现实世界般真实时，用户自然而然会与该虚拟世界进行交互。在三维空间（真实物理空间、计算机模拟的虚拟空间或二者融合）中，用户能够移动和执行互动，这样的一种人机交互（Human-MachineInteraction）方式被称为三维交互（3DInteraction）。三维交互常见于CAD、3DsMAX、Maya等三维建模软件工具。但其交互输入设备为二维输入设备（如鼠标），极大的限制了用户对三维虚拟世界进行自然交互的自由。此外，其输出结果一般为三维模型的平面投影图像，即使输入设备为三维输入设备（如体感设备），用户很难对三维模型的操作有直观、自然的感受。传统的三维交互方式给用户带来的仍然是隔空交互的体验。随着头戴式虚拟现实设备的各方面技术成熟，浸入式虚拟现实给用户带来了临境感受，同时使得用户对三维交互的体验需求上升到一个新的层次。用户不再满足于传统的隔空交互方式，而是要求三维交互同样是浸入式的。例如，用户看到的环境会随着他的移动而改变，又如，当用户尝试拿起虚拟环境中的物体后，用户的手中就仿佛有了该物体。三维交互技术需要支持用户在三维空间中完成各种不同类型的任务，根据所支持的任务类型划分，三维交互技术可分为：选择与操作、导航、系统控制、以及符号输入。选择与操作是指用户可以指定虚拟物体并通过手对其进行操作，如旋转、放置。导航是指用户改变观察点的能力。系统控制涉及改变系统状态的用户指令，包括图形菜单、语音指令、手势识别、具有特定功能的虚拟工具。符号输入即允许用户进行字符或文字输入。浸入式三维交互需要解决与虚拟现实环境交互的物体的三维定位问题。例如，用户要移动一个物体，虚拟现实系统需要识别出用户的手部并对手部位置进行实时跟踪，以改变被用户手部移动的物体在虚拟世界中的位置，同时系统还需要对每个手指进行定位来识别用户的手势，以确定用户是否保持拿住物体。三维定位指确定一个物体在三维空间中的空间状态，即位姿，包括位置和姿态（偏航角度、俯仰角度和横滚角度）。定位越精确，虚拟现实系统对用户的反馈则能越真实、越准确。如果用于定位的设备与被测定物是绑定在一起的，则该情况下的定位问题称为自定位问题。用户在虚拟现实中移动是一个自定位的问题。解决自定位问题的一种方法是只通过惯性传感器测量位姿在一定时间内的相对变化量，再结合初始位姿，经过累积计算得出当前的位姿。然而惯性传感器具有一定的误差，经累积计算导致误差被放大，因此，基于惯性传感器的自定位往往无法做到精确，或发生测量结果的漂移。目前头戴式虚拟现实设备可通过三轴角速度传感器来捕捉用户头部的姿态。并可通过地磁传感器在一定程度上缓解累积误差。但这样的方法无法检测头部的位置变化，因此用户只能在一个固定位置上从不同角度观看虚拟世界，用户并不能完全浸入式地进行交互。如果头戴设备上加入线加速度传感器对头部进行位移测量，由于无法解决累积误差的问题，用户在虚拟世界中的位置会发生偏差，因此该方法满足不了定位的精度要求。自定位问题的另一种解决方案是对测定物所处环境中的其他静态物体进行定位跟踪，得出其他静态物对于测定物的相对位姿改变量，从而反算出测定物在环境中的绝对位姿改变量。归根结底，其本质仍然是对物体的定位。中国专利申请CN201310407443中公开了一种基于运动捕捉的浸入式虚拟现实系统，提出通过惯性传感器对用户进行动作捕捉，利用人类肢体的生物力学约束修正惯性传感器带来的累积误差，从而实现对用户肢体的准确定位与跟踪。该专利技术主要解决肢体和人体姿态的定位跟踪问题，并未解决人体全身在全局环境中的定位跟踪问题以及用户手势的定位跟踪问题。中国专利申请CN201410143435中公开了一种虚拟现实组件系统，该专利技术中用户通过控制器与虚拟环境进行交互，控制器利用惯性传感器对用户肢体进行定位跟踪。无法解决用户在虚拟环境中空手交互的问题，也没解决人体全身位置的定位问题。以上两个专利的技术方案均采用惯性传感器信息，而这类传感器存在内部误差较大、累积误差无法内部消除的问题，因此无法满足精确定位的需求。此外，它们并未提出方案解决：1）用户自定位问题，2）对现实场景中的物体进行定位跟踪，从而将现实物体融入到虚拟现实中。中国专利申请CN201410084341中公开了一种虚拟现实中的现实场景映射系统和方法，该专利技术公开了一种将现实场景映射到虚拟环境中的系统和方法，该方法可通过实景传感器捕获场景特征，按照预设映射关系，从而实现实景到虚拟世界的映射。但未给出三维交互中的定位问题的解决办法。
技术实现思路
本专利技术的技术方案使用计算机立体视觉技术，识别视觉传感器视野内物体的形状，并对其进行特征提取，分离出场景特征和物体特征，利用场景特征实现用户自定位，利用物体特征对物体进行实时定位跟踪。根据本专利技术的第一方面，提供了根据本专利技术第一方面的第一场景提取方法，包括：捕获现实场景的第一图像；提取出所述第一图像中的多个第一特征，所述多个第一特征的每个具有第一位置；捕获所述现实场景的第二图像，提取出所述第二场景中的多个第二特征；所述多个第二特征的每个具有第二位置；基于运动信息，利用所述多个第一位置，估计所述多个第一特征的每个的第一估计位置；选择第二位置位于第一估计位置附近的第二特征作为所述现实场景的场景特征。根据本专利技术的第一方面，提供了根据本专利技术第一方面的第二场景提取方法，包括：捕获现实场景的第一图像；提取出所述第一图像中的第一特征与第二特征，所述第一特征具有第一位置，所述第二特征具有第二位置；捕获所述现实场景的第二图像，提取出所述第二场景中的第三特征与第四特征；所述第三特征具有第三位置，所述第四特征具有第四位置；基于运动信息，利用所述第一位置与所述第二位置，估计所述第一特征的第一估计位置，估计所述第二特征的第二估计位置；若所述第三位置位于所述第一估计位置附近，则将所述第三特征作为所述现实场景的场景特征；和/或若所述第四位置位于所述第二估计位置附近，则将所述第四特征作为所述现实场景的场景特征。根据本专利技术的第一方面的第二场景提取方式，提供了根据本专利技术第一方面的第三场景提取方法，其中第一特征与第三特征对应于所述现实场景中的同一特征，第二特征与第四特征对应于所述现实场景中的同一特征。根据本专利技术的第一方面的前述场景提取方式，提供了根据本专利技术第一方面的第四场景提取方法，其中所述捕获现实场景的第二图像的步骤在所述捕获现实场景的第一图像的步骤之前执行。根据本专利技术的第一方面的前述场景提取方式，提供了根据本专利技术第一方面的第五场景提取方法，其中所述运动信息是用于捕获所述现实场景的图像捕获装置的运动信息，和/或所述运动信息是所述现实场景中的物体的运信息。本文档来自技高网...

【技术保护点】
一种场景提取方法，包括：捕获现实场景的第一图像；提取出所述第一图像中的多个第一特征，所述多个第一特征的每个具有第一位置；捕获所述现实场景的第二图像，提取出所述第二场景中的多个第二特征；所述多个第二特征的每个具有第二位置；基于运动信息，利用所述多个第一位置，估计所述多个第一特征的每个的第一估计位置；选择第二位置位于第一估计位置附近的第二特征作为所述现实场景的场景特征。

【技术特征摘要】
1.一种场景提取方法，包括：
捕获现实场景的第一图像；
提取出所述第一图像中的多个第一特征，所述多个第一特征的每个具有第一位置；
捕获所述现实场景的第二图像，提取出所述第二场景中的多个第二特征；所述多个第二特征的每个具有第二位置；
基于运动信息，利用所述多个第一位置，估计所述多个第一特征的每个的第一估计位置；
选择第二位置位于第一估计位置附近的第二特征作为所述现实场景的场景特征。
2.一种场景提取方法，包括：
捕获现实场景的第一图像；
提取出所述第一图像中的第一特征与第二特征，所述第一特征具有第一位置，所述第二特征具有第二位置；
捕获所述现实场景的第二图像，提取出所述第二场景中的第三特征与第四特征；所述第三特征具有第三位置，所述第四特征具有第四位置；
基于运动信息，利用所述第一位置与所述第二位置，估计所述第一特征的第一估计位置，估计所述第二特征的第二估计位置；
若所述第三位置位于所述第一估计位置附近，则将所述第三特征作为所述现实场景的场景特征；和/或若所述第四位置位于所述第二估计位置附近，则将所述第四特征作为所述现实场景的场景特征。
3.根据权利要求2所述的方法，其中
第一特征与第三特征对应于所述现实场景中的同一特征，第二特征与第四特征对应于所述现实场景中的同一特征。
4.根据权利要求1-3之一所述的方法，其中
所述捕获现实场景的第二图像的步骤在所述捕获现实场景的第一图像的步骤之前执行。
5.根据权利要求1-4之一所述的方法，其中
所述运动信息是用于捕获所述现实场景的图像捕获装置的运动信息，和/或所述运动信息是所述现实场景中的物体的运信息。
6.一种物体定位方法，包括：
获取第一物体在现实场景中的第一位姿；
捕获现实场景的第一图像；
提取出所述第一图像中的多个第一特征，所述多个第一特征的每个具有第一位置；
捕获所述现实场景的第二图像，提取出所述第二场景中的多个第二特征；所述多个第二特征的每个具有第二位置；...

【专利技术属性】
技术研发人员：刘津甦，谢炯坤，
申请(专利权)人：天津锋时互动科技有限公司，
类型：发明
国别省市：天津;12