一种虚实结合的交互式输入方法、装置和存储介质制造方法及图纸

本发明专利技术公开了一种虚实结合的交互式输入方法，包括：确定第一目标对象在实体空间中的位置，确定所述第一目标对象在RGB图像上的投影所占据的第一位置区域，确定在虚拟空间中的第一目标对象对应的第二位置区域；获取包含所述第一目标对象的RGB图像作为第一图像，截取位于所述第一位置区域内的第一图像作为第二图像，对所述第二图像进行图像分割，获得位于所述第一目标对象上的第二目标对象；将所述第二目标对象与虚拟空间中的第一目标对象融合，融合后获得的图像投射在所述第二位置区域；所述第二位置区域展示有所述第一目标对象和位于所述第一目标对象上的第二目标对象。本发明专利技术还公开了一种虚实结合的交互式输入装置和存储介质。

【技术实现步骤摘要】
一种虚实结合的交互式输入方法、装置和存储介质
本专利技术涉及虚拟现实技术，尤其涉及一种虚实结合的交互式输入方法、装置和计算机可读存储介质。
技术介绍
虚拟现实(VR，VirtualReality)是一种可以创建和体验虚拟世界的计算机系统。它利用计算机技术生成一个逼真的，具有视、听、触等多种感知的虚拟环境，用户通过使用各种交互设备，可以同虚拟环境中的物体互动。简单讲，虚拟现实利用计算机图形技术创建一个虚拟的三维空间，并提供方法让用户置身于虚拟世界里，如同身历其境一般。虚拟现实技术具有四大特征，分别是多感知性、存在感、交互性和自主性。多感知性指的是视觉感知、听觉感知、力觉感知、触觉感知、运动感知、味觉感知等，是虚拟世界带给“身处其中”的用户的各种感知信号。存在感又称临场感，是用户感到作为主角存在于虚拟环境中的真实程度。交互性是指用户对虚拟环境内物体的可操作程度和从环境得到反馈的自然程度。自主性指虚拟环境中物体依据物理定律自主产生动作的程度。其中，交互性是虚拟现实技术的一项重要特性，甚至很多人将虚拟现实技术定义为一种人机交互技术。交互包括操作虚拟环境中的物体和从虚拟环境得到反馈两部分，也就是输入和输出，而输入是用户与虚拟环境进行交互的前提，是虚拟现实系统必不可少的一项功能。虚拟现实头盔，也被称为VR头盔、VR头显、VR眼镜、Head-mountedDisplay(HMD)等，是一种利用头戴式显示器将人对外界的视觉封闭，通过位于人眼前面的屏幕和光学系统将计算机生成的虚拟场景影像投射到人眼的装置。虚拟现实头盔是目前采用比较广泛的一种虚拟现实显示设备，用户佩戴虚拟现实头盔可以获得较好的沉浸感。目前市场上虚拟现实头盔的品牌众多，比较知名的有HTCVive、Oculus、SONY、SAMSUNG、大朋DeePoon等。最常采用的与虚拟现实头盔配套的输入或交互设备是VR手柄。手柄上往往集成了多个定位器、触摸面板、扳机和按键等，用户手持手柄可以轻松完成定位、选择、拾取、移动等操作。除手柄外还可以采用深度相机(如Kinect)或体感控制器(如Leapmotion)识别手部动作并对手的位置进行跟踪定位。虚拟现实场景中也会经常需要输入文字、字符或符号等，也就是在现实世界中通常由键盘完成的输入操作。但是目前存在的模拟键盘输入的方法在交互性、输入速率、准确度等方面都存在一定的问题。目前，虚拟现实系统中最常见的键盘输入方法包括：在虚拟场景中生成一个虚拟键盘，通过VR手柄的射线功能瞄准键盘按键，然后按下手柄按键完成虚拟键盘的一个敲击动作。这种方式的主要问题是在保持同等输入准确度的情况下，极大地降低了键盘输入的速率，因为它的输入动作与现实中键盘的输入动作完全不同，无法发挥用户积累的键盘操作经验。另一方面，它的操作过程相比现实键盘的敲击过程复杂，需要系统中不同部件的联动，限制了键盘输入的最高速率，用户只能一个个敲打虚拟键盘上的字符，无法像现实中那样流畅。而且该种输入方式操作不方便，降低了键入准确度。为了提高键盘输入正确率，减少重新输入的次数，很多系统添加了自动矫正功能，虽然在一定程度上改善了键盘输入的操作难度，但仍然无法与现实中用户使用键盘的体验相比。但当采用虚拟现实头盔作为显示设备时，头盔遮挡了用户的视线，使得用户无法看到真实的键盘。而现有的键盘输入方式降低了输入的速度和准确率，影响了操作的便捷性和舒适感。
技术实现思路
有鉴于此，本专利技术的主要目的在于提供一种虚实结合的交互式输入方法、装置和存储介质。为达到上述目的，本专利技术的技术方案是这样实现的：本专利技术实施例提供了一种虚实结合的交互式输入方法，所述方法包括：确定第一目标对象在实体空间中的位置，根据所述第一目标对象在实体空间中的的位置、从实体空间到虚拟空间的转换矩阵和从虚拟空间到RGB图像的投影矩阵确定所述第一目标对象在RGB图像上的投影所占据的第一位置区域，根据所述第一目标对象在实体空间中的位置和虚拟场景的渲染矩阵确定在虚拟空间中的第一目标对象对应的第二位置区域；获取包含所述第一目标对象的RGB图像作为第一图像，截取位于所述第一位置区域内的第一图像作为第二图像，对所述第二图像进行图像分割，获得位于所述第一目标对象上的第二目标对象；将所述第二目标对象与虚拟空间中的第一目标对象融合，融合后获得的图像投射在所述第二位置区域；所述第二位置区域展示有所述第一目标对象和位于所述第一目标对象上的第二目标对象。进一步地，所述根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和从虚拟空间到RGB图像的投影矩阵确定所述第一目标对象在RGB图像上的投影所占据的第一位置区域，包括：根据所述第一目标对象在实体空间中的位置和从实体空间到虚拟空间的转换矩阵，确定所述第一目标对象在虚拟空间中的位置坐标；获取包含所述第一目标对象的RGB图像，根据所述第一目标对象在虚拟空间中的位置坐标和从虚拟空间到RGB图像的所述投影矩阵确定所述第一目标对象在所述RGB图像上投影占据的第一位置区域。进一步地，所述方法还包括：确定所述投影矩阵；所述确定所述投影矩阵，包括：根据头盔坐标系到RGB摄像头坐标系的转换矩阵、头盔坐标系到虚拟空间坐标系的转换矩阵和RGB摄像头的内参数矩阵确定从虚拟空间到RGB图像的投影矩阵；或者，采用外置跟踪器的方法计算从虚拟空间到RGB图像的投影矩阵。进一步地，所述第一目标对象上设有跟踪器；所述确定第一目标对象在实体空间中的位置，包括：获取所述跟踪器的位置信息，根据所述跟踪器的位置信息确定所述第一目标对象在实体坐标系中的位置坐标；所述根据第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和虚拟场景的渲染矩阵确定在虚拟空间中的第一目标对象对应的第二位置区域，包括：根据所述第一目标对象在实体坐标系中的位置坐标和从实体空间到虚拟空间的转换矩阵，确定所述第一目标对象在虚拟空间中的位置坐标，根据所述第一目标对象在虚拟空间中的位置坐标和虚拟场景的渲染矩阵确定所述第二位置区域。进一步地，所述对所述第二图像进行图像分割，获得位于所述第一目标对象上的第二目标对象，包括：对所述第二图像进行二值化处理和轮廓提取，获得所述第一目标对象对应的轮廓，根据轮廓内面积滤除第一目标对象上的符号和噪声，获得所述第二目标对象。进一步地，所述将所述第二目标对象与虚拟空间中的第一目标对象融合，融合后获得的图像投射在所述第二位置区域，包括：将所述第二目标对象与虚拟空间中的第一目标对象进行叠加显示，获得虚拟空间中的第一目标对象和位于所述第一目标对象上的第二目标对象。本专利技术实施例提供了一种虚实结合的交互式输入装置，所述装置包括：第一处理模块、第二处理模块、第三处理模块；其中，所述第一处理模块，用于确定第一目标对象在实体空间中的位置，根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和从虚拟空间到RGB图像的投影矩阵确定所述第一目标对象在RGB图像上的投影所占据的第一位置区域，根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和虚拟场景的渲染矩阵确定在虚拟空间中的第一目标对象对应的第二位置区域；所述第二处理模块，用于获取包含所述第一目标对象的RGB图像作为第一图像，截取位于所述第一位置区本文档来自技高网...

【技术保护点】
1.一种虚实结合的交互式输入方法，其特征在于，所述方法包括：确定第一目标对象在实体空间中的位置，根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和从虚拟空间到RGB图像的投影矩阵确定所述第一目标对象在RGB图像上的投影所占据的第一位置区域，根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和虚拟场景的渲染矩阵确定在虚拟空间中的第一目标对象对应的第二位置区域；获取包含所述第一目标对象的RGB图像作为第一图像，截取位于所述第一位置区域内的第一图像作为第二图像，对所述第二图像进行图像分割，获得位于所述第一目标对象上的第二目标对象；将所述第二目标对象与虚拟空间中的第一目标对象融合，融合后获得的图像投射在所述第二位置区域；所述第二位置区域展示有所述第一目标对象和位于所述第一目标对象上的第二目标对象。

【技术特征摘要】
1.一种虚实结合的交互式输入方法，其特征在于，所述方法包括：确定第一目标对象在实体空间中的位置，根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和从虚拟空间到RGB图像的投影矩阵确定所述第一目标对象在RGB图像上的投影所占据的第一位置区域，根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和虚拟场景的渲染矩阵确定在虚拟空间中的第一目标对象对应的第二位置区域；获取包含所述第一目标对象的RGB图像作为第一图像，截取位于所述第一位置区域内的第一图像作为第二图像，对所述第二图像进行图像分割，获得位于所述第一目标对象上的第二目标对象；将所述第二目标对象与虚拟空间中的第一目标对象融合，融合后获得的图像投射在所述第二位置区域；所述第二位置区域展示有所述第一目标对象和位于所述第一目标对象上的第二目标对象。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和从虚拟空间到RGB图像的投影矩阵确定所述第一目标对象在RGB图像上的投影所占据的第一位置区域，包括：根据所述第一目标对象在实体空间中的位置和从实体空间到虚拟空间的转换矩阵，确定所述第一目标对象在虚拟空间中的位置坐标；获取包含所述第一目标对象的RGB图像，根据所述第一目标对象在虚拟空间中的位置坐标和从虚拟空间到RGB图像的投影矩阵确定所述第一目标对象在所述RGB图像上投影占据的第一位置区域。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：确定所述投影矩阵；所述确定所述投影矩阵，包括：根据头盔坐标系到RGB摄像头坐标系的转换矩阵、头盔坐标系到虚拟空间坐标系的转换矩阵和RGB摄像头的内参数矩阵确定从虚拟空间到RGB图像的投影矩阵；或者，采用外置跟踪器的方法计算从虚拟空间到RGB图像的投影矩阵。4.根据权利要求1所述的方法，其特征在于，所述第一目标对象上设有跟踪器；所述确定第一目标对象在实体空间中的位置，包括：获取所述跟踪器的位置信息，根据所述跟踪器的位置信息确定所述第一目标对象在实体坐标系中的位置坐标；所述根据第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和虚拟场景的渲染矩阵确定在虚拟空间中的第一目标对象对应的第二位置区域，包括：根据所述第一目标对象在实体坐标系中的位置坐标和从实体空间到虚拟空间的转换矩阵，确定所述第一目标对象在虚拟空间中的位置坐标，根据所述第一目标对象在虚拟空间中的位置坐标和虚拟场景的渲染矩阵确定所述第二位置区域。5.根据权利要求1所述的方法，其特征在于，所述对所述第二图像进行图像分割，获得位于所述第一目标对象上的第二目标对象，包括：对所述第二图像进行二值化处理和轮廓提取，获得所述第一目标对象对应的轮廓，根据轮廓内面积滤除第一目标对象上的符号和噪声，获得所述第二目标对象。6.根据权利要求1所述的方法，其特征在于，所述将所述第二目标对象与虚拟空间中的第一目标对象融合，融合后获得的图像投射在所述第二位置区域，包括：将所述第二目标对象与虚拟空间中的第一目标对象进行叠加显示，获得虚拟空间中的第一目...

【专利技术属性】
技术研发人员：任程，王响，贺振轩，徐洪刚，韩伟，
申请(专利权)人：南京禹步信息科技有限公司，
类型：发明
国别省市：江苏,32