一种基于手机终端的虚拟现实系统及人机交互方法技术方案

一种基于手机终端的虚拟现实系统及人机交互方法，通过配备有图像采集装置和显示装置的手机终端，完成对用户手指操作的捕捉并体现在手机终端的显示装置上，再利用固定装置将所述手机终端固定于用户眼前。这样的设计在利用手机终端实现VR功能的同时，能够解决现有手机终端实现VR功能中所遇到的人机交互不方便的问题。本发明专利技术无需外接手柄，也无需用户可以移动头部，直接根据对用户手指操作的捕捉即可实现人机交互。用户体验更佳，人机交互效率也得到进一步提升，方便快捷，相对于现有的人机交互操作手段，本发明专利技术还能够实现更为复杂、精密的操作。

A virtual reality system and human-computer interaction method based on mobile terminal

A virtual reality system of mobile phone terminal and method of human-computer interaction based on the image acquisition and display device equipped with a mobile phone terminal device, to complete the user's finger capture and reflected in the mobile phone terminal display device, and then use the mobile phone fixing device is fixed on the front of the user terminal. This design can solve the problem of human-machine interaction which is encountered in the VR function of the existing mobile terminals while making use of the mobile terminal to realize the VR function. The invention does not need an external handle, nor needs the user to move the head, and the human-computer interaction can be realized directly according to the capture of the operation of the user's finger. User experience is better, man-machine interaction efficiency has been further improved, convenient and fast, compared with the existing man-machine interaction operation means, the invention can also achieve more complex and precise operation.

【技术实现步骤摘要】
一种基于手机终端的虚拟现实系统及人机交互方法
本专利技术涉及虚拟现实技术，尤其涉及一种基于手机终端的虚拟现实系统及该系统的人机交互方法。
技术介绍
目前的虚拟现实眼镜(VR眼镜)，通常为专门设计的固定于用户头部的独立装置。为方便用户使用，目前逐渐产生了一种基于手机终端的VR眼镜。该VR眼镜将手机通过头戴式装置固定于用户眼睛的前端，使用触屏手机屏幕作为VR眼镜的显示屏，在手机中运行支持3D显示的软件或游戏。通过结合手机的GPS、陀螺仪等传感器，该VR眼镜能够得到一定的程度的虚拟现实体验。但由于手机设置位置的关系，这类软件或游戏存在交互上的问题：触屏手机的交互操作都是在屏幕上完成的，而手机插入VR眼镜后，屏幕是放置在眼前的位置的，没有空间直接使用手来和屏幕产生交互。目前，针对这种VR眼镜交互问题的解决方案主要有两种：一种是使用外接手柄，另一种则通过传感器根据头部移动完成相应操作。外接手柄的操作方式不再赘述，主要问题是需要购买额外的手柄，且设备携带不便。而第二种根据传感器对头部定位执行相应操作的方法，需要用户晃动头部，配合陀螺仪或加速度传感器，定位指针在屏幕中的位置，通过头部的在某一位置的长时间停留而触发点击当前屏幕位置的点击行为。这种交互方式不仅需要设施额外的延时时间才难确定具体操作，且长时间频繁操作后，会引起用户头部不适，用户体验很差。因此，目前急需一种针对手机终端的虚拟现实系统及针对该系统的人机交互方法，无需外接设备，即可方便快捷地完成较为全面的交互操作。
技术实现思路
为了解决现有技术存在的不足，本专利技术的目的在于提供一种基于手机终端的虚拟现实系统及人机交互方法。首先，为实现上述目的，提出一种基于手机终端的虚拟现实系统，包括配备有图像采集装置和显示装置的手机终端以及固定装置；所述固定装置设有插接结构，所述手机终端的显示装置通过所述插接结构固定于用户眼前，所述图像采集装置由所述固定装置固定并对准环境区域。进一步，上述的虚拟现实系统中，包括颜色区别于环境区域颜色的手套、指套或贴片。再进一步，上述的虚拟现实系统中，所述手机终端还包括有方向校准设备，如陀螺仪；所述方向校准设备用于校准所述虚拟现实系统中显示界面的坐标。其次，为实现上述目的，还提出一种应用于上述基于手机终端的虚拟现实系统的人机交互方法，步骤包括：第一步，显示界面提示用户确认坐标中心点，采集显示界面中用户手指指向的中心点和边界的空域位置，根据所述空域位置校准所述显示界面坐标的中心点、边界以及用户手指空域位置与所述显示界面坐标之间的映射关系；第二步，采集显示界面中用户手指空域位置，将采集的用户手指空域位置映射为显示界面的坐标并分别标记每个坐标的时间戳；第三步，根据所述第二步中所述坐标的变化情况及时间戳，确定状态信息，根据所述状态信息以及坐标变化情况执行对应操作。进一步，上述人机交互方法中，所述第一步还包括调整显示界面比例的步骤：步骤a1，显示界面提示用户确认坐标中心点，采集显示界面中用户手指指向的中心点位置和边界的空域位置，根据所述空域位置校准显示界面坐标的中心点、边界；步骤a2，若显示界面中用户手指指向的边界超出显示范围，则缩小所述显示界面的比例；若显示界面中用户手指指向的边界未达到显示范围的边缘，则放大所述显示界面的比例；步骤a3，根据步骤a2中的比例，校准并确定用户手指空域位置与显示界面坐标之间的映射关系。进一步，上述人机交互方法中，所述第一步中，具体通过如下步骤校准所述显示界面的边界：步骤b1，采集显示界面中用户手指指向的边界作为基准，通过方向校准设备，根据所述基准确定用户手指指向的边界与所述显示界面的位置关系；步骤b2，根据步骤a3中的比例以及步骤b1中所确定的基准，校准所述显示界面中其余各边界的位置。进一步，上述人机交互方法中，第三步中所述状态信息包括：移动、屏幕内消失、屏幕外消失、悬停、拖拽或长按；所述移动、屏幕内消失、屏幕外消失、悬停、拖拽或长按，6种状态信息的判断方法分别为：若坐标超出所述显示界面的范围，则确定所述状态信息为屏幕外消失；若相邻时间戳所对应的坐标由所述显示界面的范围内变为无法确定，则确定所述状态信息为屏幕内消失；若相同坐标所对应的时间戳之间的间隔未达到第一时间阈值，且最新的时间戳所对应的坐标有变化，则确定所述状态信息为移动，删除该坐标以及该坐标所对应的时间戳；若相同坐标所对应的时间戳之间的间隔达到第一时间阈值而未到达第二时间阈值，且最新的时间戳所对应的坐标有变化，则确定所述状态信息为拖拽；若相同坐标所对应的时间戳之间的间隔时间达到第二阈值，且最新的时间戳所对应的坐标无变化，则确定所述状态信息为长按。具体的，上述人机交互方法，第三步中所述状态信息与操作的对应关系为：若所述状态信息为移动，则根据所述坐标的变化情况对执行光标移动操作；若所述状态信息为屏幕外消失，则保持上一操作；若所述状态信息为屏幕内消失，则再次判断上一次状态信息是否为拖拽，若是，则执行拖拽释放操作，并更新所述状态信息为悬停；否则，执行点击操作；若所述状态信息为悬停，则不执行任何操作；若所述状态信息为拖拽，则根据所述坐标的变化情况执行对显示界面内相应元素的移动操作；若所述状态信息为长按，则执行界面菜单的调取操作。进一步，上述人机交互方法中，所述用户手指空域位置具体为显示界面中用户手指所在像素区域的中心点。有益效果本专利技术，通过配备有图像采集装置和显示装置的手机终端，完成对用户手指操作的捕捉并体现在手机终端的显示装置上，再利用固定装置将所述手机终端固定于用户眼前。这样的设计在利用手机终端实现VR功能的同时，能够解决现有手机终端实现VR功能中所遇到的人机交互不方便的问题。本专利技术无需外接手柄，也无需用户可以移动头部，直接根据对用户手指操作的捕捉即可实现人机交互。用户体验更佳，人机交互效率也得到进一步提升，方便快捷，相对于现有的人机交互操作手段，本专利技术还能够实现更为复杂、精密的操作。进一步，本专利技术还可通过增设颜色区别于环境区域颜色的手套、指套或贴片，进一步提高对用户手指操作进行的捕捉时的灵敏度和精度。可通过方向校准设备，如陀螺仪，结合采集显示界面中用户手指指向的边界与所述显示界面的位置关系，校准所述系统中显示界面中其余各边界的位置，从而校准所述虚拟现实系统中显示界面的坐标。再进一步，本专利技术还可在校准所述虚拟现实系统中显示界面坐标的同时，根据用户的具体操作，调整所述显示界面的比例。可直接根据用户手指的操作信息(具体包括坐标的变化情况及时间戳)迅速确定状态信息，并依据所述状态信息以及坐标变化情况执行对应操作。操作更为简便，能够实现的操作也更多、更为复杂也更为精密，用户体验更佳。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，并与本专利技术的实施例一起，用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1为根据本专利技术的基于手机终端的虚拟现实系统框图；图2为根据本专利技术的虚拟现实系统所对应的人机交互方法流程图；图3为根据本专利技术的虚拟现实系统的显示界面坐标示校准过程意图；图4为根据本专利技术的虚拟现实系统实现对显示界面缩小比例的示意图；图5为根据本专利技术的虚拟本文档来自技高网...

【技术保护点】
一种基于手机终端的虚拟现实系统，其特征在于，包括配备有图像采集装置和显示装置的手机终端以及固定装置；所述固定装置设有插接结构，所述手机终端的显示装置通过所述插接结构固定于用户眼前，所述图像采集装置由所述固定装置固定并对准环境区域。

【技术特征摘要】
1.一种基于手机终端的虚拟现实系统，其特征在于，包括配备有图像采集装置和显示装置的手机终端以及固定装置；所述固定装置设有插接结构，所述手机终端的显示装置通过所述插接结构固定于用户眼前，所述图像采集装置由所述固定装置固定并对准环境区域。2.如权利要求1所述的基于手机终端的虚拟现实系统，其特征在于，还包括颜色区别于环境区域颜色的手套、指套或贴片。3.如权利要求1所述的基于手机终端的虚拟现实系统，其特征在于，所述手机终端还包括有方向校准设备；所述方向校准设备用于校准所述虚拟现实系统中显示界面的坐标。4.一种应用于权利要求1所述基于手机终端的虚拟现实系统的人机交互方法，其特征在于，步骤包括：第一步，显示界面提示用户确认坐标中心点，采集显示界面中用户手指指向的中心点和边界的空域位置，根据所述空域位置校准所述显示界面坐标的中心点、边界以及用户手指空域位置与所述显示界面坐标之间的映射关系；第二步，采集显示界面中用户手指空域位置，将采集的用户手指空域位置映射为显示界面的坐标并分别标记每个坐标的时间戳；第三步，根据所述第二步中所述坐标的变化情况及时间戳，确定状态信息，根据所述状态信息以及坐标变化情况执行对应操作。5.如权利要求4所述的人机交互方法，其特征在于，所述第一步中，还包括调整显示界面比例的步骤：步骤a1，显示界面提示用户确认坐标中心点，采集显示界面中用户手指指向的中心点位置和边界的空域位置，根据所述空域位置校准显示界面坐标的中心点、边界；步骤a2，若显示界面中用户手指指向的边界超出显示范围，则缩小所述显示界面的比例；若显示界面中用户手指指向的边界未达到显示范围的边缘，则放大所述显示界面的比例；步骤a3，根据步骤a2中的比例，校准并确定用户手指空域位置与显示界面坐标之间的映射关系。6.如权利要求5所述的人机交互方法，其特征在于，所述第一步中，具体通过如下步骤校准所述显示界面的边界...

【专利技术属性】
技术研发人员：韩玮，高红霞，陆林，
申请(专利权)人：炫彩互动网络科技有限公司，
类型：发明
国别省市：江苏,32