一种基于VR视频的人机交互方法及系统技术方案

本发明专利技术公开了一种基于VR视频的人机交互方法及系统，涉及人机交互技术领域。包括VR控制单元；VR控制单元包括存储模块、显示屏控制模块和通信模块；VR控制单元通过数据传输及存储模块与终端设备进行信息交互；VR控制单元通过数据传输及存储模块与视频资源库进行信息交互；VR控制单元通过数据传输及存储模块与VR头显进行信息交互；VR控制单元与VRPN多通道交互单元连接。本发明专利技术通过VR控制单元与视频信息处理单元结合对播放的视频进行信息处理及对画面中实物进行检索，把检索的结果显示给用户，以拓展视屏信息量，增加VR的实用性及趣味性，通过VRPN多通道交互单元可以进行多种输入设备的接入，对VR提供更多的操作可能，对显示的画面增强可操作性。

A human-computer interaction method and system based on VR video

The invention discloses a human-machine interaction method and system based on VR video, and relates to the field of human-computer interaction. It includes the VR control unit, and the VR control unit includes the storage module, the display control module and the communication module; the VR control unit interacts with the terminal equipment through the data transmission and storage module; the VR control unit interacts with the video resource library through the data transmission and storage module; the VR control unit is transmitted through the data transmission. And storage modules interact with VR head display; VR control unit is connected with VRPN multi-channel interaction unit. By combining the VR control unit and the video information processing unit, the video information is processed and the object is retrieved. The results of the retrieval are displayed to the user, so as to expand the amount of the video information, increase the practicality and interest of the VR, and the multiple input devices can be connected through the VRPN multichannel intercourse unit. In addition, it can provide more operations to VR and enhance the operability of the displayed picture.

【技术实现步骤摘要】
一种基于VR视频的人机交互方法及系统
本专利技术属于人机交互
，特别是涉及一种基于VR视频的人机交互方法及系统。
技术介绍
人机交互，顾名思义，是一门研究系统和用户之间交互关系的学问。从最初的纸带打孔，到后来键盘输入、鼠标输入的发展，再到当下的触控操作，语音识别，以及有待进一步发展的3D手势、眼动识别。每一次的技术革新及产品升级，将会带来人机交互方式的重大变化。当下，世界各大公司均开始投入虚拟现实领域的研制，民用及VR的时代正视到来。VR技术的应用场景很多，除当下最大的热点VR游戏和VR影视外，包括在医疗模拟教学，军事模拟实战训练，工业仿真，虚拟课堂等都有极广泛的应用场景。而VR视频的人机交互成为当下一个热点。当下VR的交互手段在一些设定的场景才能有效的操作，对普通的没有进行处理的视屏不能够进行互动操作。
技术实现思路
本专利技术的目的在于提供一种基于VR视频的人机交互方法及系统，通过通过VR控制单元与视频信息处理单元结合对播放的视频进行信息处理及对画面中实物进行检索，把检索的结果显示给用户，通过VRPN多通道交互单元可以进行多种输入设备的接入，解决了现有当下VR的交互手段对普通的没有进行处理的视屏不能够进行互动操作的问题。为解决上述技术问题，本专利技术是通过以下技术方案实现的：本专利技术为一种基于VR视频的人机交互方法及系统，包括VR控制单元；所述VR控制单元包括存储模块、显示屏控制模块和通信模块；所述VR控制单元通过数据传输及存储模块与终端设备进行信息交互；所述VR控制单元通过数据传输及存储模块与VR头显进行信息交互；终端设备进行视频资源的解压缩，VR控制单元把解码的信息数据推送给VR头显单元，显示屏控制模块控制显示器播放；所述VR控制单元通过数据传输及存储模块与视频资源库进行信息交互；存储模块中存储的视频文件通过VR控制单元中存储模块和通信模块传输给终端设备；所述VR控制单元通过数据传输及存储模块与视频信息处理单元进行信息交互；显示屏控制模块控制播放视频的播放与暂停，暂停时图像预处理模块把图像资料进行初步处理划分区块，图像检索模块对划分出的区块进行检索。所述VR控制单元与VRPN多通道交互单元连接。所述VRPN多通道交互单元可以对多种输入方式进行支持并保证各路信号不相互干扰，尽可能的给用户更多且流畅的使用体验。进一步地，所述终端设备包括台式电脑、笔记本、手机。进一步地，所述VR头显包括显示屏、语音模块；所述VR头显通过数据传输方式与显示屏相联；所述VR头显通过数据传输方式与语音模块相联；所述语音模块有3D音效。进一步地，所述视频信息处理单元包括图像预处理模块和图像检索模块；所述视频信息处理单元通过数据传输方式与预处理模块相联；所述视频信息处理单元通过数据传输方式与图像检索模块相联。进一步地，所述VRPN多通道交互单元包括电磁跟踪器、数据手套、内置传感器手柄、三维鼠标、智能语音助手、力反馈手套；所述电磁跟踪器、数据手套、内置传感器手柄、三维鼠标、智能语音助手、力反馈手套均通过数据传输方式与VRPN多通道交互单元相联。进一步地，所述三维鼠标用于操作三维目标的输入。进一步地，所述电磁跟踪器固定在VR头显上，实时获取佩戴者方位和面部朝向信息，利用这些数据修改虚拟场景的两台摄像机坐标及朝向，并把显示结果分别输送到VR头显的左右屏幕上，实现立体漫游。进一步地，所述数据手套可进行虚拟场景中物体的抓取、移动、旋转等动作，也可以利用数据手套的多模式性，用作一种控制场景漫游的工具。进一步地，所述内置传感器手柄有助于玩家更好的操作控制角色的活动。进一步地，所述智能语音助手通过语音输入控制显示界面。进一步地，所述力反馈手套集成了传感和位置控制器，可直接把人体动作绘制到机器设备，通过VR控制单元处理后在VR头显的显示屏中显示相应的操作。一种基于VR视频的人机交互方法，包括如下过程：S001视频播放：终端设备通过VR控制单元从视频资源库中提取视频文件进行播放，播放的视频包括电影、综艺和VR特制影片；S002视频暂停：用户通过内置传感器手柄或智能语音助手对视频进行停止操作，当画面中出现感兴趣的人物、动物、物品或场景暂停画面；S003视频信息处理：图像预处理模块对暂停时显示的画面进行预处理，图像检索模块对画面中各种人物、物品或花草鱼虫进行智能区分划块，画面中所有能够被检索的人物、动物、物品或场景全都被划分圈上虚线，以便用户精准选择；S004选择检索目标：用户通过内置传感器手柄或智能语音助手对画面中可检索的块进行选择，用户对画面中的划分出来的块进行选择；S005反馈检索结果：VR控制单元对选择的块进行网络检索并把检索的结果在VR头显的显示屏中显示给用户，同时检索结果如含有语音则同时语言模块进行语音播放，搜索结果通过VR显示屏显示给用户，让用户进行浏览，有些含有语音的搜索结果，同时播放语音给用户一种很好的体验；S006是否重复检索：用户对检索结果判断是否需要重新检索一次，如需检索则跳到S005，如果不需要则进入下一步，以上选择通过内置传感器手柄或智能语音助手来完成操作，用户根据自己的喜好对检索到的人物简介、动物介绍、物品的详细信息或景观的简介及图片鉴赏做出评价，满意就进行下一步，否则重复检索一次供用户选择；S007返回视频界面：上个步骤结束再次进入带有划分块的画面，用户重新对暂停画面进行观看；S008是否选择新检索目标：用户观看画面查找需要检索的下一个目标，观看过程中画面可以局部放大，增加用户体验，用户再次对画面中的块进行选择是否再次检索，如检索则跳到S004或放弃检索计入下一步，以上选择通过内置传感器手柄或智能语音助手来完成操作；S009继续播放：VR控制单元继续对暂停的视屏从当前暂停处开始播放，整个检索过程结束，视频正常播放，等待用户下一个暂停进行画面检索。本专利技术具有以下有益效果：1、本专利技术通过VR控制单元与视频信息处理单元结合对播放的视频进行信息处理及对画面中实物进行检索，把检索的结果显示给用户，以拓展视屏信息量，增加VR的实用性及趣味性。2、本专利技术通过VRPN多通道交互单元可以进行多种输入设备的接入，对VR提供更多的操作可能，对显示的画面增强可操作性。当然，实施本专利技术的任一产品并不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术的一种方法流程原理图；图2为本专利技术的系统图；图3为视频信息处理单元的模块系统图；图4为VRPN多通道交互单元的模块系统图；图5为VR头显的模块系统图；图6为VR控制单元的模块系统图；具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。请参阅图2-6所示，本专利技术为一种基于VR视频的人机交互系统，包括VR控制单元；VR控制单元包括存储模块、显示屏控制模本文档来自技高网...

【技术保护点】
1.一种基于VR视频的人机交互系统，其特征在于：包括VR控制单元；所述VR控制单元包括存储模块、显示屏控制模块和通信模块；所述VR控制单元通过数据传输及存储模块与终端设备进行信息交互；所述VR控制单元通过数据传输及存储模块与视频资源库进行信息交互；所述VR控制单元通过数据传输及存储模块与VR头显进行信息交互；所述VR控制单元通过数据传输及存储模块与视频信息处理单元进行信息交互；所述VR控制单元与VRPN多通道交互单元连接。

【技术特征摘要】
1.一种基于VR视频的人机交互系统，其特征在于：包括VR控制单元；所述VR控制单元包括存储模块、显示屏控制模块和通信模块；所述VR控制单元通过数据传输及存储模块与终端设备进行信息交互；所述VR控制单元通过数据传输及存储模块与视频资源库进行信息交互；所述VR控制单元通过数据传输及存储模块与VR头显进行信息交互；所述VR控制单元通过数据传输及存储模块与视频信息处理单元进行信息交互；所述VR控制单元与VRPN多通道交互单元连接。2.根据权利要求1所述的一种基于VR视频的人机交互系统，其特征在于，所述终端设备包括台式电脑、笔记本、手机。3.根据权利要求1所述的一种基于VR视频的人机交互系统，其特征在于，所述VR头显包括显示屏、语音模块；所述VR头显通过数据传输方式与显示屏相联；所述VR头显通过数据传输方式与语音模块相联；所述语音模块有3D音效。4.根据权利要求1所述的一种基于VR视频的人机交互系统，其特征在于，所述视频信息处理单元包括图像预处理模块和图像检索模块；所述视频信息处理单元通过数据传输方式与预处理模块相联；所述视频信息处理单元通过数据传输方式与图像检索模块相联。5.根据权利要求1所述的一种基于VR视频的人机交互系统，其特征在于，所述VRPN多通道交互单元包括电磁跟踪器、数据手套、内置传感器手柄、三维鼠标、智能语音助手、力反馈手套；所述电磁跟...

【专利技术属性】
技术研发人员：王兴生，
申请(专利权)人：安徽中骄智能科技有限公司，
类型：发明
国别省市：安徽,34