手机虚拟现实交互系统及方法技术方案

本发明专利技术涉及虚拟现实领域，尤其涉及一种手机虚拟现实交互系统和方法，该系统包括：包括头戴设备和手机，手机的显示屏用于播放VR视频；手机具有：图像录制模块，用于实时录制视频；图像叠加模块，用于将录制的视频与VR视频进行叠加，使录制视频和播放的VR视频同时在手机的显示屏上进行播放；动作捕捉模块，动作捕捉模块用于捕捉录制视频画面中的出现的手势操作，并对手势操作进行识别后转换为操作指令；图像控制模块，用于根据动作捕捉模块识别出的操作指令对显示屏上播放的视频执行相应操作。本发明专利技术观看VR全景视频播放时，可以将用户所在环境的背景拍摄并实时融入到当前的VR全景视频中来，实现了VR视频和现实的融合。

Mobile phone virtual reality interaction system and method

The present invention relates to the field of virtual reality, especially relates to a mobile phone interactive virtual reality system and method, the system comprises a headset and mobile phone, mobile phone screen for VR video playback; mobile phone has an image recording module for real-time video recording; image overlay module for video recording and video overlay VR so, VR video recording and playback of video and broadcast in mobile phone screen; motion capture module, motion capture module is used to capture video images of gestures and recording operation after identification of potential competitors into operation instruction; the image control module, according to the motion capture module identifies the operating instructions the corresponding operation on the display screen of the video. When watching the VR panoramic video playback, the invention can shoot the background of the user's environment and integrate into the current VR panoramic video in real time, thus realizing the integration of the VR video and the reality.

【技术实现步骤摘要】
手机虚拟现实交互系统及方法
本专利技术涉及虚拟现实领域，尤其涉及一种手机虚拟现实交互系统和方法。
技术介绍
当前基于手机平台的VR（VirtualReality，虚拟现实）全景视频，普遍使用低端的类似于GoogleCardboard或者暴风影音之类的头盔，将手机等可以播放VR的设备嵌入，然后通过手机播放VR全景视频，并通过手机的位置传感器操作观看视角。由于头盔和手机的遮挡，用户只能观看手机上的视频内容，虽然有一定的沉浸感，但是也和外界环境隔离，无法感知外界环境的变化，也无法在观看时自如的在现实环境中自由移动，更加无法和现实环境做各种互动操作。目前360度／VR视频在手机平台上观看视频时，基本都是用一个类似于GoogleCardboard或者暴风魔盒的简单装置固定住手机，通过透镜来观看双目内容。由于手机和头盔的遮挡，虽然沉浸感好，但是同时和环境间的交互性差，用户位置感差。同时，用户在佩戴此类产品进行游戏时，由于无法实施观察到周边环境的障碍物，用户很容易在移动过程中发生碰撞事故。此外，在观看VR视频时，只能借助头部的摆动来进行菜单的操作，比较麻烦。
技术实现思路
本专利技术提供了一种VR全景视频背景融合技术，用于在基于手机和配套VR头盔的VR观看设备上，观看VR全景视频播放的时候，通过手机后置的相机将用户所在环境的背景拍摄并实时融入到当前的VR全景视频中来，同时还可借助相机实现手势操作，方便快捷；此外，还可对画面中的场景进行识别，并推送相关信息至显示屏上。为实现上述的技术方案，本专利技术采用的技术方案为：一种手机虚拟现实交互系统，包括头戴设备和手机；所述手机可固定在所述头戴设备上，所述手机的显示屏用于播放VR视频；其中，所述手机具有：图像录制模块，用于实时录制视频；图像叠加模块，用于将图像录制模块录制的视频与VR视频进行叠加，使录制视频和播放的VR视频同时在手机的显示屏上进行播放；动作捕捉模块，所述动作捕捉模块用于捕捉录制视频画面中的出现的手势操作，并对手势操作进行识别后转换为操作指令；图像控制模块，用于根据动作捕捉模块识别出的操作指令对显示屏上播放的视频执行相应操作。在上述的手机虚拟现实交互系统中，所述手机虚拟现实交互系统还包括识别模块，所述识别模块对录制视频中的场景和/或物体进行识别，并根据识别的结果调取相关信息并推送到手机的显示屏。在上述的手机虚拟现实交互系统中所述识别模块为手机的本地识别模块，通过本地识别模块来对录制视频中的场景和/或物体进行识别；和/或所述识别模块为位于云端服务器的云端识别模块。在上述的手机虚拟现实交互系统中所述手机还具有预处理模块，预处理模块对录制视频进行预处理后，发送至所述图像叠加模块将录制视频与VR视频进行叠加；所述预处理的步骤包括：对录制视频做缩放处理、透明度处理和/或亮度处理。在上述的手机虚拟现实交互系统中所述手机还具有陀螺仪，所述陀螺仪用于感应手机在播放视频的过程中在三维空间内产生的位移并转换为相应的电信号，图像控制模块根据陀螺仪产生的电信号对显示屏上播放的视频执行相应操作。在上述的手机虚拟现实交互系统中图像叠加模块对录制视频和VR视频做PIP拼接或者做透明混合叠加后，使录制视频和VR视频同时在手机的显示屏上进行播放；其中，图像叠加模块在对录制视频和VR视频做透明混合叠加处理时，图像录制模块录制的视频或VR视频作为主视频。同时本专利技术还提供了一种手机虚拟现实交互方法，包括以下步骤：将手机固定在头戴设备上，在手机的显示屏上进行VR视频播放；手机实时录制视频；将录制视频与VR视频进行叠加，使手机录制的视频和播放的VR视频同时在显示屏上进行播放；在手机背面的录制区域进行手势操作，手机识别该手势操作后，将手势操作进行识别后转换为操作指令，在手机的显示屏上播放的录制视频执行相应的操作。在上述的手机虚拟现实交互方法中，所述方法还包括：对录制的视频中的场景和/或物体进行识别，并根据识别的结果调取相关信息并推送到手机的显示屏上进行播放。在上述的手机虚拟现实交互方法中，通过手机对场景和/或物体进行识别；和/或通过云端服务器对场景和/或物体进行识。在上述的手机虚拟现实交互方法中，所述方法还包括：对手机录制的视频进行预处理后与VR视频进行叠加；所述预处理的步骤包括：对录制视频做透明度处理和/或亮度处理。在上述的手机虚拟现实交互方法中，对录制视频和VR视频做PIP拼接或者做透明混合叠加后，使录制视频和VR视频同时在手机的显示屏上进行播放；其中，在对录制视频和VR视频做透明混合叠加处理时，录制视频或VR视频作为主视频。本专利技术的优点在于：1.在利用手机播放VR视频时，还可以录制手机背面的视频，可以同时开启手机后向相机采集环境视频；2.用户可以选择PIP拼接或者透明混合叠加的方式，将采集环境视频叠加到VR视频上，也可以选择将VR视频或者环境视频作为主视频，用户不再被手机屏幕和头盔遮挡，可以在环境中自由移动；3.将采集的视频做一个本地和云端的物体识别，一部分通过手机做一个低延迟的快速本地识别，另一部分可以选择将捕捉视频回传到云端，在云端做一个更复杂的对实时要求不高的物体识别和场景理解，并可以反馈给VR内容发送服务器，同时控制发送相应内容；4.可以识别录制视频中出现的手势操作，来通过手势控制播放菜单，并作各种高复杂度的用户交互。如控制弹幕的放大缩小删除，视频内容等快进快退等，进一步提高用户体验。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术提供的一种手机虚拟现实交互系统的示意图；图2为本专利技术在一实施例中VR头戴设备的示意图；图3为本专利技术实现手势识别的原理过程图。具体实施方式在下文的描述中，给出了大量具体的细节以便提供对本专利技术更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本专利技术可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本专利技术发生混淆，对于本领域公知的一些技术特征未进行描述。为了彻底理解本专利技术，将在下列的描述中提出详细的步骤以及详细的结构，以便阐释本专利技术的技术方案。本专利技术的较佳实施例详细描述如下，然而除了这些详细描述外，本专利技术还可以具有其他实施方式。实施例一在本实施例中，本专利技术提供了一种手机虚拟现实交互系统，参照图1所示，该系统包括头戴设备和手机；手机可固定在头戴设备上，手机的显示屏4用于播放VR视频；其中，手机具有：图像录制模块1，用于实时录制视频；图像叠加模块3，用于将图像录制模块1录制的视频与VR视频进行叠加，使录制视频和播放的VR视频同时在手机的显示屏4上进行播放；动作捕捉模块5，动作捕捉模块5用于捕捉录制视频画面中的出现的手势操作，并对手势操作进行识别后转换为操作指令；图像控制模块7，用于根据动作捕捉模块5识别出的操作指令对显示屏4上播放的视频执行相应操作。如图2所示，该图示出了一种较为典型的简易VR头戴设备爱，该头戴设备具有透镜11，在具体使用过程中，将手机固定在VR头戴设备的插槽内，通过透镜即可观看手机正面显示屏播放的视频。在使用该设备观看VR本文档来自技高网...

【技术保护点】
一种手机虚拟现实交互系统，其特征在于，包括头戴设备和手机；所述手机可固定在所述头戴设备上，所述手机的显示屏用于播放VR视频；其中，所述手机具有：图像录制模块，用于实时录制视频；图像叠加模块，用于将图像录制模块录制的视频与VR视频进行叠加，使录制视频和播放的VR视频同时在手机的显示屏上进行播放；动作捕捉模块，所述动作捕捉模块用于捕捉录制视频画面中的出现的手势操作，并对手势操作进行识别后转换为操作指令；图像控制模块，用于根据动作捕捉模块识别出的操作指令对显示屏上播放的视频执行相应操作。

【技术特征摘要】
1.一种手机虚拟现实交互系统，其特征在于，包括头戴设备和手机；所述手机可固定在所述头戴设备上，所述手机的显示屏用于播放VR视频；其中，所述手机具有：图像录制模块，用于实时录制视频；图像叠加模块，用于将图像录制模块录制的视频与VR视频进行叠加，使录制视频和播放的VR视频同时在手机的显示屏上进行播放；动作捕捉模块，所述动作捕捉模块用于捕捉录制视频画面中的出现的手势操作，并对手势操作进行识别后转换为操作指令；图像控制模块，用于根据动作捕捉模块识别出的操作指令对显示屏上播放的视频执行相应操作。2.如权利要求1所述的手机虚拟现实交互系统，其特征在于，所述手机虚拟现实交互系统还包括识别模块，所述识别模块对录制视频中的场景和/或物体进行识别，并根据识别的结果调取相关信息并推送到手机的显示屏。3.如权利要求2所述的手机虚拟现实交互系统，其特征在于，所述识别模块为手机的本地识别模块，通过本地识别模块来对录制视频中的场景和/或物体进行识别；和/或所述识别模块为位于云端服务器的云端识别模块。4.如权利要求1所述的手机虚拟现实交互系统，其特征在于，所述手机还具有预处理模块，预处理模块对录制视频进行预处理后，发送至所述图像叠加模块将录制视频与VR视频进行叠加；所述预处理的步骤包括：对录制视频做缩放处理、透明度处理和/或亮度处理。5.如权利要求1所述的手机虚拟现实交互系统，其特征在于，所述手机还具有陀螺仪，所述陀螺仪用于感应手机在播放视频的过程中在三维空间内产生的位移并转换为相应的电信号，图像控制模块根据陀螺仪产生的电信号对显示屏上播放的视频执行相应操作。6.如权利要...

【专利技术属性】
技术研发人员：黄进，裘昊，郑涛，
申请(专利权)人：杭州当虹科技有限公司，
类型：发明
国别省市：浙江,33