沉浸式VR系统中避免过度刺激的方法与系统技术方案

公开了沉浸式VR系统中避免过度刺激的方法与系统。所公开的在沉浸式虚拟显示系统中避免过度刺激用户方法，包括：呈现虚拟现实场景；响应于识别用户体验到不适，改变虚拟现实场景。

Methods and systems to avoid excessive stimulation in an immersive VR system

The methods and systems for avoiding excessive stimulation in an immersive VR system are disclosed. The disclosed method of avoiding excessive stimulation to users in immersive virtual display system includes displaying virtual reality scenes, and changing virtual reality scenes in response to identifying user experience and discomfort.

【技术实现步骤摘要】
沉浸式VR系统中避免过度刺激的方法与系统
本专利技术涉及虚拟现实(VR，VirtualReality)技术。特别地，本专利技术涉及在沉浸式VR系统中识别用户的不适体验，避免对用户造成过度刺激的方法与系统。
技术介绍
人机交互技术中，控件是用于构建图形用户界面的可重用软件组件。通常，一个控件对应一种功能。例如，图1展示了二维图形用户界面中的“确认”控件。“确认”控件包括提示窗，提示窗中包括“确认”按钮与“取消”按钮。在“确认”控件被调用时，弹出如图1所示的提示窗，识别用户对“确认”按钮或“取消”按钮的点击来获得用户的操作意图，并实现人机交互。现有技术中的滑动解锁技术，通过手部在触摸屏上的滑动向信息处理设备告知用户的输入意图。新型人机交互技术也在不断发展，基于手势识别的人机交互技术是热点之一。对手部运动的识别，可以通过多种方法实现。来自微软公司的US20100199228A1(公开日：2010年8月5日)提供了利用深度摄像头捕获并分析用户的身体姿态，并将其解释为计算机命令的方案。来自Nintendo公司的US20080291160A1(公开日：2008年11月27日)提供了利用红外传感器和加速度传感器捕获用户手部位置的方案。来自松下电器产业株式会社的CN1276572A提供了使用摄像头对手部进行拍照，然后对图像进行归一化分析，并将归一化得到的图像进行空间投影，并将所得的投影坐标与预先存储的图像的投影坐标进行比较。图2示出了来自天津锋时互动科技有限公司的专利申请CN201110100532.9提供的手势识别与空间位置的感知系统与方法。如图2所示，手势识别系统包含：计算机主机101、多摄像头系统的控制电路102、多个摄像头103、使用者手部104、运行于计算机主机101的应用程序105、应用程序105中的被操作对象106与虚拟手光标107。手势识别系统还包括在图2中未示出的用于照明使用者手部104的红外照明光源以及放置于每个摄像头前的红外滤光片。多个摄像头103捕获使用者手部104的图像，控制电路102对摄像头103采集的手部图像进行处理，并识别手部的姿态和/或位置。此外，现有技术中还有利用数据手套来辅助对手部姿态的识别的方案。沉浸式VR系统综合了计算机图形技术、广角立体显示技术、传感跟踪技术、分布式计算、人工智能等技术的最新成果，通过计算机模拟生成一个虚拟的世界，并呈现在用户眼前，为用户提供逼真的视听感受，使得用户全身心地沉浸在虚拟世界当中。当用户看到的和听到的一切都有如现实世界般真实时，用户自然而然会与该虚拟世界进行交互。随着头戴式VR设备的各方面技术成熟，沉浸式VR给用户带来了临境感受，同时使得用户对三维交互的体验需求上升到一个新的层次。现有头戴式VR设备一般包括头戴式显示器和VR内容生成设备。头戴式显示器可以穿戴在用户头部并向用户提供虚拟场景的沉浸式视场。头戴式显示器还包含用于头部定位的传感器。VR内容生成设备包含计算模块、存储模块、和头部定位模块。头部定位模块实时从头戴式显示器中的头部定位传感器获得数据，经过传感器融合相关算法处理，头部定位模块能够得出当前用户的头部姿态。VR内容生成设备获得当前头部姿态，渲染出以当前用户头部姿态为视角的虚拟场景，并通过头戴式显示器呈现用户。头戴式显示器与VR内容生成设备可以集成在一起(如VR移动一体机)，也可以是通过显示数据线(如HDMI)连接在一起(如HTCVive)。中国专利申请CN201310407443中公开了一种基于运动捕捉的浸入式虚拟现实系统，提出通过惯性传感器对用户进行动作捕捉，利用人类肢体的生物力学约束修正惯性传感器带来的累积误差，从而实现对用户肢体的准确定位与跟踪。中国专利申请CN201410143435中公开了一种虚拟现实组件系统，该专利技术中用户通过控制器与虚拟环境进行交互，控制器利用惯性传感器对用户肢体进行定位跟踪。中国专利申请CN2015104695396提供了沉浸式虚拟现实系统100，通过引用将其全文合并于此。虚拟现实系统100可由用户佩戴于头上。当用户在室内走动与转身时，虚拟现实系统100可以检测到用户头部位姿的变化以改变相应渲染场景。当用户伸出双手，虚拟现实系统100中也将依照当前手部的位姿渲染虚拟手，并使用户可操纵虚拟环境中的其他物体，与虚拟现实环境进行三维互动。虚拟现实系统100也可识别场景中其他运动物体，并进行定位与跟踪。虚拟现实系统100包括立体显示装置110，视觉感知装置120，视觉处理装置160，场景生成装置150。可选地，虚拟现实系统中还可以包括立体音效输出装置140、辅助发光装置130。辅助发光装置130用于辅助视觉定位。例如，辅助发光装置130可以发出红外光，用于为视觉感知装置120所观察的视野提供照明，促进视觉感知装置120的图像采集。虚拟现实系统中各装置可通过有线/无线方式进行数据/控制信号的交换。立体显示装置110可以是但不限于液晶屏、投影设备等。立体显示装置110用于将渲染得到的虚拟图像分别投影到人的双眼，以形成立体影像。视觉感知装置120可包括相机、摄像头、深度视觉传感器和/或惯性传感器组(三轴角速度传感器、三轴线加速度传感器、三轴地磁传感器等)。视觉感知装置120用于实时捕捉周围环境与物体的影像，和/或测量视觉感知装置的运动状态。视觉感知装置120可固定在用户头部，并与用户头部保持固定的相对位姿。从而如果获得视觉感知装置120的位姿，则能够计算出用户头部的位姿。立体音效装置140用于产生虚拟环境中的音效。视觉处理装置160用于将捕捉的图像进行处理分析，对使用者的头部进行自定位，并对环境中的运动物体进行定位跟踪。场景生成装置150用于根据使用者的当前头部姿态与对运动物体的定位跟踪更新场景信息，还可以根据惯性传感器信息预测将捕获的影像信息，并实时渲染相应虚拟影像。视觉处理装置160、场景生成装置150可由运行于计算机处理器的软件实现，也可通过配置FPGA(现场可编程门阵列)实现，也可由ASIC(应用专用集成电路)实现。视觉处理装置160、场景生成装置150可以嵌入在可携带设备上，也可以位于远离用户可携带设备的主机或服务器上，并通过有线或无线的方式与用户可携带设备通信。视觉处理装置160与场景生成装置150可由单一的硬件装置实现，也可以分布于不同的计算设备，并采用同构和/或异构的计算设备实现。
技术实现思路
在基于手势识别的人机交互过程中，需要设计控件来促进应用程序的开发。控件以手势作为输入，而产生事件或消息作为输出。事件或消息可指示用户的“确认”或“取消”的操作目的，或指示多种不同含义的用户意图。而且由于人的生物特征决定了用户的手在交互空间的轨迹无法实现上笔直或者规范的问题，从而已有的人机交互技术难以有效地理解手势输入的意图。现有技术中的VR系统的关注点均集中在能提供沉浸式体验的产品工业设计、交互设计和内容设计上。当体验某些刺激性的VR内容时，比如观看恐怖片或者身临其境地进行刺激性的游戏时，一些用户可能产生心理不适或抗拒，在长时间暴露于VR系统的3D场景中时，部分用户会出现眩晕。现有技术的VR系统缺乏有效的技术手段应对上述问题，忽视了用户正在经历的不适体验，导致用户抵触虚拟现实体验，或者造成对用户精神的过度刺激本文档来自技高网...

【技术保护点】
一种在沉浸式虚拟显示系统中避免过度刺激用户方法，包括：呈现虚拟现实场景；响应于识别用户体验到不适，改变虚拟现实场景。

【技术特征摘要】
1.一种在沉浸式虚拟显示系统中避免过度刺激用户方法，包括：呈现虚拟现实场景；响应于识别用户体验到不适，改变虚拟现实场景。2.根据权利要求1所述的方法，其中通过识别用户头部以指定模式运动，通过识别用户手部以指定模式运动，通过捕获的音频出现指定特征和/或音频中包括指示指定短语或句子的语音，和/或通过从交互设备接收到用户的指示，来识别用户体验到不适，来识别用户体验到不适。3.根据权利要求1-2之一所述的方法，其中通过切换、弱化和/或关闭正在播放的视频内容和/或音频内容，来改变虚拟现实场景。4.根据权利要求1-3之一所述的方法，其中通过弹出提示窗口来改变虚拟现实场景。5.根据权利要求2所述的方法，其中通过检测用户头部移动的速度和/或加速度大于阈值来识别用户头部以指定模式运动。6.根据权利要求2或5所述的方法，其中通过检测用户手部移动的速度和/或加速度大于阈值，或手部相对头部或眼睛的距离持续小于阈值来识别用户手...

【专利技术属性】
技术研发人员：谢炯坤，党建勋，
申请(专利权)人：天津锋时互动科技有限公司深圳分公司，
类型：发明
国别省市：广东,44