一种虚拟现实头戴显示装置及其面部动作捕捉的方法制造方法及图纸

本发明专利技术公开了一种虚拟现实头戴显示装置，该头戴显示装置包括头戴基座、显示屏、透镜、第一连接杆、第二连接杆、遮光罩和摄像头；所述的遮光罩覆盖在用户面部的外围；所述的显示屏、透镜、遮光罩和摄像头均通过第一连接杆和/或第二连接杆与头戴基座连接固定，该头戴显示装置还包括多个通过固定装置与头戴基座或者遮光罩连接固定的LED灯。本发明专利技术还公开了一种面部动作捕捉的方法，它利用任意光源发出的光投射到用户的面部，并使用多个摄像头捕捉从面部反射的光，从而形成视频发送到计算机，计算机把所述视频进行实时分析后重建面部动作模型。利用该方法能够让虚拟现实系统实时捕捉用户的面部动作，并将用户真实的面部动作实时呈现在虚拟世界中。

A virtual reality head mounted display device and its facial motion capture method

The invention discloses a virtual reality head-wearing display device, which comprises a head-wearing base, a display screen, a lens, a first connecting rod, a second connecting rod, a light shield and a camera; the light shield covers the periphery of a user's face; the display screen, a lens, a light shield and a camera all pass through the first one. The connecting rod and/or the second connecting rod are connected and fixed with the head-mounted base, and the head-mounted display device also comprises a plurality of LED lamps which are fixed through the fixing device and the head-mounted base or the shade cover. The invention also discloses a method for capturing facial movements, which uses light emitted from any light source to project onto a user's face, and captures light reflected from the face with multiple cameras, thereby forming a video to be transmitted to a computer, which reconstructs a facial movement model after real-time analysis of the video. Using this method, the virtual reality system can capture the real-time facial movements of users and display the real facial movements in the virtual world.

【技术实现步骤摘要】
一种虚拟现实头戴显示装置及其面部动作捕捉的方法
本专利技术涉及虚拟现实
，具体涉及一种虚拟现实头戴显示装置，及应用于所述装置的面部动作捕捉的方法。
技术介绍
虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，融合多源信息和交互式的三维动态视景，并提供视觉、触觉等多种实时反馈，使用户沉浸到该环境中。虚拟现实技术是仿真技术的一个重要方向，是仿真技术与计算机图形学、人机接口技术、多媒体技术、传感技术、网络技术等多种技术的集合，是一门富有挑战性的交叉技术前沿学科和研究领域。随着虚拟现实技术的进步，出现了许多虚拟现实设备，头戴式虚拟现实显示设备就是其中的一种。现在市面上的虚拟现实头戴显示设备，使用户可以通过一对透镜看到一个虚拟的世界，这个体验对于用户来说是非常有沉浸感的，但是这些头戴显示设备往往会覆盖住用户面部的大部分，尤其是从前额到鼻子之间的部分，这使得用户的面部表情很难被捕捉到，而面部表情往往是视觉交流中非常重要的部分。目前有一款名为Veeso的产品，该产品可以跟踪用户面部表情的变化，把获得的表情重现在虚拟世界中的一个卡通人物脸上，但是卡通人物与真实的人脸差距较大，会降低真实感。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种虚拟现实头戴显示装置，应用该装置的面部动作捕捉的方法，能够让虚拟现实系统实时捕捉用户的面部动作，并将用户真实的面部动作实时呈现在虚拟世界中。为了达到上述目的，本专利技术采用的技术方案是：一种虚拟现实头戴显示装置，该头戴显示装置包括头戴基座、显示屏、透镜、第一连接杆、第二连接杆、遮光罩和摄像头；所述的遮光罩覆盖在用户面部与头戴基座、显示屏、透镜、第一连接杆、第二连接杆和摄像头的外围；所述的显示屏、透镜、遮光罩和摄像头均通过第一连接杆和/或第二连接杆与头戴基座连接固定。进一步的，如上所述的头戴显示装置还包括多个摄像头，所述的摄像头分布在用户面部的周围，与面部距离3厘米到20厘米，并通过固定装置与头戴基座或者遮光罩连接固定。进一步的，如上所述的摄像头用于拍摄面部动作；所述的摄像头中，有若干个分布在靠近用户眼睛的位置上，用于捕捉眼睛或瞳孔运动的摄像头。进一步的，如上所述的头戴基座包括以下形式：头带、头箍或头盔。进一步的，如上所述的头戴显示装置还包括多个通过固定装置与头戴基座或者遮光罩连接固定的LED灯。进一步的，如上所述的LED灯根据虚拟世界中的环境模型自动调整各个不同位置的LED灯的颜色和强度，模拟不同的环境光模型；所述的LED灯包括可见光LED灯、红外光LED灯和紫外光LED灯。进一步的，在使用紫外光时，可以突出面部平时不可见的斑点，作为辅助跟踪面部动作的关键点。进一步的，如上所述头戴显示装置还包括通过固定装置与头戴基座或者遮光罩连接固定的多个通风装置。进一步的，如上所述多个通风装置根据虚拟世界中的环境模型自动调整各个不同位置的通风装置的风力，模拟不同的环境风模型。一种应用于上述的虚拟现实头戴显示装置的面部动作捕捉的方法，首先，任意光源发出的光投射到用户的面部；接着，所述多个摄像头捕捉从面部反射的光，并形成视频发送到计算机；然后计算机把所述视频进行实时分析后重建面部动作模型。进一步的，重建后的面部动作模型，既可以沿用原有的光照，也可以再次附加或应用源虚拟世界的照明模型。进一步的，可以采用视频UV贴图的方式，把视频通过线性或非线性变换后映射到用户的面部模型上；所述面部模型预先根据用户面部的照片或视频生成。进一步的，可以采用深度学习的分析方法，通过多次迭代以符合用户的实际面部模型。与现有技术相比，本专利技术的有益效果是：该装置在使用时不会接触到用户面部除了额头之外的任何部分，解决了传统的虚拟现实设备佩戴时需要紧贴用户面部的问题，让用户使用时感觉更舒适和真实，也有利于摄像头捕捉用户的面部动作。本专利技术中面部动作捕捉的方法与该装置相结合，能够让虚拟现实系统实时捕捉用户的面部动作，并将用户真实的面部动作实时呈现在虚拟世界中，同时通风装置能为用户提供新鲜的空气以及模拟虚拟环境中的风，为用户营造出一个更有沉浸感的虚拟空间。进行上述这些计算的计算机，可以采用台式机，笔记本电脑，可穿戴式电脑，内置在显示屏，内置在头戴基座，或内置在摄像头中，或由以上结合来使用。附图说明图1是本专利技术中实施例1的结构示意图；图2是本专利技术中头戴基座的3个实施例；图3是本专利技术中实施例2的结构示意图；图4是本专利技术中LED灯的位置示意图；图5是本专利技术中通风装置的位置示意图；图6是本专利技术中面部动作捕捉方法的工作流程示意图。图中标号所示为：1.用户面部；2.头戴基座；20.头带；21.头箍；22.头盔；3.显示屏；4.透镜；5.第一连接杆；6.第二连接杆；7.遮光罩；8.摄像头；81.正对用户眼睛的摄像头；82和83.靠近用户眼睛的摄像头；9.LED灯；10.通风装置。具体实施方式下面结合实施例参照附图进行详细说明，以便对本专利技术的技术特征及优点进行更深入的诠释。实施例1如图1所示，提供一种虚拟现实头戴显示装置，该头戴显示装置包括头戴基座2、显示屏3、透镜4、第一连接杆5、第二连接杆6、遮光罩7和摄像头8，其中，摄像头8包括正对用户眼睛的摄像头81；所述遮光罩7覆盖在用户面部1与头戴基座2、显示屏3、透镜4、第一连接杆5、第二连接杆6和摄像头8的外围；所述显示屏3、透镜4、遮光罩7和摄像头8均通过第一连接杆5和/或第二连接杆6与头戴基座2连接固定，上述连接方式可以是直接连接，也可以通过一个、两个或若干个连接杆进行固定连接。所述摄像头有3个，其中摄像头8表示左右共两个的摄像头，用于捕捉两侧面部动作；正对用户眼睛的摄像头81表示正前方的摄像头。进一步的，所述的摄像头8数量可以为2个或者2个以上，摄像头8是向内的，朝向着用户面部1（包括额，眉，眼睛，脸颊，下巴）。如图2所示，所述头戴基座2可以是头带20，头箍21或者头盔22，其在使用时不会接触到用户面部除了额头之外的任何部分，解决了传统的虚拟现实设备佩戴时需要紧贴用户面部的问题，让用户使用时感觉更舒适和真实，也有利于摄像头捕捉用户的面部动作。实施例2如图3所示，该头戴显示装置与实施例1的结构相似,不同之处在于,包括10个摄像头8,摄像头8包括靠近用户眼睛的摄像头81,靠近用户眼睛的摄像头82和83；摄像头81、82和83用于捕捉前额、眉和眼睛周围的动作，以及眼睛或瞳孔的运动。其余摄像头均匀分布在用户面部1的周围,与用户面部1的距离为3厘米到20厘米,并通过固定装置与基座6或者遮光罩7连接固定。在实际使用中，摄像头8的实际数量根据需要具体设定，数量大于或等于2个。如图4和5所示，所述LED灯9和通风装置10均通过固定装置与头戴基座2或者遮光罩7连接固定，所述LED灯9和通风装置10的实际数量根据需要具体设定，不作具体限定，上述固定装置为常规设计，采用诸如螺纹连接或者卡扣扣合结构进行连接和固定。实施例3与实施例1相似，不同之处在于，本实施例不包含遮光罩7、LED灯9或通风装置10,而是直接使用环境光，环境光即自然环境中本身存在的光。工作原理本专利技术装置的工作原理为，在使用本装置时，头戴基座2贴于用户的前额上部，固定在用户面部1与本装置的相对位置，保证本本文档来自技高网...

【技术保护点】
1.一种虚拟现实头戴显示装置，其特征在于：该头戴显示装置包括头戴基座（2）、显示屏（3）、透镜（4）、第一连接杆（5）、第二连接杆（6）、遮光罩（7）和摄像头（8）；所述的遮光罩（7）覆盖在用户面部（1）与头戴基座（2）、显示屏（3）、透镜（4）、第一连接杆（5）、第二连接杆（6）和摄像头（8）的外围；所述的显示屏（3）、透镜（4）、遮光罩（7）和摄像头（8）均通过第一连接杆（5）和/或第二连接杆（6）与头戴基座（2）连接固定。

【技术特征摘要】
2017.08.26 AU 20179034501.一种虚拟现实头戴显示装置，其特征在于：该头戴显示装置包括头戴基座（2）、显示屏（3）、透镜（4）、第一连接杆（5）、第二连接杆（6）、遮光罩（7）和摄像头（8）；所述的遮光罩（7）覆盖在用户面部（1）与头戴基座（2）、显示屏（3）、透镜（4）、第一连接杆（5）、第二连接杆（6）和摄像头（8）的外围；所述的显示屏（3）、透镜（4）、遮光罩（7）和摄像头（8）均通过第一连接杆（5）和/或第二连接杆（6）与头戴基座（2）连接固定。2.根据权利要求1所述的虚拟现实头戴显示装置，其特征在于：所述的头戴显示装置还包括多个摄像头（8），所述的摄像头（8）分布在用户面部（1）的周围，与用户面部（1）距离3厘米到20厘米，并通过固定装置与头戴基座（2）或者遮光罩（7）连接固定。3.根据权利要求2所述的虚拟现实头戴显示装置，其特征在于：所述的摄像头（8）用于拍摄面部动作；所述的摄像头（8）中，有若干个分布在靠近用户眼睛的位置上，用于捕捉眼睛或瞳孔运动的摄像头（8）。4.根据权利要求1所述的虚拟现实头戴显示装置，其特征在于：所述的头戴基座（2）包括以下形式：头带（20）、头箍（21）或头盔（22）。5.根据权利要求1所述的虚拟现实头戴显示装置，其特征在于：所述的头戴显示装置还包括多个通过固定装置与头戴基座（2）或者遮光罩（7）连接固定的LED灯（9）。6.根据权利要求5所述的虚拟现实头戴显示装置，其特征在于：所述的LED灯（9）根据虚拟世界...

【专利技术属性】
技术研发人员：温力航，
申请(专利权)人：温力航，
类型：发明
国别省市：广东,44