一种虚拟现实系统的交互控制装置及虚拟现实设备制造方法及图纸

本实用新型专利技术公开了一种虚拟现实系统的交互控制装置及虚拟现实设备，该装置包括：模式选择单元根据应用场景选择对用户肢体动作的识别模式；第一深度摄像头按预设的频率采集用户手部的图像；第二深度摄像头按预设的频率采集用户脚部的图像；动作识别单元根据采集的图像识别用户手部和/或脚部的动作；指令发送单元对识别出的用户手部和/或脚部的某一动作，若存在与该动作对应的预先定义的控制指令时，则向虚拟现实系统的虚拟场景发送该控制指令，在虚拟场景中执行该控制指令。用户可以实际需求选择仅使用双手、或仅使用双脚、或手脚并用地与虚拟现实系统进行交互，满足了需要多重控制的应用场景，也便于一些不能使用手部动作进行操控的用户使用虚拟现实设备。

【技术实现步骤摘要】
一种虚拟现实系统的交互控制装置及虚拟现实设备
本技术涉及虚拟现实
，具体涉及一种虚拟现实系统的交互控制装置及一种虚拟现实设备。
技术介绍
随着虚拟现实技术的发展，体感技术作为与虚拟场景进行交互的关键技术，得到了科技巨头的普遍重视，无论是微软的Kinect，还是谷歌的Tango，都希望在人机交互上获得突破式创新，引领用户体验变革。但是，目前与虚拟现实系统的人机交互方式主要是按键控制和手势控制等方面，无法满足某些需要用户脚部操作的应用场景的需求，也使得某些有特殊要求的用户，例如不能使用手部动作来操作虚拟现设备的残疾用户，无法使用虚拟现实设备。
技术实现思路
本技术提供了一种虚拟现实系统的交互控制装置及一种虚拟现实设备，以解决现有的虚拟现实系统的交互控制方式无法满足某些需要用户脚部操作的应用场景的需求，也使得某些有特殊要求的用户无法使用虚拟现实设备的问题。根据本技术的一个方面，本技术提供了一种虚拟现实系统的交互控制装置，包括模式选择单元、第一深度摄像头、第二深度摄像头、动作识别单元和指令发送单元；所述模式选择单元，用于根据应用场景选择对用户肢体动作的识别模式，所述识别模式包括：仅手部模式、仅本文档来自技高网...

【技术保护点】
一种虚拟现实系统的交互控制装置，其特征在于，包括模式选择单元、第一深度摄像头、第二深度摄像头、动作识别单元和指令发送单元；所述模式选择单元，用于根据应用场景选择对用户肢体动作的识别模式，所述识别模式包括：仅手部模式、仅脚部模式、手脚并用模式；所述第一深度摄像头，用于当所述模式选择单元选择仅手部模式或手脚并用模式时，按预设的频率采集用户手部的图像；所述第二深度摄像头，用于当所述模式选择单元选择仅脚部模式或手脚并用模式时，按预设的频率采集用户脚部的图像；所述动作识别单元，用于根据所述第一深度摄像头采集的图像识别用户手部的动作；以及根据所述第二深度摄像头采集的图像识别用户脚部的动作；所述指令发送单元...

【技术特征摘要】
1.一种虚拟现实系统的交互控制装置，其特征在于，包括模式选择单元、第一深度摄像头、第二深度摄像头、动作识别单元和指令发送单元；所述模式选择单元，用于根据应用场景选择对用户肢体动作的识别模式，所述识别模式包括：仅手部模式、仅脚部模式、手脚并用模式；所述第一深度摄像头，用于当所述模式选择单元选择仅手部模式或手脚并用模式时，按预设的频率采集用户手部的图像；所述第二深度摄像头，用于当所述模式选择单元选择仅脚部模式或手脚并用模式时，按预设的频率采集用户脚部的图像；所述动作识别单元，用于根据所述第一深度摄像头采集的图像识别用户手部的动作；以及根据所述第二深度摄像头采集的图像识别用户脚部的动作；所述指令发送单元，用于对所述动作识别单元识别出的用户手部和/或脚部的某一动作，若存在与该动作对应的预先定义的控制指令时，则向所述虚拟现实系统的虚拟场景发送该控制指令，在所述虚拟场景中执行该控制指令。2.如权利要求1所述的交互控制装置，其特征在于，所述交互控制装置还包括图像选择单元，当所述模式选择单元选择手脚并用模式时，所述图像选择单元，用于按照预设的权重从所述第一深度摄像头采集的图像中和所述第二深度摄像头采集的图像中各选择若干图像；所述动作识别单元，具体用于仅根据所述图像选择单元选择的图像识别用户手部和/或脚部的动作。3.如权利要求1所述的交互控制装置，其特征在于，所述动作识别单元包括训练模块和匹配模块；所述训练模块，用于使用预先采集的用户手部各种动作的图像和用户脚部各种动作的图像对一卷积神经网络模型进行训练，建立用于识别用户手部和/或脚部动作的识别模型；所述匹配模块，用于将所述第一深度摄像头采集到的图像和/或所述第二深度摄像头采集到的图像与所述训练模块建立的识别模型进行匹配，从而识别出用户手部和/或脚部的动作。4.一种虚拟现实设备，包括显示屏，其特征在于，还包括模式选择单元、第...

【专利技术属性】
技术研发人员：张茜，张绍谦，
申请(专利权)人：歌尔科技有限公司，
类型：新型
国别省市：山东,37