一种头戴式多通道交互系统技术方案

本实用新型专利技术公开了一种头戴式多通道交互系统，头戴式多通道交互系统包括头戴式交互设备以及数据处理系统；头戴式交互设备包括传感器组件、信号处理装置、输出装置以及本体；数据处理系统包括输入驱动模块、多通道处理单元、应用系统以及输出驱动模块。实施本实用新型专利技术的有益效果是，实现手势、语音、头部运动姿态、心率、脑电等多种自然交互方式的实时融合，集成沉浸式3D立体显示与声音，提升虚拟现实和增强现实的交互体验效果，并可根据生理感知实现对所述佩戴者的健康关怀。

【技术实现步骤摘要】

本技术涉及虚拟现实、增强现实和多通道交互
，尤其涉及一种头戴式多通道交互系统。
技术介绍
本技术涉及虚拟现实、增强现实、多通道人机交互等诸多
，目前，虚拟现实(VR)和增强现实(AR)掀起新热潮，众多厂商推出沉浸式虚拟现实头盔、手机眼镜盒子、头盔式立体播放器等。虚拟现实头戴式装备也开始融合自然交互技术，并将向多通道智能交互发展，多通道自然交互未来将会占据桌面、膝上、掌上系统。目前，市面上的头戴式产品还不能做到多种自然交互方式有机地融合，大多只能集成其中的一种或者两种交互方式，本技术旨在提供一种有机融合多种交互方式的头戴式多通道交互系统及多通道交互方法。
技术实现思路
本技术的目的在于提供一种头戴式多通道交互系统，解决头戴式系统中多种自然交互方式的实时融合问题，实现增强现实、虚拟现实多通道自然交互。本技术的技术方案实现如下:本技术的一个目的在于提供一种头戴式多通道交互系统，包括头戴式交互设备以及数据处理系统；所述头戴式交互设备包括:用于采集佩戴者的运动姿态、手势、语音、心率以及脑电信号的传感器组件；用于将所述传感器组件所采集到的信号进行数字化处理的信号处理装置，所述信号处理装置电性连接于所述传感器组件；用于输出声音及图像的输出装置；以及与所述佩戴者头部匹配的本体，其中，所述传感器组件、所述信号处理装置以及所述输出装置均设置于所述本体之中；所述数据处理系统包括:用于接收信号经过数字化处理所得信息的输入驱动模块，所述输入驱动模块通信连接于所述信号处理装置；用于识别所述输入驱动模块所接收的信息并将其融合为多通道交互信息的多通道处理单元，所述多通道处理单元通信连接于所述输入驱动模块；用于接收所述多通道交互信息进行多通道交互的应用系统，应用系统响应多通道交互信息生成交互输出信息，所述应用系统通信连接至所述多通道处理单元；以及用于把应用系统的交互输出信息输出至所述输出装置的输出驱动模块，所述输出驱动模块通信连接于所述输出装置。在本技术所述的头戴式多通道交互系统中，所述传感器组件包括:用于采集所述佩戴者的运动姿态的运动姿态传感器；用于采集所述佩戴者的手势图像的图像传感器；用于采集所述佩戴者的语音的声音传感器；用于采集所述佩戴者的心率信号的心率传感器；用于采集所述佩戴者的脑电信号的脑电传感器。在本技术所述的头戴式多通道交互系统中，所述图像传感器为双路传感器或单路传感器。在本技术所述的头戴式多通道交互系统中，所述信号处理装置包括:用于对所述运动姿态信号进行数字化处理的第一数字化处理模块，其电性连接于所述运动姿态传感器；图像同步模块，其电性连接于所述图像传感器；图像处理模块，其电性连接于所述图像同步模块；高速USB接口，其电性连接于所述图像处理模块；声音信号调理模块，其电性连接于所述声音传感器；心率信号调理模块，其电性连接于所述心率传感器；脑电信号调理模块，其电性连接于所述脑电传感器；第二数字化处理模块，其分别电性连接于所述声音信号调理模块、所述心率信号调理模块以及所述脑电信号调理模块；USB集线器，其分别电性连接于所述第一数字化处理模块、所述高速USB接口以及所述第二数字化处理模块。在本技术所述的头戴式多通道交互系统中，所述输入驱动模块包括运动输入驱动模块、图像输入驱动模块、声音输入驱动模块、脑电输入驱动模块以及心率输入驱动模块。在本技术所述的头戴式多通道交互系统中，所述多通道处理单元包括:运动识别模块，其通信连接于所述运动输入驱动模块；手势识别模块，其通信连接于所述图像输入驱动模块；语音识别模块，其通信连接于所述声音输入驱动模块；脑电识别模块，其通信连接于所述脑电输入驱动模块；心率识别模块，其通信连接于所述心率输入驱动模块；多通道融合模块，其分别通信连接于所述运动识别模块、所述手势识别模块、所述语音识别模块、所述脑电识别模块、所述心率识别模块以及所述应用系统。在本技术所述的头戴式多通道交互系统中，所述输出驱动模块包括:显示输出驱动模块，其通信连接于所述应用系统；声音输出驱动模块，其通信连接于所述应用系统。在本技术所述的头戴式多通道交互系统中，所述输出装置包括:视频接口，其通信连接于所述显示输出驱动模块；显示器，其电性连接于所述视频接口，并设置于所述本体中与所述佩戴者眼睛相对应的位置；音频接口，其通信连接于所述声音输出驱动模块；耳机，其电性连接于所述音频接口。本技术的有益效果是，实现手势、语音、头部运动姿态、心率、脑电等多种自然交互方式的实时融合，集成沉浸式3D立体显示与声音，提升虚拟现实和增强现实的交互体验效果，并可根据生理感知实现对所述佩戴者的健康关怀。【附图说明】下面将结合附图及实施例对本技术作进一步说明，附图中:图1为本技术提供的一种头戴式多通道交互系统的结构方框图；图2为本技术第一实施例提供的图像传感器的结构示意图；图3为本技术第二实施例提供的图像传感器的结构示意图；图4为本技术第一实施例提供的显示器的结构示意图；图5为本技术第二实施例提供的显示器的结构示意图；图6为本技术第三实施例提供的显示器的结构示意图；图7为本技术实施例提供的本体的外观示意图；图8为本技术提供的一种多通道交互方法的流程图。【具体实施方式】为了对本技术的技术特征、目的和效果有更加清楚的理解，以下将对照附图详细说明本技术的【具体实施方式】。应当理解，以下说明仅为本技术实施例的具体阐述，不应以此限制本技术的保护范围。本技术提供一种头戴式多通道交互系统100及多通道交互方法，其目的在于，集成了多种如声音、图像、运动和生理传感器，通过融合所述众多传感器信息，实现多通道自然人机交互控制，并与沉浸式立体显示、声音集成，构建虚拟现实、增强现实环境。参见图1，图1为本技术提供的一种头戴式多通道交互系统100的结构方框图，该头戴式多通道交互系统100，包括头戴式交互设备I以及数据处理系统2 ;所述头戴式交互设备I包括传感器组件11、信号处理装置12、输出装置13以及本体14。其当前第1页1 2 3 本文档来自技高网...

【技术保护点】
一种头戴式多通道交互系统，其特征在于，包括头戴式交互设备以及数据处理系统；所述头戴式交互设备包括：用于采集佩戴者的运动姿态、手势、语音、心率以及脑电信号的传感器组件；用于将所述传感器组件所采集到的信号进行数字化处理的信号处理装置，所述信号处理装置电性连接于所述传感器组件；用于输出声音及图像的输出装置；以及与所述佩戴者头部匹配的本体，其中，所述传感器组件、所述信号处理装置以及所述输出装置均设置于所述本体之中；所述数据处理系统包括：用于接收信号经过数字化处理所得信息的输入驱动模块，所述输入驱动模块通信连接于所述信号处理装置；用于识别所述输入驱动模块所接收的信息并将其融合为多通道交互信息的多通道处理单元，所述多通道处理单元通信连接于所述输入驱动模块；用于接收所述多通道交互信息进行多通道交互的应用系统，应用系统响应多通道交互信息生成交互输出信息，所述应用系统通信连接至所述多通道处理单元；以及用于把应用系统的交互输出信息输出至所述输出装置的输出驱动模块，所述输出驱动模块通信连接于所述输出装置。

【技术特征摘要】

【专利技术属性】
技术研发人员：孙其民，王友初，曾云龙，胡治国，
申请(专利权)人：深圳市掌网立体时代视讯技术有限公司，
类型：新型
国别省市：广东;44