一种实现多维度感知虚拟交互的系统和方法技术方案

本发明专利技术提供一种多维度感知虚拟交互的系统和实现方法，还涉及一种基于该系统的功能扩展系统和实现方法。本发明专利技术的系统包括核心处理单元、使用者辅助单元、3D摄像单元、3D投影单元，还可以包括扩展单元。本发明专利技术的多维度感知虚拟交互的系统和实现方法较好地实现了多维度感知虚拟交互，能够真正从多个维度实现使用者与系统的虚拟交互，所述的虚拟交互场景包括虚拟弹琴、虚拟会议、虚拟聚会等。基于多个本发明专利技术所述的系统还能实现多个使用者时空同步的多维度感知虚拟交互。

【技术实现步骤摘要】
一种实现多维度感知虚拟交互的系统和方法
本专利技术涉及生理信号分析技术，具体涉及一种实现多维度感知虚拟交互的系统和方法。
技术介绍
虽然在各家公司也研制了诸多虚拟交互的系统，但是大多是仅限于3D视觉、听觉和接触觉5个维度的感知交互，而未涉及使用者的情感行为，所依据的交互信息也仅为使用者在虚拟交互过程中的运动信号，而未把使用者在虚拟交互过程中的生理信号也进一步地进行分析，从而更加多维度地使人与系统所产生的虚拟场景产生交互。而且现在虚拟交互的维度感知还只停留在3D视觉、听觉和接触觉三维感觉，达不到基于使用者多维度感知的虚拟交互的效果，所以研制能实现多维度感知虚拟交互的系统和方法就十分有必要。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提供一种实现多维度感知虚拟交互的系统和方法。实现多维度感知首先要获得基于使用者双眼的仿生学原理的有立体空间纵深的3D视觉感知信息，除此之外增加更多的听觉和触觉的被动式感观体验，加上主动参与、互动虚拟的的多重体验，通过探测使用者的生理信息，本专利技术所述的系统能对使用者的状态达到更深一步的了解，达到以上效果的技术称为多维度感知交互技术。本专利技术采用如下的技术方案：一种实现多维度感知虚拟交互的系统，所述的系统包括核心处理单元、使用者辅助单元、3D摄像单元和3D投影单元，其中：所述的3D摄像单元用于采集虚拟交互信息中的光学信息，并将其转换为信号，并把信号输出给相应设备单元；所述的使用者辅助单元用于采集除光学信息之外的其它相应虚拟交互信息，将其转换为信号输出给相应设备单元；还用于将接收的信号转换为相应的多维度感知信息；所述的核心处理单元用于接收相应设备单元输入的信号，进行信号处理，将处理后的信号输出给相应设备单元；所述的3D投影单元用于接收相应设备单元输入的信号，转换为相应的3D视觉信息；具体地，3D摄像单元采集虚拟交互信息中的光学信息，并转换为信号发送至核心处理单元；所述的使用者辅助单元采集除光学信息之外的其它相应虚拟交互信息，将其转换为信号发送至核心处理单元；核心处理单元接收使用者辅助单元和3D摄像单元发送的信号，并对不同时间接收到的信号处理，并将相应的多维度感知信号发送至使用者辅助单元和3D投影单元；使用者辅助单元接收核心处理单元发送的信号，转换为相应的多维度感知信息，3D投影单元接收核心处理单元发送的信号，并转换为相应的3D视觉信息、多维度感知信息发出，被使用者感知后，实现多维度虚拟交互。根据虚拟交互场景不同，所述系统还可以包括扩展单元，所述的扩展单元包括但不限于通讯模块、数据存储模块、数据读取模块、量子感应模块中的任意一种或任意二种及以上的组合。所述的虚拟交互是指能被机器采集到的使用者与本专利技术所述的系统在情感上和行为上的交互行为，所述的交互行为可以是使用者自发产生的行为反应(包括直接意识产生的行为反应、潜意识产生的行为反应)、使用者感知本专利技术系统呈现的多维度感知信息产生的行为反应(包括使用者与虚拟呈现的其它使用者交流的行为反应、使用者与虚拟物品交流的行为反应)。所述的虚拟交互信息是指使用者虚拟交互中产生的信息，包括使用者对虚拟物体所具有的特殊功能的使用信息(如枪支能发射子弹、钥匙能开锁等人造工具的功能使用)、简单的物理属性使用信息(吹、吸、推拉、敲打、撞击、弹射、扭曲等)和使用者感受到物体本身属性的感觉信息(如水中会感到水对运动的阻力，在风中会感到来自风向的推力，在火中会感火的热量等)，使用者自身的情感活动(如喜悦、悲伤、兴奋、萎靡、愤怒、平静、厌恶等)，使用者受潜意识引导产生行为(如使用者自己都未察觉的微表情、手势、体态等)。所述的多维度感知是指6个或6个以上维度的使用者感觉，包括但不限于3D视觉感知、听觉感知、接触觉感知、压力觉感知、嗅觉感知、味觉感知和滑动觉感知等。接触觉感知是指，当使用者接触到物体的时候，产生的一种与物体相接触的感觉，这种感觉是使用者感觉到物体存在的一种触觉感知。压力觉感知是指，当使用者与物体接触时，由于使用者对物体的按压动作和移动速度使得物体对使用者进行反作用，使其感受到压力的一种触觉感知。滑动觉感知是指，当使用者与物体接触时，由于使用者与物体相对滑动而产生的一种滑动感觉，也就是使用者感觉到物体表面粗糙程度的一种触觉感知。作为优选，所述的多维度感知包括3D视觉感知和选自听觉感知、接触觉感知、压力觉感知、嗅觉感知、味觉感知、滑动觉感知、温度觉感知中的任意三种以上的感知。也就是说，所述的多维度感知至少包括3D视觉感知，以及其它任意三种或三种以上选自听觉感知、接触觉感知、压力觉感知、嗅觉感知、味觉感知、滑动觉感知、温度觉感知的感知。具体地，所述的多维度感知可以是3D视觉感知、听觉感知、接触觉感知、压力觉感知，也可以是3D视觉感知、听觉感知、接触觉感知、压力觉感知、嗅觉感知，也可以是3D视觉感知、听觉感知、接触觉感知、压力觉感知、嗅觉感知、味觉感知，也可以是3D视觉感知、压力觉感知、嗅觉感知、味觉感知等等。所述的核心处理单元用于接收相应设备单元输入的信号，进行信号处理，将处理后的信号输出给相应设备单元。所述的核心处理单元包括但不限于计算机、服务器、移动智能终端，所述的移动智能终端是能够采集外部信息，能进行计算、分析和处理，并在不同终端之间能够进行信息传输的便携式设备，包括但不限于智能手机、PDA、笔记本电脑、上网本、平板电脑、掌上电脑、智能掌上游戏机等。作为优选，所述的核心处理单元进行信号处理的方法可以是：基于输入的信号数据在不同时间t内的变化量，利用数据挖掘方法挖掘信号的特征并建立规则模型来对变化量进行计算、分析、识别、判断及调整规则模型参数，并将信号输出，给出相应的多维度感知信号。所述挖掘信号的特征包括但不限于运动信号特征、生理信号特征等。所述的规则模型可以是模糊规则模型、数学机理模型、基于统计数据的机器学习模型等。例如：基于输入的信号数据在不同时间t内的变化量，计算信号数据的一阶及多阶微分量，分析这些微分量，提取这些信号数据的特征，通过系统由历史数据特征聚类得到多个特征规则构成的规则模型对这些信号数据的特征进行识别判断，得到相应的信号输出量，另外根据新的信号数据变化量可以重新调整规则模型中的参数。所述的使用者辅助单元用于采集使用者发出的信号，还用于接收核心处理单元输出的信号，转换为多维度感知中的若干维感官信息。作为优选，所述的若干维感官信息包括但不限于听觉信息、接触觉信息和压力觉信息嗅觉。所述的使用者发出的信号是指由使用者的任意器官及其附属物或组织(包括四肢、躯干、头部、眼、耳、口、鼻、舌、嘴、牙齿、肌肉、骨骼、血管、皮肤、毛发、内脏、眼泪等)发出的生理信号或运动信号，包括但不限于脑电波信号、眼部信号(包括眨眼、眼球运动、两眼对焦点信号等)、声音信号(包括口哨、语音信号、心音信号、骨骼碰撞发出的声音信号等)、肌电信号、脉搏信号、温度信号等。所述的使用者辅助单元包含信号采集模块和信息重现模块，所述的信号采集子模块能将物理信息转换为信号，所述的信号采集子模块包含但不限于光学传感器、脉搏传感器、脑电传感器、肌电传感器、声音传感器、加速度传感器、位移传感器、压力传感器、温度传感器、化学传感器、陀螺仪传感器中的任意一种或任意二种以上传感器的组合。所述的本文档来自技高网...

【技术保护点】
一种实现多维度感知虚拟交互的系统，其特征在于：所述的系统包括核心处理单元、使用者辅助单元、3D摄像单元和3D投影单元，其中：所述的3D摄像单元用于采集虚拟交互信息中的光学信息，并将其转换为信号，并把信号输出给相应设备单元；所述的使用者辅助单元用于采集的除光学信息之外的其它相应虚拟交互信息，将其转换为信号输出给相应设备单元；还用于将接收的信号转换为相应的多维度感知信息；所述的核心处理单元用于接收相应设备单元输入的信号，进行信号处理，将处理后的信号输出给相应设备单元；所述的3D投影单元用于接收相应设备单元输入的信号，转换为相应的3D视觉信息；所述的多维度感知是指6个或6个以上维度的使用者感觉。

【技术特征摘要】
1.一种实现多维度感知虚拟交互的系统，其特征在于：所述的系统包括核心处理单元、使用者辅助单元、3D摄像单元和3D投影单元，其中：所述的3D摄像单元用于采集虚拟交互信息中的光学信息，并将其转换为信号，并把信号输出给相应设备单元；所述的使用者辅助单元用于采集的除光学信息之外的其它相应虚拟交互信息，将其转换为信号输出给相应设备单元；还用于将接收的信号转换为相应的多维度感知信息；所述的核心处理单元用于接收相应设备单元输入的信号，进行信号处理，将处理后的信号输出给相应设备单元；所述的3D投影单元用于接收相应设备单元输入的信号，转换为相应的3D视觉信息；所述的多维度感知是指6个或6个以上维度的使用者感觉，包括3D视觉感知、听觉感知、接触觉感知、压力觉感知、嗅觉感知、味觉感知、滑动觉感知、温度觉感知，其中：接触觉感知是指，当使用者接触到物体的时候，产生的一种与物体相接触的感觉，这种感觉是使用者感觉到物体存在的一种触觉感知；压力觉感知是指，当使用者与物体接触时，由于使用者对物体的按压动作和移动速度使得物体对使用者进行反作用，使其感受到压力的一种触觉感知；滑动觉感知是指，当使用者与物体接触时，由于使用者与物体相对滑动而产生的。2.根据权利要求1所述的实现多维度感知虚拟交互的系统，其特征在于：所述的系统还包括扩展单元，所述的扩展单元选自通讯模块、数据存储模块、数据读取模块、量子感应模块中的任意一种或任意二种以上的组合。3.根据权利要求1所述的实现多维度感知虚拟交互的系统，其特征在于：所述的多维度感知指代的6个或6个以上维度的使用者感觉是指3D视觉感知和选自听觉感知、接触觉感知、压力觉感知、嗅觉感知、味觉感知、滑动觉感知、温度觉感知中的任意三种或三种以上的感知。4.根据权利要求1任一项所述的实现多维度感知虚拟交互的系统，其特征在于所述的核心处理单元进行信号处理的方法是：基于输入的信号数据在不同时间t内的变化量，利用数据挖掘方法挖掘信号的特征并建立规则模型来对变化量进行计算、分析、识别、判断及调整规则模型参数，并将信号输出。5.根据权利要求1所述的实现多维度感知虚拟交互的系统，其特征在于：所述的使用者辅助单元包含信号采集模块和信息重现模块，所述的信号采集模块用于把物理信息转换为信号，所述的信息重现模块用于把信号转换为物理信信息。6.根据权利要求1至5任一项所述的实现多维度感知虚拟交互的系统，其特征在于：所述的虚拟交互是指能被机器采集到的使用者与本发明所述的系统在情感上和行为上的交互行为，所述的交互行为可以是使用者自发产生的行为反应、使用者感知本发明系统呈现的多维度感知信息产生的行为反应。7.根据权利要求1至5任一项所述的实现多维度感知虚拟交互的系统，其特征在于：所述的虚拟交互为时空同步虚拟交互，所述的时空同步是指时间同步和空间同步，所述的时间同步是指在非同一时刻产生的虚拟交互行为在同一时刻呈现，所述的空间同步行为是指在非同一地点进行虚拟交互行为在同一地点呈现。8.一种实现多维度感知虚拟交互的方法，其特征在于包括如下步骤：(1)虚拟交互信息采集：使用者产生虚拟交互信息，3D摄像单元采集虚拟交互信息中的光学信息并转换为信号发送至核心处理单元，使用者辅助单元采集使用者产生的除光学信息之外的其它相应虚拟交互信息，将其发送至核心处理单元；(2)虚拟交互信息处理：核心处理单元接收3D摄像单元和使用者辅助单...

【专利技术属性】
技术研发人员：孟濬，陈啸，刘琼，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33