基于视觉和听觉检测的细粒度呼吸交互的方法技术

本发明专利技术公开了基于视觉和听觉检测的细粒度呼吸交互的方法,包括以下步骤：基于呼吸类型获取呼吸参数，构建交互词汇的呼吸输入方法；基于所述交互词汇的呼吸输入方法，设计呼吸向量表征呼吸交互动作的若干种特征参数，并将所述若干种特征参数获取呼吸强度、呼吸方向、是否吸气、呼吸时间、呼吸频率、表情信息和音量信息；构建视觉和听觉双通道检测模型，输入所述表情信息和所述音量信息，完成呼吸检测。本发明专利技术基于图像和语音相结合的方式，实现了包括呼吸动作气流强度、呼吸气流方向，呼吸气流类型等多种呼吸动作特征参数的识别。气流类型等多种呼吸动作特征参数的识别。气流类型等多种呼吸动作特征参数的识别。

【技术实现步骤摘要】
基于视觉和听觉检测的细粒度呼吸交互的方法


[0001]本专利技术属于呼吸检测
，尤其涉及基于视觉和听觉检测的细粒度呼吸交互的方法。

技术介绍

[0002]呼吸是人类最自然的生理活动之一，呼吸被认为是影响物理世界和虚拟环境的替代控制机制。但是目前在VR场景中已有的交互方式主要集中于眼神交互，手势交互，语音交互等等。现有的少量呼吸相关研究，往往将其作为VR游戏交互过程中的一种生理状态指标、用户体验影响因素，或者将特定的呼吸动作作为手势等其他输入方式的附加输入通道，将吹气作为“选择确定”输入动作，其作为单独输入通道的潜力尚未被充分挖掘。随着传感器技术的发展，进一步识别主动呼吸动作的类型(吹气或吸气)、强弱、方向等参数成为了可能，更多呼吸参数的引入，有可能进一步提升呼吸交互通道的交互输入能力，从而使其能够胜任复杂用户界面操控的需求，同时，对一些不便使用手势交互的特定场景或特殊人群来说，呼吸交互可能会成为一种更为有效的交互输入方式。
[0003]通过嘴部肌肉的动作，人可以对吹气或吸气的气流方向、流速、持续时间等参数进行一定程度的控制。而目前本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于视觉和听觉检测的细粒度呼吸交互的方法，其特征在于，包括以下步骤：基于呼吸类型获取呼吸参数，构建交互词汇的呼吸输入方法；基于所述交互词汇的呼吸输入方法，设计呼吸向量表征呼吸交互动作的若干种特征参数，并将所述若干种特征参数获取呼吸强度、呼吸方向、是否吸气、呼吸时间、呼吸频率、表情信息和音量信息；构建视觉和听觉双通道检测模型，输入所述表情信息和所述音量信息，完成呼吸检测。2.如权利要求1所述的基于视觉和听觉检测的细粒度呼吸交互的方法，其特征在于，所述呼吸类型包括呼气和吸气，当人在呼气时，呼气的强度有大有小，呼吸的时间有长有短，呼气的方向是多样的，并且通过一段时间的呼气次数计算呼气频率；当人们在吸气时，吸气的强度、呼吸的时间和呼吸的频率也发生变化。3.如权利要求1所述的基于视觉和听觉检测的细粒度呼吸交互的方法，其特征在于，设计呼吸向量表征呼吸交互动作的若干种特征参数，并将所述若干种特征参数获取呼吸强度、呼吸方向、是否吸气、呼吸时间和呼吸频率的方法包括：定义呼吸过程中的信息，呼吸强度为变量m，m是一种连续的模拟量；呼吸方向为变量d，d是一种离散的方向变量；是否吸气为变量i，i是一种bool型变量；呼吸时间为变量t；呼吸频率为变量f；使用的双通道检测方式的输入变量分别为表情信息e和音量信息v。4.如权利要求1所述的基于视觉和听觉检测的细粒度呼吸交互的方法，其特征在于，所述呼吸向量将用户界面的交互设计过程转化为将呼吸向量到用户界面的操作动作词汇向量映射过程。5.如权利要求4所述的基于视觉和听觉检测的细粒度呼吸交互的方法，其特征在于，所述呼吸向量包括呼吸方向分量、呼吸强度分量、呼吸时间和吸气状态；所述呼吸方向分量映射到用户界面的方向性的操作分量，用作饼型菜单的方向选择；所述呼吸强度分量映射到用户界面动作词汇向量的速度变化控制分量，用作滚动菜单的滚动速度；所述呼吸...

【专利技术属性】
技术研发人员：冯桂焕，陈宇轩，金逸，曾昭宁，陈峙宇，
申请(专利权)人：南京大学，
类型：发明
国别省市：