一种基于孪生网络的自适应吹气交互方法及系统技术方案

本公开提供了一种基于孪生网络的自适应吹气交互方法及系统，对采集到的原始的吹气数据进行预处理；对预处理好的数据提取特征，包括时域特征和频域特征两部分，然后将提取的多种特征封装成网格状图像帧的格式；利用训练好的孪生网络模型作为解决域自适应学习的分类器模型，根据提取的时域特征和频域特征，从吹气的强度、频率和持续时间上区分吹气类型；对吹气行为进行识别，得到交互信息。本公开使用方便、易操作、成本较低。

【技术实现步骤摘要】
一种基于孪生网络的自适应吹气交互方法及系统
本公开属于虚拟现实交互
，涉及一种基于孪生网络的自适应吹气交互方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。呼吸是人类的本能，由于呼吸可以被有意识地控制，利用呼吸进行交互被认为是影响真实物理世界和虚拟世界的另一种控制机制。呼吸的便捷性和可控性使得呼吸是一种可控的简单操作，可用于一些特定的交互情境。因此，呼吸可以作为一种辅助于触摸和语音等交互方式的直接可控的自然交互方式。迄今为止，有些研究将呼吸或者吹气作为一种直接输入的交互控制方式。根据获取呼吸信号是否需要特殊的检测设备，呼吸检测方法可以分为两类：基于特制检测设备方法和基于常见的麦克风的方法。基于特制检测设备的呼吸检测方法，一种是通过检测胸部或腹部的运动来获得呼吸信号，另一种是通过放置在嘴部的特殊装置直接检测吸入和呼出气流来获得呼吸信号。基于常见的麦克风的呼吸检测方法主要是利用设备自带的麦克风来检测呼吸的相关信息，进行一定的处理操作。但是这些研究工作或是需要依赖于特殊的定制设备，或是只能在少数特定的场景中使用，且很少考虑噪音干扰以及个体、设备差异性等问题，因此基于呼吸或者吹气的这种交互方式目前还缺少通用性。
技术实现思路
本公开为了解决上述问题，提出了一种基于孪生网络的自适应吹气交互方法及系统，本公开基于孪生网络的自适应吹气交互方法及系统，能够通过呼吸信号进行交互，能够为人类信息交互提供帮助。根据一些实施例，本公开采用如下技术方案：一种基于孪生网络的自适应吹气交互方法，包括以下步骤：对采集到的原始的吹气数据进行预处理；对预处理好的数据提取特征，包括时域特征和频域特征两部分，然后将提取的多种特征封装成网格状图像帧的格式；利用训练好的孪生网络模型作为解决域自适应学习的分类器模型，根据提取的时域特征和频域特征，从吹气的强度、频率和持续时间上区分吹气类型；对吹气行为进行识别，得到交互信息。作为可选择的实施方式，所述预处理包括对吹气数据进行归一化，并利用滑动窗口对采集的吹气数据中连续语音声波数据进行离散化处理，形成离散样本。作为可选择的实施方式，时域特征提取的过程包括，计算离散样本的幅度的平均值、幅度的方差、一阶差分、设定时内过零率和波动幅度的特征。作为可选择的实施方式，频域特征提取的过程包括，对原始吹气数据进行傅里叶变换，保留信号的正频率，得到频谱数据后，求解频率的均方频率、频率方差以及过值率特征；根据分析出来的频谱波形，对峰值进行相关计算，提取关于峰值的相关特征。作为可选择的实施方式，所述孪生网络模型的构建过程包括：对孪生网络模型的特征度量对比损失函数的基础上，在定义语义对齐损失函数时添加一个分离损失函数，并在CNN源域处理流的全连接层设置分类损失函数。作为进一步的，语义对齐损失函数，使属于源域或者目标域的具有相同标签的样本之间的距离最小；分离损失函数，使分属于源域或者目标域、且具有不同标签的样本之间的距离最大。一种基于孪生网络的自适应吹气交互系统，包括：采集模块，被配置为采集用户的吹气数据；预处理模块，被配置为对采集到的原始的吹气数据进行预处理；特征提取模块，被配置为对预处理好的数据提取特征，包括时域特征和频域特征两部分，然后将提取的多种特征封装成网格状图像帧的格式；分类模块，被配置为利用训练好的孪生网络模型作为解决域自适应学习的分类器模型，根据提取的时域特征和频域特征，从吹气的强度、频率和持续时间上区分吹气类型；识别模块，被配置为基于吹气类型，对吹气行为进行识别，得到交互信息。作为可选择的实施方式，所述分类模块包括前半部分、后半部分，前一部分包括两个用于特征提取的CNN网络，一个用于源域样本，另一个用于目标域样本；后半部分是构造两个特征向量的距离度量，作为源域数据和目标域数据的相似度计算函数；源域处理流将继续使用额外的全连接层来建模，即分类识别部分的建模。作为可选择的实施方式，所述分类模块还包括训练数据收集子模块、特征提取子模块和模型训练子模块：所述训练数据收集子模块，被配置为收集用户吹气数据作为特征提取子模块的输入，用于训练孪生网络模型；所述特征提取子模块，被配置为对训练数据收集子模块获取的原始数据进行归一化和离散化的预处理操作；对预处理的数据提取特征，并将特征提取后的数据封装成图像帧的形式，作为模型训练子模块的输入；所述模型训练子模块，被配置为使用特征提取子模块得到的特征数据进行孪生网络模型的训练。一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述一种基于孪生网络的自适应吹气交互方法。一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于孪生网络的自适应吹气交互方法。与现有技术相比，本公开的有益效果为：本公开的方法使用方便、易操作、成本较低；本公开具有适应噪音环境、个体和设备差异的能力，可在嘈杂场景中使用，且不同人使用，以及在不同设备上使用时，效果可观。例如环境音乐为64db且音源距离用户不超过0.5米，且同一空间内有3-4人在正常交流时，或者是嘈杂的公路旁边，交互准确率可观；本公开的应用人群广，除了普通人群可方便地使用，某些特殊人群也可很方便地使用，像无法使用语音的聋哑人群、无法使用触控交互的肢体障碍人群等；本公开的应用范围广，可用不同终端使用，像在HTCVIVE虚拟现实终端、PC端应用、手机端应用系统，更可用于多种交互情境，类似开车时接听电话、在嘈杂的厨房学习做饭以及将这种交互方式与数字词典结合起来推广到聋哑人群中使用等多种特殊情况。附图说明构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。图1为本实施例的系统架构图；图2(a)、图2(b)为本实施例的吹气交互方法使用实景图；图3(a)-(e)为本实施例吹气交互类型示意图；图4(a)-(c)为本实施例中三种不同设备获得的大吹气的声音波形图；图5为本实施例算法技术流程图；图6为本实施例模型训练的具体流程；图7(a)、图7(b)为本实施例特征提取图像帧表示示例；图8为本实施例孪生网络模型表示。具体实施方式：下面结合附图与实施例对本公开作进一步说明。应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出本文档来自技高网...

【技术保护点】
1.一种基于孪生网络的自适应吹气交互方法，其特征是：包括以下步骤：/n对采集到的原始的吹气数据进行预处理；/n对预处理好的数据提取特征，包括时域特征和频域特征两部分，然后将提取的多种特征封装成网格状图像帧的格式；/n利用训练好的孪生网络模型作为解决域自适应学习的分类器模型，根据提取的时域特征和频域特征，从吹气的强度、频率和持续时间上区分吹气类型；/n对吹气行为进行识别，得到交互信息。/n

【技术特征摘要】
1.一种基于孪生网络的自适应吹气交互方法，其特征是：包括以下步骤：
对采集到的原始的吹气数据进行预处理；
对预处理好的数据提取特征，包括时域特征和频域特征两部分，然后将提取的多种特征封装成网格状图像帧的格式；
利用训练好的孪生网络模型作为解决域自适应学习的分类器模型，根据提取的时域特征和频域特征，从吹气的强度、频率和持续时间上区分吹气类型；
对吹气行为进行识别，得到交互信息。


2.如权利要求1所述的一种基于孪生网络的自适应吹气交互方法，其特征是：所述预处理包括对吹气数据进行归一化，并利用滑动窗口对采集的吹气数据中连续语音声波数据进行离散化处理，形成离散样本。


3.如权利要求1所述的一种基于孪生网络的自适应吹气交互方法，其特征是：时域特征提取的过程包括，计算离散样本的幅度的平均值、幅度的方差、一阶差分、设定时内过零率和波动幅度的特征。


4.如权利要求1所述的一种基于孪生网络的自适应吹气交互方法，其特征是：频域特征提取的过程包括，对原始吹气数据进行傅里叶变换，保留信号的正频率，得到频谱数据后，求解频率的均方频率、频率方差以及过值率特征；根据分析出来的频谱波形，对峰值进行相关计算，提取关于峰值的相关特征。


5.如权利要求1所述的一种基于孪生网络的自适应吹气交互方法，其特征是：所述孪生网络模型的构建过程包括：对孪生网络模型的特征度量对比损失函数的基础上，在定义语义对齐损失函数时添加一个分离损失函数，并在CNN源域处理流的全连接层设置分类损失函数；
语义对齐损失函数，使属于源域或者目标域的具有相同标签的样本之间的距离最小；分离损失函数，使分属于源域或者目标域、且具有不同标签的样本之间的距离最大。


6.一种基于孪生网络的自适应吹气交互系统，其特征是：包括：
采集模块，被配置为采集用户的吹气数据；
预处理模块，被配置为对采集到的原始的吹气数据进行预处...

【专利技术属性】
技术研发人员：杨承磊，陈叶青，盖伟，卞玉龙，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37