基于超声波信号的非接触式无训练手势识别装置及方法制造方法及图纸

本发明专利技术公开一种基于超声波信号的非接触式无训练手势识别装置及方法，通过商品扬声器发射超声波信号，通过麦克风阵列接收音频信号，该接收音频信号中包括扬声器发射的超声波信号，然后对接收到的音频信号进行处理，追踪手部运动轨迹，然后采用交互多模型卡尔曼滤波的方法优化手部运动轨迹，能够有效解决因麦克风阵列间距过大而致使追踪定位角度模糊的技术问题，最后采用无训练手势识别方法对优化后的手部运动轨迹进行识别，实现无需训练的手势识别。本发明专利技术无需专业的无线信号收发设备、成本低廉，可在日常生活场景中实现大规模部署，可为用户对智能设备进行人机交互提供一种低成本和有效的解决方案。成本和有效的解决方案。成本和有效的解决方案。

【技术实现步骤摘要】
基于超声波信号的非接触式无训练手势识别装置及方法


[0001]本专利技术涉及一种手势识别方法，具体是一种基于超声波信号的非接触式无训练手势识别装置及方法，属于无线感知人机交互


技术介绍

[0002]相关技术指出，手势识别是一种便捷、自然的人机交互技术，可用于用户控制智能设备。有报告显示，到2024年，手势识别市场将达到480亿美元，其广泛应用于虚拟现实，智能家居和医疗保健等各个领域。因此，有效的手势识别将是未来人类与机器交互的重要方式。
[0003]近年来，各种手势识别方法已经被开发以服务于人机交互应用，它们可以分为接触式和非接触式方法。接触式方法主要基于加速度计、陀螺仪和磁力计，虽然它们的识别准确性很高，但是需要用户佩戴或携带设备，这给他们的日常生活带来了不便。在非接触式方法中，基于摄像头的方法受遮挡和光线的限制，并且会带来隐私问题。很多无线感知信号已成功用于手势识别，包括WiFi、LoRa，可见光和雷达等。无线感知通过分析从目标反射的无线信号来获得手势信息。然而，基于WiFi的方法受到环境干扰较为严重。虽然基于雷达的方法手势识别准确率很高，但需要专用的高成本硬件，LoRa和可见光也是如此。因此，部署低成本、高精度的无线感知设备是实现手势识别的关键，目前可以采用基于超声波的系统来了解决硬件成本高的问题，其利用低成本的商品音频设备，且具有很高的精度，但该解决方案存在以下缺点：
[0004](1)环境干扰会掩盖用户的手部运动信息，并大大降低感知精度。
[0005](2)由于现有的商品麦克风阵列普遍间距较大，定位存在角度模糊，导致手部运动轨迹跟踪存在较大误差。

技术实现思路

[0006]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术在于提出一种基于超声波信号的非接触式无训练手势识别装置，用户无需穿戴任何设备，无需使用专业的无线信号收发设备即可实现手势识别，成本低廉、感知精度高。
[0007]本专利技术还提出一种基于基于超声波信号的非接触式无训练手势识别方法，无需任何数据收集或训练的情况下即可实现准确和鲁棒性高的手势识别。
[0008]根据本专利技术第一方面的基于超声波信号的非接触式无训练手势识别装置，包括一个扬声器、一个麦克风阵列和一个树莓派，所述扬声器与麦克风阵列作为超声波收发信号紧贴在一起，所述扬声器与麦克风阵列与树莓派通信连接，所述树莓派用于控制扬声器发射信号，用于控制麦克风阵列接收信号，并并该音频信号传送至所述树莓派，所述树莓派采用内部存储的无训练手势识别方法对接收信号进行处理，对手势进行识别。
[0009]根据本专利技术第二方面的基于基于超声波信号的非接触式无训练手势识别方法，包括以下步骤：
[0010]树莓派控制扬声器发射超声波信号，同时用麦克风阵列接收音频信号，并将接收到音频信号传送至树莓派，树莓派采用其内部存储的无训练手势识别方法对接收到的音频信号进行处理，以识别出音频信号中的手势信息，所述手势识别方法具体如下：
[0011]步骤a：过滤掉接收信号中含有的环境中的噪声，保留发射信号的频率范围，然后消除扬声器的系统延迟，使接收信号与发射信号时钟同步，最后使用背景减除来消除环境干扰，以放大手部反射信号；所述接收信号为麦克风阵列接收到的音频信号，所述发射信号为扬声器发射的超声波信号；
[0012]步骤b：对步骤a处理后得到的接收信号进行上采样，并与增强虚拟发射信号相乘，利用接收信号的整个带宽，提高信号的感知精度，得到含有清晰的手部反射信号的混合信号；
[0013]步骤c：通过距离
‑
角度联合估计算法对步骤b得到的含有清晰的手部反射信号的混合信号进行处理，以追踪手部运动轨迹；
[0014]步骤d：采用交互多模型卡尔曼滤波优化步骤c得到的手部运动轨迹，提高手部追踪定位角度的精确度；
[0015]步骤e：采用无需训练的手势分类算法对优化后的手部运动轨迹进行识别，即对手势进行识别。
[0016]与现有技术相比，本专利技术具有以下优点：
[0017]1)本专利技术使用一对商用扬声器和麦克风阵列，利用超声波信号实现了非接触式无训练的手势识别。本专利技术具有很高的潜力，可在日常生活场景中实现大规模部署，为人们与智能设备进行人机交互提供了一种低成本和有效的解决方案。
[0018]2)由于本专利技术使用了交互多模型卡尔曼滤波优化手部运动轨迹，因此，有效地解决了因现有商用麦克风阵列普遍间距较大，定位存在角度模糊，致使手部运动轨迹跟踪精度较差的技术问题，且本专利技术无需专业的无线信号收发设备，成本低廉，可在日常生活场景中大规模部署。
[0019]3)本专利技术采用无需训练的手势识别方法对手部运动轨迹进行识别，其对无线信号进行处理，对手势进行识别，实现了无需训练的手势识别，方法简单，识别准确度高。
附图说明
[0020]图1是本专利技术根据本专利技术一个实施例的基于超声波信号的手势识别方法的流程示意图；
[0021]图2是本专利技术根据一个实施例的基于超声波信号的手势识别方法的原始信号示意图；
[0022]图3是本专利技术根据一个实施例的基于超声波信号的手势识别方法的干扰消除效果图；
[0023]图4是本专利技术根据一个实施例的基于超声波信号的手势识别方法的提高信号感知精度效果图；
[0024]图5是本专利技术根据一个实施例的基于超声波信号的手势识别方法的手部运动轨迹追踪效果图。
具体实施方式
[0025]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0026]下文的公开提供了许多不同的实施例或例子用来实现本专利技术的不同结构。为了简化本专利技术的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本专利技术。此外，本专利技术可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。此外，本专利技术提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的可应用性和/或其他材料的使用。
[0027]本专利技术一种基于超声波信号的手势识别装置，包括一个商品扬声器、一个商品麦克风阵列和一个树莓派；扬声器与麦克风阵列作为超声波信号收发器紧贴在一起，扬声器和麦克风阵列分别与树莓派相连，树莓派用于控制扬声器发射超声波信号，用于控制麦克风阵列接收音频信号，并将该音频信号传送至树莓派，树莓派采用其内部存储的无训练手势识别方法对接收到的音频信号进行处理，从而对手势进行识别。
[0028]如图1所示，基于上述装置的无训练手势识别方法包括以下步骤：
[0029]树莓派控制扬声器发射超声波信号，同时麦克风阵列接收音频信号，并将该音频信号传送至树莓派，树莓派采用其内部存储的无训练手势识别方法对接收到的音频信号本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于超声波信号的非接触式无训练手势识别装置，其特征在于，包括扬声器、麦克风阵列和树莓派，所述扬声器与麦克风阵列作为超声波收发信号紧贴在一起，所述扬声器与麦克风阵列与树莓派通信连接，所述树莓派用于控制扬声器发射信号，用于控制麦克风阵列接收信号，并采用其内部存储的无训练手势识别方法对接收信号进行处理，对手势进行识别。2.一种基于基于超声波信号的非接触式无训练手势识别方法，其特征在于，包括以下步骤：树莓派控制扬声器发射超声波信号，同时用麦克风阵列接收音频信号，并将接收到音频信号传送至树莓派，树莓派采用其内部存储的无训练手势识别方法对接收到的音频信号进行处理，以识别出音频信号中的手势信息，所述手势识别方法具体如下：步骤a：过滤掉接收信号中含有的环境中的噪声，保留发射信号的频率范围，然后消除扬声器的系统延迟，使接收信号与发射信号时钟同步，最后使用背景减除来消除环境干扰，以放大手部反射信号；所述接收信号为麦克风阵列接收到的音频信号，所述发射信号为扬声器发射的超声波信号；步骤b：对步骤a处理后得到的接收信号进行上采样，并与增强虚拟发射信号相乘，利用接收信号的整个带宽，提高信号的感知精度，得到含有清晰的手部反射信号的混合信号；步骤c：通过距离
‑
角度联合估计算法对步骤b得到的含有清晰的手部反射信号的混合信号进行处理，以追踪手部运动轨迹；步骤d：采用交互多模型卡尔曼滤波优化步骤c得到的手部运动轨迹，提高手部追踪定位角度的精确度；步骤e：采用无需训练的手势分类算法对优化后的手部运动轨迹进行识别，即对手势进行识别。3.根据权利要求2所述的一种基于超声波信号的非接触式无训练手势识别方法，其特征在于，所述步骤a中发射信号为周期0.08s，17
‑
23KHz的啁啾信号，接收信号的采样率为48KHz，接收信号和发射信号时钟同步并消除环境干扰的方法如下：1)对接收信号去除低频噪声；2)对接收信号和发射信号执行互相关，并搜索对应于最大峰值的滞后点，该滞后点被设定为信号传输的开始时间点；3)接收信号与发射信号同步收后，首先在没有目标时测量环境信号，然后将其从感知信号中去除，以放大手部反射信号。4.根据权利要求2所述的一种基于超声波信号的非接触式无训练手势识别方法，其特征在于，所述步骤b具体包括以下步骤：1)增强传输信号：在树莓派中将虚拟发射信号的参数：扫描时间、频带和采样率分别设定为0.12s、17kHz
‑
26kHz和96000Hz，得到增强的虚拟发射信号，以使得增强的虚拟发射啁啾能够覆盖整个接收啁啾，从而增加混合信号的有效信息；2)对步骤a处理后得到的接收信号以2为因子上采样，并与增强的虚拟发射信号相乘，得到混频信号；3)将同相和正交分量以2为因子对步骤2)得到的混频信号进行下采样，并获得增强的混合信号，得到含有清晰的手部反射信号的混合信号。
5.根据权利要求2所述的一种基于超声波信号的非接触式无训练手势识别方法，其特征在于，所述步骤c的具体包括以下步骤：对搜索范围内按照搜索步长划分的每个可能的距离d和角度θ，构造第m个麦克风在第n个采样时间戳处的理论混合信号样本，计算公式如下：其中，φ
t
(t
n
,m,d,θ)是由d和θ引起的理论相位；通过测量和理论混合信号样本的比值，获得距离
‑
角度联合估计样本，计算公式如下：其中，a为衰减因子，φ(t
n
,m)为测量信号的相位；通过在N个采样时间戳处对M个麦克风的所有距离
‑
角度联合估计样本采用距离
‑
角度联合估计器进行求和，通过以下公式构造距离
‑
角度联合估计器：若距离d和角度θ为手部的实际位置，则理论相位φ
t
(t
n
,m,d,θ)近似等于测量信号的相位φ(t
n
,m)，即E
s
(t
n
,m,d,θ)是同相的并且更接近于实数分量，并且求和向量E(d,θ)的振幅最大，因此，通过最大似然优化来搜索一个啁...

【专利技术属性】
技术研发人员：杨旭，张雪涵，尹雨晴，于筱洁，杨再润，刘晨曦，洪剑乐，牛强，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：