基于便携式智能设备和超声信号的手势识别方法及系统技术方案

本发明专利技术公开了基于便携式智能设备和超声信号的手势识别方法及系统，本方法包括：特定频率超声波的发送；特定频率超声波的接收与近场衰减机制；深度学习模型与机器学习模型相融合的手势识别方法；本系统由智能手机、可安装的APP、后台的模型与服务构成。本发明专利技术利用超声测距原理和多普勒频移效应，实现手势的检测与识别，进一步通过手势完成多媒体的各种控制，使得控制方便、简单，在本发明专利技术中，利用现有的智能终端自带的发声和拾音模块，不需要额外的设备，并且可以自定义各种手势进行操控，增强用户的交互体验，本发明专利技术可以用于智能家居、自动驾驶、VR/AR游戏、娱乐等场景，也可以为残障人士提供更好的人机交互体验。士提供更好的人机交互体验。士提供更好的人机交互体验。

【技术实现步骤摘要】
基于便携式智能设备和超声信号的手势识别方法及系统


[0001]本专利技术涉及信息
，具体为基于便携式智能设备和超声信号的手势识别方法及系统。

技术介绍

[0002]近几年来，人工智能技术的发展取得了长足进步，业界普遍对人工智能的发展持乐观态度。在人脸识别、人体行为识别、目标检测、目标跟踪、语音识别等领域的应用不断涌现，成为新一轮科技发展的动力。而移动设备与智能设备的普及使得人与机器的接触和交流越来越多，从而对人机交互的方式也有了越来越的需求。
[0003]从传统的命令行交互(CLI)到图形化界面交互(GUI)，使得人们与设备的交互体验越来越好，但这仍旧没有达到人们理想的状态。从人类进化的本能和习惯来看，更符合人的自然表达方式的人机交互才是我们真正希望的。因此，基于声音、手势、视觉、人体姿态/行为的交互方式逐渐引起了研究者的关注。
[0004]目前的移动设备或者智能设备类似于智能手表、智能手机主要利用按钮和触摸屏等人机交互方式进行交互，虽然基本可以满足日常的需求，但体验不佳，尤其在很多场合，比如开车时，触摸屏幕非常不便，并且可能有安全隐患。虽然有些设备或者软件实现了部分的声音控制，但受精度和周围噪声环境的影响较大，体验仍旧不是太好。因此需要新的无线感知操控方式，给用户更好的体验，让开发者能利用更多维度的人机交互选项造就具有很高的商业价值和应用价值。为此提供基于便携式智能设备和超声信号的手势识别方法及系统。

技术实现思路

[0005]本专利技术的目的是针对现有技术的缺陷，提供基于便携式智能设备和超声信号的手势识别方法，以解决上述
技术介绍
提出的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：基于便携式智能设备和超声信号的手势识别方法及系统，具体步骤如下：
[0007]S1：特定频率超声波的发送：在智能终端设备上利用软件，实现自由指定发射的超声波频率，发送的硬件设备采用智能手机上的扬声器或者扬声器阵列；
[0008]S2：特定频率超声波的接收与近场衰减机制：超声波的接收由智能手机自带的麦克风或者麦克风阵列实现，所采集到的超声波是发射声波经人做手势动作发射回来的超声波信号，为了提高检测的准确性，减少周边物体动作的干扰，采用近场衰减机制，将超过指定范围的回声信号进行有效衰减，保证只有指定距离范围的手势动作才是有效动作；
[0009]S3：深度学习模型与机器学习模型相融合的手势识别方法：
[0010]S31：首先利用智能手机采集训练样本，所述样本包括是带有手势标签的超声回波信号；
[0011]S32：然后对训练样本做数据预处理，这儿主要采用两种方式，
[0012]S321：第一种方式是将声波信号处理为图像，将图像作为深度学习模型的输入，手势标签作为学习标签，从而训练出深度学习模型；
[0013]S322：第而种方式是用传统的数字信号处理方式，提取声波信号的变化特征，作为机器学习模型的输入，手势标签作为学习标签，从而训练出机器学习模型；
[0014]S33：最后，将两种模型做融合，并以融合后的结果作为最终预测模型，训练好的模型部署后即是手势识别应用工具；
[0015]S4：具体应用时，可以通过APP进行手势的定义，即自定义各种手势实际的控制意义。
[0016]作为本专利技术的一种优选技术方案，所述S1中的软件是智能手机上的应用APP。
[0017]作为本专利技术的一种优选技术方案，所述S1中超声波频率定义为18khz以上的余弦波超声波。
[0018]作为本专利技术的一种优选技术方案，所述S322中声波信号的变化特征为频率变化、相位变化、幅值、斜率、距离以及距离变化的数字特征。
[0019]作为本专利技术的一种优选技术方案，所述S321的图像为多普勒频移图。
[0020]一种基于便携式智能设备和超声信号的手势识别系统，包括智能手机、可安装的APP、后台的模型与服务；具体实施可以分为模型建立阶段和模型应用阶段。
[0021]作为本专利技术的一种优选技术方案，所述模型建立阶段包括样本数据的采集、数据的处理与特征变换和模型训练；
[0022]a：样本数据的采集：安装在手机端的APP可以设置发射超声波的频率和幅值，启动APP后，系统发射超声信号，同时操作人按照规定做手势动作，UBGR 系统以96khz的采样频率对接收器进行采样来接收手势影响后的超声信号的返回信号，以收集针对每个接收器的时域信号；
[0023]b：数据的处理与特征变换：采集到的样本数据需要进行加工处理，要做两大类加工，一方面通过信号处理的方式，提取信号的时域和频域特征，包括频率、幅度、变化指标、计算出的深度和距离；另一方面，通过计算得到多普勒频移图像，作为端到端学习的输入；
[0024]c：模型训练：模型选择传统的机器学习模型和深度学习模型相结合；传统的机器学习模型本例采用XGBOOST作为分类器，它的核心是利用提升思想，每一步产生一个弱预测模型，并加权累加到总的模型之中，最终得到一个强分类器。
[0025]作为本专利技术的一种优选技术方案，所述模型应用阶段包括模型的部署和运行，在UBGR系统中，模型的部署要放在后端的服务器上运行，而前端数据的采集与模型训练阶段中的样本数据的采集相同，只是采集到的超声回波信号会被直接送到服务器端，经过加工处理成合适的模型输入数据后，送入模型，然后输出识别结果。
[0026]本专利技术的有益效果是：本专利技术利用超声波作为信号媒介，根据超声测距原理和多普勒效应对物体位置与运动状态的感知变化，结合最新的深度学习模型，建立基于超声波的手势识别方法和系统，同时，考虑到应用实现的便捷性和成本等因素，本专利技术主要基于现有便携式智能设备自带的元件，这样既可以不增加设备的复杂性，也节约了硬件成本，是在现有设备上做增值应用，前景广阔。
[0027]本专利技术利用超声测距原理和多普勒频移效应，实现手势的检测与识别，进一步通过手势完成多媒体的各种控制，使得控制方便、简单，在本专利技术中，利用现有的智能终端自
带的发声和拾音模块，不需要额外的设备，并且可以自定义各种手势进行操控，增强用户的交互体验，本专利技术可以用于智能家居、自动驾驶、VR/AR游戏、娱乐等场景，也可以为残障人士提供更好的人机交互体验。
附图说明
[0028]图1为本专利技术的手势识别方法流程图；
[0029]图2为本专利技术的手势识别系统结构框图。
具体实施方式
[0030]下面结合附图对本专利技术的较佳实施例进行详细阐述，以使本专利技术的优点和特征能更易被本领域人员理解，从而对本专利技术的保护范围做出更为清楚明确的界定。
[0031]实施例：请参阅图1
‑
2，本专利技术提供一种技术方案：基于便携式智能设备和超声信号的手势识别方法，具体步骤如下：
[0032]S1：特定频率超声波的发送：在智能终端设备上利用软件，实现自由指定发射的超声波频率，发送的硬件设备采用智能手机上的扬声器或者扬声器阵列；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于便携式智能设备和超声信号的手势识别方法，其特征在于：具体步骤如下：S1：特定频率超声波的发送：在智能终端设备上利用软件，实现自由指定发射的超声波频率，发送的硬件设备采用智能手机上的扬声器或者扬声器阵列；S2：特定频率超声波的接收与近场衰减机制：超声波的接收由智能手机自带的麦克风或者麦克风阵列实现，所采集到的超声波是发射声波经人做手势动作发射回来的超声波信号，为了提高检测的准确性，减少周边物体动作的干扰，采用近场衰减机制，将超过指定范围的回声信号进行有效衰减，保证只有指定距离范围的手势动作才是有效动作；S3：深度学习模型与机器学习模型相融合的手势识别方法：S31：首先利用智能手机采集训练样本，所述样本包括是带有手势标签的超声回波信号；S32：然后对训练样本做数据预处理，这儿主要采用两种方式，S321：第一种方式是将声波信号处理为图像，将图像作为深度学习模型的输入，手势标签作为学习标签，从而训练出深度学习模型；S322：第而种方式是用传统的数字信号处理方式，提取声波信号的变化特征，作为机器学习模型的输入，手势标签作为学习标签，从而训练出机器学习模型；S33：最后，将两种模型做融合，并以融合后的结果作为最终预测模型，训练好的模型部署后即是手势识别应用工具；S4：具体应用时，可以通过APP进行手势的定义，即自定义各种手势实际的控制意义。2.根据权利要求1所述的基于便携式智能设备和超声信号的手势识别方法，其特征在于：所述S1中的软件是智能手机上的应用APP。3.根据权利要求1所述的基于便携式智能设备和超声信号的手势识别方法，其特征在于：所述S1中超声波频率定义为18khz以上的余弦波超声波。4.根据权利要求1所述的基于便携式智能设备和超声信号的手势识别方法，其特征在于：所述S322中声波信号的变化特征为频率变化、相...

【专利技术属性】
技术研发人员：黄顺亮，唐德宾，赵国成，
申请(专利权)人：苏州声影空间智能科技有限公司，
类型：发明
国别省市：