基于多模态特征融合与小样本学习的手势识别方法和系统技术方案

本发明专利技术涉及一种基于多模态特征融合与小样本学习的手势识别方法和系统。该方法包括：获取手势识别的源域数据和目标域数据；采用来自不同链路的所述源域数据分别训练第一特征提取器和第二特征提取器并获取第一特征和第二特征，并将所述第一特征和所述第二特征输入多模态特征融合器以进行特征融合以获得多模态融合特征；基于所述多模态特征融合器融合获取所述目标域数据的训练特征，基于所述训练特征训练分类器，再基于训练好的分类器进行手势识别。本发明专利技术利用多模态特征融合可以将多对收发设备收到的数据进行特征融合，从而增强特征，因此利用小样本学习的方法，只需要采集少量的目标域数据就可以实现高准确率的跨域手势识别。势识别。势识别。

【技术实现步骤摘要】
基于多模态特征融合与小样本学习的手势识别方法和系统


[0001]本专利技术涉及手势识别领域，更具体地说，涉及一种基于多模态特征融合与小样本学习的手势识别方法和系统。

技术介绍

[0002]作为人机交互的核心技术之一，手势识别在智能家居、VR等人机交互领域有着广泛的应用。传统的手势识别研究方法主要包括基于视觉的手势识别技术和基于传感器的手势识别技术，这两种方法虽然能够达到较高的估计精度，但存在各自的不足。
[0003]基于视觉的手势识别技术，由于不需要用户另外携带设备，所以可以在不干扰用户的情况下对所需的数据进行采集。因此从手势样本采集的角度来说，这种方式比基于传感器的方式要更为方便，更有利于长时间的数据采集工作。但是当环境中处于非视距条件、且有相近的背景时，数据的采集会受到很大的干扰。与此同时，对手势的视觉识别可能会侵犯用户的隐私，在某些特殊场合(如浴室或卧室)并不适用。
[0004]基于传感器的手势识别需要检测目标每时每刻携带安装有传感器的设备来采集数据，其特点是采集数据量少、传输速度快。采集到的数据中包含了手指的位置、运动方向和手腕弯曲程度等信息，因此能够实时识别各种手部动作。此外，此方法在采集数据时不依赖于光照等环境条件，抗干扰性非常好。然而，这种方法需要用户一直佩戴相关设备，这对于用户来说是十分不方便的，也不现实。与此同时，这类设备通常价格高昂，难以大规模部署。
[0005]与上述两个方法相比，基于WiFi的手势识别技术所需的设备成本低廉，又因为如今基本上家家户户都有WiFi设备，也不需要用户时时刻刻携带采集设备，造成使用上的不方便。与此同时，WiFi信号不同于摄像头，工作时，这种技术不受视距等因素的影响，也不会造成用户的隐私泄露。
[0006]基于WiFi的手势识别所使用的数据形式主要包括接收的信号强度指示(Received Signal Strength Indication，RSSI)和信道状态信息(channel state information，CSI)。RSSI表示的是一段时间内，接收信号的强度信息，反映了多径叠加的总幅度，属于粗粒度信息。相比于RSSI，CSI呈现了不同频率(对应不同子载波)下多径传播的幅度与相位，从而可以更加精确地表示具有频率选择性衰落特性的信道，属于细粒度信息。因此对于手势识别的判断来讲，CSI比RSSI能够取得更加高的准确率。
[0007]目前，基于WiFi信号的手势识别技术可分为基于模型的方法和基于机器学习算法的方法，前者需要对手势数据进行模型构建以提取特征，然后使用分类算法(如最近邻算法，支持向量机，逻辑回归，随机森林等)对特征进行识别分类。此方法虽然无需大量的样本，但是需要计算波达角(Arrival of Angle，AoA)、飞行时间(Time of Flight，ToF)或者多普勒频移(Doppler Frequency Shift，DFS)这类参数。而这类参数通常难以计算，同时精度不足。后者使用深度学习神经网络来完成手势的特征提取与识别，然而该方法需要采集大量的样本用于模型训练，同时，由于对于同一种手势，实验环境的变化(如变更实验场所、
实验人员、收发设备位置、实验地点以及人员方向等)都可能导致相应的CSI测量值变化模式的不同，从而使得模型跨域识别准确率急速下降。

技术实现思路

[0008]本专利技术的目的在于，提供一种多模态特征融合与小样本学习的手势识别方法和系统，旨在解决现有技术中的实验人员的手势执行的方向与位置与训练模型时的样本不同时，手势识别的准确率会大幅度下降导致模型鲁棒性差，以及需要采集大量的样本来完成深度学习的特征提取工作的缺陷。
[0009]根据本专利技术的第一方面，提供了一种基于多模态特征融合与小样本学习的手势识别方法，包括：
[0010]S1、获取手势识别的源域数据和目标域数据；
[0011]S2、采用来自不同链路的所述源域数据分别训练第一特征提取器和第二特征提取器并获取第一特征和第二特征，并将所述第一特征和所述第二特征输入多模态特征融合器以进行特征融合以获得多模态融合特征；
[0012]S3、基于所述多模态特征融合器融合获取所述目标域数据的训练特征，基于所述训练特征训练分类器，再基于训练好的分类器进行手势识别。
[0013]在本专利技术的优选实施例中，所述步骤S2进一步包括：
[0014]S21、将来自第一链路的所述源域数据作为第一训练集训练所述第一特征提取器以获取所述第一特征，将来自第二链路的所述源域数据作为第二训练集训练所述第二特征提取器以获取所述第二特征，其中所述第一特征提取器和所述第二特征提取器独自训练；
[0015]S22、将所述第一特征和所述第二特征输入所述多模态特征融合器以进行特征融合以获得多模态融合特征，其中所述多模态融合特征为所述第一特征和所述第二特征的元素乘积。
[0016]在本专利技术的优选实施例中，所述第一特征提取器和所述第二特征提取器分别包括一个一维CNN层和三个二维CNN层以及两个全连接层。
[0017]在本专利技术的优选实施例中，所述一维CNN层包含256个大小为2的卷积核，一个标准化层，一个ReLU激活函数以及一个池化层；
[0018]第一个二维CNN层包括256个3
×
3大小的卷积核，一个批量标准化层和一个Relu激活函数，以及一个池化层；第二个二维CNN层包括128个2
×
2大小的卷积核，一个批量标准化层和一个Relu激活函数，以及一个池化层；第三个二维CNN层包含有64个2
×
2大小的卷积核，一个批量标准化层和一个Relu激活函数，以及一个池化层。
[0019]在本专利技术的优选实施例中，所述多模态特征融合器包括第一展平层、第二展平层、第一线性层、第二线性层和元素乘积层，所述第一展平层和所述第二展平层分别连接所述第一特征提取器和所述第二特征提取器的第二个二维CNN层的输出以获取并融合所述第一特征和所述第二特征；
[0020]所述多模态融合特征表示为
°
表示Hadmard乘积，为双线性模型输出，a和分别表示所述第一特征和所述第二特征。
[0021]在本专利技术的优选实施例中，所述多模态特征融合器进一步包括求和池化层和归一化层，所述多模态融合特征经过所述求和池化层求和处理以获得收敛特征
其中函数sumpooling(X,P)表示使用大小为P的1维非重叠窗口来实现X上的求和池化，k表示所述源域数据和所述目标域数据的矩阵维数。
[0022]在本专利技术的优选实施例中，所述步骤S1进一步包括：S11、采用至少两个信号接收器采集不同位置和不同方向上的手势识别信号；S12、对所述手势识别信号进行预处理；S13、基于所述手势识别信号的位置信息将其划分成所述源域数据和所述目标域数据。
[0023]在本专利技术的优选实施例中，所述手势识别信号为CSI数据，所述预处理包括归一化处理、去除静态部分处理、分片PCA处理、重建处理和平滑处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态特征融合与小样本学习的手势识别方法，其特征在于，包括：S1、获取手势识别的源域数据和目标域数据；S2、采用来自不同链路的所述源域数据分别训练第一特征提取器和第二特征提取器并获取第一特征和第二特征，并将所述第一特征和所述第二特征输入多模态特征融合器以进行特征融合以获得多模态融合特征；S3、基于所述多模态特征融合器融合获取所述目标域数据的训练特征，基于所述训练特征训练分类器，再基于训练好的分类器进行手势识别。2.根据权利要求1所述的基于多模态特征融合与小样本学习的手势识别方法，其特征在于，所述步骤S2进一步包括：S21、将来自第一链路的所述源域数据作为第一训练集训练所述第一特征提取器以获取所述第一特征，将来自第二链路的所述源域数据作为第二训练集训练所述第二特征提取器以获取所述第二特征，其中所述第一特征提取器和所述第二特征提取器独自训练；S22、将所述第一特征和所述第二特征输入所述多模态特征融合器以进行特征融合以获得多模态融合特征，其中所述多模态融合特征为所述第一特征和所述第二特征的元素乘积。3.根据权利要求2所述的基于多模态特征融合与小样本学习的手势识别方法，其特征在于，所述第一特征提取器和所述第二特征提取器分别包括一个一维CNN层和三个二维CNN层以及两个全连接层。4.根据权利要求3所述的基于多模态特征融合与小样本学习的手势识别方法，其特征在于，所述一维CNN层包含256个大小为2的卷积核，一个标准化层，一个ReLU激活函数以及一个池化层；第一个二维CNN层包括256个3
×
3大小的卷积核，一个批量标准化层和一个Relu激活函数，以及一个池化层；第二个二维CNN层包括128个2
×
2大小的卷积核，一个批量标准化层和一个Relu激活函数，以及一个池化层；第三个二维CNN层包含有64个2
×
2大小的卷积核，一个批量标准化层和一个Relu激活函数，以及一个池化层。5.根据权利要求2
‑
4中任意一项所述的基于多模态特征融合与小样本学习的手势识别方法，其特征在于，所述多模态特征融合器包括第一展平层、第二展平层、第一线性层、第二线性层和元素乘积层，所述第一展平层和所述第二展平层分别连接所述第一特征...

【专利技术属性】
技术研发人员：毕宿志，陈新裕，林晓辉，郑莉莉，
申请(专利权)人：深圳大学，
类型：发明
国别省市：