一种基于IMU面部手势识别的真无线耳机交互方法技术

本发明专利技术是一种基于IMU面部手势识别的真无线耳机交互方法。本发明专利技术通过训练域判别器，基于卷积神经网络的特征提取器和域判别器能够根据不同用户的脸部手势动作来区分不同用户身份；进行离线模型训练，得到一个用户独立的特征提取器和手势分类器；离线模型训练完成后，去掉用户判别器，将特征提取器和手势分类器部署至个人设备，进行模型迁移学习和实时手势识别。本发明专利技术在用户独立任务中达到了82.3％的准确率。用户独立任务是指在离线模型训练数据中不包括目标使用者的数据。此外，在使用少量目标用户数据进行模型微调后，能达到95％以上的手势识别准确率。上的手势识别准确率。上的手势识别准确率。

【技术实现步骤摘要】
一种基于IMU面部手势识别的真无线耳机交互方法


[0001]本专利技术涉及无线耳机交互
，是一种基于IMU面部手势识别的真无线耳机交互方法。

技术介绍

[0002]当前真无线耳机(True Wireless Stereo，TWS)已经被广泛应用，它集成了各种无线芯片和传感器，通常与智能手机个人电脑配套使用。它的特点是能摆脱线材束缚，让人们能够轻松自在的去使用它。然而，与其他传统的智能设备不同，它体积小巧，不具备可供操控的触摸显示屏。人们也无法像传统耳机那样通过线材来调节音量和实现播放暂停等功能。早期的真无线耳机厂商通过增加物理按键来控制耳机，这种做法会导致无线耳机的密闭性下降。而近年来，最为广泛使用的无线耳机交互方式是美国苹果公司提出的，其在Airpods中引入惯性测量单元(Inertial Measurement Unit,IMU)，来感知用户敲击耳机的次数，从而实现切换歌曲，接听/挂断电话等操作。然而，目前这种交互方式也存在一定的问题，由于真无线耳机的微小表面积，耳机厂商只能给用户提供少数的操控功能,并且这种方式需要用户准确的找到耳机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于IMU面部手势识别的真无线耳机交互方法，其特征是：包括以下步骤：步骤1：训练域判别器，基于卷积神经网络的特征提取器和域判别器能够根据不同用户的脸部手势动作来区分不同用户身份；步骤2：进行离线模型训练，得到一个用户独立的特征提取器和手势分类器；步骤3：离线模型训练完成后，去掉用户判别器，将特征提取器和手势分类器部署至个人设备，进行模型迁移学习和实时手势识别。2.根据权利要求1所述的一种基于IMU面部手势识别的真无线耳机交互方法，其特征是：所述步骤1具体为：采用超核电子的HI226DK惯性测量单元采集数据，将HI226DK固定在用户耳廓附近，采样率被设置为200Hz；在每组实验中，参与者坐在椅子上，在面部执行七种不同的手势：点击，上滑，下滑，左划，右划，顺时针画圈，逆时针画圈；记录三轴加速度计数据和三轴陀螺仪数据以及用户身份标签和手势标签。3.根据权利要求2所述的一种基于IMU面部手势识别的真无线耳机交互方法，其特征是：所述步骤2具体为：步骤2.1：训练域判别器，网络输入：输入神经网络的数据矩阵M由三轴加速度计和三轴陀螺仪的6个独立时间序列组成，M＝{M1，M2...M6}；在输入至神经网络之前，为了去除重力加速度的影响和加快网络收敛，对数据矩阵M的每个轴分别进行归一化；特征提取器：征提取器(C)由三层一维卷积组成，卷积层的输出通道为依次为32，64，128，卷积核大小为3，步长为1；在每个卷积层后均增加批归一化层来加速网络收敛，并使用Relu作为激活函数；在卷积层之后添加最大池化层来降低网络复杂性并减轻过拟合现象；经过Flatten层，特征提取器输出2048维度的特征向量F，通过下式表示：F＝C(M；θ
C
)
ꢀꢀꢀꢀꢀ
(1)其中C表示的是特征提取器的输入映射关系，θ
C
代表特征提取器的网络参数；建立域判别器，域判别器(D)由两个全连接层构成，节点分别为512和K，K代表参与训练的用户的数目；域判别器的输入为特征提取器提取的特征向量F，而输出通过下式表示为：D
p
＝D(F；θ
D
)
ꢀꢀꢀꢀ
(2)其中，D是域判别器的输入输出的映射关系，D
p
是网络的预测向量，θ
D
是域判别器网络参数；真实用户标签D
t
被转换为独热码，使用交叉熵来估计预测向量和真实用户标签的损失：其中，N是一...

【专利技术属性】
技术研发人员：沈益冉，赵广荣，
申请(专利权)人：山东大学，
类型：发明
国别省市：