一种基于四元数的空中笔势识别方法技术

本发明专利技术涉及一种基于四元数的空中笔势识别方法，属于人机交互技术领域。进行规定笔势动作，获取笔势对应的四元数序列，进行数据预处理，构建空中笔势识别模型，划分训练集和验证集，将训练集作为训练样本输入所述的空中笔势识别模型，输出训练结果，作为测试集的四元数序列输入空中笔势识别模型将四元数序列分类，实现笔势识别。优点是降低了数据输入维度，减少了计算成本，在减少数据预处理复杂度的同时，还减少了由于加速度数据漂移带来的误差，也可以进一步提高笔势识别率，使得模型可以适应不稳定的目标函数，在小样本时也保持较高的识别率，避免了过拟合现象的发生。避免了过拟合现象的发生。避免了过拟合现象的发生。

【技术实现步骤摘要】
一种基于四元数的空中笔势识别方法


[0001]本专利技术属于人机交互
，尤其涉及一种基于四元数的空中笔势识别方法。

技术介绍

[0002]近年来，随着科学技术的不断发展，人机交互技术为我们日常生活提供了极大的便利。HCI(Human
‑
Computer Interface)设备或技术的操作自然性已成为选择此类设备时的主要考虑因素之一，因此，研究人员有必要开发用户能够自然交互的HCI技术，该技术能够自然地将用户的意图转换为相应的命令，而无需用户学习或适应。其中笔势交互是日常生活中最常见，最自然的交互方式。目前，二维笔式交互范式，界面设计及具体交互技术的研究均已取得了一定的进展。但在三维笔势识别方法中，由于三维笔势自由度高，识别算法复杂等因素的影响，当前的三维笔势识别方法还需要进一步完善。目前，国内外有着多种三维笔势交互方法，常见的有基于计算机视觉的三维笔势识别方法、基于传感器的三维笔势识别方法。
[0003]基于计算机视觉信息的三维笔势识别方法使用成像装置进行运动轨迹捕捉，并在此基础上进行笔势信息的原始数据采集和特征提取。而成像装置的使用，大大增加了应用成本；其次这种方式要想达到较高的识别率，计算不可避免的会更加复杂，这增加了计算成本；并且实际应用时，由于视线(LOS)和亮度的限制，基于相机的系统无法在黑暗的地方工作，这限制了实际应用场景。在基于传感器的三维笔势识别方法中，通过嵌入传感器来捕获笔部运动，这种方法多使用加速度计来获取数据，而加速度计易受使用者手部抖动影响，对于轨迹估算误差较大，而这一问题目前仍没有得到有效解决。

技术实现思路

[0004]本专利技术提供一种基于四元数的空中笔势识别方法，以解决目前三维笔势识别方法存在的应用场景受限，识别率低的问题。
[0005]本专利技术采取的技术方案是，包括下列步骤：
[0006]步骤M1：进行规定笔势动作，通过IMU(Inertial measurement unit)获取笔势对应的四元数序列；
[0007]步骤M2：对笔势对应的四元数序列进行数据预处理；
[0008]步骤M3：构建基于四元数的空中笔势识别模型；
[0009]步骤M4：将包含多种笔势标签的四元数序列划分为训练集和验证集，将训练集作为训练样本输入所述的空中笔势识别模型，并使用小批量算法、zenout算法、adam算法优化神经网络，训练笔势识别网络模型，输出训练结果；
[0010]步骤M5：将作为测试集的四元数序列输入空中笔势识别模型，利用训练好的空中笔势识别模型将四元数序列分类，实现笔势识别。
[0011]优选地，所述步骤M1包括：
[0012]步骤M1.1：实验者持装有IMU的电子笔进行规定的笔势动作，按下启动采集的按
键，实验数据开始录入并传输到上位机，通过轨迹形态反馈，筛选符合要求的笔势。为了增加实验数据多样性，笔势数据由多个实验者采集完成。
[0013]优选地，所述步骤M2包括：
[0014]步骤M2.1：对得到笔势对应的四元数序列进行坐标转换，由于对实验者进行笔势动作的起始位置不做要求，因此需要进行坐标转换，使笔势对应的四元数序列只与笔势动作开始时第一个采样点的四元数有关，从而完成坐标系转换后的四元数变化趋势不会因为初始位置不同而改变；
[0015]设笔势对应的四元数序列为[Q1,Q2,...,Q
t
],Q1(p
01
,p
11
,p
21
,p
31
)为第一个采样点的四元数，Q
t
(p
0t
,p
1t
,p
2t
,p
3t
)为第t个采样点的四元数，将第t个采样点的四元数Q
t
转化为相对于IMU初始姿态的传感器坐标系Q
′
t
，计算公式如下：
[0016]Q
t
＝Q1ΘQ
′
t
[0017][0018]其中Q
1*
是第一个采样点四元数的共轭，而IMU得到的四元数是单位四元数，则其范数为1，上式可化简为
[0019][0020]完成坐标转换后笔势对应的的四元数序列表示IMU相对于初始姿态的姿态序列，因此可以令Q
′
t
为1，表示第一个采样点相对于初始姿态没有发生转动，这样坐标系转换后笔势对应的四元数序列可以表示为[Q1′
,Q2′
,...,Q
t
′
]；
[0021]步骤M2.2：对笔势对应的四元数序列的标签进行one
‑
hot编码，将N个笔势的数字标签转化为one
‑
hot标签，例如笔势标签1对应[1,0,...,0]，长度为N。依次类推。
[0022]优选地，所述步骤M3中的基于四元数的空中笔势识别模型由笔势特征提取层、attention层、输出层构成；
[0023]所述笔势特征提取层是由单层LSTM神经网络构成，所述单层LSTM神经网络是将经过数据预处理的笔势对应的四元数序列作为输入数据提取时间变化特征，所述单层LSTM神经网络神经元数量为预设个；
[0024]所述attention层，通过在时间尺度上进行加权选取四元数序列中关键采样点，找出笔势识别中的重要特征进行识别；
[0025]设网络输出F个特征向量h
i
，则变换后的特征向量h
′
计算方法如下所示：
[0026][0027]s
t
＝f(W
t
h
t
+b
t
)
[0028][0029]其中h
i
是调整前的特征向量，h
′
是调整后的特征向量，α
t
为权重系数，W
t
是权重，b
t
是偏置，f是激活函数。s
t
表示第t时刻特征向量h
t
所决定的能量值；
[0030]所述输出层是softmax层，softmax层可以将多分类数值转化为相对概率，输出层的输入是attention层的输出，其中softmax函数如下所述：
[0031][0032]其中h
i
′
是softmax层上一层的输出向量，i表示类别索引，总的类别数为N，S
i
表示的是输出向量第i个元素h
i
与所有输出向量指数和的比值；输出层输出的是一个N维向量，N维向量分别表示该笔势序列是对应N种笔势的概率；
[0033]输出层的损失函数使用交叉熵损失函数，交叉熵可以衡量真实分布和预测的分布的差异情况，交叉熵损失函数常用于多分类问题，交叉熵损失函数需要输入softmax的输出向量和真实类别，如下式所述：
[0034][00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于四元数的空中笔势识别方法，其特征在于，包括下列步骤：步骤M1：进行规定笔势动作,通过IMU获取笔势对应的四元数序列；步骤M2：对笔势对应的四元数序列进行数据预处理；步骤M3：构建基于四元数的空中笔势识别模型；步骤M4：将包含多种笔势标签的四元数序列划分为训练集和验证集，将训练集作为训练样本输入所述的空中笔势识别模型，并使用小批量算法、zenout算法、adam算法优化神经网络，训练空中笔势识别网络模型，输出训练结果；步骤M5：将作为测试集的四元数序列输入空中笔势识别模型，利用训练好的空中笔势识别模型将四元数序列分类，实现笔势识别。2.根据权利要求1所述的一种基于四元数的空中笔势识别方法，其特征在于：所述步骤M1包括：实验者持装有IMU的电子笔进行规定的笔势动作，完成笔势对应的四元数序列采集。3.根据权利要求1所述的一种基于四元数的空中笔势识别方法，其特征在于，所述步骤M2包括：步骤M2.1：对得到的笔势对应的四元数序列进行坐标转换，从而使笔势对应的四元数序列只与笔势动作开始时第一个采样点的四元数有关，完成坐标系转换后的四元数变化趋势不会因为初始位置不同而改变；设笔势对应的四元数序列为[Q1,Q2,...,Q
t
],Q1(p
01
,p
11
,p
21
,p
31
)为第一个采样点的四元数，Q
t
(p
0t
,p
1t
,p
2t
,p
3t
)为第t个采样点的四元数，将第t个采样点的四元数Q
t
转化为相对于IMU初始姿态的传感器坐标系Q
′
t
，计算公式如下：Q
t
＝Q1ΘQ
′
t
其中Q
1*
是第一个采样点四元数的共轭，而IMU得到的四元数是单位四元数，则其范数为1，上式可化简为是单位四元数，则其范数为1，上式可化简为完成坐标转换后笔势对应的四元数序列表示IMU相对于初始姿态的姿态序列，因此可以令Q
′
t
为1，表示第一个采样点相对于初始姿态没有发生转动，这样坐标系转换后笔势对应的四元数序列可以表示为[Q
′1,Q
′2,...,Q
′
t
]；步骤M2.2：对笔势对应的四元数序列的标签进行one
‑
hot编码，将N个笔势的数字标签转化为one
‑
hot标签。4.根据权利要求1所述的一种基于四元数的空中笔势识别方法，其特征在于：所述...

【专利技术属性】
技术研发人员：陈建，刘思宇，孙晓颖，燕学智，林琳，王庆龙，朱艳晶，张逸飞，
申请(专利权)人：吉林大学，
类型：发明
国别省市：