一种基于惯性传感器的空中手写字符识别方法技术

本发明专利技术公开了一种基于惯性传感器的空中手写字符识别方法，该方法针对惯性传感器获取到的空中手写字符动作传感信号进行数据预处理后分别获取到训练样本集、验证样本集和测试样本，同时对LSTM‑RNN模型进行参数初始化，通过各训练样本对参数初始化后的LSTM‑RNN模型进行训练，并且在训练过程中，将验证样本集中的验证样本输入至迭代过程中训练得到的LSTM‑RNN模型，根据验证样本集识别的错误率对迭代次数进行控制，得到最终的LSTM‑RNN分类器；最后将测试样本输入至最终的LSTM‑RNN分类器，通过最终的LSTM‑RNN分类器识别出测试样本对应字符。具有空中手写字符识别精度和准确率更高的优点。

Handwritten character recognition method based on airborne inertial sensors

The invention discloses a handwritten character recognition method based on inertial sensors of air, the method for inertial sensors to obtain the air movement handwritten character sensing signals are pre processed data were obtained to the training set, validation samples and test samples, and parameter initialization of the LSTM RNN model, through the training sample the training of LSTM RNN model parameters after initialization, and in the training process, the verification of LSTM RNN model training samples are input to the iterative process of samples obtained in the sample, according to the validation set recognition error rate to control the number of iterations, LSTM RNN classifier final; the test sample the input to the final LSTM RNN classifier, by the end of the LSTM RNN classifier to identify the test samples corresponding characters. The air has a handwritten character recognition accuracy and the advantages of higher accuracy.

【技术实现步骤摘要】
一种基于惯性传感器的空中手写字符识别方法
本专利技术涉及一种模式识别与人工智能
，特别涉及一种基于惯性传感器的空中手写字符识别方法。
技术介绍
基于惯性传感器(加速度计和陀螺仪)的空中手写识别是近年来计算机领域中新兴起的研究前沿方向之一，利用用户身上可穿戴设备或智能手持设备内置的惯性传感器采集用户空中书写过程中的加速度信号和角速度信号，通过机器学习和深度学习方法来识别用户的书写内容，它属于穿戴式计算(WearableComputing)和普适计算(UbiquitousComputing)的重要研究内容之一。目前，基于惯性传感器的空中手写识别主要包括书写内容识别和书写人识别。书写内容识别主要是识别书写的字符、单词、短语、句子等具体的内容；书写人识别则主要是实现书写者的身份鉴权，可用于手写签名鉴定等领域；由于惯性传感器信号波形很不直观，很难单纯通过肉眼观察波形对书写内容加以区分，而且由于不同人书写习惯的差异，同一个字符的信号波形也有较大差异，因此手势识别时无法仅根据信号数值变化做出判别，而是需要挖掘信号潜在的变化规律。基于惯性传感器的空中手写不同于传统的二维平面书写，书写过程中没有任何的触觉和视觉反馈。但它既不受某个特定的书写平面的限制(如手写板、触摸屏)，也不需要其他外挂设备(如摄像头)。而且，对环境变化、光照、肤色等因素不敏感，使用者只需要手持嵌入惯性传感器的书写设备在空中自由写。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提供一种识别精度高的基于惯性传感器的空中手写字符识别方法。本专利技术的目的通过下述技术方案实现：一种基于惯性传感器的空中手写字符识别方法，步骤如下：S1、对LSTM-RNN模型(RNN(递归神经网络，RecurrentNeuralNetworks)隐藏层的非线性单元用LSTM(LongShort-TermMemory，长短时间记忆)记忆块代替而得到的模型)进行参数初始化；同时通过佩带在手上的惯性传感器采集多个空中手写字符动作传感信号，并且对这些空中手写字符动作传感信号分别标注出其所属字符，然后将它们分别作为惯性传感器输出信号进行数据预处理，得到训练样本集和验证样本集；S2、将训练样本集中的各训练样本作为参数初始化后的LSTM-RNN模型的输入对LSTM-RNN模型进行训练，并且在LSTM-RNN模型训练过程中，将验证样本集中的验证样本输入至迭代过程中训练得到的LSTM-RNN模型，根据验证样本集识别的错误率对迭代次数进行控制，得到最终的LSTM-RNN分类器；S3、通过佩带在手上的惯性传感器实时采集空中手写字符动作传感信号，然后将其作为惯性传感器输出信号进行数据预处理，得到测试样本，将测试样本输入至步骤S2中获取到的LSTM-RNN分类器，通过LSTM-RNN分类器识别出测试样本对应字符。优选的，惯性传感器采集的空中手写字符动作传感信号即惯性传感器输出信号包括三维加速度信号和三维角速度信号；各训练样本、验证样本和测试样本均为6维信号，包括三维数据预处理后的加速度信号和三维数据预处理后的角速度信号。更进一步的，所述步骤S1和步骤S3中惯性传感器输出信号进行数据预处理的过程如下：首先针对惯性传感器输出信号中的三维加速度信号的每一维加速度信号以及三维角速度信号的每一维角速度信号进行滑动平均滤波器处理，然后采用Z-score标准化针对上述通过滑动平均滤波器处理的每一维加速度信号和每一维角速度信号分别进行处理，使得每一维加速度信号和每一维角速度信号的均值为0且标准差为1。优选的，步骤S1中对LSTM-RNN模型进行参数初始化设定包括：设定LSTM-RNN模型的输入层神经元个数和各样本的信号维数相同；设定LSTM-RNN模型的输出层神经元的个数和字符类别数相同；设定输入层连接到隐藏层的权值Win的初值以及平均池化层到输出层的权值Wout的初值服从均匀分布U[-a,a]，其中a为边界值；设定隐藏层中每个神经元的细胞结构、遗忘门、输入门和输出门各自的输入权值矩阵Whidden_x和状态权值Whidden_h中各个元素的初值服从均值为0，方差为1的高斯分布N(0,1)；设定隐藏层的初始状态h、隐藏层的初始输出C、输入层连接到隐藏层的偏置bin、平均池化层到输出层的偏置bout的初值均为0；以及设定隐藏层中每个神经元的细胞结构、遗忘门、输入门和输出门各自的偏置bhidden的初值均为0。优选的，步骤S2通过梯度下降算法对LSTM-RNN模型进行训练，表现为随着迭代次数对网络参数进行更新，具体过程如下：S21、分别初始化加权因子ρ、初始化均方梯度E[g2]0以及初始化均方参数增量E[Δx2]0；设定第k次迭代时的网络参数为xk；然后进入步骤S22；S22、计算第k次迭代时的参数梯度gk；S23、根据第k次迭代时的参数梯度gk更新均方梯度，得到第k次迭代时的均方梯度E[g2]k为：E[g2]k＝ρE[g2]k-1+(1-ρ)gk2；其中E[g2]k-1为第k-1次迭代的均方梯度；S24、分别计算第k次迭代时的学习率η和网络参数增量Δxk：Δxk＝-η·gk；其中E[Δx2]k-1为第k-1次迭代的均方参数增量；ε为常数，ε＝1×10-6；S25、根据第k次迭代时的网络参数增量Δxk和第k-1次迭代的均方参数增量E[Δx2]k-1更新均方参数增量，得到第k次迭代时的均方参数增量E[Δx2]k：E[Δx2]k＝ρE[Δx2]k-1+(1-ρ)Δxk2；S26、根据第k次迭代时的网络参数为xk以及第k次迭代时的网络参数增量Δxk更新得到第k+1次迭代时的网络参数为xk+1：xk+1＝xk+Δxk。更进一步的，初始化加权因子ρ＝0.95，初始化均方梯度E[g2]0＝0以及初始化均方参数增量E[Δx2]0＝0。优选的，步骤S2中根据验证样本集识别的错误率对迭代次数进行控制，得到最终的LSTM-RNN分类器的具体过程如下：S2a、预设耐性值p、一个置零的计数器和一错误率记录库；S2b、每隔定值Q次的迭代次数，用当前迭代过程中得到的LSTM-RNN模型测试验证样本集，计算出当前验证样本集识别的错误率，然后进入步骤S2c；S2c、判断当前验证样本集识别的错误率是否大于错误率记录库中记录的错误率最小值；若是，则进入步骤S2d；若否，则将当前迭代过程中得到的LSTM-RNN模型作为最终的LSTM-RNN分类器；S2d、判断当前验证样本集识别的错误率是否均大于错误率记录库最迟记录的p个错误率中的最小值；若否，则将当前迭代过程中得到的LSTM-RNN模型作为最终的LSTM-RNN分类器；若是，则计数器加一，错误率记录库记录当前验证样本集识别的错误率，并且判断计数器的计算值是否超过p；若否，则返回步骤S2b，若是，则迭代停止，将迭代停止时得到的LSTM-RNN模型作为最终的LSTM-RNN分类器。更进一步的，所述预设耐性值p取8～15中的其中一个整数值。更进一步的，所述定值Q取200～500中的其中一个整数值。本专利技术相对于现有技术具有如下的优点及效果：(1)本专利技术基于惯性传感器的空中手写字符识别方法针对惯性传感器获取到的空中手写字符动作传感信号进行数据预处理后分别获取到训练样本集、验证样本集和测试样本，同时对本文档来自技高网...

【技术保护点】
一种基于惯性传感器的空中手写字符识别方法，其特征在于，步骤如下：S1、对LSTM‑RNN模型进行参数初始化；同时通过佩带在手上的惯性传感器采集多个空中手写字符动作传感信号，并且对这些空中手写字符动作传感信号分别标注出其所属字符，然后将它们分别作为惯性传感器输出信号进行数据预处理，得到训练样本集和验证样本集；S2、将训练样本集中的各训练样本作为参数初始化后的LSTM‑RNN模型的输入对LSTM‑RNN模型进行训练，并且在LSTM‑RNN模型训练过程中，将验证样本集中的验证样本输入至迭代过程中训练得到的LSTM‑RNN模型，根据验证样本集识别的错误率对迭代次数进行控制，得到最终的LSTM‑RNN分类器；S3、通过佩带在手上的惯性传感器实时采集空中手写字符动作传感信号，然后将其作为惯性传感器输出信号进行数据预处理，得到测试样本，将测试样本输入至步骤S2中获取到的LSTM‑RNN分类器，通过LSTM‑RNN分类器识别出测试样本对应字符。

【技术特征摘要】
1.一种基于惯性传感器的空中手写字符识别方法，其特征在于，步骤如下：S1、对LSTM-RNN模型进行参数初始化；同时通过佩带在手上的惯性传感器采集多个空中手写字符动作传感信号，并且对这些空中手写字符动作传感信号分别标注出其所属字符，然后将它们分别作为惯性传感器输出信号进行数据预处理，得到训练样本集和验证样本集；S2、将训练样本集中的各训练样本作为参数初始化后的LSTM-RNN模型的输入对LSTM-RNN模型进行训练，并且在LSTM-RNN模型训练过程中，将验证样本集中的验证样本输入至迭代过程中训练得到的LSTM-RNN模型，根据验证样本集识别的错误率对迭代次数进行控制，得到最终的LSTM-RNN分类器；S3、通过佩带在手上的惯性传感器实时采集空中手写字符动作传感信号，然后将其作为惯性传感器输出信号进行数据预处理，得到测试样本，将测试样本输入至步骤S2中获取到的LSTM-RNN分类器，通过LSTM-RNN分类器识别出测试样本对应字符。2.根据权利要求1所述的基于惯性传感器的空中手写字符识别方法，其特征在于，惯性传感器采集的空中手写字符动作传感信号即惯性传感器输出信号包括三维加速度信号和三维角速度信号；各训练样本、验证样本和测试样本均为6维信号，包括三维数据预处理后的加速度信号和三维数据预处理后的角速度信号。3.根据权利要求2所述的基于惯性传感器的空中手写字符识别方法，其特征在于，所述步骤S1和步骤S3中惯性传感器输出信号进行数据预处理的过程如下：首先针对惯性传感器输出信号中的三维加速度信号的每一维加速度信号以及三维角速度信号的每一维角速度信号进行滑动平均滤波器处理，然后采用Z-score标准化针对上述通过滑动平均滤波器处理的每一维加速度信号和每一维角速度信号分别进行处理，使得每一维加速度信号和每一维角速度信号的均值为0且标准差为1。4.根据权利要求1所述的基于惯性传感器的空中手写字符识别方法，其特征在于，步骤S1中对LSTM-RNN模型进行参数初始化设定包括：设定LSTM-RNN模型的输入层神经元个数和各样本的信号维数相同；设定LSTM-RNN模型的输出层神经元的个数和字符类别数相同；设定输入层连接到隐藏层的权值Win的初值以及平均池化层到输出层的权值Wout的初值服从均匀分布U[-a,a]，其中a为边界值；设定隐藏层中每个神经元的细胞结构、遗忘门、输入门和输出门各自的输入权值矩阵Whidden_x和状态权值Whidden_h中各个元素的初值服从均值为0，方差为1的高斯分布N(0,1)；设定隐藏层的初始状态h、隐藏层的初始输出C、输入层连接到隐藏层的偏置bin、平均池化层到输出层的偏置bout的初值均为0；以及设定隐藏层中每个神经元的细胞结构、遗忘门、输入门和输出门各自的偏置bhidden的初值均为0。5.根据权利要求1所述的基于惯性传感器的空中手写字符识别方法，其特征在于，步骤S2通过梯度下降算法对LSTM-RNN模型进行训练，表...

【专利技术属性】
技术研发人员：薛洋，徐松斌，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44