一种数字-英文全字符三维书写识别方法及系统技术方案

本发明专利技术涉及一种数字

【技术实现步骤摘要】
一种数字
‑
英文全字符三维书写识别方法及系统


[0001]本专利技术涉及字符识别领域，特别是涉及一种数字
‑
英文全字符三维书写识别方法及系统。

技术介绍

[0002]伴随着增强现实(Augmented Reality，AR)、虚拟现实(Virtual Reality，VR)，可穿戴设备，智能家居以及人机交互(human
‑
machine interaction)的兴起与发展，通过手势识别进行人机交互已经成为智能终端产业的热点和必备要素。由于惯性传感器/惯性测量单元(Inertial MeasurementUnit，IMU)在数据采集时不受光线、遮挡、噪音等外界环境的影响，因此基于惯性传感器的手势识别任务具有非常广阔的应用前景。其中低成本惯性传感器具有体积小，功耗低，可穿戴性强的优势，可以广泛应用于各种生活场景，但同时由于其成本低廉，其品质和性能参差不齐，所采集的IMU数据中往往包含有严重的误差干扰，进而造成轨迹还原，运动追踪，手势识别等任务的效果很难令人满意。近年来，学者们对于惯性传感器手势识别任务的研究往往集中在对简单手势进行分类等基础功能上，且其识别方法无法适应于不同个体的手势习惯，扩展性较差。
[0003]作为手势识别领域最具有挑战性的任务，基于IMU的空中书写识别有着广阔的应用前景，借助集成于手机、手表、手环中的低成本IMU，用户可以通过书写字符实现语义信息的表达。然而，待识别的字符数量众多，26个英文字符大小写加上10个阿拉伯数字，至少62个字符才能构成一套完整的语义表达系统。因此，基于惯性传感器构建一套面向英文大小写+数字的62字符3D书写语义识别系统难度很大。
[0004]62个字符在不同书写习惯、书写不规范、传感器误差严重的条件下是极难区分的。首先，很多字符的大小写形态本来就是一样的，如：C
‑
c、O
‑
o、S
‑
s、Z
‑
z等；第二，IMU对空中书写过程的采集是包括连笔在内的，这使得有些字符的运动过程具有很高的相似度，如e
‑
t、V
‑
r、k
‑
R、9
‑
q、h
‑
n、T
‑
7、i
‑
7等；第三，不同个体的书写习惯大相径庭，这使得原本易于区分的字符书写过程十分相似，如：b
‑
6、a
‑
x、M
‑
u、等；第四，由于用户书写过程中无法实时看到运动轨迹，或书写过程比较随意，因此书写往往是不规范的，这也会使得很多字符的书写运动过程十分相近，如：4
‑
6、1
‑
l、U
‑
u、W
‑
w、P
‑
p、D
‑
b、0
‑
6等。在这些原因的综合作用下，基于IMU的超高精度书写识别很难被实现。

技术实现思路

[0005]本专利技术的目的是提供一种数字
‑
英文全字符三维书写识别方法及系统，能够准确实现基于任意IMU，在任意书写习惯下的数字
‑
英文全字符手写识别，进而能够实现高精度的人机交互与远程控制。
[0006]为实现上述目的，本专利技术提供了如下方案：
[0007]一种数字
‑
英文全字符三维书写识别方法，包括：
[0008]获取待识别的IMU信号；
[0009]对待识别的IMU信号采用变分模态分解、时间序列
‑
复杂网络转换方法以及小波变换进行信号增强；
[0010]根据增强后的待识别的IMU信号确定3D运动轨迹。
[0011]可选地，所述对待识别的IMU信号采用变分模态分解、时间序列
‑
复杂网络转换方法以及小波变换进行信号增强，具体包括：
[0012]对待识别的IMU信号进行变分模态分解，得到多个IMF分量；
[0013]将每个IMF分量转换为复杂网络；
[0014]根据复杂网络的确定性指标，确定每个IMF分量的随机性；
[0015]对每轴IMU信号中随机性最强的IMF分量进行小波阈值降噪；
[0016]利用降噪后的IMF分量和未降噪的IMF分量对IMU信号进行重建，确增强后的待识别的IMU信号。
[0017]可选地，所述对待识别的IMU信号采用变分模态分解、时间序列
‑
复杂网络转换方法以及小波变换进行信号增强，具体还包括：
[0018]根据当前信号增强后的待识别的IMU信号确定世界坐标系下的XYZ三轴速度；
[0019]判断当前信号增强后的待识别的IMU信号的世界坐标系下XYZ三轴速度在起始时刻与终止时刻的差值是否小于上一次信号增强后的待识别的IMU信号的世界坐标系下XYZ三轴速度在起始时刻与终止时刻的差值；
[0020]若小于，则判断是否达到循环上界；
[0021]若未达到循环上界，则进行采用变分模态分解、时间序列
‑
复杂网络转换方法以及小波变换进行信号增强，并返回所述根据当前信号增强后的待识别的IMU信号确定世界坐标系下的XYZ三轴速度的步骤；
[0022]若达到循环上界，则输出当前信号增强后的待识别的IMU信号；
[0023]若等于或大于，则输出上一次信号增强后的待识别的IMU信号。
[0024]可选地，所述根据增强后的待识别的IMU信号确定3D运动轨迹，之后还包括：
[0025]根据3D运动轨迹和2D卷积神经网络确定第一识别模型；根据待识别的IMU信号和1D卷积神经网络确定第二识别模型；
[0026]对第一识别模型和第二识别模型采用合作学习和竞争学习，确定识别结果。
[0027]可选地，所述对第一识别模型和第二识别模型采用合作学习和竞争学习，确定识别结果，具体包括：
[0028]采用JS散度确定第一识别模型和第二识别模型的识别结果分布之间的差异；
[0029]根据所述差异确定合作损失函数；
[0030]分别确定第一识别模型的竞争力和第二识别模型的竞争力；
[0031]根据第一识别模型的竞争力和第二识别模型的竞争力确定第一识别模型和第二识别模型的合作模型；合作模型包括学生模型或教师模型。
[0032]可选地，所述根据所述差异确定合作损失函数，具体包括：
[0033]利用公式Loss
cooperation
＝JS(y
spatial
,y
time
)确定合作损失函数Loss
cooperation
；
[0034]其中，y
spatial
为第一识别模型的识别结果，y
time
为第二识别模型的识别结果，JS()为JS散度函数。
[0035]可选本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数字
‑
英文全字符三维书写识别方法，其特征在于，包括：获取待识别的IMU信号；对待识别的IMU信号采用变分模态分解、时间序列
‑
复杂网络转换方法以及小波变换进行信号增强；根据增强后的待识别的IMU信号确定3D运动轨迹。2.根据权利要求1所述的一种数字
‑
英文全字符三维书写识别方法，其特征在于，所述对待识别的IMU信号采用变分模态分解、时间序列
‑
复杂网络转换方法以及小波变换进行信号增强，具体包括：对待识别的IMU信号进行变分模态分解，得到多个IMF分量；将每个IMF分量转换为复杂网络；根据复杂网络的确定性指标，确定每个IMF分量的随机性；对每轴IMU信号中随机性最强的IMF分量进行小波阈值降噪；利用降噪后的IMF分量和未降噪的IMF分量对IMU信号进行重建，确增强后的待识别的IMU信号。3.根据权利要求2所述的一种数字
‑
英文全字符三维书写识别方法，其特征在于，所述对待识别的IMU信号采用变分模态分解、时间序列
‑
复杂网络转换方法以及小波变换进行信号增强，具体还包括：根据当前信号增强后的待识别的IMU信号确定世界坐标系下的XYZ三轴速度；判断当前信号增强后的待识别的IMU信号的世界坐标系下XYZ三轴速度在起始时刻与终止时刻的差值是否小于上一次信号增强后的待识别的IMU信号的世界坐标系下XYZ三轴速度在起始时刻与终止时刻的差值；若小于，则判断是否达到循环上界；若未达到循环上界，则进行采用变分模态分解、时间序列
‑
复杂网络转换方法以及小波变换进行信号增强，并返回所述根据当前信号增强后的待识别的IMU信号确定世界坐标系下的XYZ三轴速度的步骤；若达到循环上界，则输出当前信号增强后的待识别的IMU信号；若等于或大于，则输出上一次信号增强后的待识别的IMU信号。4.根据权利要求1所述的一种数字
‑
英文全字符三维书写识别方法，其特征在于，所述根据增强后的待识别的IMU信号确定3D运动轨迹，之后还包括：根据3D运动轨迹和2D卷积神经网络确定第一识别模型；根据待识别的IMU信号和1D卷积神经网络确定第二识别模型；对第一识别模型和第二识别模型采用合作学习和竞争学习，确定识别结果。5.根据权利要求4所述的一种数字
‑
英文全字符三维书写识别方法，其特征在于，所述对第一识别模型和第二识别模型采用合作学习和竞争学习，确定识别结果，具体包括：采用JS散度确定第一识别模型和第二识别模型的识别结果分布之间的差异；根据所述差异确定合作损...

【专利技术属性】
技术研发人员：赵毅，王一峰，
申请(专利权)人：哈尔滨工业大学深圳，
类型：发明
国别省市：