用于识别在线手写的系统技术方案

本发明专利技术涉及一种用于识别在线手写的系统(1)，其包括：

【技术实现步骤摘要】
【国外来华专利技术】用于识别在线手写的系统
[0001]本申请要求2020年10月26日提交的欧洲专利申请EP20306281.5，权利要求1
‑
8的部分优先权，此内容以引用的方式并入本文中。


[0002]本公开涉及用于识别在线手写的系统的领域。更确切地，本公开涉及用于手写的在线和连续识别的系统的领域。

技术介绍

[0003]当前，存在用于识别用户的手写的若干系统或方法。一种类型的手写识别，被称为在线手写识别，由在用户正书写字符或字符序列的同时执行对所述字符或字符序列的识别组成。另一类型的手写识别，被称为离线手写识别，是基于对展示文本的图片的分析。
[0004]举例来说，从专利文献US10126825已知，通过使用例如移动终端的装置和作为加速度计、陀螺仪和磁力计的三个传感器来执行在线手写识别。该文献中所描述的方法使用双向长短期记忆(BLSTM)类型的神经网络。将由三个传感器获取的数据提交到若干预处理，以便由神经网络分析。此外，使用含有预定字词的词典训练神经网络。神经网络经训练以使得其能够识别正被书写的字词的开端和结尾，并且在此基础上，神经网络能够确定词典中的哪一字词已被书写。此方法的一个缺点在于使用三个传感器，这导致装置构建花费高昂。该文献的另一缺点在于神经网络经训练以识别预定字词。识别不是连续进行的。
[0005]还从谢(Xie)等人于2018年8月在IEEE模式分析和机器智能汇刊(IEEE Transactions on Pattern Analysis and Machine Intelligence)中发表的科学出版物通过用于在线手写中文文本识别的全卷积递归网络学习空间语义上下文(Learning Spatial
‑
Semantic Context with Fully Convolutional Recurrent Network for Online Handwritten Chinese Text Recognition)已知一种用于检测在线手写的方法。所述方法使用四个神经网络：多空间上下文全卷积递归网络(MC
‑
FCRN)、全卷积网络(FCN)、长短期记忆(LSTM)和联结主义时间分类(CTC)。对神经网络进行联合训练。所述方法使用应用于减少的数据窗上的路径签名方法。本出版物并不描述如何有效地获取数据，但使用路径签名方法意味着使用位置传感器，如相机或触摸屏。另一缺点是需要使用四个神经网络，每一神经网络与前一神经网络的条目进行链式训练。
[0006]还从刘(Liu)等人于2020年在ArXiv中发表的出版物使用卷积神经网络的离线手写中文文本识别(Offline Handwritten Chinese Text Recognition with Convolutional Neural Networks)已知一种用于离线手写识别的方法，所述方法将文本行图像切割成小时间步，然后将所述小时间步馈送到特征提取器神经网络中。然而，本出版物执行离线手写识别，其不适于在线手写识别。

技术实现思路

[0007]本公开的一个目的是改进该情形。
[0008]提出一种用于识别在线手写的系统，其包括：
[0009]‑
手写仪器，其包含在第一端部与第二端部之间纵向延伸的主体，第一端部具有能够在支撑件上进行书写的书写尖端，手写仪器进一步包含模块，所述模块包括至少一个运动传感器，所述运动传感器被配置成在用户正使用手写仪器书写字符序列时获取关于用户的手写的运动数据，
[0010]‑
计算单元，其与至少一个运动传感器通信且被配置成通过以多任务方式训练的机器学习模型分析所获取运动数据，机器学习模型被配置成将由用户使用手写仪器书写的字符序列作为输出进行递送。
[0011]在实施例中，模块嵌入在手写仪器的第二端部中。
[0012]在实施例中，模块不同于手写仪器，即，所述模块是单独的元件。模块可放置在手写仪器的第二端部的外部表面上。
[0013]在实施例中，模块进一步包括计算单元。
[0014]在实施例中，模块进一步包含短程无线电通信接口，其被配置成经由移动装置的通信接口将由运动传感器获取的原始运动数据传达到包括计算单元的移动装置。
[0015]在实施例中，运动传感器是三轴加速度计。
[0016]在实施例中，模块进一步包括第二运动传感器，其是三轴陀螺仪。
[0017]在实施例中，字符序列中的字符包括数字和/或字母。
[0018]本文中所公开的系统可在一种用于识别在线手写的方法中使用，所述方法包括：
[0019]‑
在用户正使用手写仪器书写字符序列时经由手写仪器获取关于用户的手写的运动数据，所述手写仪器包括一模块，所述模块包括至少一个运动传感器，所述手写仪器进一步包含在第一端部与第二端部之间纵向延伸的主体，第一端部具有能够在支撑件上进行书写的书写尖端，
[0020]‑
使用以多任务方式训练的机器学习模型分析所获取运动数据，机器学习模型被配置成将由用户使用手写仪器书写的字符序列作为输出进行递送。
[0021]在实施例中，方法进一步包括机器学习模型的多任务训练的先前步骤，其中机器学习模型经训练以执行：
[0022]‑
笔划分割任务，
[0023]‑
字符分类任务。
[0024]在实施例中，笔划分割任务包括在以下类别中的至少一个中标记所获取运动数据的样本：
[0025]‑
纸上笔划，
[0026]‑
空中移动。
[0027]在实施例中，所获取运动数据在用于笔划分割任务中之前通过以下操作进行预处理：
[0028]‑
在N个样本的时间帧中将原始运动数据窗口化，所述时间帧中的每一样本被标记在纸上笔划和/或空中移动中的一个中。
[0029]在实施例中，空中移动标记包括至少两个子标记：
[0030]‑
前向空中移动，
[0031]‑
后向空中移动。
[0032]在实施例中，一旦训练，就存储机器学习模型，方法进一步包括使用经训练机器学习模型连续地且实时地分析所获取运动数据。
附图说明
[0033]将在以下详细描述和附图中展示其它特征、细节和优点，其中：
[0034]图1
[0035][图1]展示根据第一实施例的用于检测手写问题的系统的图示。
[0036]图2
[0037][图2]展示图1中所示出的系统的框图。
[0038]图3
[0039][图3]展示根据第二实施例的用于检测手写问题的系统的图示。
[0040]图4
[0041][图4]展示图3中所示出的系统的框图。
[0042]图5
[0043][图5]展示根据第三实施例的用于检测手写问题的系统的图示。
[0044]图6
[0045][图6]展示图5中所示出的系统的框图。本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于识别在线手写的系统(1)，其包括：
‑
手写仪器(2)，其包含在第一端部(4)与第二端部(5)之间纵向延伸的主体(3)，所述第一端部(4)具有能够在支撑件上进行书写的书写尖端(6)，所述手写仪器(2)进一步包含模块(17)，所述模块包括至少一个运动传感器(7)，所述运动传感器被配置成在用户正使用所述手写仪器(2)书写字符序列时获取关于所述用户的手写的运动数据，
‑
计算单元(8)，其与所述至少一个运动传感器(7)通信且被配置成通过机器学习模型分析所述运动数据，所述机器学习模型以多任务方式进行训练，使得其能够同时执行至少两个任务，所述机器学习模型被配置成将由所述用户使用所述手写仪器书写的所述字符序列作为输出进行递送。2.根据权利要求1所述的系统(1)，其特征在于，所述模块(17)嵌入在所述手写仪器的所述第二端部(5)中。3.根据权利要求1或2中任一项所述的系统，其特征在于，所述模块(17)放置在所述手写仪器(2)的所述第二端部(5)的外部表面上。4.根据权利要求1至3中任一项所述的系统，其特征在于，所述模块(17)进一步包括所述计算单元(8)。5.根据权利要求1至3中任一项所述的系统(1)，其特征在于，所述模块(17)进一步包含短程无线电通信接口(9)，其被配置成经由移动装置(11)的通信接口(12)将由所述运动传感器(7)获取的原始运动数据传达到包括所述计算单元(8)的所述移动装置(11)。6.根据权利要求1至5中任一项所述的系统(1)，其特征在于，所述运动传感器(7)是三轴加速度计。7.根据权利要求6所述的系统(1)，其特征在于，所述模块(17)进一步包括第二运动传感器(7)，所述第二运动传感器是三轴陀螺仪。8.根据权利要求1至7中任一项所...

【专利技术属性】
技术研发人员：埃里克，
申请(专利权)人：毕克有限公司，
类型：发明
国别省市：