一种实时识别连续手写图形的方法技术

本发明专利技术提出一种实时识别连续手写图形的方法，所述方法对采集后的图像进行关键点手势的识别，利用关键点坐标和数据队列形成一个矩阵，并将矩阵输入到两个长短期记忆网络中，从而根据不稳态图形和概率分布输出判断出的图形。所述方法速度快，实时性强，完整写完第一个图形后，即可输出，无需像其他方法需要等待所有轨迹写完才能识别，并且准确率高。

【技术实现步骤摘要】
一种实时识别连续手写图形的方法
本专利技术属于手写识别
，特别是涉及一种实时识别连续手写图形的方法。
技术介绍
图形识别领域属于手写识别领域的范畴。在手写识别的领域中，已经成熟的技术有单汉字手写识别，字母识别，数字识别。手写识别领域中从单一的多笔画单字识别增强到连笔画单字识别，并在手机上广泛应用，手写字母识别，但没有较为优秀的手写单词识别。手写数字识别则是学习机器学习的入门课程，可以用许多的方法解决。基于图像的手写图形识别基本上可以解释为从图像中符合要求的手势中找到关键点，根据连续图像的关键点轨迹合成图像后进行判断，这和触摸屏上的手写图形识别有类似的的原理。但实际应用当中，触摸屏上的手写识别是写完一个图形后有一个抬起笔的操作的判断，从而确定一个字已经写完，并进行识别。图像上则不同，因为在手势不切换的情况下，图像关键点一般为连续的，单一图形识别可以进行传统的识别方法。而连续图形的识别，困难点有如下几项：若分割后逐一识别：采用内部分割出图形，然后识别图形组成结果进行输出，因为在连续输入的情况下，需要算法自己去判断分割点，分割点过早或过晚都有可能造成识别偏差。若整体识别，则会因为排列组合的问题导致状态空间过于庞大，无法通过算法进行较好的模拟，算法实现难度非常大。识别时机若是在整个手势结束后进行，则有可能出现手势持续时间过长导致的算法消耗过大，无法识别的问题，并且实时性差，需要在所有图形写完后才能出现结果。
技术实现思路
本专利技术目的是为了解决现有技术中的问题，提出了一种实时识别连续手写图形的方法。本专利技术是通过以下技术方案实现的，本专利技术提出一种实时识别连续手写图形的方法，初始化准备：建立一个数据队列，队列内容为数据关键点的图像坐标，初始化状态为等待状态；所述方法包括以下步骤：步骤1、通过图像采集工具采集图像；步骤2、通过图像处理方法在图像中识别出手势为可识别关键点的手势，此时设置当前状态为识别状态，执行步骤3；步骤3、获取手势中关键点坐标，若当前所述关键点的图像坐标与上一点的坐标的距离超过第一阈值，则将所述关键点存储到数据队列中，否则，舍弃识别结果并返回步骤1；步骤4、将数据队列中的所有关键点形成一条不规则的曲线，并将曲线平滑处理；步骤5、判断数据队列中的关键点所形成的曲线长度是否超过第二阈值，若超过则执行步骤6，否则执行步骤1；步骤6、将曲线等比例压缩到一个固定大小的正方形区域内；步骤7、将曲线进行等自定义长度的分割，并重新确定所有关键点坐标，组成新的数据队列；步骤8、若新生成的数据队列关键点个数小于第三阈值，则在新生成的数据队列中填充与最后一个有效关键点相同的点，直至填满个数至第三阈值，截取整个数据队列中的关键点数据，若新生成的数据队列关键点个数大于等于第三阈值，则截取n个关键点数据，n等于第三阈值；步骤9、将截取后的关键点数据整合为一个矩阵，识别当前状态，若当前状态处于识别状态，则将所述矩阵输入到第一长短期记忆网络，获得N个手势图形加上不稳态图形共N+1个图形的离散型概率分布，若不稳态图形的概率持续小于第六阈值且概率最大的图形持续为同一图形，且持续过程中有效关键点增长数大于第七阈值，则判断当前书写的图形为概率最大的图形，并将数据队列中在稳定起始点前的数据删除，输出判断出的图形，返回步骤1，否则返回步骤1；若当前状态处于停止状态，则将所述矩阵输入到第二长短期记忆网络，获得N个手势图形共N个图形的离散型概率分布，若概率最高的图形的概率大于第八阈值时，则输出判断出的图形，返回步骤1，否则直接返回步骤1。进一步地，在步骤2中，若通过图像处理方法在图像中未识别出手势为可识别关键点的手势，且当前处于识别状态下，则计算第一帧未识别手势到当前的时间，若一直丢失手势，且丢失事件持续时间超过第四阈值，则设置当前状态为停止状态，执行步骤3，否则返回步骤1。进一步地，在步骤2中，若通过图像处理方法在图像中未识别出手势为可识别关键点的手势，且当前没有处于识别状态的同时上一帧状态为停止状态，则设置当前状态为等待状态，返回步骤1。进一步地，在步骤2中，若通过图像处理方法在图像中未识别出手势为可识别关键点的手势，且当前没有处于识别状态的同时上一帧状态为等待状态，则返回步骤1。本专利技术提出的方法适合在需要连续输入图形手势轨迹(连续图像)的情况下的图形识别。所述方法速度快，实时性强，完整写完第一个图形后，即可输出，无需像其他方法需要等待所有轨迹写完才能识别，并且准确率高，测试，分割准确率高达95％以上，判断准确率在99％以上，而且延展性好，本专利技术所述方法在不同的领域同样可以适用。附图说明图1为本专利技术所述的实时识别连续手写图形的方法流程图。具体实施方式下面将结合本专利技术实施例中的附图对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。结合图1，本专利技术提出一种实时识别连续手写图形的方法，初始化准备：建立一个数据队列，队列内容为数据关键点的图像坐标，初始化状态为等待状态；所述方法包括以下步骤：步骤1、通过图像采集工具采集图像；步骤2、通过图像处理方法在图像中识别出手势为可识别关键点的手势，此时设置当前状态为识别状态，执行步骤3；步骤3、获取手势中关键点坐标，若当前所述关键点的图像坐标与上一点的坐标的距离超过第一阈值，则将所述关键点存储到数据队列中，否则，舍弃识别结果并返回步骤1；步骤4、将数据队列中的所有关键点形成一条不规则的曲线，并将曲线平滑处理；步骤5、判断数据队列中的关键点所形成的曲线长度是否超过第二阈值，若超过则执行步骤6，否则执行步骤1；步骤6、将曲线等比例压缩到一个固定大小的正方形区域内；步骤7、将曲线进行等自定义长度的分割，并重新确定所有关键点坐标，组成新的数据队列；步骤8、若新生成的数据队列关键点个数小于第三阈值，则在新生成的数据队列中填充与最后一个有效关键点相同的点，直至填满个数至第三阈值，截取整个数据队列中的关键点数据，若新生成的数据队列关键点个数大于等于第三阈值，则截取n个关键点数据，n等于第三阈值；步骤9、将截取后的关键点数据整合为一个矩阵，识别当前状态，若当前状态处于识别状态，则将所述矩阵输入到第一长短期记忆网络，获得N个手势图形加上不稳态图形共N+1个图形的离散型概率分布，若不稳态图形的概率持续小于第六阈值且概率最大的图形持续为同一图形，且持续过程中有效关键点增长数大于第七阈值，则判断当前书写的图形为概率最大的图形，并将数据队列中在稳定起始点前的数据删除，输出判断出的图形，返回步骤1，否则返回步骤1；若当前状态处于停止状态，则将所述矩阵输入到第二长短期记忆网络，获得N个手势图形共N个图形的离散型概率分布，若概本文档来自技高网...

【技术保护点】
1.一种实时识别连续手写图形的方法，其特征在于：初始化准备：建立一个数据队列，队列内容为数据关键点的图像坐标，初始化状态为等待状态；所述方法包括以下步骤：/n步骤1、通过图像采集工具采集图像；/n步骤2、通过图像处理方法在图像中识别出手势为可识别关键点的手势，此时设置当前状态为识别状态，执行步骤3；/n步骤3、获取手势中关键点坐标，若当前所述关键点的图像坐标与上一点的坐标的距离超过第一阈值，则将所述关键点存储到数据队列中，否则，舍弃识别结果并返回步骤1；/n步骤4、将数据队列中的所有关键点形成一条不规则的曲线，并将曲线平滑处理；/n步骤5、判断数据队列中的关键点所形成的曲线长度是否超过第二阈值，若超过则执行步骤6，否则执行步骤1；/n步骤6、将曲线等比例压缩到一个固定大小的正方形区域内；/n步骤7、将曲线进行等自定义长度的分割，并重新确定所有关键点坐标，组成新的数据队列；/n步骤8、若新生成的数据队列关键点个数小于第三阈值，则在新生成的数据队列中填充与最后一个有效关键点相同的点，直至填满个数至第三阈值，截取整个数据队列中的关键点数据，若新生成的数据队列关键点个数大于等于第三阈值，则截取n个关键点数据，n等于第三阈值；/n步骤9、将截取后的关键点数据整合为一个矩阵，识别当前状态，若当前状态处于识别状态，则将所述矩阵输入到第一长短期记忆网络，获得N个手势图形加上不稳态图形共N+1个图形的离散型概率分布，若不稳态图形的概率持续小于第六阈值且概率最大的图形持续为同一图形，且持续过程中有效关键点增长数大于第七阈值，则判断当前书写的图形为概率最大的图形，并将数据队列中在稳定起始点前的数据删除，输出判断出的图形，返回步骤1，否则返回步骤1；若当前状态处于停止状态，则将所述矩阵输入到第二长短期记忆网络，获得N个手势图形共N个图形的离散型概率分布，若概率最高的图形的概率大于第八阈值时，则输出判断出的图形，返回步骤1，否则直接返回步骤1。/n...

【技术特征摘要】
1.一种实时识别连续手写图形的方法，其特征在于：初始化准备：建立一个数据队列，队列内容为数据关键点的图像坐标，初始化状态为等待状态；所述方法包括以下步骤：
步骤1、通过图像采集工具采集图像；
步骤2、通过图像处理方法在图像中识别出手势为可识别关键点的手势，此时设置当前状态为识别状态，执行步骤3；
步骤3、获取手势中关键点坐标，若当前所述关键点的图像坐标与上一点的坐标的距离超过第一阈值，则将所述关键点存储到数据队列中，否则，舍弃识别结果并返回步骤1；
步骤4、将数据队列中的所有关键点形成一条不规则的曲线，并将曲线平滑处理；
步骤5、判断数据队列中的关键点所形成的曲线长度是否超过第二阈值，若超过则执行步骤6，否则执行步骤1；
步骤6、将曲线等比例压缩到一个固定大小的正方形区域内；
步骤7、将曲线进行等自定义长度的分割，并重新确定所有关键点坐标，组成新的数据队列；
步骤8、若新生成的数据队列关键点个数小于第三阈值，则在新生成的数据队列中填充与最后一个有效关键点相同的点，直至填满个数至第三阈值，截取整个数据队列中的关键点数据，若新生成的数据队列关键点个数大于等于第三阈值，则截取n个关键点数据，n等于第三阈值；
步骤9、将截取后的关键点数据整合为一个矩阵，识别当前状态，若当前状态处于识别状态，则将所述矩阵输入到第一长短期记忆网络，获得N个手势...

【专利技术属性】
技术研发人员：杜国铭，李文越，冯大志，
申请(专利权)人：哈尔滨拓博科技有限公司，
类型：发明
国别省市：黑龙;23