空中书写处理方法及装置制造方法及图纸

本申请公开了一种空中书写处理方法及装置，其中，该方法包括：获取对应于用户空中书写过程中书写部件的运动轨迹的一系列节点；获取书写部件的运动信息，根据该运动信息，从一系列节点中，选择一个节点作为书写轨迹点集的起点，选择一个节点作为书写轨迹点集的终点；对书写轨迹点集进行识别，显示识别结果。本申请能够使得用户的书写更加方便和自然，并能够提高识别率。

【技术实现步骤摘要】

本申请涉及信息处理
，特别涉及一种空中书写处理方法及装置。
技术介绍
目前，例如手机、电脑等终端设备已经支持了手写输入功能。用户可以使用手指或手写笔(或操作笔)在这些终端设备的触摸屏上手动地输入想要输入的内容，终端能够通过触摸屏上感应到的轨迹，来进行识别。但是，这种方式必须依赖例如触摸屏这种输入介质才能完成。随着科学技术的不断进步，一种有别于上述传统手写方式的空中手写方式已经应运而生。空中手写，顾名思义，就是终端设备能够获取到用户使用手指或手写笔在不碰触显示屏的前提下书写的轨迹信息，并进行识别。通过空中手写，用户可以远距离向终端设备中输入内容。现有技术中提出了一种基于Kinect的空中手写方法，其中，Kinect是一种3D (三维)体感摄影机，具有即时动态捕捉、影像辨识、麦克风输入、语音辨识、和社群互动等功能。该方法主要包括如下步骤:步骤1、利用Kinect捕捉视频信息；步骤2、分析处理并分割视频信息，分割得到每一帧图像里面用户的手部；步骤3、对分割出来的手部进行指尖定位并且视为字符的一系列离散节点，完成一个字符的手写后，将这些节点拼接起来重构得到恢复的字符笔画，它被输入到一个字符识别引擎从而输出候选字；并且，对分割出来的手部提取形态特征，这些特征被用来作为手势检测的依据，一旦检测到指定的手势动作，系统将做出相应的响应操作。上述基于Kinect的空中手写方法存在以下问题:(I)用户需要使用特定手势五指张开变为单指，来标示一个字符输入的开始，以及使用特定手势单指变为五指张开，来标示一个字符输入的结束，使用不便。(2)重构得到的轨迹无法断笔，这使得在根据该轨迹进行识别时，对于某些有”(点)的字符，例如，i，j等，识别正确率不高。
技术实现思路
本申请提供了一种空中书写处理方法及装置，旨在解决现有技术中存在的上述问题至少之一。本申请的技术方案如下:一方面，提供了一种空中书写处理方法，包括:获取对应于用户空中书写过程中书写部件的运动轨迹的一系列节点；获取书写部件的运动信息，根据运动信息，从一系列节点中，选择一个节点作为书写轨迹点集的起点，选择一个节点作为书写轨迹点集的终点；对书写轨迹点集进行识别，显示识别结果。另一方面，还提供了一种空中书写处理装置，包括:获取模块，用于获取对应于用户空中书写过程中书写部件的运动轨迹的一系列节点；还用于获取书写部件的运动信息；选择模块，用于根据获取模块获取到的运动信息，从一系列节点中，选择一个节点作为书写轨迹点集的起点，选择一个节点作为书写轨迹点集的终点；识别模块，用于对书写轨迹点集进行识别，得到识别结果；显示模块，用于显示识别模块得到的识别结果。本申请的以上技术方案中，获取对应于用户空中书写过程中书写部件的运动轨迹的一系列节点，获取书写部件的运动信息，根据该运动信息，从一系列节点中，选择一个节点作为书写轨迹点集的起点，选择一个节点作为书写轨迹点集的终点，然后，对书写轨迹点集进行识别，显示识别结果。从而，通过分析书写部件的运动信息，能够自动地选择出书写轨迹点集的起点和终点，无需用户使用特定手势标示书写开始和结束，使得用户的书写更加方便和自然。【附图说明】图1是本申请实施例一的XYZ坐标系的示意图；图2是本申请实施例一的空中书写处理方法的流程图；图3是本申请实施例一的消除空中书写起始时由于用户抬手产生的冗余轨迹的过程示意图；图4是本申请实施例一的空中书写带有”笔画的字符时实现断笔的一种情况下的过程示意图；图5是本申请实施例一的空中书写带有”笔画的字符时实现断笔的另一种情况下的过程示意图；图6是本申请实施例一的各种编辑命令对应的手势、名称和操作定义的示意图；图7是本申请实施例一的上一次的识别结果正确时，用户连续书写的过程示意图；图8是本申请实施例一的从上一次的识别结果中删除部分字符的过程示意图；图9是本申请实施例一的向上一次的识别结果中插入至少一个字符的过程示意图；图10是本申请实施例一的将上一次的识别结果中的部分字符替换为其他字符的过程示意图；图11是本申请实施例一的确认上一次的识别结果正确的示意图；图12是本申请实施例一的当上一次的识别结果有多个候选项，且这些候选项需要至少两页显示时，用户通过翻页命令实现向前/后翻一页的过程示意图；图13是本申请实施例一的当上一次的识别结果有多个候选项时，用户通过选择命令选择对应的候选项的过程示意图；图14是本申请实施例二的空中书写处理装置的结构示意图。【具体实施方式】为了解决现有技术中存在的用户需要使用特定手势标示一个字符输入的开始和结束，使用不便的问题，以及，重构得到的轨迹无法断笔，使得在根据该轨迹进行识别时，对于某些有”(点)的字符，识别正确率不高的问题，本申请以下实施例中提供了一种空中书写处理方法，以及一种可以应用该方法的装置。本申请以下实施例中，定义了如图1所示的XYZ坐标系，XYZ坐标系中的XY平面与显示屏(执行实施例一的方法的装置，或实施例二中的空中书写处理装置的显示屏)位于同一水平面，X轴位于显示屏的水平方向，Y轴位于显示屏的竖直方向，Y轴正方向指向显示屏的下边沿，Z轴与XY平面垂直。实施例一如图2所示，本申请实施例的空中书写处理方法包括以下步骤:步骤S102，获取对应于用户空中书写过程中书写部件的运动轨迹的一系列节点；其中，书写部件可以是用户的手部或书写笔等。具体的，当书写部件是用户的手部时，实现步骤S102的方法可以包括以下步骤:步骤S1021:获取用户空中书写过程的深度图视频；其中，可以利用深度图像传感器或摄像设备获取深度图视频。深度图(D印th Map)是指场景中各点相对于深度图像传感器或摄像设备的距离，即深度图中的每一个像素值表示场景中某一点与深度图像传感器或摄像设备之间的距离。步骤S1022，依次从深度图视频中的每一帧图像中分割得到用户的手部，定位手部上的预定点的位置，得到一系列节点。其中，由于视频是由按照时间先后顺序排列的多个图像组成，因此，本步骤S1022中依次对深度图视频中的各个图像进行处理。具体的，从任一个图像中分割得到用户的手部，定位手部上的预定点的位置的方法包括以下步骤11-13:步骤11:对图像中的背景进行建模，并利用背景和人体(即用户)的运动信息将图像中的人体分割出来；步骤12:利用机器学习的方法从分割出的人体中找出手部；具体的，对人体的运动区域点进行采样，利用随机森林算法判断采样点是否属于手部，最终找到所有属于手部的采样点。步骤13:对所有属于手部的采样点进行mean-shift (均值漂移)聚类算法，找出手部上的预定点。其中，预定点可以是手心点或指尖点等。当预定点采用手心点时，定位手部上的手心点的位置时的定位结果最准确，且稳定性最好。步骤S104，获取书写部件的运动信息，根据该运动信息，从一系列节点中，选择一个节点作为书写轨迹点集的起点，选择一个节点作为书写轨迹点集的终点；步骤S106，对书写轨迹点集进行识别，显示识别结果。在步骤S106中，对书写轨迹点集进行平滑处理，并投影到与显示屏位于同一水平面的XY平面，之后，一方面，将处理后的书写轨迹点集送入识别引擎进行书写轨迹识别，并显示识别结果，另一方面，连接处理后的书写轨迹点集得到书写轨迹，并反馈给用户观看，使用户能明确本文档来自技高网...

【技术保护点】
一种空中书写处理方法，其特征在于，包括：获取对应于用户空中书写过程中书写部件的运动轨迹的一系列节点；获取所述书写部件的运动信息，根据所述运动信息，从所述一系列节点中，选择一个节点作为书写轨迹点集的起点，选择一个节点作为书写轨迹点集的终点；对所述书写轨迹点集进行识别，显示识别结果。

【技术特征摘要】

【专利技术属性】
技术研发人员：陈首名，吴兴龙，杜小毅，罗恒亮，
申请(专利权)人：北京三星通信技术研究有限公司，三星电子株式会社，
类型：发明
国别省市：北京;11