用于识别空中手写的方法、装置、设备以及计算机可读存储介质制造方法及图纸

根据本公开的示例实施例，提供了一种用于识别空中手写的方法、装置、设备以及计算机可读存储介质。方法包括检测二维灰度图像中的用户的手掌区域并且基于手掌区域来检测二维灰度图像中的指尖。方法还包括基于一组二维灰度图像来确定指尖的空间轨迹并且基于空间轨迹来识别用户的手写内容。本公开的实施例使用二维的灰度图像来识别并跟踪指尖的空间轨迹，能够加快空中手写识别的速度，并且对设备的处理性能要求较低，同时还能保证较高的准确率。

【技术实现步骤摘要】
用于识别空中手写的方法、装置、设备以及计算机可读存储介质
本公开的实施例总体上涉及图像处理领域，并且更具体地涉及用于识别空中手写的方法、装置、设备以及计算机可读存储介质。
技术介绍
随着移动互联网和人工智能技术的快速发展，越来越多的电子设备开始具有图像采集和识别能力。例如，智能手机通常具有前置摄像头和后置摄像头，其能用来捕获图像以用于图像呈现和/或识别处理。除了智能手机之外，智能可穿戴设备(诸如智能手表)和智能家居(诸如智能电视)等智能终端上也可以设置能够捕获图像的摄像头。一般来说，可以通过物理键盘或虚拟键盘的方式向设备输入字符，此外，还可以通过手写来输入字符，例如，在触摸屏或触摸板表面进行平面书写。平面书写需要用户将手或笔接触到触摸表面，因而用户体验并不好，一种新的手写方式是空中手写，诸如凌空手写。空中书写能够给用户提供自由的三维书写空间，因而具有更好的用户体验。
技术实现思路
根据本公开的示例实施例，提供了一种用于识别空中手写的方法、装置、设备以及计算机可读存储介质。在本公开的第一方面中，提供了一种用于识别空中手写的方法。该方法包括：检测二维灰度图像中的用户的手掌区域；基于手掌区域，检测二维灰度图像中的指尖；基于一组二维灰度图像，确定指尖的空间轨迹，其中一组二维灰度图像包括该二维灰度图像；以及基于空间轨迹，识别用户的手写内容。在本公开的第二方面中，提供了一种用于识别空中手写的装置。该装置包括：手掌确定模块，被配置为检测二维灰度图像中的用户的手掌区域；指尖检测模块，被配置为基于手掌区域，检测二维灰度图像中的指尖；轨迹跟踪模块，被配置为基于一组二维灰度图像，确定指尖的空间轨迹，其中一组二维灰度图像包括二维灰度图像；以及轨迹识别模块，被配置为基于空间轨迹，识别用户的手写内容。在本公开的第三方面中，提供了一种电子设备，其包括一个或多个处理器以及存储装置，其中存储装置用于存储一个或多个程序。一个或多个程序当被一个或多个处理器执行，使得电子设备实现根据本公开的实施例的方法或过程。在本公开的第四方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的实施例的方法或过程。应当理解，本
技术实现思路
部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。附图说明结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：图1示出了根据本公开的实施例的用于识别空中手写的示例环境的示意图；图2示出了根据本公开的实施例的用于识别空中手写的方法的流程图；图3示出了根据本公开的实施例的用于指尖识别的方法的流程图；图4示出了根据本公开的实施例的用于轨迹识别的方法的流程图；图5示出了根据本公开的实施例的用于手势识别的方法的流程图；图6示出了根据本公开的实施例的用于识别空中手写的装置的框图；以及图7示出了能够实施本公开的多个实施例的电子设备的框图。具体实施方式下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其他明确的和隐含的定义。传统地，为了实现对空中手写的识别，通常需要使用摄像头采集的深度图像或者彩色图像，并且基于对深度图像或彩色图像进行处理来识别空中手写轨迹。深度图像通常需要专用摄像头或者摄像头阵列来实现，一般的消费者电子设备上可能并不具有。彩色图像由于存在多通道信息，其识别处理速度较慢，而例如对于智能手表和智能家居等处理能力有限的设备来说，会造成较大的处理负担并且速度缓慢。本公开的实施例提出了一种用于识别空中手写的方案。本公开的实施例使用二维的灰度图像来识别并且跟踪指尖的空间轨迹，二维灰度图像的处理速度通常较快，因而能够加快空中手写识别的速度，并且对设备的处理性能要求较低，同时还能保证较高的准确率。此外，本公开的空中手写识别方案不仅可用于输入法的字符输入，也可以用于其他电子设备的智能交互和/或输入。此外，本公开的一些实施例在指尖识别和/或手势识别过程中，采用包围盒跟踪的方式，能够减少检测的计算量，提高计算速度。另外，本公开的一些实施例将传统的8方向特征检测与深度神经网络(DNN)相结合，因而能够提高轨迹识别的准确率。以下将参考附图1-7详细描述本公开的一些示例实现。图1示出了根据本公开的实施例的用于识别空中手写的示例环境100的示意图。在环境100中，电子设备110可以正在处于手写检测状态，其中电子设备包括摄像头111(其例如可以为单目摄像头等)。电子设备110还包括用于获得指尖的空间轨迹的指尖识别模块112、用于识别空间轨迹的轨迹识别模块114以及用于识别手势类型的手势识别模块116。应当理解，电子设备110可以为具有摄像功能的任何电子设备，诸如智能手机、笔记本电脑、智能手表、智能电视、智能音箱，等等，摄像头111可以为电子设备内置的摄像头，也可以是外接的摄像头。电子设备110在需要接收手写输入的情况下，可以被配置为处于手写检测状态。电子设备110的摄像头111检测其摄像范围内的画面，例如，在环境100中摄像头111正在检测用户120的空中手写。接下来，将摄像头111所采集的图像发送到手势识别模块116，在手势识别模块116检测到开始手势之后，指尖识别模块112可以开始检测用户指尖的空间轨迹，并且轨迹识别模块114对检测到的空间轨迹进行识别以确定用户的手写内容。根据本公开的实施例的指尖识别模块112使用二维灰度图像来识别并且跟踪指尖的空间轨迹，能够加快空中手写识别的速度，并且对设备的处理性能要求较低，同时还能保证较高的准确率。图2示出了根据本公开的实施例的用于识别空中手写的方法200的流程图。应当理解，根据本公开的实施例的方法200可以由图1所描述的电子设备110来执行。空中手写是指手指尖不触碰触摸屏或触摸笔的书写方式，通过追踪用户手指尖在空中的书写轨迹，能够识别出对应的字符。在框202，检测二维灰度图像中的用户的手掌区域。例如，指尖识别模块112可以将通过电子设备110的摄像头111采集的二维彩色图像转换成(例如灰度化)二维灰度图像，由于灰度图像的计算量比深度图像或彩色图像更小，并且对设备的要求更低，因而能够加快指尖轨迹的检测速度。在框204，基于手掌区域，检测二维灰度图像中的指尖。例如，指尖识别模块112在提取手掌区域之后再检测二维灰度图像中的指尖关键点。在框206，基于一组二维灰度图像，确定指尖的空间轨迹，其中这一组二维灰度图像包括第一帧的二维灰度图像。例如，指尖识别模块112进一步通过多幅二维灰度图像，识本文档来自技高网...

【技术保护点】
1.一种用于识别空中手写的方法，包括：检测二维灰度图像中的用户的手掌区域；基于所述手掌区域，检测所述二维灰度图像中的指尖；基于一组二维灰度图像，确定所述指尖的空间轨迹，所述一组二维灰度图像包括所述二维灰度图像；以及基于所述空间轨迹，识别所述用户的手写内容。

【技术特征摘要】
1.一种用于识别空中手写的方法，包括：检测二维灰度图像中的用户的手掌区域；基于所述手掌区域，检测所述二维灰度图像中的指尖；基于一组二维灰度图像，确定所述指尖的空间轨迹，所述一组二维灰度图像包括所述二维灰度图像；以及基于所述空间轨迹，识别所述用户的手写内容。2.根据权利要求1所述的方法，其中检测二维灰度图像中的用户的手掌区域包括：通过电子设备的摄像头采集二维彩色图像；以及通过对所述二维彩色图像进行灰度化来生成所述二维灰度图像。3.根据权利要求1所述的方法，其中检测所述二维灰度图像中的指尖包括：使用深度神经网络检测所述二维灰度图像中的指尖，所述深度神经网络使用连续图像帧的信息而被训练。4.根据权利要求1所述的方法，其中所述二维灰度图像是第一灰度图像，所述一组二维灰度图像还包括在时序上紧随所述第一灰度图像的第二灰度图像，并且确定所述指尖的空间轨迹包括：基于检测到的所述指尖，确定用于回归手掌框的搜索区域；响应于在所述第二灰度图像中的所述搜索区域中跟踪到所述手掌，基于所述搜索区域确定所述指尖的当前位置；以及响应于在所述第二灰度图像中的所述搜索区域中未跟踪到所述手掌，在所述第二灰度图像中执行手掌检测。5.根据权利要求1所述的方法，还包括：响应于在通过摄像头采集的第一彩色图像中检测到所述用户的手部，识别所述用户的手势类型，所述手势类型至少包括用于触发所述空中手写的开始手势以及用于退出所述空中手写的结束手势。6.根据权利要求5所述的方法，其中识别所述用户的手势类型包括：基于检测到的所述手部，确定用于回归手部的包围区域；响应于在所述第一彩色图像之后的第二彩色图像中的所述包围区域中跟踪到所述手部，基于所述包围区域确定所述用户的手势类型；以及响应于在所述第二彩色图像中的所述包围区域中未跟踪到所述手部，在所述第二彩色图像中执行手部检测。7.根据权利要求1所述的方法，其中识别所述用户的手写内容包括：提取所述空间轨迹的8方向特征和书写顺序特征；基于所述8方向特征和所述书写顺序特征，使用深度神经网络来确定所述用户的手写汉字。8.根据权利要求7所述的方法，其中提取所述空间轨迹的8方向特征包括：使用曲线拟合方式对所述空间轨迹进行重采样；以及基于重采样的所述空间轨迹，提取所述8方向特征。9.一种用于识别空中手写的装置，包括：手掌检测模块，被配置为检测二维灰度图像中的用户的手掌区域；指尖检测模块，被配置为基于所述手掌区域来检测所述二维灰度图像中的指尖；轨迹确定模块，被配置为基于一组二维灰度图像来确定所述指尖的空间轨迹，所述一组二维灰度图像包括所述二维灰度图像；以及轨迹识别模块，被配置为基于所述空间轨迹来识别所述用户的手写内...

【专利技术属性】
技术研发人员：常敏强，叶欢，徐翔，彭哲，鲍冠伯，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京,11