基于视频的笔迹识别系统和方法技术方案

一种在线笔迹识别的系统和方法，包括可与通过使用内置数码相机获得的其他信息结合使用的屏幕笔数据，如笔倾斜参数信息。该方法和系统提供一种用于消费者平台，如ＰＤＡ，获得更高笔迹识别质量的低成本解决方案。内置的相机不会增加该解决方案的成本，惟一增加的部件是基于软件的模式识别算法，它提取与屏幕无关的笔信息。

【技术实现步骤摘要】

本专利技术概括而言涉及笔迹识别系统和方法，具体涉及用于渗透式(pervasive)装置的笔迹识别系统和方法。
技术介绍
与小型便携式计算装置如个人数字助理(PDA)、智能电话等无线或有线渗透式装置交互的一种最有希望的方法是通过笔迹识别。与打字信件或邮政地址的自动处理不同(离线获取和处理手写体文本图像)，在笔迹识别中，在书写期间(实时)直接捕获笔的运动。不过，为了获得这种“在线”笔迹数据，需要专用输入装置，包括触摸敏感板以及内置智能的专用“智能”笔以获得和处理倾斜信息。识别处理的质量对于将笔迹识别接受作为输入装置而言极为重要。在某些情况下，不完美的识别质量只会带来麻烦，而在其他情形中会根本阻碍该技术的使用。从而，改进识别质量的任何方法都是受欢迎的。此外，以较低成本提高识别质量的方法是有益的，因为这些装置对于关心成本的消费者更具吸引力。当今，笔迹识别的一种用途是最常用于零售业应用等中的签名识别。在这种应用中，主要方法是基于相对智能和昂贵的具有智能的书写笔装置，产生诸如倾斜度等的输出参数，这些参数用于渗透式装置所采用的识别算法中。当使用典型渗透式装置如普通PDA时，通常惟一使用的笔为普通的塑料指示笔。假设例如PDA的价格大约为300美元，那么增加例如大约80美元的昂贵的智能笔不具有成本效率。从而需要提供一种能获得智能笔装置的精确性和识别质量的简单的指示笔装置。在传统笔迹识别中，例如混合笔迹识别系统，由以下步骤实现响应使用者输入的笔迹，和动态地产生时间有序的笔画信息，用来确定该动态、时间有序的笔画信息所要表示的最可能的字符。在题为“Hybridon-line handwriting recognition and optical character recognitionsystem”的参考文献US 6,011,865中描述了这种系统。现在参照图1描述当前用于笔迹识别(如用于零售业应用)的示例系统10，图1表示外部智能笔装置15，书写表面18和运行于计算机平台上、用于实现识别处理22的笔迹识别处理模块20。从智能笔和书写表面18提取出笔位置信息以及其他笔信息如倾斜参数信息等，并通过连接线25传输给过程22执行笔迹识别。所用算法属于使用来自笔的动态信息实现在线识别的类型。如上所述，对价格的限制不允许使用相对昂贵的智能笔装置15以及在渗透式平台如PDA上运行的笔迹识别模块20。如上所述，当前的PDA装置装有不附带智能的塑料指示笔。指示笔的惟一功能是压迫接触敏感PDA显示表面，以产生动态信息。图2表示包含触摸屏32以产生动态指示笔笔迹信息的传统的PDA装置30，该笔迹信息通过内部链路35馈送到笔迹识别模块40中，且笔迹识别模块40与PDA的其余软件运行在同一CPU上。图2中所示系统30的方法一个明显的缺点是，与参照图1所述的系统相比，没有更多的笔信息，如倾斜度。在其他类型的识别系统中，为了进行识别可使用纯数码相机输入，不过处理和结果可能不够精确。由于许多渗透式装置正日益进入安装有相对较高分辨率(例如实现VGA)的嵌入式数码相机的市场中，利用数码相机提供这种渗透式装置中用于笔迹识别处理的数字视频数据，是有益的。从而非常希望提供一种用于渗透式装置的笔迹识别系统和方法，包括低成本数字视频摄像机，用于提供来自于装有该装置的低成本指示笔的更多笔迹信息，并使用该信息与笔位置一起来改善笔迹识别。
技术实现思路
本专利技术的一个目的在于提供一种改善在渗透式装置中笔迹识别的低成本解决方法。本专利技术的另一目的在于提供一种改善在渗透式装置中的笔迹识别的低成本解决方法，包括利用嵌入该装置的数码相机获得使用期间与装有渗透式装置的简单指示笔的运动相应的实时信息，并利用该信息以及指示笔位置信息改善笔迹识别。本专利技术的再一目的在于提供一种渗透式装置，如PDA，智能电话，或者其他无线或有线渗透式装置，该装置包括用于改善笔迹识别的低成本解决方法，并且具体提供一种，使嵌入式数码相机能从书写者所用的指示笔获得更多信息，并使该信息与笔位置一起得到处理，用于在这种渗透式装置的应用中改善笔迹识别的方法和系统。这种渗透式装置具有包括执行识别算法的处理能力，除了通常获得的笔指示位置信息以外，还接收由嵌入该装置的数码相机所得到的数据输入，以改善笔迹识别。根据本专利技术第一方面，提供一种用于渗透式装置中的系统和方法，其具有嵌入式数码相机以及简单的指示笔，和用于产生附加信息(如倾斜度等)的处理能力。由能够提取出笔迹识别所需的倾斜度和/或其他参数的特殊算法处理该视频信息。相机的安装方式独特，以便于拍摄垂直于PDA屏幕平面的平面。可利用已知的笔几何形状、数码相机输出和作为笔坐标的触摸屏输出，提取倾斜度。根据本专利技术另一方面，提供一种用于渗透式装置中的系统和方法，该渗透式装置具有嵌入式数码相机和简单指示笔以及执行笔迹识别算法的处理能力，其中笔迹识别算法可与零售业应用中所使用的算法相同。惟一的差别在于倾斜信息源，并非由外部笔得到该信息，而是由相机获得。对第一处理相机输出数据，例如低频视频信息，执行图像/模式识别算法，提取出笔倾斜度数据，并将其输入到使用倾斜度改善笔迹识别质量的笔迹识别算法中。根据本专利技术再一方面，提供一种包括嵌入式数字(内置)相机和简单指示笔，以及执行笔迹识别算法以提供精确笔迹识别的处理能力的渗透式装置，如PDA。附图说明参照下列描述，所附权利要求和附图，将更好地理解本专利技术的其他特征、方面和优点，其中图1表示在用于零售业应用的触摸屏上基于传统外部智能笔的笔迹识别系统；图2表示装有用于在触摸屏上笔迹识别的指示笔的传统PDA；图3表示装有嵌入式数码相机、且该嵌入式数码相机用于产生本专利技术笔迹识别系统和方法中所用信息的PDA装置；图4表示用来自嵌入式相机的附加信息实现笔迹识别系统的流程图；图5表示包括触摸屏，简单指示笔和嵌入式数码相机的PDA装置，嵌入式数码相机用于产生本专利技术的笔迹识别系统和方法中所使用的信息；图6表示用于产生在计算指示笔倾斜度信息中所用指示笔坐标的几何结构；以及图7表示根据本专利技术的方法计算倾斜度的处理程序。具体实施例方式本专利技术涉及一种用于改善装有塑料指示笔的PDA装置应用的笔迹识别的系统和方法。图3和5表示具有数字触摸屏装置52和内置数码相机装置55的PDA装置50，数字触摸屏装置52包括用于简单指示笔59的书写表面53，数码相机55具备产生与使用者在触摸屏表面上控制书写时指示笔运动相应的动态视频数据输出的功能。PDA装置等渗透式装置的处理单元(CPU)接收从数字触摸屏52获得以及从数码相机装置55输出的数据，并基于两种类型的数据实现用于执行笔迹识别的算法。内置数码相机55优选安装在这样一个位置和角度以便沿垂直于触摸屏53平面的平面拍摄视频图像，并且具有获取触摸屏表面上任何位置处笔迹的优点。传统指示笔59在用于书写应用时将位于这样的平面中。如图5中所示，PDA等渗透式装置50包括能在垂直于屏幕52的平面60内拍摄图像的数码相机55，由此，实现动态计算使用者书写期间与指示笔运动有关的倾斜度信息，并输出该信息以便将其用于笔迹识别算法中。在以下描述中，指示笔倾斜度在笔迹识别中显示为整数。相同设计可以应用于通过数码相机提取且用于笔迹识别算法的其他种类的信息。如图6中本文档来自技高网...

【技术保护点】
一种用于渗透式装置的动态笔迹识别系统，包括：　　　　触摸屏装置；　　　　指示笔装置，使用户在所述触摸屏上进行书写，所述触摸屏产生有关指示笔书写的动态信息；　　　　数字图像获取装置，安装在所述渗透式装置中，用于获取当所述用户在所述触摸屏上书写时所述指示笔的图像；　　　　用于对所获取的图像进行处理，并提取出与所述用户进行的指示笔操纵有关的与屏幕无关的信息的装置；以及　　　　笔迹识别装置，接收所述动态触摸屏信息和从所述处理的图像提取出的与触摸屏无关的信息，用于识别所述用户的笔迹，其中，可使笔迹识别获得改善。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：瓦迪姆舍伊宁，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：US[美国]