捕获笔划墨迹的系统、方法和计算机可读介质技术方案

捕获笔划墨迹的系统、方法和计算机可读介质。描述了一种使用商品视频摄像头来拍摄利用普通的笔和纸书写的笔划墨迹的实时端对端系统。与通常将笔尖定位和抬笔/落笔运动检测分开的传统基于摄像头的方法相比，描述了一种利用深度神经网络将这两个步骤整合的统一方法。此外，所描述的系统不需要手动初始化来将笔尖定位。初步评估证明了所描述的系统对英语和日语短语的笔迹识别的有效性。

The system, method and computer readable medium of capturing stroke ink

【技术实现步骤摘要】
捕获笔划墨迹的系统、方法和计算机可读介质
所公开的实施方式总体涉及用于数据输入的系统和方法，更具体地，涉及用于从视频实时端对端捕获笔划墨迹的系统和方法。
技术介绍
利用笔和纸的数据输入可在计算机与用户之间形成自然且方便的接口。尽管键盘是计算机的主要输入装置，但是在诸如记笔记、会议中的头脑风暴和基于手绘的建模的许多任务中，人们仍趋向于喜欢手写输入胜于键盘。尽管存在可记录笔划墨迹的商业产品，但是它们需要特殊的笔和/或印刷有图案的纸，如例如美国专利No.7,570,813中所描述的。这些商业产品的示例包括：FXDenshiPenFujiXeroxDenshi-Pen、AnotoLivescribePen、WacomBambooSpark以及最近推出的MoleskinSmartWritingSet。这些可用于诸如填写表格的垂直应用，但是对于一般用途，能够使用普通的笔和纸将是有利的。这些年来已提出了基于摄像头的方法，如例如以下文献中所描述的：GernotAFink、MarkusWienecke和GerhardSagerer的“Video-basedon-linehandwritingrecognition”(Proc.ICDAR2001,pages226–230)、Jae-HyunSeok、SimonLevasseur、Kee-EungKim和JKim的“Tracinghandwritingonpaperdocumentundervideocamera”(ICFHR200)、HorstBunke、TVonSiebenthal、TYamasaki和MarkusSchenkel的“Onlinehandwritingdataacquisitionusingavideocamera”(Proc.ICDAR1999,pages573–576)、MarioEMunich和PietroPerona的“Visualinputforpen-basedcomputers”(Proc.ICPR1996,pages33–37)、MarioE.MunichandPietroPerona的“Visualinputforpen-basedcomputers”(TPAMI，24(3)：313-328，2002)、ChelhwonKim、PatrickChiu和HidetoOda的“Capturinghandwritteninkstrokeswithafastvideocamera”(201714thIAPRInternationalConferenceonDocumentAnalysisandRecognition(ICDAR),pages1269–1274.IEEE,2017)、ToshinoriYamasaki和TetsuoHattori的“Anewdatatabletsystemforhandwritingcharactersanddrawingbasedontheimageprocessing”(Systems,Man,andCybernetics,1996.,IEEEInternationalConferenceon,volume1,pages428–431.IEEE,1996)、PradeepKumarJayaraman和Chi-WingFu的“Interactivelinedrawingrecognitionandvectorizationwithcommoditycamera”(Proceedingsofthe22ndACMinternationalconferenceonMultimedia,pages447–456.ACM,2014)、FengLin和XiaoouTang的“Dynamicstrokeinformationanalysisforvideo-basedhandwrittenChinesecharacterrecognition”(Proceedings.NinthIEEEInternationalConferenceon,pages695–700.IEEE,2003)以及AmayChampaneria和LarryRudolph.Padcam的“ahuman-centricperceptualinterfacefortemporalrecoveryofpen-basedinput”(Proceedingsof2004AAAISymposiumonMakingPen-BasedInteractionIntelligentandNatural,AAAIPress,Arlington,Virginia,pages35–41,2004)。这些方法中的大多数通常依赖于两阶段流水线：笔尖跟踪和抬笔/落笔检测。在第一阶段中，手动确定笔尖的初始位置，并且在整个书写过程期间使用模板匹配与运动预测模型(例如，Kalman滤波器)的组合来跟踪笔尖。在第二阶段中，通过检查笔尖的各个跟踪位置是否导致墨迹来检测抬笔和落笔事件。然而，由于在书写过程期间墨迹可能被笔尖或用户的手遮挡，所以在视频序列结束之后(或在几帧延迟之后)常常需要获取具有完整墨迹的视频序列的最后图像。因此，大多数现有基于摄像头的方法仍在实时性能方面不足，不适用于需要在书写时执行识别的应用。
技术实现思路
本文所描述的实施方式涉及基本上消除了与用于手写笔划墨迹获取的传统系统和方法关联的上述和其它问题中的一个或更多个的系统和方法。根据本文所描述的实施方式的一个方面，提供了一种系统，该系统包括：至少一个摄像头，其用于获取用户笔迹的视频；以及处理单元，其用于利用神经网络来处理所拍摄的用户笔迹的视频以检测多个笔划墨迹并且用于利用所检测到的多个笔划墨迹来识别用户笔迹。在一个或更多个实施方式中，神经网络是深度学习神经网络。在一个或更多个实施方式中，摄像头是网络摄像头。在一个或更多个实施方式中，摄像头安装在桌面上方。在一个或更多个实施方式中，摄像头安装在台灯上。在一个或更多个实施方式中，神经网络包括编码器和解码器。在一个或更多个实施方式中，编码器输入所拍摄的用户笔迹的视频的视频帧序列并生成从卷积网络块学习的特征表示。在一个或更多个实施方式中，编码器利用递归神经网络来生成特征表示。在一个或更多个实施方式中，解码器利用解卷积网络块将特征表示转换为按像素的(pixel-wise)标记图。在一个或更多个实施方式中，利用多个链路将卷积网络块与解卷积网络块链接。在一个或更多个实施方式中，用户笔迹是利用笔迹识别引擎来识别的。在一个或更多个实施方式中，输出基于所识别的用户笔迹的文本信息。在一个或更多个实施方式中，用户笔迹包括利用普通的笔和纸书写的墨迹。根据本文所描述的实施方式的另一方面，提供了一种方法，该方法包括：使用至少一个摄像头来获取用户笔迹的视频；以及使用处理单元利用神经网络来处理所拍摄的用户笔迹的视频以检测多个笔划墨迹并利用所检测到的多个笔划墨迹来识别用户笔迹。在一个或更多个实施方式中，神经本文档来自技高网...

【技术保护点】
1.一种捕获笔划墨迹的系统，所述系统包括：/na.至少一个摄像头，所述至少一个摄像头用于获取用户笔迹的视频；以及/nb.处理单元，所述处理单元用于利用神经网络来处理所拍摄的所述用户笔迹的视频以检测多个笔划墨迹，并且用于利用所检测到的多个笔划墨迹来识别所述用户笔迹。/n

【技术特征摘要】
20180703 US 16/026,0671.一种捕获笔划墨迹的系统，所述系统包括：
a.至少一个摄像头，所述至少一个摄像头用于获取用户笔迹的视频；以及
b.处理单元，所述处理单元用于利用神经网络来处理所拍摄的所述用户笔迹的视频以检测多个笔划墨迹，并且用于利用所检测到的多个笔划墨迹来识别所述用户笔迹。


2.根据权利要求1所述的系统，其中，所述神经网络是深度学习神经网络。


3.根据权利要求1所述的系统，其中，所述摄像头是网络摄像头。


4.根据权利要求1所述的系统，其中，所述摄像头安装在桌面上方。


5.根据权利要求1所述的系统，其中，所述摄像头安装在台灯上。


6.根据权利要求1所述的系统，其中，所述神经网络包括编码器和解码器。


7.根据权利要求6所述的系统，其中，所述编码器输入所拍摄的所述用户笔迹的视频的视频帧序列，并且生成从卷积网络块学习的特征表示。


8.根据权利要求7所述的系统，其中，所述编码器利用递归神经网络来生成所述特征表示。


9.根据权利要求7所述的系统，其中，所述解码器利用解卷积网络块将所述特征表示转换为按像素的标记图。


10.根据权利要求9所述的系统，其中，利用多个链路将所述卷积网络块与所述解卷积网络块链接。


11.根据权利要求1所述的系统，其中，所述用户笔迹是利用笔迹识别引擎来识别的。


12.根据权利要求1所述的系统，其中，所述处理和识别实时地执行。


13.根据权利要求1所述的系统，其中，所述处理单元输出基于所...

【专利技术属性】
技术研发人员：金哲暄，P·邱，织田英人，
申请(专利权)人：富士施乐株式会社，
类型：发明
国别省市：日本;JP