手写信息的识别方法和装置制造方法及图纸

技术编号:13794203 阅读:119 留言:0更新日期:2016-10-06 08:59
本发明专利技术公开了一种手写信息的识别方法和装置,该方法包括:跟踪实时检测的书写焦点,拍摄局部书写区域;从拍摄的局部书写区域的图片中获取局部笔迹;拼接获取的局部笔迹,得到全局笔迹;根据得到的全局笔迹识别出用户手写信息。应用本发明专利技术,可以提高识别出的手写信息的准确度。

【技术实现步骤摘要】

本专利技术涉及终端
,尤其涉及手写信息的识别方法和装置
技术介绍
目前,智能眼镜作为一种新兴的头部穿戴式设备,引起了人们越来越多地关注。由于此种设备通常不配备键盘或触摸屏等输入设备,所以人机交互一般只能通过语音和手势来进行;这一局限给智能眼镜在文本信息的录入方面造成了不便。相关技术中提供了一种允许用户使用任意的书写工具和书写平面进行手写笔迹的提取方法,其主要是通过摄像头跟踪书写工具的笔尖,从跟踪得到的笔尖的运动轨迹确定手写笔迹(即手写信息)。但是,实际应用中,用户书写过程中的提笔动作所导致的笔尖相对书写平面的垂直位移往往非常小,通过远距离的摄像头难以捕捉到提笔信息,而用户在提笔状态下的笔尖运动不产生笔迹,因此,这种方法提取出的手写笔迹的准确度不高。另外,现有的手机等智能设备在识别手写信息时,准确度也不高。因此,有必要提供一种能够准确提取出用户的手写笔迹的方案。
技术实现思路
针对上述现有技术存在的缺陷,本专利技术提供了一种手写信息的识别方法和装置,用以提高识别出的手写信息的准确度。根据本专利技术的一个方面,提供了一种手写信息的识别方法,包括:跟踪实时检测的书写焦点,拍摄局部书写区域;从拍摄的局部书写区域的图片中获取局部笔迹;拼接获取的局部笔迹,得到全局笔迹;根据得到的全局笔迹识别出用户的手写信息。所述书写焦点是根据视觉焦点确定的;或者,所述书写焦点是根据检
测到的书写工具的笔尖位置确定的。所述书写工具的笔尖位置是通过如下方法确定的:根据预先注册的书写工具的笔尖的形状,从实时拍摄的图片中识别出所述书写工具的笔尖;根据识别出的书写工具的笔尖,确定出所述书写工具的笔尖位置。从拍摄的局部书写区域的图片中获取局部笔迹,包括:根据笔迹颜色从所述图片中提取出所述局部笔迹。根据笔迹颜色从所述图片中提取出所述局部笔迹,包括:根据预先注册的书写工具的笔迹颜色,从所述图片中提取出所述局部笔迹;或者根据笔迹颜色与书写背景之间的颜色差异,从所述图片中提取出所述局部笔迹。根据笔迹颜色与书写背景之间的颜色差异,从所述图片中提取出所述局部笔迹,包括:根据笔迹颜色与书写平面之间的颜色差异,对所述图片进行二值化处理,得到二值化图像;从所述二值化图像中确定出线条状的图像区域;提取所述线条状的图像区域作为所述局部笔迹。所述拼接获取的局部笔迹,得到全局笔迹,包括:将当前帧和前一帧图片中提取出的局部笔迹进行比对,确定出当前帧图片的增量笔迹;将各帧图片的增量笔迹进行拼接,得到全局笔迹;将当前帧图片之前的所有前序帧图片的增量笔迹进行拼接,获得当前帧的前序拼接笔迹,将当前帧图片的增量笔迹与当前帧图片的前序拼接笔迹进行拼接,获得下一帧图片的前序拼接笔迹,重复前述步骤,直至拼接出全局笔迹。所述根据得到的全局笔迹识别出用户的手写信息之后,还包括以下至少之一:将识别出的手写信息保存为不具有版面信息的文档文件;根据识别出的手写信息,生成具有版面信息的文档文件;将得到的全局笔迹保存到图片文件中;根据各帧图片的增量笔迹及其时序信息,生成视频文件。所述具有版面信息的文档文件还根据下述至少一种信息生成:换行信息、删除标记、替换标记、重复特征符号、插入的内容、插入标记、位置调整标记、重点符号、和注释的内容。在根据重复特征符号,生成具有版面信息的文档文件之前,还包括:确定首次出现的重复特征符号,将首次出现的重复特征符号所标示的内容,复制到在后的重复特征符号所在位置处。上述方法还包括:接收拍摄局部书写区域期间产生的音频数据;将所述音频数据和所述局部笔迹进行对应。将所述音频数据和所述局部笔迹进行对应,包括:将所述音频数据和包含所述局部笔迹的文件对应保存;和/或保存所述音频数据和所述局部笔迹之间的对应关系。在保存所述音频数据和所述局部笔迹之间的对应关系的情况下,所述方法还包括:在包含所述局部笔迹的文件中,对与所述局部笔迹对应的内容进行标记,所述标记用于表明存在与所述内容对应的音频数据。在将所述音频数据和所述局部笔迹进行对应之后,还包括:根据所述音频数据和所述局部笔迹的对应关系,生成包含所述音频数据和所述局部笔迹的视频文件。将所述音频数据和所述局部笔迹进行对应,包括:将当前帧的拍摄时间点、及其相邻帧图片的拍摄时间点之间所接收的音频数据,与根据当前帧及其相邻帧图片确定出的增量笔迹进行对应。所述获取局部笔迹之后,上述方法还包括:确定换行信息,根据换行信息进行局部笔迹拼接。所述确定换行信息,包括以下至少之一:当检测到相邻帧局部笔迹之间没有笔迹重合部分时,确定检测到所述换行信息;当检测到换行标记时,确定检测到所述换行信息;当接收到指示换行的音频数据时,确定检测到所述换行信息。所述根据换行信息进行局部笔迹拼接,包括:根据换行信息确定局部笔迹的拼接起点或拼接终点,进行局部笔迹拼接。上述方法还包括:检测是否存在暂停信号;当检测到所述暂停信号时,暂停提取局部笔迹,并对全局区域进行监控。在检测到以下至少一种情形时确定检测到所述暂停信号:从拍摄的图片中无法提取到新的笔迹信息;用户的视觉焦点离开书写平面;用户的头部姿势的变化角度超过设定角度;检测不到书写工具的笔尖的位置;接收到指示暂停的音频数据。在检测到所述暂停信号之后,还包括:缓存以下信息:拼接得到的全局笔迹、和拍摄得到的书写平面的图片。在所述检测到所述暂停信号之后,上述方法还包括:在所述全局区域检测是否存在恢复信号,当检测到所述恢复信号时,恢复提取局部笔迹;根据缓存的信息继续进行局部笔迹的拼接。在检测到以下至少一种情形时确定检测到所述恢复信号:当前拍摄得到的所述全局区域的图片与缓存的书写平面的图片匹配;所述用户的视觉焦点回到书写平面;书写工具在书写平面上产生新的笔迹信息;接收到指示恢复的音频数据。上述方法还包括:检测是否存在结束信号;当检测到所述结束信号时,结束对所述用户的手写信息的识别。在检测到以下至少一种情形时确定检测到所述结束信号:所述用户的视觉焦点离开书写平面超过设定时间段;设定时间段内未检测出新的笔迹信息;接收到结束指令;接收到指示结束的音频数据。所述拼接获取的局部笔迹前,上述方法还包括:对所述局部笔迹进行增强处理。在下述至少一种情形下,对所述局部笔迹进行增强处理:拍摄时光线亮度或清晰度不符合预设的要求;拍摄的图片中笔迹宽度小于设定宽度;拍摄的图片中笔迹颜色与背景颜色的色差小于设定值。所述增强处理包括下述至少一种处理:根据拍摄时光线亮度或清晰度,调整所述摄像头的光圈或对焦;根据拍摄的图片中笔迹宽度,调整所述摄像头的放大倍数;对拍摄的图片进行倾斜、和/或旋转校正;对拍摄的图片进行亮度、和/或对比度校正;对提取的局部笔迹进行平滑处理。所述增强处理包括:将局部笔迹中置信度评估值低于阈值的笔划去除。所述笔划的置信度评估值是根据如下至少一种参数确定的:所述笔划的长度;所述笔划的宽度;所述笔划的曲率;所述笔划的颜色;所述笔划与其前后笔划的相对位置关系、或连贯性;所述笔划与所述笔尖的运动轨迹的匹配度。根据本专利技术的另一个方面,还提供了一种手写信息的识别装置,包括:拍摄模块,用于跟踪实时检测的书写焦点,拍摄局部书写区域;获取模块,用于从拍摄的局部书写区域的图片中获取局部笔迹;拼接模块,用于拼接获取的局部笔迹,得到全局笔迹;识别模块本文档来自技高网...

【技术保护点】
一种手写信息的识别方法,其特征在于,包括:跟踪实时检测的书写焦点,拍摄局部书写区域;从拍摄的局部书写区域的图片中获取局部笔迹;拼接获取的局部笔迹,得到全局笔迹;根据得到的全局笔迹识别出用户的手写信息。

【技术特征摘要】
1.一种手写信息的识别方法,其特征在于,包括:跟踪实时检测的书写焦点,拍摄局部书写区域;从拍摄的局部书写区域的图片中获取局部笔迹;拼接获取的局部笔迹,得到全局笔迹;根据得到的全局笔迹识别出用户的手写信息。2.根据权利要求1所述的方法,其特征在于,所述书写焦点是根据视觉焦点确定的;或者,所述书写焦点是根据检测到的书写工具的笔尖位置确定的。3.根据权利要求2所述的方法,其特征在于,所述书写工具的笔尖位置是通过如下方法确定的:根据预先注册的书写工具的笔尖的形状,从实时拍摄的图片中识别出所述书写工具的笔尖;根据识别出的书写工具的笔尖,确定出所述书写工具的笔尖位置。4.根据权利要求1所述的方法,其特征在于,从拍摄的局部书写区域的图片中获取局部笔迹,包括:根据笔迹颜色从所述图片中提取出所述局部笔迹。5.根据权利要求4所述的方法,其特征在于,根据笔迹颜色从所述图片中提取出所述局部笔迹,包括:根据预先注册的书写工具的笔迹颜色,从所述图片中提取出所述局部笔迹;或者根据笔迹颜色与书写背景之间的颜色差异,从所述图片中提取出所述局部笔迹。6.根据权利要求5所述的方法,其特征在于,根据笔迹颜色与书写背景之间的颜色差异,从所述图片中提取出所述局部笔迹,包括:根据笔迹颜色与书写平面之间的颜色差异,对所述图片进行二值化处理,得到二值化图像;从所述二值化图像中确定出线条状的图像区域;提取所述线条状的图像区域作为所述局部笔迹。7.根据权利要求1所述的方法,其特征在于,所述拼接获取的局部笔迹,得到全局笔迹,包括:将当前帧和前一帧图片中提取出的局部笔迹进行比对,确定出当前帧图片的增量笔迹;将各帧图片的增量笔迹进行拼接,得到全局笔迹;将当前帧图片之前的所有前序帧图片的增量笔迹进行拼接,获得当前帧的前序拼接笔迹,将当前帧图片的增量笔迹与当前帧图片的前序拼接笔迹进行拼接,获得下一帧图片的前序拼接笔迹,重复前述步骤,直至拼接出全局笔迹。8.根据权利要求7所述的方法,其特征在于,所述根据得到的全局笔迹识别出用户的手写信息之后,还包括以下至少之一:将识别出的手写信息保存为不具有版面信息的文档文件;根据识别出的手写信息,生成具有版面信息的文档文件;将得到的全局笔迹保存到图片文件中;根据各帧图片的增量笔迹及其时序信息,生成视频文件。9.根据权利要求8所述的方法,其特征在于,所述具有版面信息的文档文件还根据下述至少一种信息生成:换行信息、删除标记、替换标记、重复特征符号、插入的内容、插入标记、位置调整标记、重点符号、和注释的内容。10.根据权利要求9所述的方法,其特征在于,在根据重复特征符号,
\t生成具有版面信息的文档文件之前,还包括:确定首次出现的重复特征符号,将首次出现的重复特征符号所标示的内容,复制到在后的重复特征符号所在位置处。11.根据权利要求1所述的方法,其特征在于,还包括:接收拍摄局部书写区域期间产生的音频数据;将所述音频数据和所述局部笔迹进行对应。12.根据权利要求11所述的方法,其特征在于,将所述音频数据和所述局部笔迹进行对应,包括:将所述音频数据和包含所述局部笔迹的文件对应保存;和/或保存所述音频数据和所述局部笔迹之间的对应关系。13.根据权利要求12所述的方法,其特征在于,在保存所述音频数据和所述局部笔迹之间的对应关系的情况下,所述方法还包括:在包含所述局部笔迹的文件中,对与所述局部笔迹对应的内容进行标记,所述标记用于表明存在与所述内容对应的音频数据。14.根据权利要求11所述的方法,其特征在于,在将所述音频数据和所述局部笔迹进行对应之后,还包括:根据所述音频数据和所述局部笔迹的对应关系,生成包含所述音频数据和所述局部笔迹的视频文件。15.根据权利要求11所述的方法,其特征在于,将所述音频数据和所述局部笔迹进行对应,包括:将当前帧的拍摄时间点、及其相邻帧图片的拍摄时间点之...

【专利技术属性】
技术研发人员:单煜翔刘春晓陈又新
申请(专利权)人:北京三星通信技术研究有限公司三星电子株式会社
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1