一种空中书写文本输入方法及装置制造方法及图纸

技术编号:34326502 阅读:67 留言:0更新日期:2022-07-31 01:14
本发明专利技术提供一种空中书写文本输入方法及装置,使用手持的书写棒在空中书写文字,利用具有显示屏与摄像头的嵌入式平台装置采集并显示书写过程,通过目标跟踪、文本识别等方法实现包含数字、符号和英文三种文字类型的文本输入,以满足无接触、便捷的人机交互。包括:初始化空中书写文本输入系统;手持书写棒进入摄像头监视的空中区域并移动书写棒到跟踪框中;利用目标跟踪模型跟踪书写棒,确定当前跟踪框的位置;判断是否切换输入文字类型;利用书写棒在空中书写文字,并生成文字图像;利用文字识别模型识别文字图像识别出文字;增加文字显示;判断是否清除增加显示的文字;清除增加显示的文字;判断文本中所有文字的输入是否结束。束。束。

【技术实现步骤摘要】
一种空中书写文本输入方法及装置


[0001]本专利技术涉及模式识别
,特别涉及一种空中书写文本输入方法及装置。

技术介绍

[0002]如今,智能电子设备给人们的日常生活带来便利,同时提高了工业生产的效率和产品的质量。然而智能电子设备的交互方式大多数采用了接触型输入设备,例如键盘、鼠标、触摸屏等。公共电子设备的接触性输入方式给卫生安全埋下了隐患。空中书写文本是一种新的人机交互方式,能够很好地避免接触,实现无接触的信息输入。
[0003]现有的空中书写文本输入系统大多数是基于传感器实现的,例如:公开号为CN113052078的中国专利公开的空中书写轨迹识别方法、装置、存储介质及电子设备,存在一些不足,比如:需要穿戴传感器设备,影响使用体验;存在复杂环境下抗干扰能力差的问题。为了更好地解决这些问题,本专利技术通过手持书写棒在空中书写,实现一种无接触、便捷、智能、稳定的文本输入方法与装置。

技术实现思路

[0004]为了克服
技术介绍
的不足,本专利技术提供一种空中书写文本输入方法及装置,使用手持的书写棒在空中书写文字,利用具本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种空中书写文本输入方法,其特征在于,包括如下步骤:步骤1:初始化空中书写文本输入系统;步骤2:手持书写棒进入摄像头监视的空中区域,并移动书写棒到跟踪框中;步骤3:利用目标跟踪模型跟踪书写棒,确定当前跟踪框的位置;步骤4:判断是否切换输入文字类型,如果是则转到步骤5,如果否则转到步骤6;步骤5:切换输入文字类型;步骤6:利用书写棒在空中书写文字,并生成文字图像;步骤7:利用文字识别模型识别文字图像,识别出文字;步骤8:增加文字显示;步骤9:判断是否清除增加显示的文字,如果是则转到步骤10,如果否则转到步骤11;步骤10:清除增加显示的文字;步骤11:判断文本中所有文字的输入是否结束,如果是则结束,如果否则转到步骤4。2.根据权利要求1所述的一种空中书写文本输入方法,其特征在于,所述的步骤1中,初始化空中书写文本输入系统包括步骤如下:步骤1

1:初始化显示屏上的操作窗和跟踪框;步骤1

2:初始化输入文字类型;步骤1

3:加载与输入文字类型相匹配的文字识别模型参数;步骤1

4:加载目标跟踪模型参数。3.根据权利要求2所述的一种空中书写文本输入方法,其特征在于,所述的步骤1

3中,文字识别模型采用新设计的网络,具体包括如下:文字识别模型包括文字图像、特征提取网络、分类网络和输出类别,文字图像是模型的输入,文字图像包含待识别的完整图和二值图,特征提取网络提取文字图像的深度特征,特征提取网络包括卷积层、Bi

CNN层、平均池化层、Bi

CNN层和平均池化层,卷积层对文字图像完整图和二值图分别进行通道扩充,Bi

CNN层由并行的常规卷积和空洞卷积后接通道拼接组成,第一个Bi

CNN层对文字图像二值图的通道特征图进行常规卷积,第一个Bi

CNN层对文字图像完整图的通道扩充图进行空洞卷积,第一个Bi

CNN层对常规卷积和空洞卷积后的两个特征图进行通道拼接,第二个Bi

CNN层对上一层的特征图分别进行常规卷积和空洞卷积,第二个Bi

CNN层对常规卷积和空洞卷积后的两个特征图进行通道拼接,两个平均池化层都对通道拼接后的特征图进行尺寸压缩,分类网络用于文字的分类识别,分类网络由两个全连接层组成,输出类别是文字图像识别的结果;当输入文字类型是数字时,文字识别模型的输出类别是0

9,类别数目是10;当输入文字类型是符号时,文字识别模型的输出类别是常用的符号,类别数是38;当输入文字类型是英文时,文字识别模型的输出类别是大写和小写的英文字符,类别数是52;文字识别模型采用新的双图并行输入网络结构,文字识别模型识别的是数字、符号和英文三种类型的书写体文字,文字识别模型融合文字图像完整图的全局特征和文字图像二值图的局部特征,文字识别模型降低背景信息对特征提取网络的影响。4.根据权利要求1所述的一种空中书写文本输入方法,其特征在于,所述的步骤3中,利用目标跟踪模型跟踪书写棒包括步骤如下:
步骤3

1:读取书写棒模板图像;步骤3
...

【专利技术属性】
技术研发人员:巩荣芬刘淑明储茂祥刘历铭焦玉鹏
申请(专利权)人:辽宁科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1