一种表单任意区域字符识别与信息录入方法技术

本发明专利技术属于图像检测与识别领域，涉及一种表单中任意区域字符识别与信息录入方法。本发明专利技术采用图像采集相机镜头对准表单，照明光源对表单照明，表单置于传动带或置物台上，采集相机连接电脑，从而进行采集模板表单图像，离线构建表单区域于兴趣区域的模板特征参数库，表单图像在线采集与待识别图像筛选，表单区域提取与位姿标准化，表单兴趣区域提取与字符录入操作。本发明专利技术较传统信息识别录入方法，在功能方面更具灵活性，在效益方面更具经济性，在实际场景应用中有着良好的表现。

A Method of Character Recognition and Information Entry in Arbitrary Area of Form

The invention belongs to the field of image detection and recognition, and relates to a method for character recognition and information input in any area of a form. The invention adopts image acquisition camera lens alignment form, illumination light source to illuminate the form, forms are placed on the drive belt or the placement table, and the camera is connected to the computer to collect the template form image, and off-line constructs the template feature parameter library of the form area in the region of interest, forms image online acquisition and image screening to be recognized, forms area extraction and pose standardization. Single Interest Region Extraction and Character Entry Operations. Compared with the traditional information recognition and input method, the invention has more flexibility in function, more economy in benefit and good performance in practical scene application.

【技术实现步骤摘要】
一种表单任意区域字符识别与信息录入方法
本专利技术属于图像检测与识别领域，主要涉及一种表单中任意区域字符识别与信息录入方法。
技术介绍
当今世界已进入信息爆炸时代，各类信息都以电子化的形式存储在个人电脑或服务器中。但这些电子化信息的录入如果仅仅靠人手工输入，很难满足对工作效率的要求。例如：现如今中国的物流行业发展迅速，每天有数以亿计的货物、物流信息需要录入更新，而这些信息大部分通常都以一张货物表单的形式呈现，货物表单上的信息也纷繁复杂，靠人工录入关键数据的方式显然不太现实。现有的传统信息录入系统，一般采用专门的扫描设备，将表单转化为图像，再利用搜索特定的图像特征或者位置信息进行字符区域的提取，然后再利用OCR技术对字符进行识别。这些方法有几个明显缺点，(1)扫描对象需要人工手动对准，例如：扫描枪需要靠近并对准需要检测的条形码或二维码；(2)每家公司设计的表单大小不同，同一家公司对不同货物的表单设计也有可能不同，传统单一信息扫描与录入系统无法做到通用识别；(3)现有扫描系统对扫描对象的摆放姿态也具有一定要求，不能识别任意摆放的表单信息。上述这些缺点都大大限制了现有表单信息录入系统的灵活度。
技术实现思路
为解决上述问题，本专利技术提供了一种表单任意区域的字符识别与信息录入方法。所用采集系统主要包括：图像采集相机、计算处理系统、照明光源、传动装置等。图像采集相机放置于传动装置上方，用于采集包含表单的图像。计算处理系统用于接收图像采集相机采集到的图像，并进行图像处理、字符识别等。照明光源负责抑制环境光对图像采集效果的影响。传动装置负责传送或者放置含待识别表单的装置。传动装置可以是履带传输设备或者表单放置平台等。为达到上述目的，本专利技术采用下述技术方案：一种表单任意区域字符识别与信息录入方法，其特征在于，采用图像采集相机镜头对准表单，照明光源对表单照明，表单置于传动带或置物台上，采集相机连接电脑，从而进行操作步骤如下：1)采集模板表单图像；2)离线构建表单区域与兴趣区域的模板特征参数库，并行支撑后续步骤；3)表单图像在线采集与待识别图像筛选，不满足筛选条件即返回；4)表单区域提取与位姿标准化，不满足筛选条件即返回；5)表单中兴趣区域提取与字符识别录入，完成并返回。所述步骤1)采集模板表单图像获取的模板表单图像，主要用于离线构建表单区域与兴趣区域的模板特征参数库，并以各类特征参数的形式支撑后续的步骤与方法。针对不同类型模板进行相对应的特征参数库，扩展系统对不同表单的识别，可实现对任意表单中任意区域信息的识别。所述步骤2)中表单区域与兴趣区域(信息区域)模板特征参数库构建的方法为：根据采集的模板表单图像，通过人机交互的方式，利用鼠标点击框选的方法分别获得表单区域和信息区域，然后计算其对应的模板特征参数，并构建参数库，参数库主要包括：表单区域和信息区域分别对应的最大内切椭圆长轴长度、短轴长度、中心点坐标，区域面积、连通域个数，以及表单区域与信息区域相对位置关系。所述步骤3)中表单图像在线采集与表单区域筛选的方法：综合考虑当前帧与上一帧图像的相似度、表单区域的连通域个数、面积大小，矩形度等因素，比对当前获取的参数与模板特征参数库中对应参数的关系，之后判断得到筛选结果。所述步骤4)中表单区域提取与位姿标准化校正方法。步骤如下：(1)从采集图像中提取出连通区最大的区域，称其为表单区域；(2)拟合表单区域的最大内切椭圆，计算其中心点坐标、椭圆长轴、短轴、长轴偏转角；(3)基于长轴偏转角，对表单区域进行几何变换校正，使其内切椭圆长轴处于水平标准化位姿，即获得“校正后表单区域”。所述步骤5)中表单区域中兴趣区域提取方法的操作步骤如下：(1)根据模板特征参数库中相对位置偏移参数，计算“校正后表单区域”中待识别信息区域的中心点坐标，及其关于表单区域中心的中心对称点的坐标；(2)根据模板特征参数库中兴趣区域内切椭圆长轴长度、短轴长度等参数，计算出两个“候选信息区域”的中心点坐标，进而分割出表单标准位姿下待识别信息区域(兴趣区域)。所述步骤5)中待识别的两个候选信息区域的字符识别与比对方法的步骤如下：将两个候选信息区域送入OCR分类器，同时进行字符识别与特征参数计算。如果计算与识别的两项结果中，有且只有一项结果同时满足“字符有效性判定准则”中的所有条件，则将所识别的有效项字符串输出，并录入数据库保存，同时返回并进行下一轮的识别；否则，声光提醒用户，提示当前区域字符识别与信息录入失败。本专利技术与现有技术相比较，具有如下显而易见的突出实质性特点和显著技术进步：提出了人机交互方式构建表单区域与表单中兴趣区域的模板特征参数库。在面对不同表单的不同兴趣位置信息识别与录入时，用户只需要在首次采集图像时进行简单的鼠标操作构建模板特征参数库，就可以实现后续表单中兴趣区域的自动识别与录入。该系统与方法可用于任意摆放位置、任意大小表单中任意区域字符的识别与录入。本专利技术较传统信息识别录入方法，在功能方面更灵活，在效益方法更经济，在实际场景应用中有着良好的表现。附图说明图1是手动放置待检表单进行识别的应用场景。图2是传动装置识别待检表单的应用场景。图3是图像区域、表单区域、信息区域的包含关系示意图。图4是本专利技术工作流程与支撑关系图。图5是表单区域与兴趣区域模板特征参数示意图。图6是表单区域与兴趣区域最大内切椭圆及其参数示意图。图7是实时采集的随机姿态待检表单的区域提取与参数示意图。图8是姿态校正后的表单及其参数示意图。图9是从表单区域中提取兴趣区域的方法示意图。具体实施方式下面结合附图和优选实施例，对本专利技术做进一步详细说明，但本专利技术的保护范围不限于以下具体实施例。除非另有定义，下文中所使用的所有专业术语与本领域技术人员通常理解含义相同。本文中所使用的专业术语只是为了描述具体实施例的目的，并不旨在限制本专利技术的保护范围。实施例一：实施例为一种对手动放置或传动装置上姿态不同的信息载体(例如具有固定格式的纸质表单)的任意位置信息进行快速定位识别的方法，可实现对一定景深范围内清晰成像的一类具有设定格式的信息载体的快速识别。为方便描述，本文中将具有固定格式的信息载体实例化为表单。本方法采用的系统实现的简易结构图如图1和图2所示，区别在于载物平台的不同，图1场景的载物平台为静止平台，表单由人工放置，适用场景为小型室内或商业环境；图2场景的载物平台为传送履带，适用场景为大型的工厂环境。本专利技术的硬件部分主要由图像采集相机、计算处理系统、照明光源、传送装置等部件组成。传送装置上的表单由于外部因素(如镜头畸变、人为干扰)存在着一定的形变，同时每张表单的摆放位姿也不固定(长轴偏转角范围可取值：0-2π)，很难保证图像采集相机采集得到的待识别表单具有统一的矩形度，偏转角。因此，本专利技术采用基于形状匹配与特征检测的方法对兴趣区域进行定位与校正，并将采集获取的图像分为三部分：图像区域，表单区域，信息区域。如图3所示，三部分区域呈递进包含关系，其中最外层区域为图像区域，中间虚线所框矩形区域为表单区域，内层阴影部分为信息区域(或称兴趣区域)。本专利技术方法对表单的识别流程与关系图如图4所示。首先，采集模板表单图像，离线构建表单区域与兴趣区域模板特征参数库，参数支撑后续步骤。具体的实施方法：(1)手动本文档来自技高网...

【技术保护点】
1.一种表单任意区域字符识别与信息录入方法，其特征在于，采用图像采集相机镜头对准表单，照明光源对表单照明，表单置于传动带或置物台上，采集相机连接电脑，从而进行操作步骤如下：1)采集模板表单图像；2)离线构建表单区域与兴趣区域的模板特征参数库，并行支撑后续步骤；3)表单图像在线采集与待识别图像筛选，不满足筛选条件即返回；4)表单区域提取与位姿标准化，不满足筛选条件即返回；5)表单中兴趣区域提取与字符识别录入，完成并返回。

【技术特征摘要】
1.一种表单任意区域字符识别与信息录入方法，其特征在于，采用图像采集相机镜头对准表单，照明光源对表单照明，表单置于传动带或置物台上，采集相机连接电脑，从而进行操作步骤如下：1)采集模板表单图像；2)离线构建表单区域与兴趣区域的模板特征参数库，并行支撑后续步骤；3)表单图像在线采集与待识别图像筛选，不满足筛选条件即返回；4)表单区域提取与位姿标准化，不满足筛选条件即返回；5)表单中兴趣区域提取与字符识别录入，完成并返回。2.根据权利要求1所述的一种表单任意区域字符识别与信息录入方法，其特征在于：所述步骤1）采集模板表单图像获取的模板表单图像，主要用于离线构建表单区域与兴趣区域的模板特征参数库，并以各类特征参数的形式支撑后续的步骤与方法，针对不同类型模板进行相对应的特征参数库，扩展系统对不同表单的识别，可实现对任意表单中任意区域信息的识别。3.根据权利要求1所述的一种表单任意区域字符识别与信息录入方法，其特征在于：所述步骤2）中表单区域与兴趣区域（信息区域）模板特征参数库构建的方法为：根据采集的模板表单图像，通过人机交互的方式，利用鼠标点击框选的方法分别获得表单区域和信息区域，然后计算其对应的模板特征参数，并构建参数库，参数库主要包括：表单区域和信息区域分别对应的最大内切椭圆长轴长度、短轴长度、中心点坐标，区域面积、连通域个数，以及表单区域与信息区域相对位置关系。4.根据权利要求1所述的一种表单任意区域字符识别与信息录入方法，其特征在于：所述步骤3）中表单图像在线采集与表单区域筛选的方法：综合考虑当前帧与上一帧图像的相似度、表单区域的连通...

【专利技术属性】
技术研发人员：杨傲雷，刘佳奇，陈灵，徐昱琳，杨帮华，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海,31