图像文本信息的识别方法、装置以及存储介质制造方法及图纸

本申请公开了一种图像文本信息的识别方法，识别方法包括：获取图像的待识别区域，并对待识别区域进行预处理；将预处理后的图像输入文本检测模型，以得到待识别区域中所有文本区域的四边形文本框坐标；根据四边形文本框坐标对每一文本区域进行第一次裁剪；对裁剪后的文本区域进行纠偏处理；采用文本识别模型对纠偏处理后的每一文本区域进行识别，以得到文本信息。通过上述方式，本申请能够实现端到端的文本信息提取，提高图像文本信息识别的精度和效率。

Recognition method, device and storage medium of image text information

【技术实现步骤摘要】
图像文本信息的识别方法、装置以及存储介质
本申请涉及图像检测技术，特别是涉及一种图像文本信息的识别方法、装置及存储介质。
技术介绍
文本信息提取包括文本检测和文本识别（光学字符识别，OpticalCharacterRecognition，OCR），即从图片的文本区域中提取出文本内容,其广泛应用于图片搜索、名片识别、票据识别、商品推荐和广告精准投放等。近年来，随着电子商务的迅猛发展，快件收寄呈爆发式增长，物流行业的快递工作量急剧增加。货运单的地址信息是物件投递过程中的重要依据，能否正确识别该地址信息是物件能否被正确投递的关键。现有技术做货运单据文本信息的提取，通常采用的方法是移动端调用开放平台提供的应用程序编程接口(ApplicationProgrammingInterface,API)识别图像内容，如百度AI开放平台、优图OCR等，移动端接收识别结果并进行相应处理。但是，采用现有技术中的文本信息提取方案带来的问题有如下几点：1、需要网络传输，其图像识别速度严重依赖网络速度；2、需要频繁调用API，对服务器性能要求较高，3、不能离线使用。
技术实现思路
本申请提供一种图像文本信息的识别方法、装置及存储介质，能够解决现有技术中文本信息识别速度严重依赖网络速度、对服务器性能要求高及不能离线使用的问题。为解决上述技术问题，本申请采用的一个技术方案是：提供一种图像文本信息的识别方法，所述识别方法包括：获取图像的待识别区域，并对所述待识别区域进行预处理；将预处理后的所述图像输入文本检测模型，以得到所述待识别区域中所有文本区域的四边形文本框坐标；根据所述四边形文本框坐标对每一所述文本区域进行第一次裁剪；对裁剪后的所述文本区域进行纠偏处理；采用文本识别模型对纠偏处理后的每一文本区域进行识别，以得到所述文本信息。其中，所述根据所述四边形文本框坐标对每一所述文本区域进行裁剪包括：根据所述四边形文本框坐标计算每一所述文本区域的矩形框坐标；根据所述矩形框坐标对所述文本区域进行第一次裁剪。其中，所述对裁剪后的所述文本区域进行纠偏处理包括：根据所述文本框坐标计算所述文本区域的旋转角度值；根据所述旋转角度值将所述文本区域旋转至水平方向；对旋转后的所述文本区域进行第二次裁剪，以保留文本信息所在区域。其中，所述对旋转后的所述文本区域进行第二次裁剪包括：保持旋转后所述文本区域的宽度不变，获取所述文本区域的文本框高度；根据所述文本框的高度计算所述文本区域的裁剪值；根据所述裁剪值对所述文本区域进行第二次裁剪。其中，所述矩形框宽度大于或者等于所述四边形框的宽度。其中，所述根据所述位置信息对每一所述文本区域进行纠偏处理之后进一步包括：将纠偏处理后的所述文本区域转换为灰度图；保持所述灰度图的纵横比不变，将所述灰度图的高度缩放至预设值；将所述灰度图的像素值转换为浮点数，并对每一所述像素值进行预处理。其中，所述对所述待识别区域进行预处理包括：保持所述待识别区域的纵横比不变，将所述待识别区域的宽度缩放至第二预设宽度值；将所述缩放后的所述待识别区域进行颜色空间缩减处理。其中，所述识别方法进一步包括：对每一文本区域识别出的文本信息按照顺序组合校正，输出识别文本段。为解决上述技术问题，本申请采用的另一个技术方案是：提供一种图像文本信息的识别装置，所述装置包括处理器及存储器，所述处理器连接所述存储器，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序以执行上述所述的识别方法。为解决上述技术问题，本申请采用的又一个技术方案是：提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序能够被处理器执行上述所述的识别方法。本申请的有益效果是：提供一种图像文本信息的识别方法、装置及存储介质，通过将文本检测模型和文本识别模型结合起来，可以实现端到端的文本信息提取，不需要对输入图像做任何的预处理，能够提高图像文本信息识别的精度以及效率。附图说明图1是本申请图像文本信息识别方法第一实施方式的流程示意图；图2是本申请步骤S100一实施方式的流程示意图；图3是本申请图像文本信息识别方法的处理流程示意图；图4是本申请步骤S300一实施方式的流程示意图；图5是本申请步骤S400一实施方式的流程示意图；图6是本申请步骤S430一实施方式的流程示意图；图7是本申请图像文本信息的识别装置一实施方式的示意图；图8是本申请存储介质一实施方式的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请中提供的图像文本信息的识别方法，可以应用于物流单号识别、图片搜索、名片识别、票据识别、商品推荐和广告精准投放等众多场景。本申请中以物流场景中快递单据信息的录入为例详细介绍图像文本信息识别方法。可以理解的是，现有技术中快递单据的入库通常采用人工操作，其输入工作量极大，速度慢，容易出错。本申请为了能在Android平台上运行神经网络模型，采用TensorflowMobile框架。其中，本申请中涉及的两个模型主要为文本检测模型（ConnectionistTextProposalNetwork,CTPN）和文本识别模型（ConvolutionalRecurrentNeuralNetwork,CRNN），且CTPN和CRNN模型均用Keras框架(Tensorflowbackend)实现，可以实现将模型训练的权重文件转换为适应移动端的静态图（pb格式），作为资源文件以供后续加载模型。如此，将CTPN和CRNN模型联合部署在Android移动端设备上，不需要网络传输，可离线使用，且二者结合可实现端到端的文本信息的提取，无需对输入的图像做任何预处理。下面详细介绍本申请的文本信息识别法。请参阅图，图1本申请图像文本信息的识别方法第一实施方式的流程示意图，如图1所示，本申请提供的图像文本信息识别方法包括如下步骤：S100，获取图像的待识别区域，并对待识别区域进行预处理。在本申请一具体应用场景中，调用移动设备的摄像头拍摄需要进行识别的快递单据。其中，此处的移动设备可以为搭载Android操作系统的设备，例如手机、平板电脑等，此处不做具体限定。本实施例中，调用手机摄像头拍摄快递单据得到图像信息，进一步选择图像中的待识别区域，此处可以手动框选图像中的待识别区域，也可以是手机自动选择图像中待识别的文字区域，此处不做具体限定。选择和截取好图像的待识别区域后，进一步对截取的待识别区域进行预处理，请一并结合图2，图2为本申请步骤S100一实施方式的流程示意图，步骤S100进一步包括如下子步骤：S110，保持待识别区域的纵横比不变，将待识别区域的宽度缩放至本文档来自技高网...

【技术保护点】
1.一种图像文本信息的识别方法，其特征在于，所述识别方法包括：/n获取图像的待识别区域，并对所述待识别区域进行预处理；/n将预处理后的所述图像输入文本检测模型，以得到所述待识别区域中所有文本区域的四边形文本框坐标；/n根据所述四边形文本框坐标对每一所述文本区域进行第一次裁剪；/n对裁剪后的所述文本区域进行纠偏处理；/n采用文本识别模型对纠偏处理后的每一文本区域进行识别，以得到所述文本信息。/n

【技术特征摘要】
1.一种图像文本信息的识别方法，其特征在于，所述识别方法包括：
获取图像的待识别区域，并对所述待识别区域进行预处理；
将预处理后的所述图像输入文本检测模型，以得到所述待识别区域中所有文本区域的四边形文本框坐标；
根据所述四边形文本框坐标对每一所述文本区域进行第一次裁剪；
对裁剪后的所述文本区域进行纠偏处理；
采用文本识别模型对纠偏处理后的每一文本区域进行识别，以得到所述文本信息。


2.根据权利要求1所述的识别方法，其特征在于，所述根据所述四边形文本框坐标对每一所述文本区域进行裁剪包括：
根据所述四边形文本框坐标计算每一所述文本区域的矩形框坐标；
根据所述矩形框坐标对所述文本区域进行第一次裁剪。


3.根据权利要求2所述的识别方法，其特征在于，所述对裁剪后的所述文本区域进行纠偏处理包括：
根据所述文本框坐标计算所述文本区域的旋转角度值；
根据所述旋转角度值将所述文本区域旋转至水平方向；
对旋转后的所述文本区域进行第二次裁剪，以保留文本信息所在区域。


4.根据权利要求3所述的识别方法，其特征在于，所述对旋转后的所述文本区域进行第二次裁剪包括：
保持旋转后所述文本区域的宽度不变，获取所述文本区域的文本框高度；
根据所述文本框的高度计算所述文本区域的裁剪值；
根据所述裁剪值对所述文本区域进行第二次...

【专利技术属性】
技术研发人员：高利军，
申请(专利权)人：坎德拉深圳科技创新有限公司，
类型：发明
国别省市：广东;44