图像文本识别方法、装置、设备及其存储介质制造方法及图纸

本申请公开了图像文本识别方法、装置、设备及其存储介质。该方法包括：获取待识别图像，待识别图像为行政许可证书图片；将待识别图像输入到预先构建的图像文本识别模型中进行文本检测和文本识别，得到目标识别结果；其中，图像文本识别模型包括图像文本检测子模型和图像文本识别子模型，图像文本检测子模型与图像文本识别子模型分别采用深度学习算法训练得到的，目标识别结果包括与待识别图像中至少一个文本条目相对应的语句信息特征。根据本申请实施例的技术方案，通过预先构建的图像文本识别模型来实现对待识别图像的目标区域进行检测和识别，从而提高了图像文本信息的处理效率，大大节约了用户信息录入的时间。

Image text recognition method, device, device and storage medium thereof

The application discloses an image text recognition method, device, device and storage medium thereof. The method includes: acquiring the image to be recognized and the image to be recognized is the image of the administrative license; inputting the image to be recognized into the pre-constructed image text recognition model for text detection and text recognition to obtain the target recognition results; and the image text recognition model includes the image text detection sub-model and the image text recognition sub-model. The recognition sub-model, the image text detection sub-model and the image text recognition sub-model are trained by depth learning algorithm respectively. The target recognition results include the sentence information features corresponding to at least one text item in the image to be recognized. According to the technical scheme of the embodiment of the present application, the target area of the recognition image is detected and recognized by the pre-constructed image text recognition model, thereby improving the processing efficiency of the image text information and greatly saving the time of user information input.

【技术实现步骤摘要】
图像文本识别方法、装置、设备及其存储介质
本申请一般涉及图像处理
，具体涉及基于图像识别检测
，尤其涉及图像文本识别方法、装置、设备及其存储介质。
技术介绍
在快递业务场景中，信息录入是一个不可避免的环节。大量信息重复录入，会造成资源的浪费。例如，商家营业执照的信息录入有时候需要按月更新。现有针对图片处理和识别，有的采用传统文本检测识别技术(OpticalCharacterRecognition，OCR)，该技术包括文字区域检测，图片信息提取及矫正，以及基于传统机器学习方法和HMM模型的文字识别分类器。但是，这些方法在解决商家营业执照的信息录入的问题时，都存在不足，例如，图片自身的限制导致文件检测和信息提取受限，以及在针对细长条文本框检测上表现不佳等问题。亟待提出一种针对营业执照信息提取的方法来解决上述不足。
技术实现思路
鉴于现有技术中的上述缺陷或不足，期望提供一种图像文本识别的技术方案来解决商家营业执照录入的问题。第一方面，本申请实施例提供了一种图像文本识别方法，该方法包括：获取待识别图像，待识别图像为行政许可证书图片；将待识别图像输入到预先构建的图像文本识别模型中进行文本检测和文本识别，得到目标识别结果；图像文本识别模型包括图像文本检测子模型和图像文本识别子模型，图像文本检测子模型与图像文本识别子模型分别采用深度学习算法训练得到的，目标识别结果包括与所述待识别图像中至少一个文本条目相对应的语句信息特征。第二方面，本申请实施例提供了一种图像文本识别装置，该装置包括：第一获取单元，用于获取待识别图像，待识别图像为行政许可证书图片；文本检测单元，用于将待识别图像输入到预先构建的图像文本识别模型中进行文本检测和文本识别，得到目标识别结果；图像文本识别模型包括图像文本检测子模型和图像文本识别子模型，图像文本检测子模型与图像文本识别子模型分别采用深度学习算法训练得到的，目标识别结果包括与待识别图像中至少一个文本条目相对应的语句信息特征。第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现如本申请实施例描述的方法。第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序用于：该计算机程序被处理器执行时实现如本申请实施例描述的方法。本申请实施例提供的图像文本识别方法的技术方案，通过预先构建的图像文本识别模型来实现对待识别图像的目标区域进行检测和识别，从而提高了图像文本信息的处理效率，并且预先构建的图像文本识别模型采用深度学习算法训练，也进一步提升了图像文本识别的精确度，大大节约了用户信息录入的时间。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1示出了本申请实施例提供的图像文本识别方法的流程示意图；图2示出了本申请又一实施例提供的构建图像文本识别模型的方法的流程示意图；图3示出了本申请实施例提供的图像文本识别装置的示例性结构框图；图4示出了本申请又一实施例提供的构建图像文本识别模型装置的示例性结构示意图；图5示出了适于用来实现本申请实施例的终端设备的计算机系统的结构示意图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。请参考图1，图1示出了本申请实施例提供的图像文本识别方法的流程示意图。如图1所示，该方法包括：步骤110，获取待识别图像，该待识别图像为行政许可证书图片。本申请实施例，在快递业务场景中，需要录入大量的用户信息，例如商家用户的行政许可证书的录入。针对这些行政许可证书的信息录入，可以根据其自身特点来提高信息录入效率。基于这种自身特点的挖掘，可以实现基于细长条目标检测及识别的全自动识别，来提高图像数据处理的效率。其中，行政许可证书包括许可证、执照等。优选地，如营业执照。这些行政许可证书的特点在于其文本上都存在细长条形状的目标区域，例如可以是营业执照中公司名称和统一信用代码对应的区域等。其中，行政许可证书的图片的获取方式例如可以是通过摄像装置(如终端的摄像头或者独立的摄像机等)拍摄行政许可证书的图片；或者从其他终端传送的行政许可证书的图片；或者从相关存储装置获取的行政许可证书的图片，或者从其他远程服务器远程获取行政许可证书的图片等等。然后，将获取的图片传输到相关处理装置中进行图像处理。相关处理装置例如可以是图像处理器，或者处理器。通过调用相关的图像检测、识别算法获取图像中需要录入的文本条目对应的文字内容。当接收到新的图像(即待识别图像)时，触发处理器获取待识别图像，然后调用相关处理程序执行该待识别图像的识别。该待识别图像例如可以是行政许可证书的图片，优选地，营业执照图片。步骤120，将待识别图像输入到预先构建的图像文本识别模型中进行文本检测和文本识别，得到目标识别结果；其中，图像文本识别模型包括图像文本检测子模型和图像文本识别子模型，该图像文本检测子模型与该图像文本识别子模型分别采用深度学习算法训练得到的，该目标识别结果包括与待识别图像中至少一个文本条目相对应的语句信息特征。本申请实施例，在获取待识别图像后，将该待识别图像输入预先构建的图像文本识别模型中进行文本检测和文本识别，然后得到目标识别结果。现有的OCR不能准确地识别行政许可证书中存在的细长条形的文本条目，文本条目例如可以是营业执照图片中公司名称或者统一信用代码等。为了能够准确地检测文本条目对应的区域，并针对该区域进一步完成识别，本申请实施例通过采用深度学习算法训练得到的图像文本识别模型来实现。该图像文本识别模型能够针对现有技术存在问题，更好地实现对特定的文本条目的检测和识别，从而提升文本检测效率和精度。其中，深度学习算法例如可以是针对现有文本检测算法进行改进、或者卷积神经网络(ConvolutionalNeuralNetwork，CNN)、深度残差网络(DeepResidualNetwork，DResNet)以及长短期记忆网络(LongShort-TermMemory，LSTM)等的组合结果。其中，文本检测算法，例如可以是改进的SSD算法(SingleShotDetection)。改进的SSD算法基于获取图片自身的特点，通过调整特征提取层的选择和目标框比例的设置来实现，其能够进一步地提升检测结果的精确度。本申请实施例，图像文本识别模型至少包括图像文本检测子模型和图像文本识别子模型。其中，图像文本检测子模型例如可以采用改进的SSD算法训练而成。图像文本识别子模型例如可以采用神经网络组合训练而成。神经网络组合例如可以是卷积神经网络与长短期记忆网络的组合，或者深度残差网络与长短期记忆网络的组合等。将待识别图像输入图像文本识别模型后，可以从图像中识别出对应文本条目相对应的语句信息特征。文本条目对应图像中细长形状的文字框体。例如“公司名称ABCD公司”。该语句信息特征为文本条目对应的本文档来自技高网...

【技术保护点】
1.一种图像文本识别方法，其特征在于，该方法包括：获取待识别图像，所述待识别图像为行政许可证书图片；将所述待识别图像输入到预先构建的图像文本识别模型中进行文本检测和文本识别，得到目标识别结果；所述图像文本识别模型包括图像文本检测子模型和图像文本识别子模型，所述图像文本检测子模型与所述图像文本识别子模型分别采用深度学习算法训练得到的，所述目标识别结果包括与所述待识别图像中至少一个文本条目相对应的语句信息特征。

【技术特征摘要】
1.一种图像文本识别方法，其特征在于，该方法包括：获取待识别图像，所述待识别图像为行政许可证书图片；将所述待识别图像输入到预先构建的图像文本识别模型中进行文本检测和文本识别，得到目标识别结果；所述图像文本识别模型包括图像文本检测子模型和图像文本识别子模型，所述图像文本检测子模型与所述图像文本识别子模型分别采用深度学习算法训练得到的，所述目标识别结果包括与所述待识别图像中至少一个文本条目相对应的语句信息特征。2.根据权利要求1所述的方法，其特征在于，所述图像文本检测子模型与所述图像文本识别子模型分别采用深度学习算法训练得到的，包括：采用第一深度学习算法训练得到所述图像文本检测子模型；以及采用第二深度学习算法训练得到所述图像文本识别子模型。3.根据权利要求2所述的方法，其特征在于，所述采用第一深度学习算法训练得到所述图像文本检测子模型，包括：获取第一图像数据集，所述第一图像数据集包括历史存储的行政许可证书图片；对所述第一图像数据集进行增广处理，得到图像训练集；利用所述图像训练集按照所述第一深度学习算法进行训练学习，得到所述图像文本检测子模型，所述图像文本检测子模型包括多个特征提取层，所述图像文本检测子模型的输出结果与所述多个特征提取层中位于中间层级的特征提取层相关。4.根据权利要求3所述的方法，其特征在于，所述第一深度学习算法采用改进的SSD算法。5.根据权利要求3或4所述的方法，其特征在于，所述采用第二深度学习算法训练得到所述图像文本识别子模型，包括：获取所述图像文本检测子模型的输出结果，将所述输出结果作为第一目标训练集；获取根据运单数据中第一项目预先生成的第二图像数据集，将所述第二图像数据集作为第二目标训练集；利用所述第一目标训练集和所述第二目标训练集按照所述第二深度学习算法进行训练，得到所述图像文本识别子模型，所述图像文本识别子模型输出所述目标识别结果。6.根据权利要求5所述的方法，其特征在于，所述第二深度学习算法包括深度残差网络和长短期记忆神经网络，且利用所述第一目标训练集和所述第二目标训练集按照所述第二深度学习算法进行训练，包括：将第一目标训练集和第二目标训练集输入所述深度残差网络提取所述第一目标训练集和所述第二目标训练集中字符特征向量，所述字符特征向量是由预先生成的高频字字典来表征；然后，将所述字符特征向量输入到所述长短期记忆网络，训练得到语句信息特征，将所述语句信息特征作为所述目标识别结果。7.根据权利要求1-6任一项所述的方法，其特征在于，该方法还包括：将所述图像文本识别子模型输出的语句信息特征和所述图像文本检测子模型的输出结果进行关联存储。8.一种图像文本识别装置，其特征在于，该装置包括：第一获取单元，用于获取待识别图像，所述待识别图像为行政许可证书图片；文本检测...

【专利技术属性】
技术研发人员：冯昊楠，张玉双，冯新杰，庄思待，
申请(专利权)人：顺丰科技有限公司，
类型：发明
国别省市：广东,44