识别图片中信息的方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及一种识别图片中信息的方法、装置、设备及存储介质，该方法包括：获取上传的单据图片，利用预先训练好的分类器对单据图片进行分类，得到单据图片对应的单据类型；分析单据图片中的单据是否处于正摆放状态，若不是正摆放状态，则对单据图片进行旋转处理，使得单据处于正摆放状态；获取单据类型对应的、预先训练好的分割网络模型，将单据图片输入分割网络模型中，获取分割网络模型输出的单据图片中各个关键信息所处区域对应的坐标信息，基于各个坐标信息截取单据图片，得到包含各个关键信息对应的各个待处理图片；对各个待处理图片进行检测、识别处理，得到各个待处理图片中的关键信息。本发明专利技术能够提高图片信息识别的准确率。率。率。

【技术实现步骤摘要】
识别图片中信息的方法、装置、设备及存储介质


[0001]本专利技术涉及图像处理
，尤其涉及一种识别图片中信息的方法、装置、设备及存储介质。

技术介绍

[0002]金融业务的机构一般需要对客户提交的单据进行处理，识别单据中的文本信息并进行分析或归档等处理。例如，银行贷款业务和借贷金融业务需要对客户提交银行理财结单进行识别，以检查信息真实性，包括客户信息、客户资产概况、客户流水等信息的检查。然而，单据中包含的文本信息较多，信息量大。目前，识别单据中的文本信息大多采用光学字符识别(Optical Character Recognition,OCR)方法进行识别，该方法对于文本信息较少或简单的单据能够得到较好的识别效果，但对于文本信息较多且图像背景较复杂的单据，其识别准确率有待进一步提高。

技术实现思路

[0003]本专利技术的目的在于提供一种识别图片中信息的方法、装置、设备及存储介质，旨在提高图片信息识别的准确率。
[0004]本专利技术提供一种识别图片中信息的方法，包括：
[0005]获取上传的单据图片，利用预先训练好的分类器对所述单据图片进行分类，得到所述单据图片对应的单据类型；
[0006]分析所述单据图片中的单据是否处于正摆放状态，若不是正摆放状态，则对所述单据图片进行旋转处理，使得所述单据处于正摆放状态；
[0007]获取所述单据类型对应的、预先训练好的分割网络模型，将所述单据图片输入所述分割网络模型中，获取所述分割网络模型输出的所述单据图片中各个关键信息所处区域对应的坐标信息，基于各个坐标信息截取所述单据图片，得到包含各个关键信息对应的各个待处理图片；
[0008]对各个待处理图片进行检测、识别处理，得到各个待处理图片中的关键信息。
[0009]本专利技术还提供一种识别图片中信息的装置，包括：
[0010]分类模块，用于获取上传的单据图片，利用预先训练好的分类器对所述单据图片进行分类，得到所述单据图片对应的单据类型；
[0011]旋转模块，用于分析所述单据图片中的单据是否处于正摆放状态，若不是正摆放状态，则对所述单据图片进行旋转处理，使得所述单据处于正摆放状态；
[0012]截取模块，用于获取所述单据类型对应的、预先训练好的分割网络模型，将所述单据图片输入所述分割网络模型中，获取所述分割网络模型输出的所述单据图片中各个关键信息所处区域对应的坐标信息，基于各个坐标信息截取所述单据图片，得到包含各个关键信息对应的各个待处理图片；
[0013]识别模块，用于对各个待处理图片进行检测、识别处理，得到各个待处理图片中的
关键信息。
[0014]本专利技术还提供一种计算机设备，所述计算机设备包括存储器及与所述存储器连接的处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的识别图片中信息的方法的步骤。
[0015]本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的识别图片中信息的方法的步骤。
[0016]本专利技术的有益效果是：本专利技术在对图片中信息进行识别时，首先对单据图片进行分类得到对应的单据类型，再对单据图片中单据不是正摆放状态的单据图片进行旋转处理，使得单据处于正摆放状态，然后利用分割网络模型对获取单据图片中各个关键信息所处区域对应的坐标信息，根据坐标信息进行截取得到各个待处理图片，最后对各个待处理图片进行检测、识别处理，得到关键信息。本专利技术从原单据图片中截取了各个文本区域所在的待处理图片，再对待处理图片进行检测、识别处理，能够去除大部分复杂的背景，降低了文本信息检测器输入的复杂度，减小图片处理范围，进而提高信息识别的准确率。
附图说明
[0017]图1为本专利技术识别图片中信息的方法一实施例的流程示意图；
[0018]图2为图1中对各个待处理图片进行检测、识别处理，得到各个待处理图片中的关键信息的步骤的细化流程示意图；
[0019]图3为本专利技术识别图片中信息的装置一实施例的结构示意图；
[0020]图4为本专利技术计算机设备一实施例的硬件架构的示意图。
具体实施方式
[0021]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0022]需要说明的是，在本专利技术中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本专利技术要求的保护范围之内。
[0023]参阅图1所示，是本专利技术识别图片中信息的方法一实施例的流程示意图。在该实施例中，包括：
[0024]步骤S1，获取上传的单据图片，利用预先训练好的分类器对所述单据图片进行分类，得到所述单据图片对应的单据类型；
[0025]获取上传的单据图片后，可以对单据图片进行处理，对单据图片进行处理包括对图片进行去噪(例如使用预定的一种或多种滤波器进行去噪)、增强预处理以提高图片清晰度等。
[0026]其中，去噪一般采用滤波器对单据图片进行去噪，增强预处理是通过一定手段对单据图片附加一些信息或变换数据，有选择地突出单据图片中感兴趣的特征或者抑制(掩盖)单据图片中某些不需要的特征，使单据图片与视觉响应特性相匹配。图像增强可分成两大类：频率域法和空间域法。频率域法把图像看成一种二维信号，对其进行基于二维傅里叶变换的信号增强。采用低通滤波(即只让低频信号通过)法，可去掉图中的噪声；采用高通滤波法，则可增强边缘等高频信号，使模糊的图片变得清晰。空间域法中具有代表性的算法有局部求平均值法和中值滤波(取局部邻域中的中间像素值)法等，它们可用于去除或减弱噪声。
[0027]其中，分类器可以通过收集大量(例如，10万张)包含关键信息的单据图片来构建，首先对收集的每一单据图片进行类型标注，然后将标注后的单据图片作为样本数据，输入分类器中进行训练。分类器可以采用常见的分类模型，如CNN(卷积神经网络模型)、RNN(循环神经网络)、SVM(支持向量机)模型等，其输入为单据图片，输出为输入的单据图片对应的单据类型，或者输出为输入的单据图片属于各种单据类型的得分，在后面这种情况下，可以取得分最高的单据类型作为相应单据图片所属的单据类型。
[0028]步骤S2，分析所述单据图片中的单据是否处于正摆放状态，若不是正摆放状态，则对所述单据图片进行旋转处理，使得所述单据处于正摆放状态；
...

【技术保护点】

【技术特征摘要】
1.一种识别图片中信息的方法，其特征在于，包括：获取上传的单据图片，利用预先训练好的分类器对所述单据图片进行分类，得到所述单据图片对应的单据类型；分析所述单据图片中的单据是否处于正摆放状态，若不是正摆放状态，则对所述单据图片进行旋转处理，使得所述单据处于正摆放状态；获取所述单据类型对应的、预先训练好的分割网络模型，将所述单据图片输入所述分割网络模型中，获取所述分割网络模型输出的所述单据图片中各个关键信息所处区域对应的坐标信息，基于各个坐标信息截取所述单据图片，得到包含各个关键信息对应的各个待处理图片；对各个待处理图片进行检测、识别处理，得到各个待处理图片中的关键信息。2.根据权利要求1所述的识别图片中信息的方法，其特征在于，所述对各个待处理图片进行检测、识别处理，得到各个待处理图片中的关键信息的步骤，具体包括：对各个待处理图片进行文本检测，得到各个待处理图片的文本框，以及各文本框中字符的数量、字符的位置信息，截取各个待处理图片的文本框；分析各个文本框中字符的数量是否大于等于预设的第一数量阈值；若有文本框中字符的数量大于等于所述第一数量阈值，则将字符的数量大于等于所述第一数量阈值的文本框切割为至少两个子图片，所述至少两个子图片中每一子图片中字符的数量在预定的数量范围内；将所述各个子图片输入预先训练好的识别模型中，获取所述识别模型输出的所述各个子图片对应的文本；根据所述字符的位置信息拼接所述各个子图片对应的文本，得到所述文本框中对应的关键信息。3.根据权利要求2所述的识别图片中信息的方法，其特征在于，所述对各个待处理图片进行检测、识别处理，得到各个待处理图片中的关键信息的步骤，进一步包括：若有文本框中字符的数量小于所述第一数量阈值，则将字符的数量小于所述第一数量阈值的文本框输入所述识别模型中，获取所述识别模型输出的文本，得到所述文本框中的关键信息。4.根据权利要求1至3任一项所述的识别图片中信息的方法，其特征在于，所述识别图片中信息的方法还包括按照以下方式训练分类器，包括：收集大于预设的第二数量阈值的单据图片，对收集的每一单据图片进行单据类型的标注，将标注后的单据图片作为样本数据输入所述分类器中进行训练，得到训练好的分类器。5.根据权利要求1至3任一项所述的识别图片中信息的方法，其特征在于，所述分析所述单据图片中的单据是否处于正摆放状态，若不是正摆放状态，则对所述单据图片进行旋转处理，使得所述单据处于正摆放状态的步骤，具体包括：检测所述单据图片中单据下方的边缘线，获取所述边缘线与水平方向的夹角，若所述夹角不等于0度，则将所述单据图片按照顺时...

【专利技术属性】
技术研发人员：蔡南平，盛欢，徐欢，邵诚，
申请(专利权)人：天冕信息技术深圳有限公司，
类型：发明
国别省市：