图像中的文本识别方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种图像中的文本识别方法、装置、计算机设备和存储介质。所述方法包括：获取待识别图像以及模板图像；所述模板图像中包含第一参照区域和第一识别区域；在所述待识别图像中，确定与所述第一参照区域匹配的第二参照区域；基于所述第一参照区域和所述第二参照区域计算变换矩阵；从所述待识别图像中，根据所述变换矩阵确定与所述第一识别区域匹配的第二识别区域；对所述第二识别区域中的图像进行文本识别，得到文本信息。采用本方法能够识别出完整的文本信息。

【技术实现步骤摘要】
图像中的文本识别方法、装置、计算机设备和存储介质
本申请涉及图像识别
，特别是涉及一种图像中的文本识别方法、装置、计算机设备和存储介质。
技术介绍
随着图像识别技术的发展，对于包含文本信息的图像，例如票据的图像、银行回单的图像、证件照片等，需要计算机自动提取出图像中的文本信息。传统技术中，通过将标准图像与待识别图像进行对齐，获取待识别图像中的待识别区域，从而从待识别区域中提取出文本信息。但是，由于标准图像和待识别图像的对齐难度较大，导致获取的待识别区域不准确，从而造成提取出的文本信息不完整。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够保证获取的文本信息的完整性的图像中的文本识别获取方法、装置、计算机设备和存储介质。一种图像中的文本识别方法，所述方法包括：获取待识别图像以及模板图像；所述模板图像中包含第一参照区域和第一识别区域；在所述待识别图像中，确定与所述第一参照区域匹配的第二参照区域；基于所述第一参照区域和所述第二参照区域计算变换矩阵；从所述待识别图像中，根据所述变换矩阵确定与所述第一识别区域匹配的第二识别区域；对所述第二识别区域中的图像进行文本识别，得到文本信息。在一个实施例中，所述在所述待识别图像中，确定与所述第一参照区域匹配的第二参照区域之前，所述方法还包括：当所述待识别图像为彩色图像时，对所述待识别图像进行灰度化处理；判断处理后的待识别图像的方向是否与预设正向一致；若否，则按照所述预设正向对所述处理后的待识别图像进行旋转。在一个实施例中，所述在所述待识别图像中，确定与所述第一参照区域匹配的第二参照区域，包括：对所述待识别图像进行图像分割，得到至少一个候选区域；对所述候选区域中图像进行文本识别，得到第一文本，以及对所述第一参照区域中图像进行文本识别，得到第二文本；计算所述第一文本与所述第二文本的相似度；根据计算得到的相似度，在所述候选区域中确定与所述第一参照区域匹配的第二参照区域。在一个实施例中，所述计算所述第一文本与所述第二文本的相似度，包括：依次计算所述第一文本与所述第二文本中每段相同字符的个数与所述第二文本中字符个数之间的比值；将所述比值中的最大比值确定为所述第一文本与所述第二文本的相似度；所述根据计算得到的相似度，在所述候选区域中确定与所述第一参照区域匹配的第二参照区域包括：当所述候选区域中的目标候选区域对应的相似度大于相似度阈值时，将所述目标候选区域确定为与所述第一参照区域匹配的第二参照区域。在一个实施例中，所述基于所述第一参照区域和所述第二参照区域计算变换矩阵，包括：分别从所述第一参照区域和所述第二参照区域中选取像素点；在选取的像素点中，将分别属于所述第一参照区域与所述第二参照区域中的、且相互对应的像素点组成对齐像素对；基于所述对齐像素对的坐标计算变换矩阵。在一个实施例中，所述对齐像素对包括所述第一参照区域中的第一对齐点以及所述第二参照区域中的第二对齐点；所述分别从所述第一参照区域和所述第二参照区域中选取像素点，包括：从所述第一参照区域中选取至少两个第一角点；以及，从所述第二参照区域中选取与所述第一角点对应的第二角点；根据所述第一角点的坐标计算得到第一对齐点坐标；以及根据所述第二角点的坐标计算得到第二对齐点坐标；获取所述第一对齐点坐标对应的所述第一对齐点以及所述第二对齐点坐标对应的所述第二对齐点；所述在选取的像素点中，将分别属于所述第一参照区域与所述第二参照区域中的、且相互对应的像素点组成对齐像素对，包括：将所述第一对齐点和所述第二对齐点作为对齐像素对。在一个实施例中，所述对齐像素对包括所述第一参照区域中的第一对齐点以及所述第二参照区域中的第二对齐点；所述变换矩阵包括仿射变换矩阵以及透视变换矩阵；所述基于所述对齐像素对的坐标计算变换矩阵，包括：从所述第一对齐点中选取至少三个第一目标对齐点；以及，从所述第二对齐点中选取至少三个第二目标对齐点；当所述第一对齐点的坐标满足分布条件时，根据所述第一目标对齐点的坐标以及所述第二目标对齐点的坐标计算仿射变换矩阵；当所述第一对齐点的坐标不满足所述分布条件时，根据所述第一目标对齐点的坐标以及所述第二目标对齐点的坐标计算得到透视变换矩阵。在一个实施例中，所述变换矩阵包括仿射变换矩阵以及透视变换矩阵；所述对齐像素对包括第一参照区域中的第一对齐点；所述从所述待识别图像中，根据所述变换矩阵确定与所述第一识别区域匹配的第二识别区域，包括：当所述第一对齐点的坐标满足分布条件时，根据所述仿射变换矩阵将所述第一识别区域映射至所述待识别图像中，并基于映射的结果得到第二识别区域；当所述第一对齐点的坐标不满足分布条件时，根据所述透视变换矩阵将所述第一识别区域映射至所述待识别图像中，并基于映射的结果得到第二识别区域。在一个实施例中，所述对齐像素对还包括所述第二参照区域中的第二对齐点；所述当所述第一对齐点的坐标不满足分布条件时，根据所述透视变换矩阵将所述第一识别区域中的像素点映射至所述待识别图像中，并基于映射的结果得到第二识别区域包括：当所述第一对齐点的坐标不满足分布条件时，通过所述透视变换矩阵对所述第一对齐点进行映射计算，得到映射点；计算所述映射点与所述第二对齐点之间的距离；当所述距离满足距离条件时，根据所述透视变换矩阵将所述第一识别区域中映射至所述待识别图像中，并基于映射的结果得到第二识别区域的步骤；所述方法还包括：当所述距离不满足所述距离条件时，计算所述第一对齐点的分布概率，并根据所述分布概率将所述第一识别区域映射至所述待识别图像中，并基于映射的结果得到第二识别区域。在一个实施例中，所述变换矩阵还包括区域子矩阵；所述根据所述分布概率将所述第一识别区域映射至所述待识别图像中，并基于映射的结果得到第二识别区域包括：当所述分布概率大于概率阈值时，通过薄板样条算法将所述第一识别区域映射至所述待识别图像中，并基于映射的结果得到第二识别区域；当所述分布概率小于或等于所述概率阈值时，将所述第一识别区域分为至少四个子区域；分别通过所述子区域对应的区域子矩阵将所述子区域映射至所述待识别图像中，并基于映射的结果得到第二识别区域。一种图像中的文本识别装置，所述装置包括：获取模块，用于获取待识别图像以及模板图像；所述模板图像中包含第一参照区域和第一识别区域；确定模块，用于在所述待识别图像中，确定与所述第一参照区域匹配的第二参照区域；计算模块，用于基于所述第一参照区域和所述第二参照区域计算变换矩阵；所述确定模块，还用于从所述待识别图像中，根据所述变换矩阵确定与所述第一识别区域匹配的第二识别区域；文本识别模块，用于对所述第二识别区域中的图像进行文本识别，得到文本信息。在一个实施例中，所本文档来自技高网...

【技术保护点】
1.一种图像中的文本识别方法，其特征在于，所述方法包括：/n获取待识别图像以及模板图像；所述模板图像中包含第一参照区域和第一识别区域；/n在所述待识别图像中，确定与所述第一参照区域匹配的第二参照区域；/n基于所述第一参照区域和所述第二参照区域计算变换矩阵；/n从所述待识别图像中，根据所述变换矩阵确定与所述第一识别区域匹配的第二识别区域；/n对所述第二识别区域中的图像进行文本识别，得到文本信息。/n

【技术特征摘要】
1.一种图像中的文本识别方法，其特征在于，所述方法包括：
获取待识别图像以及模板图像；所述模板图像中包含第一参照区域和第一识别区域；
在所述待识别图像中，确定与所述第一参照区域匹配的第二参照区域；
基于所述第一参照区域和所述第二参照区域计算变换矩阵；
从所述待识别图像中，根据所述变换矩阵确定与所述第一识别区域匹配的第二识别区域；
对所述第二识别区域中的图像进行文本识别，得到文本信息。


2.根据权利要求1所述的方法，其特征在于，所述在所述待识别图像中，确定与所述第一参照区域匹配的第二参照区域之前，所述方法还包括：
当所述待识别图像为彩色图像时，对所述待识别图像进行灰度化处理；
判断处理后的待识别图像的方向是否与预设正向一致；
若否，则按照所述预设正向对所述处理后的待识别图像进行旋转。


3.根据权利要求1所述的方法，其特征在于，所述在所述待识别图像中，确定与所述第一参照区域匹配的第二参照区域，包括：
对所述待识别图像进行图像分割，得到至少一个候选区域；
对所述候选区域中图像进行文本识别，得到第一文本，以及对所述第一参照区域中图像进行文本识别，得到第二文本；
计算所述第一文本与所述第二文本的相似度；
根据计算得到的相似度，在所述候选区域中确定与所述第一参照区域匹配的第二参照区域。


4.根据权利要求3所述的方法，其特征在于，所述计算所述第一文本与所述第二文本的相似度，包括：
依次计算所述第一文本与所述第二文本中每段相同字符的个数与所述第二文本中字符个数之间的比值；
将所述比值中的最大比值确定为所述第一文本与所述第二文本的相似度；
所述根据计算得到的相似度，在所述候选区域中确定与所述第一参照区域匹配的第二参照区域包括：
当所述候选区域中的目标候选区域对应的相似度大于相似度阈值时，将所述目标候选区域确定为与所述第一参照区域匹配的第二参照区域。


5.根据权利要求1所述的方法，其特征在于，所述基于所述第一参照区域和所述第二参照区域计算变换矩阵，包括：
分别从所述第一参照区域和所述第二参照区域中选取像素点；
在选取的像素点中，将分别属于所述第一参照区域与所述第二参照区域中的、且相互对应的像素点组成对齐像素对；
基于所述对齐像素对的坐标计算变换矩阵。


6.根据权利要求5所述的方法，其特征在于，所述对齐像素对包括所述第一参照区域中的第一对齐点以及所述第二参照区域中的第二对齐点；所述分别从所述第一参照区域和所述第二参照区域中选取像素点，包括：
从所述第一参照区域中选取至少两个第一角点；以及，从所述第二参照区域中选取与所述第一角点对应的第二角点；
根据所述第一角点的坐标计算得到第一对齐点坐标；以及根据所述第二角点的坐标计算得到第二对齐点坐标；
获取所述第一对齐点坐标对应的所述第一对齐点以及所述第二对齐点坐标对应的所述第二对齐点；
所述在选取的像素点中，将分别属于所述第一参照区域与所述第二参照区域中的、且相互对应的像素点组成对齐像素对，包括：
将所述第一对齐点和所述第二对齐点作为对齐像素对。


7.根据权利要求5所述的方法，所述对齐像素对包括所述第一参照区域中的第一对齐点以及所述第二参照区域中的第二对齐点；所述变换矩阵包括仿射变换矩阵以及透视变换矩阵；其特征在于，所述基于所述对齐像素对的坐标计算变换矩阵，包括：
...

【专利技术属性】
技术研发人员：胡志成，宁可，闵江松，
申请(专利权)人：金蝶软件中国有限公司，
类型：发明
国别省市：广东;44