文本检测方法和装置以及文本识别系统制造方法及图纸

本发明专利技术提供一种文本检测方法和装置以及文本识别系统。本发明专利技术的一个方面公开了一种文本检测方法。该文本检测方法包括：获得获取的图像中的文本组件；基于特征相似性测度，获得针对各个文本组件的连接候选；基于该文本组件的连接候选的方向分布，计算针对各个文本组件的主方向；基于种子文本组件的主方向，由所述文本组件来确定至少一个种子文本组件；通过基于所述文本组件的主方向，将对应的文本组件附加到所述种子文本组件，来生成至少一个文本组件组；以及基于所述文本组件组，生成所获取的图像中的文本区域。根据本发明专利技术，将提高文本检测的精确度。

Text detection method and device and text recognition system

The invention provides a text detection method and device as well as a text recognition system. An aspect of the present invention discloses a text detection method. Including the text detection method: the image acquisition of the text component; similarity measure based on the obtained for each candidate text connection component; the distribution of text component connection candidate based on the direction of the main direction for each calculation of text components; the main direction of seed text based on component, by the text component determine at least one seed text component; through the main direction of the text based on components will be added to the text component corresponding to the seed text component, to generate at least one text component; and based on the text component, the text area in the image generation. According to the invention, the accuracy of text detection is improved.

【技术实现步骤摘要】
文本检测方法和装置以及文本识别系统
本专利技术涉及图像处理，尤其涉及例如文本检测方法和装置以及文本识别系统。
技术介绍
自然场景图像和视频帧中的文本(例如布告牌中的文本、海报中的文本)通常携带用于视觉内容理解应用(诸如智能翻译、人机交互等等)的重要信息。文本检测技术是用于视觉内容理解应用的关键技术。然而，因为自然场景图像中的文本几乎没有任何固定的布局模式，所以在自然场景图像中的文本的布局复杂(例如在自然场景图像中，文本具有任意或多个方向)的情况下，容易得到错误的文本检测结果(即，属于不同文本的文本组件(component)将容易被检测为属于一个相同文本)。在“RobustTextDetectioninNaturalSceneImages”(Yin,X.-C.；Yin,X.；Huang,K.&Hao,H.-W.,IEEETransactionsonPatternAnalysisandMachineIntelligence,2013,36,970-983)(下文中简称为文档1)以及中国专利申请CN201210506072.4(下文中简称为文档2)中，公开了为解决上述多方向文本检测问题的两个示例性技术。文档1和文档2中公开的主要操作包括：首先，通过使用两个或三个种子文本组件，初始化文本组件组，其中，基于文本组件之间的特征相似性测度(例如空间距离)和/或线性对准关系，来确定种子文本组件；第二，针对不在当前文本组件组内的一个文本组件，基于该文本组件与当前文本组件组中的末端文本组件之间的特征相似性测度，并且基于当前文本组件组的方向(例如当前文本组件组中的最后两个末端文本组件之间的连接的扩展方向，或者当前文本组件组内的文本组件之间的连接的平均方向)，来判断是否将该文本组件附加到当前文本组件组；第三，重复上述两个操作，直到所有的文本组件被处理。然后，最终获得的文本组件组将被用来生成对应的文本区域。如上所述，首先将由所确定的种子文本组件来初始化文本组件组，然后将通过附加满足预定义的条件的其他对应的文本组件，来扩大文本组件组。因此，是否能够正确地确定种子文本组件，将直接影响文本检测结果。如文档1中所公开的，在两个文本组件之间的空间距离为最小的情况下，这两个文本组件将被确定为种子文本组件。如文档2中所公开的，在三个文本组件之间的空间距离满足空间距离限制，并且这三个文本组件满足线性对准关系的情况下，这三个文本组件将被确定为种子文本组件。然而，在某些情形中，与属于一个相同文本的文本组件相比，属于两个不同文本的两个文本组件可以具有最小的空间距离，例如如图1A所示的虚线框中的两个文本组件“禁”和“喫”。在某些情形中，例如文本被紧密布置，可能存在满足线性对准关系和空间距离限制的三个文本组件，例如图1B中所示的虚线框中的三个文本组件“江”、“禁”和“上”。因此，这些文本组件将被视为属于一个相同文本，并且将被错误地确定为种子文本组件。因此，最终的文本检测结果将是错误的。
技术实现思路
因此，鉴于上述
技术介绍
中的陈述，本公开的目的是解决上述问题。根据本专利技术的一个方面，提供了一种文本检测方法，所述文本检测方法包括：文本组件获得步骤，获得获取的图像中的文本组件；连接候选获得步骤，针对各个文本组件，基于该文本组件与该文本组件周围的文本组件之间的特征相似性测度，从该文本组件到该文本组件周围的文本组件的连接中，获得连接候选；主方向计算步骤，针对各个文本组件，基于该文本组件的连接候选的方向分布，计算该文本组件的主方向；种子文本组件确定步骤，基于种子文本组件的主方向和所述种子文本组件的连接候选的方向，由所述文本组件确定至少一个种子文本组件；文本组件组生成步骤，针对至少一个种子文本组件，通过基于所述文本组件的主方向，将对应的文本组件附加到所述种子文本组件，生成至少一个文本组件组；以及文本区域生成步骤，基于所述文本组件组，生成所述获取的图像中的文本区域。利用本专利技术，将提高文本检测的精确度。通过以下参照附图的描述，本专利技术的其他特征和优点将变得清楚。附图说明并入说明书中并构成说明书的一部分的附图，例示了本专利技术的实施例，并且与文字描述一起，用来解释本专利技术的原理。图1A和图1B示意性示出了根据现有技术错误地确定种子文本组件的示例性自然场景图像。图2是示意性示出能够实现根据本专利技术的实施例的技术的硬件构造的框图。图3是例示根据本专利技术的实施例的文本检测装置的构造的框图。图4示意性示出了根据本专利技术的实施例的文本检测处理的流程图。图5是示意性示出图4中所示的步骤S430的处理的详细过程的流程图。图6A示意性示出了一个文本组件到该文本组件周围的其他文本组件的示例性连接。图6B示意性示出了在欧氏空间(EuclideanSpace)中表示图6A中所示的连接的示例。图6C示意性示出了极坐标空间(PolarSpace)中表示图6A中所示的连接的示例。图6D示意性示出了针对图6A中所示的连接而生成的示例性直方图。图6E示出了针对图6A中所示的文本组件610而计算出的示例性主方向。图6F示意性示出了图6D中所示的直方图的示例性加权直方图。图7是示意性示出图4中所示的步骤S460的处理的详细过程的流程图。图8是示意性示出图7中所示的步骤S4610的处理的详细过程的流程图。图9A至图9F示意性示出了对应的文本组件的方向一致性测度的一些示例。图10是示意性示出图4中所示的步骤S470的处理的详细过程的流程图。图11示意性示出了沿一个种子文本组件的第一主方向的区域。图12是示意性示出图10中所示的步骤S4720的处理的详细过程的流程图。图13示意性示出了沿当前文本组件组的末端文本组件的第一主方向的区域。图14是示意性示出图10中所示的步骤S4720的处理的另一详细过程的流程图。图15示意性示出了沿一个种子文本组件的第二主方向的区域。图16是示意性示出图10中所示的步骤S4730的处理的详细过程的流程图。图17是示意性示出图10中所示的步骤S4730的处理的另一详细过程的流程图。图18A至图18E示意性示出了根据本专利技术的一个自然场景图像的示例性文本检测处理。图19例示了根据本专利技术的示例性文本识别系统的布置。具体实施方式下面，将参照附图详细描述本专利技术的示例性实施例。应当注意，以下描述在本质上仅仅是说明性的和示例性的，并且决不旨在限制本专利技术及其应用或用途。在实施例中阐述的组件和步骤的相对布置、数值表达式和数值不限制本专利技术的范围，除非另外具体说明。另外，本领域技术人员已知的技术、方法和设备可以不被详细讨论，但是在适当的情况下旨在作为本说明书的一部分。请注意，在附图中，类似的附图标记和字母是指类似的项目，因此一旦在一个图中定义了项目，则不必针对后面的图进行讨论。如上所述，在自然场景图像中，文本具有多个方向的情况下，容易确定错误的种子文本组件，并且通过使用该错误的种子文本组件得到错误的文本检测结果。经过分析，专利技术人发现不管自然场景图像中的文本的布局多么复杂，总是存在一些邻近结构清晰的文本组件，也就是说，总是存在一些到其邻近的文本组件的连接的方向一致的文本组件。并且本专利技术人还发现，通过使用这些各个文本组件作为种子文本组件来生成文本组件组，将改善文本检测结果(即，文本文档来自技高网...

【技术保护点】
一种文本检测方法，所述文本检测方法包括：文本组件获得步骤，获得获取的图像中的文本组件；连接候选获得步骤，针对各个文本组件，基于该文本组件与该文本组件周围的文本组件之间的特征相似性测度，从该文本组件到该文本组件周围的文本组件的连接中，获得连接候选；主方向计算步骤，针对各个文本组件，基于该文本组件的连接候选的方向分布，计算该文本组件的主方向；种子文本组件确定步骤，基于种子文本组件的主方向和所述种子文本组件的连接候选的方向，由所述文本组件确定至少一个种子文本组件；文本组件组生成步骤，针对至少一个种子文本组件，通过基于所述文本组件的主方向，将对应的文本组件附加到所述种子文本组件，生成至少一个文本组件组；以及文本区域生成步骤，基于所述文本组件组，生成所述获取的图像中的文本区域。

【技术特征摘要】
1.一种文本检测方法，所述文本检测方法包括：文本组件获得步骤，获得获取的图像中的文本组件；连接候选获得步骤，针对各个文本组件，基于该文本组件与该文本组件周围的文本组件之间的特征相似性测度，从该文本组件到该文本组件周围的文本组件的连接中，获得连接候选；主方向计算步骤，针对各个文本组件，基于该文本组件的连接候选的方向分布，计算该文本组件的主方向；种子文本组件确定步骤，基于种子文本组件的主方向和所述种子文本组件的连接候选的方向，由所述文本组件确定至少一个种子文本组件；文本组件组生成步骤，针对至少一个种子文本组件，通过基于所述文本组件的主方向，将对应的文本组件附加到所述种子文本组件，生成至少一个文本组件组；以及文本区域生成步骤，基于所述文本组件组，生成所述获取的图像中的文本区域。2.根据权利要求1所述的文本检测方法，其中，针对各个文本组件，所述连接候选获得步骤包括：第一特征相似性测度计算步骤，计算该文本组件与该文本组件周围的文本组件之间的特征相似性测度；以及连接候选确定步骤，确定该文本组件到计算出的特征相似性测度大于或等于第一阈值的文本组件的连接，作为连接候选。3.根据权利要求1所述的文本检测方法，其中，所述主方向计算步骤包括：将所述连接候选的方向的角度值归一化到预定范围；基于所归一化的角度值和所述连接候选的数量，生成直方图；分配与最高的直方图柱相对应的角度值，作为该文本组件的第一主方向的角度值；以及分配与该文本组件的第一主方向相反的方向的角度值，作为该文本组件的第二主方向的角度值。4.根据权利要求3所述的文本检测方法，其中，通过由该连接候选连接的两个文本组件之间的特征相似性测度，对各个连接候选的数量进行加权。5.根据权利要求3所述的文本检测方法，其中，所述种子文本组件确定步骤包括：方向一致性测度计算步骤，针对各个文本组件，基于该文本组件的主方向，计算该文本组件的连接候选的方向的方向一致性测度；以及种子文本组件选择步骤，选择具有最大的方向一致性测度的文本组件，作为所述种子文本组件；其中，一个文本组件的方向一致性测度表示该文本组件的连接候选的方向的一致性。6.根据权利要求5所述的文本检测方法，其中，所述方向一致性测度计算步骤包括：确定该文本组件的第一主方向或第二主方向的角度值、与所述连接候选的方向的角度值之间的差值；将所确定的差值小于或等于第二阈值的连接候选分类为第一类连接，并且将其他连接候选分类为第二类连接；以及基于所述第一类连接的尺寸测度和所述第二类连接的尺寸测度，计算所述方向一致性测度。7.根据权利要求6所述的文本检测方法，其中，针对一个连接候选，差值的确定步骤包括：计算该文本组件的第一主方向的角度值与该连接候选的方向的角度值之间的第一差值；计算该文本组件的第二主方向的角度值与该连接候选的方向的角度值之间的第二差值；以及选择所述第一差值与所述第二差值之间较小的一个，作为所确定的差值。8.根据权利要求6所述的文本检测方法，其中，所述第一类连接的尺寸测度和所述第二类连接的尺寸测度至少包括：所述第一类连接的数量和所述第二类连接的数量；或该文本组件与对应于所述第一类连接的文本组件之间的特征相似性测度，以及该文本组件与对应于所述第二类连接的文本组件之间的特征相似性测度。9.根据权利要求8所述的文本检测方法，其中，所述方向一致性测度是第一和与第二和的比，其中，所述第一和是该文本组件与对应于所述第一类连接的文本组件之间的特征相似性测度的和，所述第二和是该文本组件与对应于所述第一类连接的文本组件之间的特征相似性测度、与该文本组件与对应于所述第二类连接的文本组件之间的特征相似性测度的和。10.根据权利要求3所述的文本检测方法，其中，针对一个文本组件组，所述文本组件组生成步骤包括：第一生成步骤，通过基于所述文本组件的主方向，将沿所述种子文本组件的第一主方向的区域内的对应的文本组件附加入该文本组件组，生成该文本组件组；和/或第二生成步骤，通过基于所述文本组件的主方向，将沿所述种子文本组件的第二主方向的区域内的对应的文本组件附加入该文本组件组，生成该文本组件组。11.根据权利要求10所述的文本检测方法，其中，针对沿所述种子文本组件的第一主方向的区域内的当前文本组件组的末端文本组件，所述第一生成步骤包括：第一距离计算步骤，计算所述末端文本组件、与所述末端文本组件周围且未被附加到任何文本组件组的文本组件之间的距离；第一文本组件候选确定步骤，确定具有最小距离的文本组件，作为所述文本组件候选；第一附加步骤，在所述末端文本组件的第一主方向的角度值与所述文本组件候选的第一主方向的角度值之间的差值小于第三阈值的情况下，将所述文本组件候选附加到所述当前文本组件组；否则，终止所述第一生成步骤。12.根据权利要求11所述的文本检测方法，其中，所述第一生成步骤还包括：区域确定步骤，基于所述末...

【专利技术属性】
技术研发人员：马彬，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本,JP