一种图像文本检测方法及系统、用户终端及服务器技术方案

本发明专利技术实施例提供了一种图像文本检测方法及系统、用户终端及服务器；该方法包括：用户终端获取多个显著性图像，生成候选文本连通构件；服务器根据候选文本连通构件获取文本连通部件，将文本连通部件视作节点，连接近邻节点对构成无向图，对无向图中有公共节点的边依次进行融合，获得多个文本行；用户终端对多个文本行进行交叠融合，生成图像文本检测结果；服务器对图像文本检测结果进行识别得到最终文本；用户终端输出最终文本。本发明专利技术通过基于显著性模型的文件检测和根据无向图每条边的局部特征和全局特征进行分类得到文本行，提高了图像文本检测效率，降低了计算复杂度。

Image text detection method and system, user terminal and server

An embodiment of the invention provides an image text detection method and a system, a user terminal and a server. The method includes: a user terminal acquires a plurality of significant images and generates a candidate text connected component; the server acquires text connected components according to a candidate text connected component, regards a text connected component as a node, and connects it to a node. The nearest neighbor nodes form an undirected graph, and the edges of the common nodes in the undirected graph are fused in turn to obtain multiple text lines. The user terminal overlaps and fuses multiple text lines to generate the result of the image text detection; the server identifies the result of the image text detection and gets the final text; the user terminal outputs the final text. . In this invention, the text lines are classified by the file detection based on the saliency model and the local and global features of each edge of the undirected graph, which improves the efficiency of the image text detection and reduces the computational complexity.

【技术实现步骤摘要】
一种图像文本检测方法及系统、用户终端及服务器
本专利技术涉及文字识别领域，尤其涉及一种图像文本检测方法及系统、用户终端及服务器。
技术介绍
随着数字图像采集设备的快速普及，以及智能无线通讯设备和网络与人们生活之间关系日益密切，互联网上的文本和图像数据呈现爆炸式增长。这些数据在给人们的生活和工作带来丰富的信息和巨大便利的同时，数据的海量性、异构混杂和真伪难辨等特点也给人们有效利用信息带来巨大的困扰。人们迫切期望对图像中包含的对象、事件以及它们之间的关系等高层语义信息进行分析，从而完成基于内容的图像检索、分类、推荐、过滤等功能。网络上存在的文档图像又以合成文档图像数量最多，主要是网络用户出于各种目的把文本嵌入图片生成的图像，如微信短文图片、长微博和广告图片等人工合成图片。如何对网络上包含有大量信息的人工合成文档图像进行分析、检测和识别是各大通信企业必须面临的一个新的挑战。
技术实现思路
本专利技术实施例提供了一种图像文本检测方法及系统、用户终端及服务器，以提供一种图像文本检测方法。一方面，提供了一种图像文本检测方法，包括：计算待识别图像中各像素点在多个不同大小邻区内的显著性值，获取多个显著性图像；提取多个显著性图像中正负显著性连通部件，生成候选文本连通构件；发送候选文本连通构件，接收对候选文本连通构件进行无向图处理得到的多个文本行；对多个文本行进行交叠融合，生成图像文本检测结果；发送图像文本检测结果，接收并输出对图像文本检测结果进行识别得到的最终文本。一方面，提供了一种图像文本检测方法，包括：接收候选文本连通构件，根据候选文本连通构件获取文本连通部件；将文本连通部件视作节点，连接近邻节点对构成无向图；对无向图的每一条边提取局部特征和全局特征，利用支持向量机分类判断是否保留边；将无向图中有公共节点的边依次进行融合，获得多个文本行；发送多个文本行，接收对多个文本行进行交叠融合生成的图像文本检测结果；对图像文本检测结果进行识别得到最终文本；发送最终文本。一方面，提供了一种图像文本检测方法，包括：用户终端计算待识别图像中各像素点在多个不同大小邻区内的显著性值，获取多个显著性图像；提取多个显著性图像中正负显著性连通部件，生成候选文本连通构件；发送候选文本连通构件至服务器；服务器接收候选文本连通构件，根据候选文本连通构件获取文本连通部件；将文本连通部件视作节点，连接近邻节点对构成无向图；对无向图的每一条边提取局部特征和全局特征，利用支持向量机分类判断是否保留边；将无向图中有公共节点的边依次进行融合，获得多个文本行；发送多个文本行至用户终端；用户终端接收对候选文本连通构件进行无向图处理得到的多个文本行；对多个文本行进行交叠融合，生成图像文本检测结果；发送图像文本检测结果至服务器；服务器接收图像文本检测结果；对图像文本检测结果进行识别得到最终文本；发送最终文本至用户终端；用户终端接收并输出最终文本。一方面，提供了一种图像文本检测方法，包括：计算待识别图像中各像素点在多个不同大小邻区内的显著性值，获取多个显著性图像；提取多个显著性图像中正负显著性连通部件，生成候选文本连通构件；根据候选文本连通构件获取文本连通部件；将文本连通部件视作节点，连接近邻节点对构成无向图；对无向图的每一条边提取局部特征和全局特征，利用支持向量机分类判断是否保留边；将无向图中有公共节点的边依次进行融合，获得多个文本行；对候选文本连通构件进行无向图处理得到的多个文本行；对多个文本行进行交叠融合，生成图像文本检测结果；对图像文本检测结果进行识别得到最终文本，输出最终文本。一方面，提供了一种图像文本检测方法，包括：接收用户终端发送的待识别图像；计算待识别图像中各像素点在多个不同大小邻区内的显著性值，获取多个显著性图像；提取多个显著性图像中正负显著性连通部件，生成候选文本连通构件；根据候选文本连通构件获取文本连通部件；将文本连通部件视作节点，连接近邻节点对构成无向图；对无向图的每一条边提取局部特征和全局特征，利用支持向量机分类判断是否保留边；将无向图中有公共节点的边依次进行融合，获得多个文本行；对候选文本连通构件进行无向图处理得到的多个文本行；对多个文本行进行交叠融合，生成图像文本检测结果；对图像文本检测结果进行识别得到最终文本；发送最终文本至用户终端。一方面，提供了一种用户终端，包括：显著性计算模块、连通部件生成模块、终端通信模块、文本融合模块，其中，显著性计算模块用于计算待识别图像中各像素点在多个不同大小邻区内的显著性值，获取多个显著性图像；连通部件生成模块用于提取多个显著性图像中正负显著性连通部件，生成候选文本连通构件；终端通信模块用于发送候选文本连通构件，接收对候选文本连通构件进行无向图处理得到的多个文本行；文本融合模块用于对多个文本行进行交叠融合，生成图像文本检测结果；终端通信模块还用于发送图像文本检测结果，接收并输出对图像文本检测结果进行识别得到的最终文本。一方面，提供了一种服务器，包括：服务器通信模块、连通部件过滤模块、文本行提取模块、文本识别模块，其中，服务器通信模块用于接收候选文本连通构件；连通部件过滤模块用于根据候选文本连通构件获取文本连通部件；文本行提取模块用于将文本连通部件视作节点，连接近邻节点对构成无向图；对无向图的每一条边提取局部特征和全局特征，利用支持向量机分类判断是否保留边；将无向图中有公共节点的边依次进行融合，获得多个文本行；服务器通信模块用于发送多个文本行，接收对多个文本行进行交叠融合生成的图像文本检测结果；文本识别模块用于对图像文本检测结果进行识别得到最终文本；服务器通信模块用于发送最终文本。一方面，提供了一种图像文本检测系统，包括本专利技术实施例提供的用户终端、以及服务器。一方面，提供了一种用户终端，包括：处理器及存储器，处理器用于计算待识别图像中各像素点在多个不同大小邻区内的显著性值，获取多个显著性图像；提取多个显著性图像中正负显著性连通部件，生成候选文本连通构件；根据候选文本连通构件获取文本连通部件；将文本连通部件视作节点，连接近邻节点对构成无向图；对无向图的每一条边提取局部特征和全局特征，利用支持向量机分类判断是否保留边；将无向图中有公共节点的边依次进行融合，获得多个文本行；对候选文本连通构件进行无向图处理得到的多个文本行；对多个文本行进行交叠融合，生成图像文本检测结果；对图像文本检测结果进行识别得到最终文本，输出最终文本；存储器用于存储实现处理器功能的所有程序。一方面，提供了一种服务器，包括：通信构件、处理器及存储器，通信构件用于接收用户终端发送的待识别图像，并将处理器得到的最终文本发送至用户终端；处理器用于计算待识别图像中各像素点在多个不同大小邻区内的显著性值，获取多个显著性图像；提取多个显著性图像中正负显著性连通部件，生成候选文本连通构件；根据候选文本连通构件获取文本连通部件；将文本连通部件视作节点，连接近邻节点对构成无向图；对无向图的每一条边提取局部特征和全局特征，利用支持向量机分类判断是否保留边；将无向图中有公共节点的边依次进行融合，获得多个文本行；对候选文本连通构件进行无向图处理得到的多个文本行；对多个文本行进行交叠融合，生成图像文本检测结果；对图像文本检测结果进行识别得到最终文本；存储器用于存储实现处本文档来自技高网...

【技术保护点】
一种图像文本检测方法，包括：计算待识别图像中各像素点在多个不同大小邻区内的显著性值，获取多个显著性图像；提取所述多个显著性图像中正负显著性连通部件，生成候选文本连通构件；发送所述候选文本连通构件，接收对所述候选文本连通构件进行无向图处理得到的多个文本行；对所述多个文本行进行交叠融合，生成图像文本检测结果；发送所述图像文本检测结果，接收并输出对所述图像文本检测结果进行识别得到的最终文本。

【技术特征摘要】
1.一种图像文本检测方法，包括：计算待识别图像中各像素点在多个不同大小邻区内的显著性值，获取多个显著性图像；提取所述多个显著性图像中正负显著性连通部件，生成候选文本连通构件；发送所述候选文本连通构件，接收对所述候选文本连通构件进行无向图处理得到的多个文本行；对所述多个文本行进行交叠融合，生成图像文本检测结果；发送所述图像文本检测结果，接收并输出对所述图像文本检测结果进行识别得到的最终文本。2.如权利要求1所述的图像文本检测方法，其特征在于，所述计算待识别图像中各像素点在多个不同大小邻区内的显著性值，获取多个显著性图像包括：计算待识别图像中各像素点的颜色值；计算待识别图像中各像素点在各邻域尺度下邻域窗口内所有像素点的颜色均值；将所述各像素点的颜色值与各像素点在各邻域尺度下邻域窗口内所有像素点的颜色均值做差，得到所述各像素点在多个不同大小邻区内的显著性值；根据所述各像素点在多个不同大小邻区内的显著性值，绘制所述多个显著性图像。3.如权利要求1或2所述的图像文本检测方法，其特征在于，所述提取所述多个显著性图像中正负显著性连通部件，生成候选文本连通构件包括：针对各显著性图像，分别提取显著性值高于正阀值的像素点构成的连通部件，获得正显著性连通部件；分别提取显著性值低于负阀值的像素点构成的连通部件，获得负显著性连通部件；将所述正显著性连通部件及所述负显著性连通部件，组合构成所述候选文本连通部件。4.一种图像文本检测方法，包括：接收候选文本连通构件，根据所述候选文本连通构件获取文本连通部件；将所述文本连通部件视作节点，连接近邻节点对构成无向图；对所述无向图的每一条边提取局部特征和全局特征，利用支持向量机分类判断是否保留边；将所述无向图中有公共节点的边依次进行融合，获得多个文本行；发送所述多个文本行，接收对所述多个文本行进行交叠融合生成的图像文本检测结果；对所述图像文本检测结果进行识别得到最终文本；发送所述最终文本。5.如权利要求4所述的图像文本检测方法，其特征在于，所述根据所述候选文本连通构件获取文本连通部件包括：基于空间包含关系，筛选所述候选文本连通构件中的非文本连通部件，得到所述文本连通部件；和/或，基于卷积神经网络，筛选所述候选文本连通构件中的非文本连通部件，得到所述文本连通部件。6.如权利要求4或5所述的图像文本检测方法，其特征在于，所述将所述文本连通部件视作节点，连接近邻节点对构成无向图，将所述无向图中有公共节点的边依次进行融合，从而多个文本行包括：对所述文本连通部件中的每一节点，将其对应的连通部件外接矩形框的中心点视作其坐标，计算其离其它所有节点的欧式距离，得出与其距离最近的四个节点后，在其与这四个节点间各连一条边，构建所述无向图；获取所述无向图的每一条边的两端节点间的欧氏距离除以两端节点的外接矩形框周长之和、两端节点中较小的笔划宽度与较大的笔划宽度的比值、两端节点中较小的笔划宽度与较大的笔划宽度的绝对差值、及两端节点的颜色差异值，作为所述无向图的每一条边的局部特征；获取所述无向图的每一条边的长度与所述无向图中所有边的平均长度的比值、每一条边的长度与无向图中最长边的长度的比值、每一条边的方向与无向图中边的平均方向的差异、无向图中经过各边的直线路径上节点和边的数目、无向图中经过各边第一端点且不经过第二端点的直线路径上节点和边的数目、无向图中经过各边第二端点且不经过第一端点的直线路径上节点和边的数目，作为所述全局特征；利用支持向量机分类判断是否保留边，将所述无向图中有公共节点的边依次进行融合，获得所述多个文本行。7.一种图像文本检测方法，包括：用户终端计算待识别图像中各像素点在多个不同大小邻区内的显著性值，获取多个显著性图像；提取所述多个显著性图像中正负显著性连通部件，生成候选文本连通构件；发送所述候选文本连通构件至服务器；所述服务器接收候选文本连通构件，根据所述候选文本连通构件获取文本连通部件；将所述文本连通部件视作节点，连接近邻节点对构成无向图；对所述无向图的每一条边提取局部特征和全局特征，利用支持向量机分类判断是否保留边；将所述无向图中有公共节点的边依次进行融合，获得多个文本行；发送所述多个文本行至所述用户终端；所述用户终端接收对所述候选文本连通构件进行无向图处理得到的多个文本行；对所述多个文本行进行交叠融合，生成图像文本检测结果；发送所述图像文本检测结果至所述服务器；所述服务器接收所述图像文本检测结果；对所述图像文本检测结果进行识别得到最终文本；发送所述最终文本至所述用户终端；所述用户终端接收并输出所述最终文本。8.一种图像文本检测方法，包括：计算待识别图像中各像素点在多个不同大小邻区内的显著性值，获取多个显著性图像；提取所述多个显著性图像中正负显著性连通部件，生成候选文本连通构件；根据所述候选文本连通构件获取文本连通部件；将所述文本连通部件视作节点，连接近邻节点对构成无向图；对所述无向图的每一条边提取局部特征和全局特征，利用支持向量机分类判断是否保留边；将所述无向图中有公共节点的边依次进行融合，获得多个文本行；对所述候选文本连通构件进行无向图处理得到的多个文本行；对所述多个文本行进行交叠融合，生成图像文本检测结果；对所述图像文本检测结果进行识别得到最终文本，输出所述最终文本。9.一种图像文本检测方法，包括：接收用户终端发送的待识别图像；计算待识别图像中各像素点在多个不同大小邻区内的显著性值，获取多个显著性图像；提取所述多个显著性图像中正负显著性连通部件，生成候选文本连通构件；根据所述候选文本连通构件获取文本连通部件；将所述文本连通部件视作节点，连接近邻节点对构成无向图；对所述无向图的每一条边提取局部特征和全局特征，利用支持向量机分类判断是否保留边；将所述无向图中有公共节点的边依次进行融合...

【专利技术属性】
技术研发人员：刘成林，董振江，陈凯，贾霞，殷飞，陈和香，
申请(专利权)人：中兴通讯股份有限公司，中国科学院自动化研究所，
类型：发明
国别省市：广东,44