一种基于自启发式策略的自然场景文字检测方法及系统技术方案

本发明专利技术公开了一种基于自启发式策略的自然场景文字检测方法及系统，建立两层级联滤波机制以判断文字区域与背景区域，考虑到文字区域在灰度自然场景图像中存在暗底浅字或者浅底暗字两种模式，对文字区域对比度类型进行判断以将灰度自然场景图像中的文字区域的对比度统一为暗底浅字模式；将两层级联滤波处理后判断为文字的结果视为种子文字，针对每一个种子文字构建自启发式搜索策略在其邻近区域，采用训练好的深度神经网络以滑动检测窗口的方式检测漏检文字以提高文字检测召回率，最后将相邻文字以单词为单元分割开来。本发明专利技术所公开的自然场景文字检测方法及系统对实现自然场景文字语义自动化理解具有很高的实用价值。

【技术实现步骤摘要】
一种基于自启发式策略的自然场景文字检测方法及系统
本专利技术属于图像识别领域，特别涉及一种基于自启发式策略的自然场景文字检测方法及系统。
技术介绍
文字作为一种极其重要的信息载体在人类文明进程中发挥着极大的促进作用，作为人类语言的可视化载体，文字广泛存在于人类社会的各个方面。近年来，随着计算机视觉技术的快速发展，人类设法使得计算机能够模拟人类的视觉理解机制，对所捕获的图像进行分析并自主理解图像内容、从而获取图像中的重要线索；自然场景中包括了各种场景内容，文字作为一种重要的场景内容具有抽象的描述能力与高度的概括能力。对图像中的文字进行检测与识别将有助于理解图像内容，并获取重要的信息线索。近年来，自然场景文字检测已成为了计算机视觉与模式识别领域中的一个重要研究内容。该技术旨在从所捕获的自然场景图像中自动检测文字区域，从而为后续文字识别与语义理解提供技术支持。该技术在自然场景图像理解、视障人辅助阅读、机器人自主导航、海量视频检索、以及便携式设备文字检测与翻译等方面有着广泛的应用前景。自然场景文字检测是实现后续文字识别与语义理解的第一步，是整个文字识别系统中的重要组成部分，该技术性能的好坏将直接影响到整个系统识别率的高低。尽管传统的光学字符识别技术(OpticalCharacterRecognition，OCR)已日趋成熟，然而该技术对自然场景文字检测与识别的性能却远未达到实用水平。自然场景图像中的复杂背景、文字字体种类、字体大小、字体排列方向、字体颜色、光照条件以及拍摄角度等因素影响直接导致了难以鲁棒地检测自然场景文字。基于自然场景文字检测技术的广泛应用前景以及其重要的理论研究价值，该技术引起了国内外学者的广泛关注，文档分析与识别国际会议(InternationalConferenceonDocumentAnalysisandRecognition，ICDAR)定期举行自然场景文字检测竞赛，评估现有技术水平并分析其优劣性。目前，自然场景文字检测方法主要沿用三条技术路线：基于连通组件分析的自然场景文字检测方法、基于纹理特征的自然场景文字检测方法、以及基于连通组件与纹理特征的自然场景文字检测方法。基于连通组件分析的自然场景文字检测方法，其核心内容是设计快速、有效的连通组件分析器。该方法能快速地实施文字检测，但在处理背景复杂、噪声干扰、光照变化以及颜色多变等情况时缺乏鲁棒性。基于纹理特征的自然场景文字检测方法通常以滑动检测窗口的方式多尺度遍历图像，从而影响了文字检测效率，但该方法能较好地应对复杂背景中的自然场景文字检测问题；基于连通组件与纹理特征的自然场景文字检测方法，该方法通常首先对连通组件进行分析以获得文字候选区域，然后利用文字候选区域的纹理特征采用训练好的分类器进行判别处理，该方法相对于单纯地采用连通组件分析的自然场景文字检测方法更能有效地解决复杂自然场景中的文字检测问题，相对于单纯地采用纹理特征的自然场景文字检测方法在检测效率上有所提高。如前述分析可知，诸多方面因素的影响导致了该技术距实用水平有较大的差距。考虑到自然场景文字检测问题的特殊性与复杂性，如何快速、准确地在复杂自然场景中检测文字是噩待解决的技术难题。
技术实现思路
本专利技术提供了一种基于自启发式策略的自然场景文字检测方法及系统，其目的在于，克服现有技术中自然场景中文字检测的检测率不高以及复杂度较高的问题。一种基于自启发式策略的自然场景文字检测方法，包括以下步骤：步骤1：将待检测的彩色自然场景图像进行灰度转换，得到灰度自然场景图像；步骤2：对灰度自然场景图像分别进行正面、反面二值化处理，获得对应的两幅初始二值图像；步骤3：分别从步骤2获得的两幅初始二值图像中标记出所有的连通组件，并将各连通组件的最小外接矩形所包含的文字区域视为文字初步候选区域，并依据文字先验信息对文字初步候选区域进行初步筛选，得到文字候选区域；步骤4：根据连通组件结构特点，分别在经过步骤3筛选后得到的两幅二值化图像中对具有相同空间坐标位置的图像区域进行融合处理，并得到融合二值图像；考虑到文字区域在灰度自然场景图像中表现出暗底浅字或者浅底暗字两种模式，根据连通组件结构特点分别在所述两幅二值化图像中对具有相同空间坐标位置的图像区域中的文字对比度类型进行判断，根据判断结果将所述对应的二幅二值图像融合成为一幅二值图像，从而实现将二值图像中的文字统一为前景，非文字区域则为背景；得到融合二值图像后，大大降低了后续过程的计算量；步骤5：召回漏检文字区域；步骤5.1：将步骤4处理后的文字视为种子文字；步骤5.2：以种子文字的大小、倾斜度以及相邻文字的间隔距离构建自启发式搜索策略，确定检测窗口位置和大小；步骤5.3：视检测窗口所覆盖的灰度自然场景图像区域为文字候选区域，采用深度神经网络对文字候选区域进行识别，并依据该文字候选区域的分类置信度来确定其类别：1)设置二级分类阈值，包括文字区域分类置信度高阈值与文字区域分类置信度低阈值；2)若文字候选区域的分类置信度低于设定的文字区域分类置信度低阈值，则该文字候选区域为伪文字区域，予以剔除，进入步骤5.4；3)若文字候选区域的分类置信度高于设定的文字区域分类置信度高阈值，则该文字候选区域为文字区域，将该文字候选区域作为新的种子文字，返回步骤5.2，获取新的检测窗口；4)若文字候选区域的分类置信度高于设定的文字区域分类置信度低阈值且低于设定的文字区域分类置信度高阈值，则该文字候选区域为可疑文字区域；将可疑文字候选区域对应的检测窗口在其邻近区域滑动，得到一组新的检测窗口：若所有新的检测窗口对应文字候选区域的分类置信度的最大值高于设定的文字区域分类置信度高阈值，则将最大分类置信度对应的文字候选区域视为文字区域，同时将具有最大分类置信度的文字候选区域作为新的种子文字，返回步骤5.2，获取新的检测窗口；反之则该文字候选区域为伪文字区域，予以剔除，进入步骤5.4；步骤5.4：若每个种子文字对应的检测窗口区域均已识别完毕，则完成漏检文字的召回，否则，返回步骤5.3继续识别下一个种子文字对应的检测窗口区域；所述启发式搜索策略确定的检测窗口如下：其中，Xwindow、Ywindow、Wwindow、Hwindow分别表示所述检测窗口的左顶点横坐标、纵坐标、检测窗口宽度以及检测窗口高度，Xseed、Yseed、Wseed、Hseed分别表示种子文字区域的左顶点横坐标、左顶点纵坐标、检测窗口宽度以及检测窗口高度；IW、IH分别表示输入图像的宽度与高度，kWx、kWw、kWh分别表示检测窗口左顶点横坐标变化量权值、左顶点纵坐标变化量权值、检测窗口宽度变化量权值以及检测窗口高度变化量权值，θ为角度取样值，kWx、kWw、kWh、θ的取值是通过采用经验取值的方式而获得；构建自启发式搜索策略来检测漏检文字，通过利用种子文字的信息来设定检测窗口的大小与位置，从而可以减少文字候选区域的搜索区域，进而提高了检测效率。采用训练好的深度神经网络对检测窗口下的待处理文字候选区域进行分类，进而减少虚警并提高了本专利技术的文字检测召回率能力。步骤6：以步骤4中的融合二值图像的文字区域和经步骤5召回的文字区域作为最终的真实文字，在最终的真实文字中，将符合一定条件的相邻文字形成文字行；步骤7：对经所述步本文档来自技高网...

【技术保护点】
一种基于自启发式策略的自然场景文字检测方法，其特征在于，包括以下步骤：步骤1：将待检测的彩色自然场景图像进行灰度转换，得到灰度自然场景图像；步骤2：对灰度自然场景图像分别进行正面、反面二值化处理，获得对应的两幅初始二值图像；步骤3：分别从步骤2获得的两幅初始二值图像中标记出所有的连通组件，并将各连通组件的最小外接矩形所包含的文字区域视为文字初步候选区域，并依据文字先验信息对文字初步候选区域进行初步筛选，得到文字候选区域；步骤4：根据连通组件结构特点，分别在经过步骤3筛选后得到的两幅二值化图像中对具有相同空间坐标位置的图像区域进行融合处理，并得到融合二值图像；步骤5：召回漏检文字区域；步骤5.1：将步骤4处理后的文字视为种子文字；步骤5.2：以种子文字的大小、倾斜度以及相邻文字的间隔距离构建自启发式搜索策略，确定检测窗口位置和大小；步骤5.3：视检测窗口所覆盖的灰度自然场景图像区域为文字候选区域，采用深度神经网络对文字候选区域进行识别，并依据该文字候选区域的分类置信度来确定其类别：1)设置二级分类阈值，包括文字区域分类置信度高阈值与文字区域分类置信度低阈值；2)若文字候选区域的分类置信度低于设定的文字区域分类置信度低阈值，则该文字候选区域为伪文字区域，予以剔除，进入步骤5.4；3)若文字候选区域的分类置信度高于设定的文字区域分类置信度高阈值，则该文字候选区域为文字区域，将该文字候选区域作为新的种子文字，返回步骤5.2，获取新的检测窗口；4)若文字候选区域的分类置信度高于设定的文字区域分类置信度低阈值且低于设定的文字区域分类置信度高阈值，则该文字候选区域为可疑文字区域；将可疑文字候选区域对应的检测窗口在其邻近区域滑动，得到一组新的检测窗口：若所有新的检测窗口对应文字候选区域的分类置信度的最大值高于设定的文字区域分类置信度高阈值，则将最大分类置信度对应的文字候选区域视为文字区域，同时将具有最大分类置信度的文字候选区域作为新的种子文字，返回步骤5.2，获取新的检测窗口；反之则该文字候选区域为伪文字区域，予以剔除，进入步骤5.4；步骤5.4：若每个种子文字对应的检测窗口区域均已识别完毕，则完成漏检文字的召回，否则，返回步骤5.3继续识别下一个种子文字对应的检测窗口区域；所述启发式搜索策略确定的检测窗口如下：...

【技术特征摘要】
1.一种基于自启发式策略的自然场景文字检测方法，其特征在于，包括以下步骤：步骤1：将待检测的彩色自然场景图像进行灰度转换，得到灰度自然场景图像；步骤2：对灰度自然场景图像分别进行正面、反面二值化处理，获得对应的两幅初始二值图像；步骤3：分别从步骤2获得的两幅初始二值图像中标记出所有的连通组件，并将各连通组件的最小外接矩形所包含的文字区域视为文字初步候选区域，并依据文字先验信息对文字初步候选区域进行初步筛选，得到文字候选区域；步骤4：根据连通组件结构特点，分别在经过步骤3筛选后得到的两幅二值化图像中对具有相同空间坐标位置的图像区域进行融合处理，并得到融合二值图像；步骤5：召回漏检文字区域；步骤5.1：将步骤4处理后的文字视为种子文字；步骤5.2：以种子文字的大小、倾斜度以及相邻文字的间隔距离构建自启发式搜索策略，确定检测窗口位置和大小；步骤5.3：视检测窗口所覆盖的灰度自然场景图像区域为文字候选区域，采用深度神经网络对文字候选区域进行识别，并依据该文字候选区域的分类置信度来确定其类别：1)设置二级分类阈值，包括文字区域分类置信度高阈值与文字区域分类置信度低阈值；2)若文字候选区域的分类置信度低于设定的文字区域分类置信度低阈值，则该文字候选区域为伪文字区域，予以剔除，进入步骤5.4；3)若文字候选区域的分类置信度高于设定的文字区域分类置信度高阈值，则该文字候选区域为文字区域，将该文字候选区域作为新的种子文字，返回步骤5.2，获取新的检测窗口；4)若文字候选区域的分类置信度高于设定的文字区域分类置信度低阈值且低于设定的文字区域分类置信度高阈值，则该文字候选区域为可疑文字区域；将可疑文字候选区域对应的检测窗口在其邻近区域滑动，得到一组新的检测窗口：若所有新的检测窗口对应文字候选区域的分类置信度的最大值高于设定的文字区域分类置信度高阈值，则将最大分类置信度对应的文字候选区域视为文字区域，同时将具有最大分类置信度的文字候选区域作为新的种子文字，返回步骤5.2，获取新的检测窗口；反之则该文字候选区域为伪文字区域，予以剔除，进入步骤5.4；步骤5.4：若每个种子文字对应的检测窗口区域均已识别完毕，则完成漏检文字的召回，否则，返回步骤5.3继续识别下一个种子文字对应的检测窗口区域；所述启发式搜索策略确定的检测窗口如下：其中，Xwindow、Ywindow、Wwindow、Hwindow分别表示所述检测窗口的左顶点横坐标、纵坐标、检测窗口宽度以及检测窗口高度，Xseed、Yseed、Wseed、Hseed分别表示种子文字区域的左顶点横坐标、左顶点纵坐标、检测窗口宽度以及检测窗口高度；IW、IH分别表示输入图像的宽度与高度，kWx、kWw、kWh分别表示检测窗口左顶点横坐标变化量权值、左顶点纵坐标变化量权值、检测窗口宽度变化量权值以及检测窗口高度变化量权值，θ为角度取样值，kWx、kWw、kWh、θ的取值是通过采用经验取值的方式而获得；步骤6：以步骤4中的融合二值图像的文字区域和经步骤5召回的文字区域作为最终的真实文字，在最终的真实文字中，将符合一定条件的相邻文字形成文字行；步骤7：对经所述步骤6处理后所得到的所述文字行中的相邻文字间距进行统计，若相邻文字之间的间距小于所设置的间距阈值，则表明所述相邻文字同属于一个单词，反之则将所述相邻文字分割开以实现所述文字行中以单词为单元的文字分割。2.根据权利要求1所述的方法，其特征在于，在两幅二值化图像中对具有相同空间坐标位置的图像区域进行文字前景和伪文字前景的判断，步骤如下：步骤4.1：统计所述两幅二值化图像中所有连通组件中大于所设定的笔画宽度阈值的边缘像素数目；步骤4.2：对于每一个连通组件，若经步骤4.1统计得到的符合设定条件边缘像素数目超过设定的像素数目阈值，则判断该连通组件为文字前景，反之则为背景；对每个连通组件中大于所设定的笔画宽度阈值的边缘像素数目的统计过程如下：步骤4.1.1：采用Canny算子对连通组件进行边缘提取，依据所提取的边缘像素依次统计连通组件的平均笔画宽度，并基于平均笔画宽度设置间隔阈值；步骤4.1.2：分别沿着水平方向、垂直方向、45度斜对角方向、145度反斜对角方向在所述两幅二值化图像中设置扫描线，并提取扫描线上的边缘像素；所述扫描线包括3条水平方向扫描线、3条垂直方向扫描线、1条45度斜对角方向扫描线以及1条145度反斜对角方向扫描线；位于3条水平方向扫描线上的像素依次设定为IE(round(I_h/4),j)、IE(round(I_h/2),j)、IE(round(3×I_h/4),j)，j∈[1,I_w]；位于3条垂直方向扫描线上的像素依次设定为IE(i,round(I_w/4))、IE(i,round(I_w/2))、IE(i,round(3×I_w/4))，i∈[1,I_h]；位于45度斜对角方向扫描线上的像素依次设定为IE(1,I_w)、IE(max(1,round(I_h-j×(I_h/I_w))),j)、IE(I_h,1)，j∈[1,I_w]；位于145度反斜对角方向扫描线上的像素依次设定为IE(1,1)、IE(max(1,round(j×(I_h/I_w))),j)、IE(I_h,I_w)，j∈[1,I_w]；其中，IE表示提取的边缘图像,i、j分别表示边缘图像中像素的横坐标、纵坐标，I_h、I_w分别表示提取的边缘图像的高和宽，round()为取整函数，max()表示为取最大值函数；步骤4.1.3：若同一扫描线上的相邻像素之间的距离大于设定的笔画宽度阈值，即：Dist(IE(i,j),IE(m,n))>γ×Swt_ave则将符合设定条件的边缘像素数目加1，否则，对下一对相邻像素进行判断，直到所有扫描线上所有相邻像素全部判断完毕，完成每个连通组件中大于所设定的笔画宽度阈值的边缘像素数目的统计；其中，IE(i,j)、IE(m,n)为沿着所述某个方向扫描线上的两相邻的边缘像素，Swt_ave为当前连通组件的平均笔画宽度，Dist()为计算沿着某一条扫描线上的相邻像素之间距离的函数；γ为笔画宽度阈值权重系数，通过经验取值的方式而获得。3.根据权利要求2所述的方法，其特征在于，对步骤4中得到的融合二值图像中的文字候选区域，结合上下文信息，利用训练好的深度神经网络对其进行分类处理，将分类为伪文字区域的文字候选区域予以剔除后，再用于步骤6形成文字行，具体过程如下：步骤A:以文字候选区域为中心设置当前文字候选区域的影响区域Aroi：Aroi＝[max(1,round(i-HSeed/λh)),max(1,round(j-λh×WSeed)),......min(Img_w,round(λw×WSeed)),min(Img_h,round(λh×HSeed))]其中，max(1,round(i-HSeed/λh))、max(1,round(j-λh×WSeed))分别表示影响区域Aroi在融合二值图像中的左顶点横坐标与左顶点纵坐标；min(Img_w,round(λw×WSeed))、min(Img_h,round(λh×HSeed))分别表示影响区域Aroi的宽度与高度；Img_w、Img_h表示融合二值图像的宽度与高度，i、j分别表示文字候选区域在所述二值图像中的左顶点横坐标与左顶点纵坐标，HSeed、WSeed分别表示文字候选区域的高度与宽度；λh、λw均为影响区域权重系数，通过经验取值的方式而获得；步骤B：将所述影响区域中的所有文字候选区域作为待分类目标依次输入已预先训练好的深度神经网络中进行识别，将输出的识别结果视为待分类的文字候选区域的置信度值，记为该文字候选区域的初始分类置信度值；步骤C：设置分类置信度评价函数，利用分类置信度评价函数值作为文字候选区域的最终分类置信度值；所述分类置信度评价函数如下述：其中，Cchar(O(k))和Cfinal(O(k))分别表示文字候选区域O(k)的初始分类置信度值和最终分类置信度值；O(k)表示融合二值图像中的第k个文字候选区域，N(i)表示文字候选区域O(k)所对应的影响区域中的第i个相邻文字候选区域，N为文字候选区域O(k)所对应的影响区域中除文字候选区域O(k)以外的文字候选区域总数目；D(N(i)，O(k))、Hchar(N(i),O(k))Tchar(N(i),O(k))依次表示文字候选区域O(k)与其对应的影响区域中的文字候选区域N(i)之间的上下文置信度权值、高度相似度和颜色相似度；Cα、Cβ、Cγ分别为邻近文字候选区域N(i)的置信度权重系数、文字候选区域O(k)与其邻近文字候选区域N(i)之间的高度相似度权重系数以及颜色相似度权重系数，通过对训练样本进行学习而获得；PH(O(k))、PS(O(k))、PI(O(k))分别表示文字候选区域O(k)的色度直方图、色饱和度直方图以及亮度直方图；PH(N(i))、PS(N(i))、PI(N(i))分别表示文字候选区域O(k)所对应的影响区域中的文字候选区域N(i)的色度直方图、色饱和度直方图以及亮度直方图；H(O(k))、H(N(i))分别表示文字候选区域O(k)以及文字候选区域O(k)所对应的影响区域中的文字候选区域N(i)的高度；Cdistance(N(i),O(k))表示文字候选区域O(k)与所对应的影响区域中的文字候选区域N(i)之间的中心距离；Adiagonal(O(k))表示文字候选区域O(k)所对应的影响区域的对角线长度，abs()表示取绝对值函数；步骤D：设置分类置信度阈值Cthreshod，将融合二值图像中的每一个文字候选区域的最终分类置信度值与设置的分类置信度阈值按以下公式进行判断，并将分别满足下述条件的文字候选区域视为真实文...

【专利技术属性】
技术研发人员：王润民，钱盛友，杨剑锋，邹孝，
申请(专利权)人：湖南师范大学，
类型：发明
国别省市：湖南,43