一种字幕检测及提取的方法及设备技术

本发明专利技术公开了一种字幕检测及提取的方法，包括：检测某帧图像是否有字幕存在；定位字幕的位置，并产生一个包括字幕的框；将字幕区域中的字符增强；对视频字幕区域中的字符进行自适应分割以形成单个字符；将分割得到的单个字符通过OCR识别得到当前视频帧相关的文本信息。本发明专利技术还公开了一种字幕检测及提取的设备。采用本发明专利技术提供的技术方案，可以自动化地对海量视频节目进行分类和管理，改变传统视频节目的手工存库/检索模式，提高效率，提高提取出的字幕信息的准确率。

A method and equipment for subtitle detection and extraction

The invention discloses a method, a caption detection and extraction includes detecting a frame image whether subtitles exist; positioning subtitles, and generates a frame including subtitle subtitles in the region; the character of video caption enhancement; characters in adaptive segmentation to form a single character; a single character the segmented current video frame and associated text information obtained by OCR recognition. The invention also discloses a device for subtitle detection and extraction. By adopting the technical proposal provided by the invention, we can automatically classify and manage massive video programs, change the manual storage / retrieval mode of traditional video programs, improve efficiency and improve the accuracy of extracted subtitles information.

【技术实现步骤摘要】
一种字幕检测及提取的方法及设备
本专利技术涉及视频分析领域，具体涉及字幕检测及提取的方法及设备。
技术介绍
电视节目是人们获取信息的重要途径之一，而视频中的标题字幕往往囊括了该视频的主要内容。如果能把字幕提取出来，那么对于将视频分类整理、快速搜索，都有很大的好处。在信息社会，人们面对大量的数字图像和众多的新闻资料使得人们查找到感兴趣的新闻内容越来越困难，再加上时间和精力有限，人工识别出这些字幕是极其费时、费力的。而且数据量巨大，字幕检测比较困难，视频图像复杂时，字幕特征与其近似很多并且字幕运动多样，较难准确定位。因此急需一种视频搜索引擎，以便能高效、准确地找到自己喜爱的主题，如何提高提取出的字幕信息的准确率。
技术实现思路
有鉴于此，本专利技术的一个目的是提供一种字幕检测及提取的方法及设备，自动化地对海量视频节目进行分类和管理，改变传统视频节目的手工存库/检索模式，提高效率，提高提取出的字幕信息的准确率。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。本专利技术的一个目的是提供的一种字幕检测及提取的方法，包括：检测某帧图像是否有字幕存在；定位字幕的位置，并产生一个包括字幕的框；将字幕区域中的字符增强；对视频字幕区域中的字符进行自适应分割以形成单个字符；将分割得到的单个字符通过OCR识别得到当前视频帧相关的文本信息。在一些可选的实施例中，所述检测某帧图像是否有字幕存在具体包括以下步骤：场景转换检测；字幕或标题出现和消失帧的检测；求字幕或标题出现帧域其前一帧的差影图像；特征提取与分类；字幕区域的产生；字幕区域的验证。在一些可选的实施例中，所述字幕定位确定字幕的位置包括：选择能够将字幕与背景区别开的字幕特征；采用算法提取字幕特征；聚集空间相邻的特征点形成区域；用字母的另一些特征除去一些不可能是字幕的区域得到候选区字幕区域；用字母的一些特征对候选字幕区域进行验证以得到真正的字幕区域。在一些可选的实施例中，所述将字幕区域中的字符增强，具体包括：单帧字幕区域增强和多帧字幕区域增强。在一些可选的实施例中，所述将字幕从背景中分割出来，具体是通过对字幕区域动态布局局部阈值二值化，候选区域增强、垂直投影区域探测完成单个字符的自适应分割。本专利技术的一个目的是提供一种字幕检测及提取的设备，其特征在于，包括：字幕帧检测单元，用于判断某帧图像是否有字幕存在；字幕定位单元，用于确定字幕的位置，并产生一个包括字幕的框；字幕增强单元，用于将字幕区域中的字符增强；字幕分割单元，用于对视频字幕区域中的字符进行自适应分割以形成单个字符；字符识别单元，用于将分割得到的单个字符通过OCR识别得到当前视频帧相关的文本信息。在一些可选的实施例中，所述字幕帧检测单元具体采用时空切片的镜头检测方法进行检测，所述时空的方法包括以下步骤：场景转换检测；字幕或标题出现和消失帧的检测；求字幕或标题出现帧域其前一帧的差影图像；特征提取与分类；字幕区域的产生；字幕区域的验证。在一些可选的实施例中，所述字幕定位包括：选择能够将字幕与背景区别开的字幕特征；采用算法提取字幕特征；聚集空间相邻的特征点形成区域；用字母的另一些特征除去一些不可能是字幕的区域得到候选区字幕区域；用字母的一些特征对候选字幕区域进行验证以得到真正的字幕区域。在一些可选的实施例中，所述字幕增强单元具体用于单帧字幕区域增强和多帧字幕区域增强。在一些可选的实施例中，所述字幕分割单元采用投影法对字幕进行分割，并对分割后的字幕进行插值放大、二值化、字符分隔。采用本专利技术的方法和装置，有如下效果：相对于文字搜索，本专利技术可以提供更加丰富的搜索结果展示形式，相对于常见的搜索文字信息，搜索的视频资料包含更加丰富的内容和信息，可以自动化地对海量视频节目进行分类和管理，改变传统视频节目的手工存库/检索模式，提高效率，提高提取出的字幕信息的准确率。为了上述以及相关的目的，一个或多个实施例包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明某些示例性方面，并且其指示的仅仅是各个实施例的原则可以利用的各种方式中的一些方式。其它的益处和新颖性特征将随着下面的详细说明结合附图考虑而变得明显，所公开的实施例是要包括所有这些方面以及它们的等同。说明书附图图1为本专利技术提供的字幕检测及提取的方法流程图；图2为本专利技术提供的字幕检测及提取的设备的构成示意图。具体实施方式以下描述和附图充分地示出本专利技术的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的组件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本专利技术的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，本专利技术的这些实施方案可以被单独地或总地用术语“专利技术”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的专利技术，不是要自动地限制该应用的范围为任何单个专利技术或专利技术构思。实施例一本专利技术提供的一种字幕检测及提取的方法，参照图1，该方法包括：步骤S101、检测某帧图像是否有字幕存在；步骤S102、定位字幕的位置，并产生一个包括字幕的框；步骤S103、将字幕区域中的字符增强；步骤S104、对视频字幕区域中的字符进行自适应分割以形成单个字符；步骤S105、将分割得到的单个字符通过OCR识别得到当前视频帧相关的文本信息。实施例二本专利技术提供的一种字幕检测及提取的方法，该方法包括：步骤S101、检测某帧图像是否有字幕存在；较佳地，具体包括以下步骤：步骤S1011，场景转换检测；步骤S1012，字幕或标题出现和消失帧的检测；步骤S1013，求字幕或标题出现帧域其前一帧的差影图像；步骤S1014，特征提取与分类；步骤S1015，字幕区域的产生；步骤S1016，字幕区域的验证。步骤S102、定位字幕的位置，并产生一个包括字幕的框；较佳地，具体包括以下步骤：S1021，选择能够将字幕与背景区别开的字幕特征；S1022，采用算法提取字幕特征；S1023，聚集空间相邻的特征点形成区域；S1024，用字母的另一些特征除去一些不可能是字幕的区域得到候选区字幕区域；S1025，用字母的一些特征对候选字幕区域进行验证以得到真正的字幕区域。步骤S103、将字幕区域中的字符增强；较佳地，所述将字幕区域中的字符增强，具体包括：单帧字幕区域增强和多帧字幕区域增强。步骤S104、对视频字幕区域中的字符进行自适应分割以形成单个字符；较佳地，所述将字幕从背景中分割出来，具体是通过对字幕区域动态布局局部阈值二值化，候选区域增强、垂直投影区域探测完成单个字符的自适应分割。步骤S105、将分割得到的单个字符通过OCR识别得到当前视频帧相关的文本信息。实施例三参照图2，本专利技术提供了一种字幕检测及提取的设备，包括：字幕帧检测单元10、字幕定位单元20、字幕增强单元30、字幕分割单元40和字符识别单元50。其中，字幕帧检测单元10，用于判断某帧图像是否有字幕存在本文档来自技高网...

【技术保护点】
一种字幕检测及提取的方法，其特征在于，包括：检测某帧图像是否有字幕存在；定位字幕的位置，并产生一个包括字幕的框；将字幕区域中的字符增强；对视频字幕区域中的字符进行自适应分割以形成单个字符；将分割得到的单个字符通过OCR识别得到当前视频帧相关的文本信息。

【技术特征摘要】
1.一种字幕检测及提取的方法，其特征在于，包括：检测某帧图像是否有字幕存在；定位字幕的位置，并产生一个包括字幕的框；将字幕区域中的字符增强；对视频字幕区域中的字符进行自适应分割以形成单个字符；将分割得到的单个字符通过OCR识别得到当前视频帧相关的文本信息。2.如权利要求1所述的方法，其特征在于，所述检测某帧图像是否有字幕存在具体包括以下步骤：场景转换检测；字幕或标题出现和消失帧的检测；求字幕或标题出现帧域其前一帧的差影图像；特征提取与分类；字幕区域的产生；字幕区域的验证。3.如权利要求1所述的方法，其特征在于，所述字幕定位确定字幕的位置包括：选择能够将字幕与背景区别开的字幕特征；采用算法提取字幕特征；聚集空间相邻的特征点形成区域；用字母的另一些特征除去一些不可能是字幕的区域得到候选区字幕区域；用字母的一些特征对候选字幕区域进行验证以得到真正的字幕区域。4.如权利要求1所述的方法，其特征在于，所述将字幕区域中的字符增强，具体包括：单帧字幕区域增强和多帧字幕区域增强。5.如权利要求1所述的方法，其特征在于，所述将字幕从背景中分割出来，具体是通过对字幕区域动态布局局部阈值二值化，候选区域增强、垂直投影区域探测完成单个字符的自适应分割。6.一种字幕检测及提取的设备，...

【专利技术属性】
技术研发人员：鲍东山，
申请(专利权)人：北京新岸线网络技术有限公司，
类型：发明
国别省市：北京,11