一种基于内容的视频检索方法技术

本发明专利技术提供了一种基于内容的视频检索方法，包括：经人机交互界面接收视频搜索请求；根据所述视频搜索请求触发多个检索进程，包括：触发元数据检索服务器对视频节目的元数据进行检索；触发字幕检索服务器对存放节目字幕文本的XML文件进行检索；触发视频检索集群对视频关键帧的特征数据进行检索；触发语音检索集群，对视频节目的语音信息，包括拼音串和拼音图进行检索；将各搜索结果进行整合，然后经所述人机交互界面返回给用户。该方法提供了一种有效的基于内容的视频检索的解决方案。

【技术实现步骤摘要】
一种基于内容的视频检索方法
本专利技术涉及基于内容的视频检索(CBR)领域。包括视频特征数据的组织、存储，高维特征向量的索引与检索，分布式检索等领域的技术。
技术介绍
一个信息检索系统通常包括一个核心的检索数据库，一个搜索调度服务器和服务器组。对外则提供搜索和信息录入的接口。如图1所示。其中，信息录入大多是依靠人工键入的方式。即由系统中检索内容的提供方把提供给用户的、用于搜索的内容信息通过检索系统的信息录入接口录入到数据库中。核心数据库系统则主要负责存储供用户检索之用的信息数据。搜索调度服务器负责接收、解析用户的请求，将其搜索请求分配给检索服务器，以执行实际检索。在检索结果返回到搜索调度服务器后，搜索调度服务器要对返回结果进行处理，如排序、合并、筛选等。处理之后将其返回给用户。完成一次搜索。与普通的信息检索系统不同，视频搜索系统较为复杂，包含的模块也相对较多。一个视频搜索系统由视频特征分析、特征数据存储、搜索调度和基于内容的视频检索等几大模块组成。其中，特征数据的存储、搜索调度和视频检索是此类搜索引擎的核心模块。传统的视频检索系统要通过人工注释得到视频节目的有关信息，并将这些信息存放在数据库中供此后的查询之用。也就是说，视频分析模块实际是一个由人手工完成的工作模块。这种方式带有很大的局限性。人工的注释不但耗费大量的人力和时间，而且往往带有很大的主观性，不能对视频节目内容作出准确、公正的刻画。特别是对视频节目的颜色、纹理等物理特征更是无法准确描述。即使是语音、字幕这一类不受制于主观因素的特征，也往往因为其数据量庞大而使人工处理变得不可行。为此，人们将图像分析、语音分析和字幕分析技术用于视频节目处理，以计算机为主要工具，自动化的得到与视频节目内容相关的特征信息，为基于内容的搜索提供了支持。在这样的系统中，要对一段视频节目的各方面特征进行分析处理。在图像方面，要对视频节目进行场景和镜头的划分并提取出具有代表性的关键帧，进而对关键帧进行图像处理，将其颜色、纹理、形状以数学的形式，如向量，进行表示。进一步的，还要从视频关键帧的低级特征，也就是前述的特征数据中提取出高层语义信息，如关键帧内出现的人脸、物体的运动趋势等，并将它们也表示成文本或数学的形式。在音频方面，要用计算机对视频节目中出现的人的语音、背景音乐等进行处理，将其转换成字符串或具有一定含义的数学形式。例如，对于视频节目中出现的人的语音，可以使用语音识别的方法，将语音转换成拼音图或词图的形式。对于视频节目中出现的音乐，也可以通过对其波形特征的分析，得到音乐的旋律、音调特征，或音调的高低变化特征等。在字幕方面，需要识别视频图像中出现的汉字，并将其提取出来转换成字符。经过以上手段处理后得到的数据被称为视频节目的特征数据。特征数据的数量往往是非常庞大的。如，一个30分钟左右的视频节目可能包含500张以上的关键帧图片，而每个图片的特征往往需要若干个几十、甚至上百维的向量加以刻画；同样一段节目的语音在转化成图一类的特征数据结构后，往往需要几兆的空间保存。因此，在进行基于内容的视频检索时，往往面临着数据量庞大，检索效率低下的问题。必须设法解决。或者减少特征数据的数据量，或者采取特别方式缩小检索范围以提高检索速度。同时，基于内容的视频检索还存在无法准确匹配的问题。检索条件和数据库系统中存放的特征数据往往不是百分之百的匹配的。例如，即使检索条件图像中和数据库关键帧图片中出现了同一个人的形象，对这些关键帧进行分析后，得到的特征向量也不可能完全和检索条件图像的特征数据是一样的。但是对于视频检索，这些图像却是“符合”检索条件的。因此，针对特征向量的检索应该执行模糊匹配策略。需要适当的检索和搜索策略来寻找能满足条件的结果，并得到模糊匹配的程度。目前，在视频分析领域、图像分析领域、语音分析领域和字幕提取领域，都已经有了令人振奋的研究成果。分析的精度已经达到了一定的程度。但是，在国内目前尚很少将上述领域的研究成果应用在实际的产品中。至于将上述领域的研究成果相结合，为基于内容的视频检索服务，更是没有先例。将视频分析领域、图像分析领域、语音分析领域和字幕提取领域的成果结合起来，并辅以其他重点技术，共同为基于内容的视频检索服务，还面临着很大的困难和挑战。无论从设计上，还是从实际的开发都还有相当多的技术难点需要解决。
技术实现思路
有鉴于此，本专利技术的一个目的是…。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。本专利技术提供了一种基于内容的视频检索方法，包括：经人机交互界面接收视频搜索请求；根据所述视频搜索请求触发多个检索进程，包括：触发元数据检索服务器对视频节目的元数据进行检索；触发字幕检索服务器对存放节目字幕文本的XML文件进行检索；触发视频检索集群对视频关键帧的特征数据进行检索；触发语音检索集群，对视频节目的语音信息，包括拼音串和拼音图进行检索；将各搜索结果进行整合，然后经所述人机交互界面返回给用户。较佳地，于所述元数据检索服务器中设置元数据表、元数据检索模块和元数据录入模块，其中：元数据表包含如下信息中的一个或者多个：节目ID，节目名称，导演，演员，语言，产地，类型1，类型2，文件格式，文件大小，长度，屏幕宽度，屏幕高度，节目地址，节目文件名，上载时间，上载地址，上载状态，是否必审，节目级别，审查标志，节目价格，节目简介，封杀标志字段；元数据检索模块包含一个根据节目ID来检索节目的存储进程，以及一个根据组合条件来检索节目的存储进程；元数据录入模块包含一个将指定元数据信息插入数据库表的存储进程。较佳地，于所述字幕检索服务器中设置一个用来存储字幕XML文件的数据库表，一个用于存储服务器相关配置信息的表，一个读取配置信息的存储进程，一个用于XML检索的存储进程，一个用于向数据库录入XML文件的存储进程和一个XML的分段索引。较佳地，于字幕XML文件数据库表中设置一个节目ID字段，XML文件名字段和XML文件字段；和/或于服务器配置信息表中设置参数ID字段、参数名字段和参数值字段；和/或于XML检索的存储过程中设置关键词逻辑表达式生成程序块和检索程序块。较佳地，于视频检索集群中设置一个视频场景检索服务器和一个视频检索服务器，其中：于视频场景检索服务器中设置一个存储场景关键帧索引的数据库表，一个用于索引录入的存储过程和一个用于检索场景关键帧的程序包；和/或于频检索服务器中设置一个存放视频关键帧XML文件的数据库表，一个存放关键帧索引的数据库表，一个存放服务器配置信息的数据库表，一个用于录入XML文件的存储进程，一个用于生成索引的程序包，一个用于检索索引表的程序包，一个用于调用视频场景检索服务器内程序的远程链接。较佳地，于场景关键帧索引数据库表中设置索引ID字段，三个索引聚类下界向量字段，三个索引聚类上界向量字段，索引内容嵌套表，索引聚类内关键帧总数字段和索引聚类最大距离字段；其中，索引内容嵌套表，包括条目标识ID字段，关键帧所属节目ID字段，关键帧编号字段，关键帧类型字段，场景开始时间字段，场景结束时间字段，镜头开始时间字本文档来自技高网...

【技术保护点】
一种基于内容的视频检索方法，其特征在于，包括：经人机交互界面接收视频搜索请求；根据所述视频搜索请求触发多个检索进程，包括：触发元数据检索服务器对视频节目的元数据进行检索；触发字幕检索服务器对存放节目字幕文本的XML文件进行检索；触发视频检索集群对视频关键帧的特征数据进行检索；触发语音检索集群，对视频节目的语音信息，包括拼音串和拼音图进行检索；将各搜索结果进行整合，然后经所述人机交互界面返回给用户。

【技术特征摘要】
1.一种基于内容的视频检索方法，其特征在于，包括：经人机交互界面接收视频搜索请求；根据所述视频搜索请求触发多个检索进程，包括：触发元数据检索服务器对视频节目的元数据进行检索；触发字幕检索服务器对存放节目字幕文本的XML文件进行检索；触发视频检索集群对视频关键帧的特征数据进行检索；触发语音检索集群，对视频节目的语音信息，包括拼音串和拼音图进行检索；将各搜索结果进行整合，然后经所述人机交互界面返回给用户。2.如权利要求1所述的方法，其特征在于，于所述元数据检索服务器中设置元数据表、元数据检索模块和元数据录入模块，其中：元数据表包含如下信息中的一个或者多个：节目ID，节目名称，导演，演员，语言，产地，类型1，类型2，文件格式，文件大小，长度，屏幕宽度，屏幕高度，节目地址，节目文件名，上载时间，上载地址，上载状态，是否必审，节目级别，审查标志，节目价格，节目简介，封杀标志字段；元数据检索模块包含一个根据节目ID来检索节目的存储进程，以及一个根据组合条件来检索节目的存储进程；元数据录入模块包含一个将指定元数据信息插入数据库表的存储进程。3.如权利要求1所述的方法，其特征在于，于所述字幕检索服务器中设置一个用来存储字幕XML文件的数据库表，一个用于存储服务器相关配置信息的表，一个读取配置信息的存储进程，一个用于XML检索的存储进程，一个用于向数据库录入XML文件的存储进程和一个XML的分段索引。4.如权利要求3所述的方法，其特征在于：于字幕XML文件数据库表中设置一个节目ID字段，XML文件名字段和XML文件字段；和/或于服务器配置信息表中设置参数ID字段、参数名字段和参数值字段；和/或于XML检索的存储过程中设置关键词逻辑表达式生成程序块和检索程序块。5.如权利要求1所述的方法，其特征在于，于视频检索集群中设置一个视频场景检索服务器和一个视频检索服务器，其中：于视频场景检索服务器中设置一个存储场景关键帧索引的数据库表，一个用于索引录入的存储过程和一个用于检索场景关键帧的程序包；和/或于频检索服务器中设置一个存放视频关键帧XML文件的数据库表，一个存...

【专利技术属性】
技术研发人员：白永强，罗旻，鲍东山，
申请(专利权)人：北京新岸线网络技术有限公司，
类型：发明
国别省市：北京,11