嵌入式多媒体基于内容的查询和检索的实现方法技术

本发明专利技术涉及嵌入式多媒体技术领域，旨在提供一种嵌入式多媒体基于内容的查询和检索的实现方法。该方法包括对象标识、对多媒体数据进行特征提取、以提取的媒体特征建立索引、输入用户描述、用户描述与库中媒体的相似匹配和在相似匹配的结果中选择最终结果的步骤。本发明专利技术突破了传统的基于文本检索技术的局限，直接对图像、视频、音频内容进行分析、抽取特征，利用这些内容特征建立索引并进行检索，使得检索更加接近媒体对象。

【技术实现步骤摘要】

本专利技术涉及嵌入式多媒体
，特别是涉及一种。
技术介绍
随着20世纪90年代多媒体技术的迅速发展，以及新的有效的多媒体编码技术的不断出现，大量的视频、音频和图像等多媒体信息将成为网上不可缺少的重要资源，尤其是视频数据在生活中的应用越来越广泛，而且每天都在产生大量的视音频信息，造成对这些多媒体资料的存储、管理和再利用变得非常困难。多媒体技术和Internet的发展给人们带来巨大的多媒体信息海洋，并进一步导致了超大型多媒体信息库的产生，光凭关键词是很难做到对多媒体信息的描述和检索的，这就需要有一种针对多媒体的有效的检索方式。如何有效的帮助人们快速、准确地找到所需要的多媒体信息，成了多媒体信息库所要解决的核心问题，如何有效地按照多媒体数据的特性去管理和检索海量的多媒体数据，就显得至关重要。传统的数据类型主要是整型、实型、布尔型和字符型，其数据库技术可采用基于关键词的检索方式。而多媒体数据处理中，除了上述常规的数据类型外，还要处理图像、图形、音频及视频流等数据类型。如果将这种基于关键词的检索方法用于多媒体信息就会有困难，因为多媒体信息同文本、数值信息有着本质的区别。多媒体信息具有非结构化的特性。在传统的数据库中，记录信息具有明显的结构化特性，它是现实世界中对象之间相互关系的反映，可通过关系模型抽象得到。多媒体信息具有较强的非结构化特性，它都以流的形式存在(比如视频流、音频流)。这类信息如果要进行结构化处理，需要复杂的媒体分割和组织技术。多媒体信息具有内容的多义性。在传统的数据库中，每个记录所包含的语义信息是确定而有限的，而多媒体信息中同样的内容在不同的应用中具有不同的解释，即具有多义性的特点。为了解决在多媒体信息检索方面的问题，ISO成立了一个工作组MPEG-7来专门研究多媒体信息的内容描述问题，并期望通过制定相关的国际标准来规范多媒体信息内容的描述。MPEG-7是对不同类型的多媒体信息的标准化描述，这种描述只与多媒体信息本身的内容有关，描述的目的是使用户快速高效地搜索到自己需要的信息。MPEG-7的正式名称是多媒体内容的描述接口(Multimedia ContentDescription Inter-face)o。MPEG-7是建立在信息分割与特征提取之上的，也就是说它只对信息特征进行描述，而并不关心这些特征是如何得到的。同时MPEG-7还与搜索引擎相连，搜索引擎可以利用MPEG-7描述的内容来进行搜索并返回结果给用户，MPEG-7本身并不直接参与信息的搜索过程。这样，虽然特征提取的方式方法很多，搜索引擎的实现方式也不同，但MPEG-7在它们之同提供了标准的接口，于是搜索弓I擎可以不必关心实现特征提取的细节而只需就标准的信息描述进行信息搜索，所以MPEG-7在基于内容的检索中起著桥梁的作用。MPEG-7在描述多媒体信息的内容时要利用从媒体中提取出来的特征。在MPEG-7中特征的描述是由-系列描述符D(Descriptor)来完成的。描述符之间的相互关系由描述方案DS(Description Scheme)来规范。与此同时，MPEG-7还要制定一种描述定义语言DDL(Description definition Language)规范描述方案。由于图像、视频等多媒体信息的内容具有丰富的内涵，而ISO定义的多媒体内容描述接口MPEG-7将正式成为国际标准。于是，基于内容检索(Co ntentBased Image Retrieval，CBIR)的技术就应运而生。基于内容的检索是一种新型的多媒体检索技术。它是指根据媒体和媒体对象的内容及上下文联系在大规模多媒体数据库中进行检索，主要是利用媒体对象的语义、视觉和听觉特征来进行检索。它突破了传统的基于文本检索技术的局限，直接对图像、视频、音频内容进行分析、抽取特征，利用这些内容特征建立索引并进行检索，使得检索更加接近媒体对象。如利用图像中的颜色、纹理、形状，视频中的镜头、场景、镜头的运动，声音中的音调、响度、音色等。它的研究目标是提供在没有人类参与的情况下能自动识别或理解图像重要特征的算法。由此可见，基于内容的检索是一门涉及面很广的交叉学科，需要利用图像处理、模式识别、计算机视觉、图像理解等技术，是多种技术的合成，因而有着广泛的应用前景。由于嵌入式移动终端的显示方式千差万别，运算能力也有较大的差距，一般来说，其CPU的运算速度从几MHz到几百MHz，用户对于检索速度、视频显示的要求不同，此外，由于网络带宽的限制，嵌入式移动终端的视频显示要受到带宽的影响，因此，相对于一般的基于内容的视频检索的实现方法，应用于嵌入式多媒体基于内容的视频检索的实现方法，其对媒体对象的语义、视觉和听觉特征的提取和检索有其不同的特点。对于嵌入式多媒体，内容的提取需要按照不同的嵌入式移动终端的要求，进行分类性的特征提取，比如对于响应速度要求高的终端，其特征的提取就要简化，以满足实时性为第一要务，而对于要求能够较快的进行精确匹配的终端，其特征的提取就要全面丰富，以便于能够快速的找到请求的媒体片段。本专利技术的目的在于提供一种嵌入式多媒体基于关键帧的视频检索的实现方法。本专利技术解决其技术问题采用的技术方案包括以下步骤(1)对象标识使用视频对象分割程序对存放于服务器端的视频数据进行视频分析和分割，标识出静态图像、视频镜头代表帧的静态对象或视频序列中的动态对象；(2)对多媒体数据进行特征提取对静态图像、视频镜头代表帧的静态对象或视频序列中的动态对象进行颜色、纹理和形状的底层特征提取处理；(3)以提取的媒体特征建立索引选择多个适应不同嵌入式设备终端特点，包括CPU速度，响应时间要求的特征集和利用新的特征表示方法建立索引；(4)输入用户描述在嵌入式设备终端，用户通过浏览选择系统提供的实例或用户自行绘制的图形进行查询，传送查询请求和数据到服务器，通过不断修改实例直至找到匹配目标；(5)用户描述与库中媒体的相似匹配服务器将嵌入式设备终端传送来的查询特征与库中媒体按照匹配算法进行相似匹配，针对嵌入式设备终端的硬件和用户要求，以及当前网络带宽，取出满足阈值的记录作为候选结果，按相似度大小排列后返回给用户；(6)在相似匹配的结果中选择最终结果用户通过在嵌入式移动终端浏览来挑选系统返回的查询结果，或者从候选结果中选择一个示例，经过特征调整后形成一个新的查询，通过新的查询最终得到满意的结果。本专利技术与
技术介绍
相比，具有的有益的效果是本专利技术的方法是基于内容的检索，直接对文本、图像、视频、音频等多媒体进行分析，将多媒体数据存入媒体库，从中抽取内容特征，将用户输入的特征和预处理自动提取的内容特征放入特征库，然后利用这些内容特征建立索引并进行检索，而这些专门和综合性知识则存入知识库。本专利技术突破了传统的基于文本检索技术的局限，直接对图像、视频、音频内容进行分析、抽取特征，利用这些内容特征建立索引并进行检索，使得检索更加接近媒体对象。附图说明图1是本专利技术的实施过程示意图。具体实施例方式本专利技术是一种，下面结合图1说明其具体实施过程。1)对象标识基于内容的多媒体检索技术系统一般允许用户以全自动或者半自动(需要用户干预)的方式对媒体进行分割，标识出静态图像、视频镜头的代表帧等媒体中用户感兴趣的区域(静态对象)及视频序列中本文档来自技高网...

【技术保护点】
嵌入式多媒体基于内容的查询和检索的实现方法，其特征在于，包括以下步骤：（１）对象标识：使用视频对象分割程序对存放于服务器端的视频数据进行视频分析和分割，标识出静态图像、视频镜头代表帧的静态对象或视频序列中的动态对象； （２）对多媒体数据进行特征提取：对静态图像、视频镜头代表帧的静态对象或视频序列中的动态对象进行颜色、纹理和形状的底层特征提取处理；（３）以提取的媒体特征建立索引：选择多个适应不同嵌入式设备终端特点，包括ＣＰＵ速度，响 应时间要求的特征集和利用新的特征表示方法建立索引；（４）输入用户描述：在嵌入式设备终端，用户通过浏览选择系统提供的实例或用户自行绘制的图形进行查询，传送查询请求和数据到服务器，通过不断修改实例直至找到匹配目标；（５） 用户描述与库中媒体的相似匹配：服务器将嵌入式设备终端传送来的查询特征与库中媒体按照匹配算法进行相似匹配，针对嵌入式设备终端的硬件和用户要求，以及当前网络带宽，取出满足阈值的记录作为候选结果，按相似度大小排列后返回给用户；（６ ）在相似匹配的结果中选择最终结果：用户通过在嵌入式移动终端浏览来挑选系统返回的查询结果，或者从候选结果中选择一个示例，经过特征调整后形成一个新的查询，通过新的查询最终得到满意的结果。...

【技术特征摘要】
1.嵌入式多媒体基于内容的查询和检索的实现方法，其特征在于，包括以下步骤(1)对象标识使用视频对象分割程序对存放于服务器端的视频数据进行视频分析和分割，标识出静态图像、视频镜头代表帧的静态对象或视频序列中的动态对象；(2)对多媒体数据进行特征提取对静态图像、视频镜头代表帧的静态对象或视频序列中的动态对象进行颜色、纹理和形状的底层特征提取处理；(3)以提取的媒体特征建立索引选择多个适应不同嵌入式设备终端特点，包括CPU速度，响应时间要求的特征集和利用新的特征表示方法建立索引；(4)输入用户描述在嵌入式设备终端，用户通过...

【专利技术属性】
技术研发人员：陈天洲，赵懿，胡威，谢斌，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86[中国|杭州]