音频、视频内容的搜索方法技术

一种音频、视频内容的搜索装置，包括：判断模块，用于判断当前流媒体文件是否包括音频文件和视频文件；音频指纹提取模块，与所述判断模块相连接，音频指纹分词模块，与所述音频指纹提取模块相连接；音频索引生成模块，与所述音频指纹分词模块相连接；视频指纹提取模块，与所述判断模块相连接；视频指纹分词模块，与所述视频指纹提取模块相连接；视频索引生成模块，与所述视频指纹分词模块相连接；搜索模块。本发明专利技术通过采用文本搜索引擎中的分词技术，在音视频指纹文件上进行分词处理，然后采用文本搜索领域中的索引技术对音视频指纹进行索引处理，搜索引擎可以对用户输入的音视频片段进行搜索。不但方便了用户的搜索，而且提高了搜索的效率。

【技术实现步骤摘要】

本专利技术涉及。技术背景随着互联网的发展，搜索引擎成为人们上网必不可少的工具之一。传统的搜索引擎都是 基于文本搜索(Text Search)，称为是文本搜索引擎。其原理是搜索引擎服务器收集大量 的网页；并根据已有的规则提取网页中的文本并做分词(Word Segmentation)处理，常见的 分词方法，例如基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法; 文本搜索引擎利用文本词库做索引表用于快速搜索。用户在进行搜索的时候，将文本输入到服务器，服务器对该文本进行分词处理后，根据索引表进行快速的搜索，然后返回结果。目前，搜索引擎都是基于文本的，即使是一些搜索图片或视频的搜索引擎也是通过图片 或视频节目的名称、说明、介绍、标签等文本信息进行搜索的。搜索引擎还没有直接通过音 视频的信号内容进行搜索的。这里，我们所说的音视频是指音频文件或者视频文件。通常视 频文件包含音频信号流和视频信号流。音频指纹(audio fingerprinting)在很早以前就被提出来，例如，Jaap Haitsma和Ton Kalke在2002年音乐搜索进展国际会议(Proceedings of International Conference on Music Information Retrieval)上发表了 "一种高可靠性的音频指纹系统"(A Highly Robust Audio Fingerprinting System)。这种系统通过信号处理的方法,将音频文件中每隔一段时间(例 如11.6ms)的音频信号，转化为一个32比特(bit)大小的指纹(fingerprint),通过这种方法 一个音频文件就可以被转换成一个指纹文件。系统在对所有的音频指纹文件做索引表后，就 可以进行快速的音频指纹检索了 。和音频指纹系统原理相似地，视频指纹(video fingerprinting)系统将每一帧(frame) 或者几帧转化为很小的指纹(例如32比特大小)，然后进行检索。例如国际专利号为 W02007/127590A2的"基于多分辨率，多帧率和时域信号的数字视频指纹处理方法和系统"(Method and system for fingerprinting digital video object based on multiresolution， multirate and temporal signatures)公开了一种将视频信号的每帧转化为84比特或132比 特的视频指纹处理方法。通过这种方法一个视频文件就可以被转换成一个很小的指纹文件。在音频指纹或视频文件数目较少(例如l万个)的情况下，可以将所有的指纹文件存入到3计算机内存中，进行索引后，可方便地进行快速的检索。上述"一种高可靠性的音频指纹系 统"即给出了这种方法的详细步骤。然而，在实际情况下，视频文件的数目要远远超过一万 的数目。例如，目前在互联网上出现的视频文件数目超过一千万数目，而且数量在不断增长。 因此采用这种方法很难做出实用的搜索引擎。
技术实现思路
为了解决上述技术问题，本专利技术提供一种。本专利技术采用如下技术方案一种音频、视频内容的搜索装置，包括判断模块，用于判断当前流媒体文件是否包括音频文件和视频文件； 音频指纹提取模块，与所述判断模块相连接，用于提取多个音频文件的音频指纹； 音频指纹分词模块，与所述音频指纹提取模块相连接，用于对提取的音频指纹进行分词； 音频索引生成模块，与所述音频指纹分词模块相连接，用于根据分词结果生成音频指纹 索引；视频指纹提取模块，与所述判断模块相连接，用于提取多个视频文件的视频指纹； 视频指纹分词模块，与所述视频指纹提取模块相连接，用于对提取的视频指纹进行分词； 视频索引生成模块，与所述视频指纹分词模块相连接，用于根据据分词结果生成视频指 纹索引；搜索模块，与所述音频索引生成模块和视频索引生成模块相连接，利用所述音频指纹索 引搜索匹配的音频文件，利用所述视频指纹索引搜索匹配的视频文件。 进一步地，所述搜索模块包括输入判断模块，用于判断输入的需要检索的流媒体文件或流媒体文件片段，是否包括音 频文件和视频文件如果包括音频文件或音频片段，则通过所述音频指纹提取模块提取其音频指纹，并通过 音频指纹分词模块对该音频指纹进行分词，根据分词结果在该音频指纹索引中搜索匹配的音 频文件；如果包括视频文件或视频片段，则通过所述视频指纹提取模块提取其视频指纹，并通过 视频指纹分词模块对该视频指纹进行分词，根据分词结果在该视频指纹索引中搜索匹配的视 频文件。进一步地，还包括存储模块，所述搜索模块通过所述存储模块与所述音频索引生成模块 和视频索引生成模块相连接，所述音频索引生成模块和视频索引生成模块相连接，用于存储 音频指纹、所述音频指纹索引及其对应的音频文件，并存储视频指纹、所述视频指纹索引及 其对应的视频文件。本专利技术通过采用文本搜索引擎中的分词技术，在音视频指纹文件上进行分词处理，然后 采用文本搜索领域中的索引技术对音视频指纹进行索引处理，索引处理完成后，搜索引擎可 以对用户输入的音视频片段进行搜索。不但方便了用户的搜索，而且提高了搜索的效率。附图说明图l为本专利技术音频、视频指纹搜索装置实施例结构示意图。具体实施方式如图1所示， 一种音频、视频内容的搜索装置，包括 判断模块，用于判断当前流媒体文件是否包括音频文件和视频文件； 音频指纹提取模块，与所述判断模块相连接，用于提取多个音频文件的音频指纹； 音频指纹分词模块，与所述音频指纹提取模块相连接，用于对提取的音频指纹进行分词; 音频索引生成模块，与所述音频指纹分词模块相连接，用于根据分词结果生成音频指纹索引；视频指纹提取模块，与所述判断模块相连接，用于提取多个视频文件的视频指纹； 视频指纹分词模块，与所述视频指纹提取模块相连接，用于对提取的视频指纹进行分词； 视频索引生成模块，与所述视频指纹分词模块相连接，用于根据据分词结果生成视频指 纹索引；搜索模块，与所述音频索引生成模块和视频索引生成模块相连接，利用所述音频指纹索 引搜索匹配的音频文件，利用所述视频指纹索引搜索匹配的视频文件。 进一步地，所述搜索模块包括输入判断模块，用于判断输入的需要检索的流媒体文件或流媒体文件片段，是否包括音 频文件和视频文件如果包括音频文件或音频片段，则通过所述音频指纹提取模块提取其音频指纹，并通过 音频指纹分词模块对该音频指纹进行分词，根据分词结果在该音频指纹索引中搜索匹配的音 频文件；5如果包括视频文件或视频片段，则通过所述视频指纹提取模块提取其视频指纹，并通过 视频指纹分词模块对该视频指纹进行分词，根据分词结果在该视频指纹索引中搜索匹配的视 频文件。进一步地，还包括存储模块，所述搜索模块通过所述存储模块与所述音频索弓1生成模块和视频索弓I生成模 块相连接，用于存储音频指纹、所述音频指纹索引及其对应的音频文件，并存储视频指纹、 所述视频指纹索弓i及其对应的视频文件。上述实施例中的分词方式可采用多种方式实现，以下列举几种方式分别说明。方式一采用基于统计的中文分词方法对音频指纹进行分词处理。首先将15000个音频文件按上 述Jaap Haitsma和Ton Kalke的方法生成宽度固定的指纹文件，其宽度本文档来自技高网...

【技术保护点】
一种音频、视频内容的搜索装置，其特征在于包括：　　判断模块，用于判断当前流媒体文件是否包括音频文件和视频文件；　　音频指纹提取模块，与所述判断模块相连接，用于提取多个音频文件的音频指纹；　　音频指纹分词模块，与所述音频指纹提取模块相连接，用于对提取的音频指纹进行分词；　　音频索引生成模块，与所述音频指纹分词模块相连接，用于根据分词结果生成音频指纹索引；　　视频指纹提取模块，与所述判断模块相连接，用于提取多个视频文件的视频指纹；　　视频指纹分词模块，与所述视频指纹提取模块相连接，用于对提取的视频指纹进行分词；　　视频索引生成模块，与所述视频指纹分词模块相连接，用于根据据分词结果生成视频指纹索引；　　搜索模块，与所述音频索引生成模块和视频索引生成模块相连接，利用所述音频指纹索引搜索匹配的音频文件，利用所述视频指纹索引搜索匹配的视频文件。

【技术特征摘要】

【专利技术属性】
技术研发人员：连惠城，程建章，
申请(专利权)人：未序网络科技上海有限公司，
类型：发明
国别省市：31[中国|上海]