一种多媒体信息检索方法及装置制造方法及图纸

本发明专利技术公开了一种多媒体信息检索方法及装置，所述方法包括：接收到多媒体信息检索请求；所述多媒体信息检索请求携带样本多媒体信息检索标识；基于所述多媒体信息检索请求，获取所述样本多媒体信息的属性信息；基于所述样本多媒体信息的属性信息确定所述样本多媒体信息的指纹信息；所述样本多媒体信息的指纹信息至少包括：用于表征所述样本多媒体信息的文本特征的第一指纹信息，以及用于表征所述样本多媒体信息的视觉特征的第二指纹信息；将所述样本多媒体信息的指纹信息与预设的指纹数据库中的指纹信息进行匹配，以获取与所述样本多媒体信息相关联的多媒体信息。

A method and device for multimedia information retrieval

The invention discloses a multimedia information retrieval method and device. The method includes: receiving the multimedia information retrieval request, the multimedia information retrieval request carries the sample multimedia information retrieval mark, and obtains the attribute information of the multimedia information based on the multimedia information retrieval request, and the information retrieval request is based on the multimedia information retrieval request, and the information retrieval is based on the multimedia information retrieval request. The fingerprint information of the sample multimedia information is determined by the attribute information of the sample multimedia information, and the fingerprint information of the sample multimedia information includes at least the first fingerprint information used to characterize the text features of the sample multimedia information, and second of the visual features used to characterize the sample multimedia information. Fingerprint information is used to match the fingerprint information of the multimedia information of the sample with the fingerprint information in the preset fingerprint database to obtain multimedia information associated with the multimedia information of the sample.

【技术实现步骤摘要】
一种多媒体信息检索方法及装置
本专利技术涉及计算机
，尤其涉及一种多媒体信息检索方法及装置。
技术介绍
随着网络媒体技术的飞速发展，越来越多的信息通过视频、音频等多媒体形式展现在互联网中，使得多媒体数据呈现爆发式的增长。海量的多媒体视频丰富了人们生活的同时，对这些视频数据的管理存在巨大的技术问题。在实际视频检索业务中，由于对于时延敏感程度和对检索准确率的不同，造成了视频检索业务的丰富性及复杂性，然而，现有技术中并不存在一种视频检索方案，能够同时满足上述不同视频检索业务的不同需求。
技术实现思路
本专利技术实施例提供一种多媒体信息检索方法及装置，至少解决了现有技术中存在的问题，能够适应不同多媒体信息检索业务的检索需求，通用性强。本专利技术实施例的技术方案是这样实现的：本专利技术实施例提供了一种多媒体信息检索方法，所述方法包括：接收到多媒体信息检索请求；所述多媒体信息检索请求携带样本多媒体信息检索标识；基于所述多媒体信息检索请求，获取所述样本多媒体信息的属性信息；基于所述样本多媒体信息的属性信息确定所述样本多媒体信息的指纹信息；所述样本多媒体信息的指纹信息至少包括：用于表征所述样本多媒体信息的文本特征的第一指纹信息，以及用于表征所述样本多媒体信息的视觉特征的第二指纹信息；将所述样本多媒体信息的指纹信息与预设的指纹数据库中的指纹信息进行匹配，以获取与所述样本多媒体信息相关联的多媒体信息。上述方案中，所述基于所述多媒体信息检索请求，获取所述样本多媒体信息的属性信息，包括：基于所述多媒体信息检索请求携带的样本多媒体信息检索标识，查询预设的多媒体信息库，得到所述样本多媒体信息的属性信息，并以数据流消息的形式呈现所述样本多媒体信息的属性信息。上述方案中，所述以数据流消息的形式呈现所述样本多媒体信息的属性信息，包括：基于预设的数据流传输协议，以键-值数据对的形式封装所述样本多媒体信息的属性信息，得到对应所述样本多媒体信息的属性信息的数据流消息。上述方案中，所述基于所述样本多媒体信息的属性信息确定所述样本多媒体信息的指纹信息，包括：根据所述预设的数据流传输协议，解封装所述对应所述样本多媒体信息的属性信息的数据流消息，得到存储所述样本多媒体信息的属性信息的键-值数据对；对得到的所述键-值数据对进行字符串转换，得到所述样本多媒体信息的属性信息；根据所述样本多媒体信息的属性信息生成所述样本多媒体信息的指纹信息；基于所述预设的数据流传输协议，以键-值数据对的形式封装所述样本多媒体信息的指纹信息，得到对应所述样本多媒体信息的指纹信息的数据流消息。上述方案中，所述基于所述样本多媒体信息的属性信息确定所述样本多媒体信息的指纹信息，包括：对所述样本多媒体信息的属性信息进行特征提取，得到所述样本多媒体信息的特征信息；所述样本多媒体信息的特征信息至少包括：所述样本多媒体信息的文本特征和所述样本多媒体信息的视觉特征；基于所述样本多媒体信息的特征信息生成所述样本多媒体信息的指纹信息。本专利技术实施例还提供了一种多媒体信息检索装置，所述装置包括：获取模块、处理模块及匹配模块；其中，所述获取模块，用于接收到多媒体信息检索请求；所述多媒体信息检索请求携带样本多媒体信息检索标识；以及，基于所述多媒体信息检索请求，获取所述样本多媒体信息的属性信息；所述处理模块，用于基于所述样本多媒体信息的属性信息确定所述样本多媒体信息的指纹信息；所述样本多媒体信息的指纹信息至少包括：用于表征所述样本多媒体信息的文本特征的第一指纹信息，以及用于表征所述样本多媒体信息的视觉特征的第二指纹信息；所述匹配模块，用于将所述样本多媒体信息的指纹信息与预设的指纹数据库中的指纹信息进行匹配，以获取与所述样本多媒体信息相关联的多媒体信息。上述方案中，所述获取模块，还用于基于所述多媒体信息检索请求携带的样本多媒体信息检索标识，查询预设的多媒体信息库，得到所述样本多媒体信息的属性信息，并以数据流消息的形式呈现所述样本多媒体信息的属性信息。上述方案中，所述获取模块，还用于基于预设的数据流传输协议，以键-值数据对的形式封装所述样本多媒体信息的属性信息，得到对应所述样本多媒体信息的属性信息的数据流消息。上述方案中，所述处理模块，还用于根据所述预设的数据流传输协议，解封装所述对应所述样本多媒体信息的属性信息的数据流消息，得到存储所述样本多媒体信息的属性信息的键-值数据对；对得到的所述键-值数据对进行字符串转换，得到所述样本多媒体信息的属性信息；根据所述样本多媒体信息的属性信息生成所述样本多媒体信息的指纹信息；基于所述预设的数据流传输协议，以键-值数据对的形式封装所述样本多媒体信息的指纹信息，得到对应所述样本多媒体信息的指纹信息的数据流消息。上述方案中，所述处理模块包括：特征提取单元，用于对所述样本多媒体信息的属性信息进行特征提取，得到所述样本多媒体信息的特征信息；所述样本多媒体信息的特征信息至少包括：所述样本多媒体信息的文本特征和所述样本多媒体信息的视觉特征；指纹生成单元，用于基于所述样本多媒体信息的特征信息生成所述样本多媒体信息的指纹信息。本专利技术实施例提供的多媒体信息检索方法及装置，基于接收的多媒体信息检索请求，获取样本多媒体信息的属性信息；基于所述样本多媒体信息的属性信息确定样本多媒体信息的指纹信息；所述样本多媒体信息的指纹信息至少包括：用于表征所述样本多媒体信息的文本特征的第一指纹信息，以及用于表征所述样本多媒体信息的视觉特征的第二指纹信息；将所述样本多媒体信息的指纹信息与预设的指纹数据库中的指纹信息进行匹配，以获取与所述样本多媒体信息相关联的多媒体信息。如此，由于生成的用于匹配的样本多媒体信息的指纹信息包含了第一指纹信息和第二指纹信息，而第一指纹信息对应的文本特征的处理速度较快，适用于对时延敏感的多媒体信息检索业务，第二指纹信息对应的视觉特征对多媒体内容的代表程度较高，适用于对检索准确率要求较高的多媒体信息检索业务；因此，上述多媒体信息检索方案能够适应不同多媒体信息检索业务的检索需求，具有较强的通用性。附图说明图1为本专利技术实施例中进行信息交互的各方硬件实体的示意图；图2为本专利技术实施例中多媒体信息检索方法的流程示意图一；图3所示为StormTopology的结构示意图；图4为本专利技术实施例中组件之间基于预设的数据流传输协议进行数据处理的示意图；图5为本专利技术实施例中多媒体信息检索方法的流程示意图二；图6为本专利技术实施例中视频检索方法的应用场景示意图一；图7为本专利技术实施例中对视频文件进行视频帧划分的示意图；图8为本专利技术实施例中多媒体信息检索方法的流程示意图三；图9为本专利技术实施例中视频检索方法的应用场景示意图二；图10a至图10c为本专利技术实施例中视频检索方法的应用场景示意图三；图11为本专利技术实施例中多媒体信息检索装置的组成结构示意图；图12为本专利技术实施例中多媒体信息检索装置作为硬件实体的示例图。具体实施方式下面结合附图及具体实施例对本专利技术作进一步详细的说明。图1为本专利技术实施例中进行信息交互的各方硬件实体的示意图，图1中包括：服务器11……1n、终端设备21-24，终端设备21-24通过有线网络或者无线网络与服务器进行信息交互，终端设备包括手机、台式机、PC机、一体机等类型。一个示例中，用户通过终端设备上传本文档来自技高网...

【技术保护点】
1.一种多媒体信息检索方法，其特征在于，所述方法包括：接收到多媒体信息检索请求；所述多媒体信息检索请求携带样本多媒体信息检索标识；基于所述多媒体信息检索请求，获取所述样本多媒体信息的属性信息；基于所述样本多媒体信息的属性信息确定所述样本多媒体信息的指纹信息；所述样本多媒体信息的指纹信息至少包括：用于表征所述样本多媒体信息的文本特征的第一指纹信息，以及用于表征所述样本多媒体信息的视觉特征的第二指纹信息；将所述样本多媒体信息的指纹信息与预设的指纹数据库中的指纹信息进行匹配，以获取与所述样本多媒体信息相关联的多媒体信息。

【技术特征摘要】
1.一种多媒体信息检索方法，其特征在于，所述方法包括：接收到多媒体信息检索请求；所述多媒体信息检索请求携带样本多媒体信息检索标识；基于所述多媒体信息检索请求，获取所述样本多媒体信息的属性信息；基于所述样本多媒体信息的属性信息确定所述样本多媒体信息的指纹信息；所述样本多媒体信息的指纹信息至少包括：用于表征所述样本多媒体信息的文本特征的第一指纹信息，以及用于表征所述样本多媒体信息的视觉特征的第二指纹信息；将所述样本多媒体信息的指纹信息与预设的指纹数据库中的指纹信息进行匹配，以获取与所述样本多媒体信息相关联的多媒体信息。2.根据权利要求1所述的方法，其特征在于，所述基于所述多媒体信息检索请求，获取所述样本多媒体信息的属性信息，包括：基于所述多媒体信息检索请求携带的样本多媒体信息检索标识，查询预设的多媒体信息库，得到所述样本多媒体信息的属性信息，并以数据流消息的形式呈现所述样本多媒体信息的属性信息。3.根据权利要求2所述的方法，其特征在于，所述以数据流消息的形式呈现所述样本多媒体信息的属性信息，包括：基于预设的数据流传输协议，以键-值数据对的形式封装所述样本多媒体信息的属性信息，得到对应所述样本多媒体信息的属性信息的数据流消息。4.根据权利要求3所述的方法，其特征在于，所述基于所述样本多媒体信息的属性信息确定所述样本多媒体信息的指纹信息，包括：根据所述预设的数据流传输协议，解封装所述对应所述样本多媒体信息的属性信息的数据流消息，得到存储所述样本多媒体信息的属性信息的键-值数据对；对得到的所述键-值数据对进行字符串转换，得到所述样本多媒体信息的属性信息；根据所述样本多媒体信息的属性信息生成所述样本多媒体信息的指纹信息；基于所述预设的数据流传输协议，以键-值数据对的形式封装所述样本多媒体信息的指纹信息，得到对应所述样本多媒体信息的指纹信息的数据流消息。5.根据权利要求1或2所述的方法，其特征在于，所述基于所述样本多媒体信息的属性信息确定所述样本多媒体信息的指纹信息，包括：对所述样本多媒体信息的属性信息进行特征提取，得到所述样本多媒体信息的特征信息；所述样本多媒体信息的特征信息至少包括：所述样本多媒体信息的文本特征和所述样本多媒体信息的视觉特征；基于所述样本多媒体信息的特征信息生成所述样本多媒体信息的指纹信息。6.一种多媒体信息检索装置，其特征在于，所述装置包括：获取模块、处理模块及匹配模块；其中，所述获取模块，用于接收到多媒体信息检索请求；所述多媒体信息检索请求携带样本多媒体信息检索标识；以及，基于所述多媒体信息检索请求，获取所述样本多媒体信息的属性信息；所述处理模块，用于基于所述样本多媒体信息的属性信息确定所述样本多媒体信息的指纹信息；所述样本多媒体信息的指纹信息至少包括：用于表征所述样本多媒体信息的文本特征的第一指纹信息，以及用于表征所述样本多媒体信息的视觉特征的第二指纹信息；所述匹配模块，用于将所述样本多媒体信息的指纹信息与预设的指纹数据库中的指纹信息进行匹配，以获取与所述样本多媒体信息相关联的多媒体信息。7.根据权利要求6所述的装置，其特征在于，所述获取模块，还用于基于所述多媒体信息检索请求携带...

【专利技术属性】
技术研发人员：江佳伟，崔斌，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44