搜索视频的方法和装置制造方法及图纸

本公开提供了搜索视频的方法和装置，涉及人工智能领域，尤其涉及智能搜索、视频技术领域。具体实现方案为：获取待搜索的视频片段；获取视频片段的视频标签；从视频片段中提取出视频特征；基于视频标签和视频特征从候选视频集合选择目标视频进行输出。该实施方式提高了视频搜索的速度和准确性。频搜索的速度和准确性。频搜索的速度和准确性。

【技术实现步骤摘要】
搜索视频的方法和装置


[0001]本公开涉及人工智能领域，尤其涉及智能搜索、视频
，具体涉及一种搜索视频的方法和装置。

技术介绍

[0002]随着互联网时代的到来，网络上的信息量呈爆炸式的增长。在信息技术快速发展的今天，每天都有大量的文字、图像、音频、视频等数据发布和传输在信息网络上。视觉数据一般来源于各类社交网站和手机应用，这些社交服务的用户量都在亿级以上，人们通过社交的方式分享传播图像和视频，这些被分享和传播的视觉数据往往带有不同的主题、不同的类型、不同的标签以及不同的含义。这些数量庞大且纷杂的数据在带来丰富内容的同时，也给信息检索带来了极大的挑战。

技术实现思路

[0003]本公开提供了一种搜索视频的方法、装置、设备、存储介质以及计算机程序产品。
[0004]根据本公开的第一方面，提供了一种搜索视频的方法，包括：获取待搜索的视频片段；获取所述视频片段的视频标签；从所述视频片段中提取出视频特征；基于所述视频标签和所述视频特征从候选视频集合选择目标视频进行输出。
[0005]根据本公开的第二方面，提供了一种搜索视频的装置，包括：第一获取单元，被配置成获取待搜索的视频片段；第二获取单元，被配置成获取所述视频片段的视频标签；特征提取单元，被配置成从所述视频片段中提取出视频特征；输出单元，被配置成基于所述视频标签和所述视频特征从候选视频集合选择目标视频进行输出。
[0006]根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。
[0007]根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面所述的方法。
[0008]根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面所述的方法。
[0009]本公开的实施例提供的搜索视频的方法和装置，通过提取视频标签和视频特征进行匹配搜索，缩小了视频搜索范围，提高了搜索的速度和准确性。
[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0011]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0012]图1是本公开的一个实施例可以应用于其中的示例性系统架构图；
[0013]图2是根据本公开的搜索视频的方法的一个实施例的流程图；
[0014]图3a
‑
3c是根据本公开的搜索视频的方法的应用场景的示意图；
[0015]图4是根据本公开的搜索视频的方法的又一个实施例的流程图；
[0016]图5是根据本公开的搜索视频的装置的一个实施例的结构示意图；
[0017]图6是适于用来实现本公开的实施例的电子设备的计算机系统的结构示意图。
具体实施方式
[0018]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0019]图1示出了可以应用本公开的搜索视频的方法或搜索视频的装置的实施例的示例性系统架构100。
[0020]如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0021]用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如搜索类应用、视频播放类应用、网页浏览器应用、购物类应用、即时通信工具、邮箱客户端、社交平台软件等。
[0022]终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏并且支持视频播放的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
[0023]服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的视频提供支持的后台搜索服务器。后台搜索服务器可以对接收到的视频搜索请求等数据进行分析等处理，并将搜索结果反馈给终端设备。
[0024]服务器105上安装了视频搜索系统，包括应用展示层、核心处理层、数据存储层。
[0025]应用展示层主要为用户提供可视化的界面以完成用户与系统的交互。系统的核心功能是检索，支持以音频和视频片段进行视频的检索。用户将待查询内容上传到核心处理层。核心处理层处理完毕后，返回的搜索结果以列表形式展示给用户。
[0026]中间层是核心处理层，包括多模态数据特征提取、特征转化和相似性搜索等功能。核心处理层首先接收从应用展示层传来的原始信息，通过特征提取算法提取特征表示，然后计算多模态数据之间的相似性，检索出数据库中与待检索内容相似的数据，依据相似性
生成排序表。
[0027]数据存储层把搜索数据、模型文件、搜索记录存入数据库。
[0028]需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。服务器也可以是云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。
[0029]需要说明的是，本公开的实施例所提供的搜索视频的方法一般由服务器105执行，相应地，搜索视频的装置一般设置于服务器105中。
[0030]应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种搜索视频的方法，包括：获取待搜索的视频片段；获取所述视频片段的视频标签；从所述视频片段中提取出视频特征；基于所述视频标签和所述视频特征从候选视频集合选择目标视频进行输出。2.根据权利要求1所述的方法，其中，所述获取所述视频片段的视频标签，包括：从所述视频片段中提取出至少一个关键帧；对于每个关键帧，通过图片描述模型输出该关键帧的描述信息；从每个关键帧的描述信息中提取出候选视频标签；将候选视频标签中重复次数最多的预定数目个候选视频标签确定为所述视频片段的视频标签。3.根据权利要求1所述的方法，其中，所述从所述视频片段中提取出视频特征，包括：从所述视频片段中提取出图像特征；和/或从所述视频片段中提取出音频特征；和/或从所述视频片段中识别出文本信息，并从所述文本信息中提取出文本特征。4.根据权利要求3所述的方法，其中，所述方法还包括：将提取出的特征中的至少两项进行特征融合，得到所述视频特征。5.根据权利要求1所述的方法，其中，在所述从所述视频片段中提取出视频特征之后，所述方法还包括：将所述视频标签输入文本分类模型，得到第一类别概率；将所述视频特征输入视频分类模型，得到第二类别概率；基于所述第一类别概率和所述第二类别概率确定所述视频片段的类别。6.根据权利要求5所述的方法，其中，所述基于所述视频标签和所述视频特征从候选视频集合选择目标视频进行输出，包括：从候选视频集合中过滤掉与所述类别不匹配的候选视频，得到第一目标子候选视频集合；计算所述第一目标子候选视频集合中每个候选视频的视频标签与所述视频片段的视频标签的文本相似度；从所述第一目标子候选视频集合中过滤掉文本相似度小于预定相似度阈值的候选视频，得到第二目标子候选视频集合；计算所述第二目标子候选视频集合中每个候选视频的视频特征与所述视频片段的视频特征的匹配度；确定匹配度大于预定匹配度阈值的候选视频为所述目标视频，并进行输出。7.根据权利要求1所述的方法，其中，所述方法还包括：根据用户的搜索记录分析所述用户的喜好，保存所述用户喜好的视频，其中，所述搜索记录包括所述用户搜索过的视频片段的视频标签和视频特征；从所述用户喜好的视频中选择第一预定数目个视频进行推荐。8.根据权利要求1所述的方法，其中，所述方法还包括：根据用户的搜索记录分析出所述用户的相似用户，保存所述相似用户看过的视频，其
中，所述搜索记录包括所述用户搜索过的视频片段的视频标签和视频特征；从所述相似用户看过的视频中选择第二预定数目个视频进行推荐。9.根据权利要求7或8所述的方法，其中，所述方法还包括：接收用户的反馈信息；根据所述反馈信息重新推荐视频。10.一种搜索视频的装置，包括：第一获取单元，被配置成获取待搜索的视频片段；第二获取单元，被配置成获取所述视频片段的视频标签；特征提取单元，被配置成从所述视频片段中提取出视频特征；输出单元，被配置成基于所述视频标签和所述视频特征从候选视频集合选择目标视频进行输出。11.根据权利要求10所述的装置，其中，所述第二获取单元进一步被配置成：...

【专利技术属性】
技术研发人员：冯博豪，刘雨鑫，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：