确定视频标签的方法、视频推荐方法和视频查询方法技术

本公开提供了一种确定视频标签的方法，涉及人工智能技术领域，尤其涉及图像处理、计算机视觉技术领域。具体实现方案为：将视频序列按照镜头划分为多个子视频；从子视频中确定至少一个视频帧作为子视频的关键帧，并确定关键帧的初始标签序列，根据初始标签序列，确定子视频的有效标签；以及根据子视频的有效标签，确定视频序列的标签。本公开还提供了一种确定视频标签的方法、视频推荐方法、视频查询方法、装置、电子设备和存储介质。电子设备和存储介质。电子设备和存储介质。

【技术实现步骤摘要】
确定视频标签的方法、视频推荐方法和视频查询方法


[0001]本公开涉及人工智能
，尤其涉及图像处理、计算机视觉
更具体地，本公开提供了一种确定视频标签的方法、视频推荐方法、视频查询方法、装置、电子设备和存储介质。

技术介绍

[0002]视频标签的提取是媒体资源管理中的核心功能之一，是视频入库、检索、推荐等需求的前置算子。在提取视频标签的过程中发现，视频处理耗时随视频时长线性增长，长视频处理很慢，极大的限制了相关算法的应用场景。

技术实现思路

[0003]本公开提供了一种确定视频标签的方法、视频推荐方法、视频查询方法、装置、设备以及存储介质。
[0004]根据第一方面，提供了一种确定视频标签的方法，该方法包括：将视频序列按照镜头划分为多个子视频；从子视频中确定至少一个视频帧作为子视频的关键帧，并确定关键帧的初始标签序列，根据初始标签序列，确定子视频的有效标签；以及根据子视频的有效标签，确定视频序列的标签。
[0005]根据第二方面，提供了一种视频推荐方法，该方法包括：获取用户标签；以及根据用户标签与视频库中各视频的标签之间的第一相似度，从视频库中确定用于推荐给用户的第一目标视频；其中，视频的标签是根据上述确定视频标签的方法得到的。
[0006]根据第三方面，提供了一种视频查询方法，该方法包括：接收查询视频的请求，请求包括查询词；以及根据查询词与视频库中各视频的标签之间的第二相似度，从视频库中确定与查询词对应的第二目标视频；其中，视频的标签是根据上述确定视频标签的方法得到的。
[0007]根据第四方面，提供了一种确定视频标签的装置，该装置包括：划分模块，用于将视频序列按照镜头划分为多个子视频；第一确定模块，用于从子视频中确定至少一个视频帧作为子视频的关键帧，并确定关键帧的初始标签序列，根据初始标签序列，确定子视频的有效标签；以及第二确定模块，用于根据子视频的有效标签，确定视频序列的标签。
[0008]根据第五方面，提供了一种视频推荐装置，该装置包括：获取模块，用于获取用户标签；以及第五确定模块，用于根据用户标签与视频库中各视频的标签之间的第一相似度，从视频库中确定用于推荐给用户的第一目标视频；其中，视频的标签是根据上述确定视频标签的装置得到的。
[0009]根据第六方面，提供了一种视频查询装置，该装置包括：接收模块，用于接收查询视频的请求，请求包括查询词；以及第六确定模块，用于根据查询词与视频库中各视频的标签之间的第二相似度，从视频库中确定与查询词对应的第二目标视频；其中，视频的标签是根据上述确定视频标签的装置得到的。
[0010]根据第七方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。
[0011]根据第八方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。
[0012]根据第九方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序存储于可读存储介质和电子设备其中至少之一上，所述计算机程序在被处理器执行时实现根据本公开提供的方法。
[0013]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0014]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0015]图1是根据本公开的一个实施例的可以应用确定视频标签的方法、视频推荐方法以及视频查询方法的示例性系统架构示意图；
[0016]图2是根据本公开的一个实施例的确定视频标签的方法的流程图；
[0017]图3是根据本公开的一个实施例的确定视频标签的方法的框图；
[0018]图4是根据本公开的另一个实施例的确定视频标签的方法的流程图；
[0019]图5是根据本公开的一个实施例的视频推荐方法的流程图；
[0020]图6是根据本公开的一个实施例的视频查询方法的流程图；
[0021]图7是根据本公开的一个实施例的确定视频标签的装置的框图；
[0022]图8是根据本公开的一个实施例的视频推荐装置的框图；
[0023]图9是根据本公开的一个实施例的视频查询装置的框图；
[0024]图10是根据本公开的一个实施例的确定视频标签的方法、视频推荐方法以及视频查询方法中的至少之一的电子设备的框图。
具体实施方式
[0025]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0026]视频标签提取的主流方法是首先对视频帧逐帧进行图像分类，得到单帧的标签确定结果，再通过一系列策略把单帧的标签融合并生成视频级别的标签。
[0027]然而，视频内部有大量的冗余信息，一个镜头内的每一帧几乎都蕴含同样的元素。有些短暂出现的内容并不是视频的主体，输出的标签中会存在一些无关干扰项。逐帧进行处理会包含大量的冗余信息，在处理长视频时会消耗大量的资源，处理效率低。
[0028]此外，逐帧处理还会造成视频处理的倍速比(视频时长/视频处理时长)低，只有视频处理的倍速比大于一定数值(例如1)的情况下，才能达到实时处理，因此，难以实现视频的实时处理。
[0029]一种确定视频标签的方法，可以从视频中抽取一帧或多帧关键帧，对关键帧进行分类处理，得到关键帧的标签，再将关键帧的标签进行融合，得到视频级别的标签。
[0030]该确定视频标签的方法能够提高视频处理的效率，但是关键帧的选取成为难题，随机抽取或等间隔抽取无法保证抽取到的关键帧的重要性，导致标签确定结果的准去率低和稳定性差。而根据单帧包含的画面的重要程度进行关键帧的抽取，也会占用大量的计算资源，因此也存在效率低的问题。
[0031]本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0032]在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
[0033]图1是根据本公开一个实施例的可以应用确定视频标签的方法、视频推荐方法以及视频查询方法的示例性系统架构示意图。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的
技术实现思路
，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
[0034]如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种确定视频标签的方法，包括：将视频序列按照镜头划分为多个子视频；从所述子视频中确定至少一个视频帧作为所述子视频的关键帧，并确定所述关键帧的初始标签序列，根据所述初始标签序列，确定所述子视频的有效标签；以及根据所述子视频的有效标签，确定所述视频序列的标签。2.根据权利要求1所述的方法，其中，所述从所述子视频中确定至少一个视频帧作为所述子视频的关键帧，并确定所述关键帧的初始标签序列，根据所述初始标签序列，确定所述子视频的有效标签包括：对所述关键帧进行分类，得到所述关键帧的初始标签序列；从所述关键帧的初始标签序列中选取置信度最高的k个标签，作为所述关键帧的目标标签序列，k为大于1的整数；根据所述关键帧的目标标签序列，确定所述子视频的有效标签。3.根据权利要求2所述的方法，其中，所述根据所述关键帧的目标标签序列，确定所述子视频的有效标签包括：在确定至少一个所述关键帧各自的目标标签序列中置信度最高的标签彼此一致的情况下，将该置信度最高的标签确定为所述子视频的有效标签；在确定至少一个所述关键帧各自的目标标签序列中置信度最高的标签不完全一致的情况下，根据所述目标标签序列中置信度最高的标签与其他目标标签序列的关系，确定所述子视频的有效标签。4.根据权利要求3所述的方法，其中，所述根据所述目标标签序列中置信度最高的标签与其他目标标签序列的关系，确定所述子视频的有效标签包括：针对每个目标标签序列，在该目标标签序列中置信度最高的标签存在于其他目标标签序列的情况下，将该目标标签序列中置信度最高的标签确定为所述目标标签序列的有效标签；以及根据至少一个所述目标标签序列的有效标签，确定所述子视频的有效标签。5.根据权利要求1至4中任一项所述的方法，其中，所述根据所述子视频的有效标签，确定所述视频序列的标签包括：将所述子视频的有效标签添加到有效标签列表中；以及使用屏蔽词对所述有效标签列表中的标签进行过滤，得到所述视频序列的标签。6.根据权利要求5所述的方法，还包括：在确定所述有效标签列表为空的情况下，从所述子视频的至少一个目标标签序列中确定候选标签；以及根据所述候选标签，确定所述视频序列的标签。7.根据权利要求6所述的方法，其中，所述目标标签序列中的标签具有置信度评估值；所述从所述子视频的至少一个目标标签序列中确定候选标签包括：将所述多个子视频各自的至少一个目标标签序列组成目标标签序列集合；以及从所述目标标签序列集合中确定置信度评估值最高的标签作为候选标签。8.根据权利要求6所述的方法，其中，所述目标标签序列中的标签具有置信度评估值；所述从所述子视频的至少一个目标标签序列中确定候选标签包括：
从所述多个子视频中确定时长最长的子视频作为候选子视频；以及确定所述候选子视频的至少一个目标标签序列中置信度评估值最高的标签，作为所述候选标签。9.一种视频推荐方法，包括：获取用户标签；以及根据所述用户标签与视频库中各视频的标签之间的第一相似度，从所述视频库中确定用于推荐给所述用户的第一目标视频；其中，所述视频的标签是根据如权利要求1至8中任一项所述的方法得到的。10.一种视频查询方法，包括：接收查询视频的请求，所述请求包括查询词；以及根据所述查询词与视频库中各视频的标签之间的第二相似度，从所述视频库中确定与所述查询词对应的第二目标视频；其中，所述视频的标签是根据如权利要求1至8中任一项所述的方法得到的。11.一种确定视频标签的装置，包括：划分模块，用于将视频序列按照镜头划分为多个子视频；第一确定模块，用于从所述子视频中确定至少一个视频帧作为所述子视频的关键帧，并确定所述关键帧的初始标签序列，根据所述初始标签序列，确定所述子视频的有效标签；以及第二确定模块，用于根据所述子视频的有效标签，确定所述视频...

【专利技术属性】
技术研发人员：白雪，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：